Server systeem voor Matlab executable

[Kluis]

Wat wil je doen met je nieuwe systeem?
Het systeem haalt over FTP data binnen (elke dag 20MB). Deze data wordt door een MATLAB executable gebruikt om elke dag grafiekjes te plotten en deze in de cloud te zetten. De grootte van de data is ongeveer 150 GB (en zal groeien in de komende 10 jaar), maar het script is niet erg complex of geoptimaliseerd (geen Parallel Computing Toolbox). Het is dus niet per se complexe data, maar wel behoorlijk veel data. De PC zal vooral autonoom het script draaien en af en toe via een remote desktop client (via MAC) worden aangestuurd.

Wat mag het systeem gaan kosten?
Schatting dat dit binnen een budget van €1500 realiseerbaar zou moeten zijn. Incl. verzendkosten en assemblage.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Een scherm is er (voor eventuele troubleshooting).

Wat denk je allemaal nodig te hebben?
2 TB SSD, 16GB RAM, x64 based i5 of i7, windows 10 licentie

Heb je nog bepaalde (merk)voorkeuren?
Geen merk voorkeuren. Transcend SSD220Q 2TB of Samsung 870 QVO 2TB.

Heb je nog bepaalde eisen/wensen?
Betrouwbaarheid van het systeem is belangrijk. Het moet minstens 10 jaar probleemloos draaien. De PC komt in een kelder te staan. Geluid is dus geen probleem. Het belangrijkste is dat de PC geoptimaliseerd is voor MATLAB (zonder GPU acceleration).

Ga je overklokken?
Gezien de geringe IT kennis aanwezig, lijkt het mij verstandig om niet over te klokken.

Wat verwacht je van ons?
Het belangrijkste is dat de PC geoptimaliseerd is voor MATLAB (zonder NVIDEA GPU acceleration). Daarnaast dat het systeem betrouwbaar is. Daar mag per onderdeel best één of twee tientjes voor worden neergelegd. Er is vrijwel geen IT kennis aanwezig, dus hoe simpeler hoe beter. Ik zou graag advies willen welke combinatie van CPU, GPU en Voeding dit scipt gemakkelijk dagelijks voor 10 jaar zou moeten laten runnen. Momenteel duurt de execution ongeveeer 3 uur op een laptop met een i7-8750@2.20GHz, 16.0GB RAM, x64 met SSD.

Bij voorbaat dank voor de hulp. Wordt erg gewaardeerd.

[martyw]

Heb je al over een cloud oplossing nagedacht? Dat lijkt me eerlijk gezegd veiliger dan een server in de kelder die daar tien jaar staat zonder al te veel kennis over systeembeheer. Zie bijvoorbeeld https://nl.mathworks.com/solutions/cloud.html

[Kluis]

Daar had ik als eerste voorgelegd, maar dat is helaas afgewezen. Vandaar dit gedoe.

[Aragnut]

Hoe erg is het als de server er een week uit ligt (omdat een onderdeel kapot is)? Wie gaat het inrichten/onderhoud van de server doen?

Gezien de output naar de cloud gaat: hoe verbind het systeem met het internet (firewall, vpn, acl)?

Als dit (semi) professioneel moet gebeuren zou ik eerlijk gezegd niet een zelfbouw systeem neer zetten maar een samengesteld systeem + service contract overwegen. Op die manier heb je meer zekerheid en een hulplijn mocht er toch iets mis gaan of niet goed werken.

[Kluis]

Hoe erg is het als de server er een week uit ligt (omdat een onderdeel kapot is)? Wie gaat het inrichten/onderhoud van de server doen?
- Ik zal zelf het onderhoud doen. (Updates, bugs en andere service) Onderdelen die er een week uit liggen is derhalve niet zo'n probleem.

Gezien de output naar de cloud gaat: hoe verbind het systeem met het internet (firewall, vpn, acl)?
- VPN.

Als dit (semi) professioneel moet gebeuren zou ik eerlijk gezegd niet een zelfbouw systeem neer zetten maar een samengesteld systeem + service contract overwegen. Op die manier heb je meer zekerheid en een hulplijn mocht er toch iets mis gaan of niet goed werken.
- Inderdaad semi professioneel. Wat bedoelt u met een samengesteld systeem?

[jadaia]

Okee dus als ik het goed begrijp haal je eenmaal per dag data binnen en met de huidige laptop doe je hier drie uur over om dit met een Matlab script om te zetten in een grafiek/plot die opgeslagen worden op het apparaat en in de cloud?
Het script maakt geen gebruik van multicore dus je bent eerder gebaat bij hoge single core performance?

Moet dit sneller? Mag het langzamer?

Waarvoor heb je de SSD nodig? Doe je er meer mee dan alleen dataopslag? Moet je snel veel data /grote bestanden kunnen laden of kopiëren via netwerk of een USB disk/stick? Wat is de uploadsnelheid naar de cloud?

[Kluis]

Okee dus als ik het goed begrijp haal je eenmaal per dag data binnen en met de huidige laptop doe je hier drie uur over om dit met een Matlab script om te zetten in een grafiek/plot die opgeslagen worden op het apparaat en in de cloud?
Het script maakt geen gebruik van multicore dus je bent eerder gebaat bij hoge single core performance?
Klopt gedeeltelijk; een deel van de functies wordt standaard door MATLAB parallel uitgevoerd. Ik neig ernaar dat een hoge single core beter zal zijn t.o.v. een quadcore of hoger, vandaar ook mijn vraag.

Moet dit sneller? Mag het langzamer?
8 tot 12 uur is handig. Sneller is mooi meegenomen.

Waarvoor heb je de SSD nodig? Doe je er meer mee dan alleen dataopslag? Moet je snel veel data /grote bestanden kunnen laden of kopiëren via netwerk of een USB disk/stick? Wat is de uploadsnelheid naar de cloud?
Er zullen ook wat andere programma's worden gebruikt op de PC. Daar is de SSD voor. Heel het pand staat vol met MACs, maar af en toe moet er een programma gedraaid worden of een bestand worden geopend op een Windows. Daar zal deze computer ook voor dienen, maar dat is niet primair. Verder is het snel laden of kopiëren van (grote) bestanden niet aan de orde Upload snelheid is rond de 40 Mbps.

In ieder geval bedankt voor het meedenken tot nu toe. Helaas ben ik wat minder soepel in mijn keuzes dan ik zou willen, anders had ik alles via de cloud gedaan of had ik een laptopje neergelegd waar handmatig elke dag een scriptje op wordt uitgevoerd. Maar de resultaten moeten dagelijks "automatisch" worden geupload naar een Google Drive, zonder dat een operator een Windows PC aan raakt, en de databeheerder wilt onder de privacy wetgeving geen gevoelige info via de cloud versturen (dus FTP met een server achtige oplossing), en dat alles voor de komende 10 jaar zonder al te veel problemen (die gegarandeerd komen).

[martyw]

Kijk eens naar de [BBG] Geavanceerde thuisserver, de i3 daarin is al sneller dan je laptop. In het Harde schijven en software advies staan ook nog nuttige tips.

[jadaia]

Uitgaande van de de BBG die @martyw aanhaalde zou je dan zoiets misschien kunnen overwegen. Ik heb er een UPS bij gezet vanwege de bedrijfszekerheid en aangezien het budget er lijkt te zijn:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 124,90	€ 124,90
1	Moederborden	Fujitsu D3644-B	€ 152,50	€ 152,50
1	Interne harde schijven	WD Red Pro (2020) (256MB cache), 4TB	€ 126,90	€ 126,90
1	Behuizingen	Fractal Design CORE 2500	€ 54,23	€ 54,23
2	Geheugen intern	Kingston KSM26ES8/8HD	€ 40,51	€ 81,02
1	Voedingen	be quiet! Straight Power 11 450W	€ 92,55	€ 92,55
1	Solid state drives	Samsung 980 Pro 250GB	€ 81,70	€ 81,70
1	UPS en stekkerdozen	APC Back-UPS BX950U-GR	€ 116,64	€ 116,64
Bekijk collectie Importeer producten			Totaal	€ 830,44

Voordeel hiervan is dus een moederbord dat geoptimaliseerd is voor 24/7, ECC geheugen voor meer zekerheid en stroomstoringbeveiliging met de UPS zodat je hem netjes af kunt sluiten. Een HDD omdat je de snelheid van een SSD niet lijkt nodig te hebben, kleine pro SSD voor het OS. Voeding van hoge kwaliteit.

[Kluis]

Bedankt iedereen voor het mee denken, erg sympathiek! Ik zal laten weten hoe het resultaat bevalt.

[Loekasj]

Is het niet verstandig te kijken naar een fanless industrial pc als je er 10 jaar geen omkijken naar wilt hebben en hij in een kelder komt te staan?

https://www.onlogic.com/nl-nl/computers/industrial/fanless/

[Kluis]

Interessante link @Loekasj, had geen weet van het bestaan van deze cases. Geen bewegende onderdelen zijn in theorie natuurlijk goed, maar heeft u ervaring daarmee? Ik kan helaas erg weinig reviews hiervan vinden.

[Loekasj]

Kluis schreef op vrijdag 15 januari 2021 @ 16:11:
Interessante link @Loekasj, had geen weet van het bestaan van deze cases. Geen bewegende onderdelen zijn in theorie natuurlijk goed, maar heeft u ervaring daarmee? Ik kan helaas erg weinig reviews hiervan vinden.

Wij gebruiken ze in een productieomgeving i.v.m. stofophoping. Paar keer gehad dat een systeem er mee uitschee omdat niemand beseft wat voor stofnest het wordt wanneer je 5+ jaar een kast niet even ontdoet van stof. Sindsdien gebruiken we op die plekken deze systemen, valt verder niet veel over te melden, draaien al een jaar of 2 inmiddels zonder problemen.
Is wel wat duurder dan een conventioneel, zelf geassembleerd, systeem.

[Aapmansz]

Mijn nekharen begonnen een beetje omhoog te komen na lezen over een PC in de kelder, niet in de cloud en uiteindelijk moet het resultaat wel naar de cloud

Industriële PC lijkt me prima.
Je zou ook een simpele rackserver kunnen overwegen:
https://buy.hpe.com/nl/en...gen10-server/p/1011028697

Overigens heeft Matlab ook prima cloudoplossingen, wellicht eens met de leverancier gaan babbelen.

[RogerWilco2]

martyw schreef op maandag 11 januari 2021 @ 12:41:
Heb je al over een cloud oplossing nagedacht? Dat lijkt me eerlijk gezegd veiliger dan een server in de kelder die daar tien jaar staat zonder al te veel kennis over systeembeheer. Zie bijvoorbeeld https://nl.mathworks.com/solutions/cloud.html

Cloud is vaak erg duur voor grote hoeveelheden data opslag/bandbreedte. Het is vooral compute dat goedkoop is in de cloud. Maar dit klinkt niet als grote hoeveelheden data, dus zou inderdaad goed in de cloud kunnen?

Geen enkel systeem is gegarandeerd 10 jaar betrouwbaar. Als je geluk hebt gaat het 10 jaar mee, maar zeker bij een Windows systeem verwacht ik dat niet. UPS om netjes af te sluiten bij stroom uitval kan inderdaad wel helpen. Zorg dat management dit snapt.

Wordt de data vooral gelezen, of ook steeds weer geschreven?
Als er vooral gelezen wordt, dan is een SSD waarschijnlijk betrouwbaarder. Weinig harddisks halen 10 jaar 24/7 operation. Zorg voor een goede backup. SSDs kunnen niet goed tegen veel en vaak schijven van de data, maar zolang je vooral leest zijn ze prima.

20MB per dag toevoegen aan 150 GB kan ook vrij wel ieder systeem van de afgelopen 10 jaar, zelfs een NUC van een paar 100 euro.

MATLAB wil waarschijnlijk redelijk wat geheugen, dus ik zou er minimaal 16GB RAM in stoppen.

Als je het verder betrouwbaar wilt hebben, dan ga je aan redundante voedingen, RAID en dergelijke denken, maar dat heeft alleen zin als het bedrijf er ervaring mee heeft.

Wij hebben 300+ systemen die 24/7 operationeel zijn, en er is altijd wel iets kapot. Zelfs RAID5 en RAID6 zijn niet betrouwbaar genoeg als je er maar genoeg van nodig hebt (± 1-1.5 Petabyte per week).

De vraag die jezelf vooral moet stellen, is wat als er iets kapot gaat, hoe lang kunnen we zonder, hoe willen we het vervangen, etc. Het kan goedkoper zijn nu iets goedkoops te kopen, dat 4-5 jaar mee gaat, en dan weer een helemaal nieuwe te kopen, dan duurdere onderdelen nu, die 7-8 jaar mee gaan, en dan moeilijk te vervangen zijn.

Het hangt vooral van je management af, wat ze verwachten, en je zult dus vooral verwachtingsmanagement moeten doen.

[RogerWilco2]

Loekasj schreef op donderdag 14 januari 2021 @ 18:56:
Is het niet verstandig te kijken naar een fanless industrial pc als je er 10 jaar geen omkijken naar wilt hebben en hij in een kelder komt te staan?

https://www.onlogic.com/nl-nl/computers/industrial/fanless/

Ook dit soort computers hebben nog wel een koelende luchtstroom nodig. Als je ze in een meterkast stopt dan raken ze oververhit. De koelvinnen zitten alleen aan de buitenkant, zodat er geen lucht (en stof) doorheen hoeft.
In een grote fabriekshal zal de natuurlijke convectie genoeg zijn, en dat is waar ze voor bedoeld zijn.

[RogerWilco2]

Er zullen ook wat andere programma's worden gebruikt op de PC. Daar is de SSD voor. Heel het pand staat vol met MACs, maar af en toe moet er een programma gedraaid worden of een bestand worden geopend op een Windows. Daar zal deze computer ook voor dienen, maar dat is niet primair. Verder is het snel laden of kopiëren van (grote) bestanden niet aan de orde Upload snelheid is rond de 40 Mbps.

In ieder geval bedankt voor het meedenken tot nu toe. Helaas ben ik wat minder soepel in mijn keuzes dan ik zou willen, anders had ik alles via de cloud gedaan of had ik een laptopje neergelegd waar handmatig elke dag een scriptje op wordt uitgevoerd. Maar de resultaten moeten dagelijks "automatisch" worden geupload naar een Google Drive, zonder dat een operator een Windows PC aan raakt, en de databeheerder wilt onder de privacy wetgeving geen gevoelige info via de cloud versturen (dus FTP met een server achtige oplossing), en dat alles voor de komende 10 jaar zonder al te veel problemen (die gegarandeerd komen).

Als jullie vooral Macs hebben, waarom dan geen Mac Mini? Niet de goedkoopste oplossing qua aanschaf, maar mogelijk wel het makkelijkst om te gebruiken in zo'n omgeving. Backup met TimeMachine en klaar is kees.

Een machine die 24/7 betrouwbaar z'n werk moet doen, zo geen machine moeten zijn om ook andere dingen op te doen.

FTP is een niet encrypted protocol en voldoet niet aan GDPR/AVG.

[jadaia]

De HDD staat waarschijnlijk een grote tijd in idle gezien er een SSD is voor het OS en data periodiek wordt geschreven.

Mogelijk is er een optie om het systeem mbv een timer aan te laten schakelen wanneer dit nodig is of via bijv WOL voor remote control, dat kan de levensduur oprekken. Na uitvoeren van de taak kan het systeem dan uitschakelen.

Een UPS met USB en management software kan een systeem automatisch afsluiten en weer aan zetten.

[Loekasj]

RogerWilco2 schreef op zaterdag 16 januari 2021 @ 14:42:
[...]

Ook dit soort computers hebben nog wel een koelende luchtstroom nodig. Als je ze in een meterkast stopt dan raken ze oververhit. De koelvinnen zitten alleen aan de buitenkant, zodat er geen lucht (en stof) doorheen hoeft.
In een grote fabriekshal zal de natuurlijke convectie genoeg zijn, en dat is waar ze voor bedoeld zijn.

Ik heb er 1 in een Rittal kast zitten, daar is 0 luchtstroom aanwezig en hij wordt lauwwarm. Is allemaal maar net afhankelijk van de gebruikte hardware en thermische capaciteit van de heatsink.

[ Voor 8% gewijzigd door Loekasj op 16-01-2021 22:58 ]

[Loekasj]

Is er niet een mogelijkheid op een eventuele bestaande server een VM erbij te laten draaien trouwens? Is de backup ook meteen makkelijk te regelen