Bedankt weer voor de vele ruimdenkende antwoorden! Hoewel mijn vraag inderdaad afgebakend was, kan ik het zeker waarderen dat er aan alle kanten meegedacht wordt! Ik zal eerst de stukjes die echt on topic zijn beantwoorden en dan het geheel wat duidelijker afzetten.
Bedankt voor de link naar supermicro bordjes, en ook info over HP en Dell oplossingen.
Gezien voor WOL inderdaad geen bandbreedte nodig is, en mochten we op een moederbord met twee NICs onboard uitkomen (zie opstellingdetails beneden, eentje is al in gebruik), dan is dat een prima oplossing om nog iets in de kamer zelf te leggen. De Numato ethernet relay vind ik ook een hele coole oplossing. Wordt een betje zelfbouw, maar is niet vervelend. Een kabeltje hebben we wel over
"schoenmaker blijf bij je leest" is zeker enigszins van toepassing, maar ik ben nou eenmaal degene die het geheel in elkaar moet zetten hier. Professionele hulp is er wel, maar heeft maar zeer beperkte tijd die al opgebruikt is, dus dit WOL detail (een belangrijk detail!) moet ik zelf uitzoeken.
Ik ben een opstelling aan het bouwen voor, onder andere, experimentele psychologie en onderwijskunde. Het is een computerlokaal (16 seats) waar elke computer ook een eye tracker heeft (
deze, waar een groot deel van ons budget aan op gaat). Deze communiceren met de client computer per ethernet poort (dus 1 RJ-45 onboard is al in gebruik). Om deze ruimte voor de vele gebruikers goed bruikbaar te maken hebben we geheel gescheiden OS/software omgevingen per project nodig. Alles moet bare metal en lokaal draaien, dus geen VMs of boot van netwerk storage ofzo. Ook hebben we wel veel geld voor hardware, maar helaas helemaal geen geld voor mensen (yay oormerken..), dus beter een oplossing in hardware dan iets waar veel ontwikkeltijd achter zit. We gooien er daarom bandbreedte tegen aan, en hopen we het volgende te ontwikkelen (ik heb hier een plan voor, dit gedeelte hoeven we niet door te lichten): als gebruiker op een master computer inlogt op de opstelling, dan wordt een image naar zijn keuze op alle clients gezet. Dit is een full disk image (alle computers zullen toch exact dezelfde hardware hebben) van, zeg, zomaar 60GB per client of meer, en alles moet gebruiksklaar zijn binnen 5 minuten anders zal men het niet willen gebruiken. Dus niet te doen met 1gbit (of 2). Met 10gbit kwa bandbreedte makkelijk te doen, als de 80gbit server uplink wel vol te krijgen is (daar wil ik in deze post ook niet over nadenken). Vandaar de bandbreedte benodigdheden (en mogelijkheid tot stukkie RDMA/iWARP/ROCE weet ik welke uiteindelijk gaat werken zal vast handing blijken). En vandaar WOL (ofzo), anders moet de gebruiker alle computers handmatig aan gaan zetten als ze de kamer binnenlopen voordat de imaging procedure kan starten. En mocht ik de opstelling als een leuke machine learning farm of zo willen gebruiken als ik 's avonds thuis zit, dan is WOL helemaal belangrijk.
Qua latency: een van de unieke mogelijkheden van deze opstelling zal zijn om in realtime (binnen een screen refresh @144Hz) eye tracking data (@600Hz of 1200Hz) van een (of in extreem geval alle) clients naar alle andere clients te versturen, aggregeren en weer te geven. Het verschil in latency tussen infiniband en glas of koper ethernet is dus niet zo heel relevant hier (<1 microsec vs paar microsec begrijp ik?), maar low latency en hoge kwaliteit link (minimal packet loss) zijn wel belangrijk. Of verschillen in latency tussen 1gbit en 10gbit relevant zijn weet ik niet (packets eye tracking data zijn klein), maar ruimte is goed, zeker als we straks misschien wel meer mee willen sturen zoals observatievideo.
Dus beter in een keer goed neerzetten dan straks meer geld kwijt zijn omdat het toch niet genoeg bleek te zijn. En ook in academia: geld is nu beschikbaar en straks niet meer. We hebben inderdaad besloten niet voor de goedkoopste oplossing te gaan, maar voor iets wat binnen de parameters topkwaliteit en -stabiliteit zou moeten leveren.
Onze switch mogen we in de netwerkkast van de universiteit neerzetten, en er is er maar ruimte voor 1. Met de 8320 (inderdaad de JL581A) hebben we alles in een als we bij koper blijven, inclusief de gewenste flexibiliteit (dat gebruikers hun laptop of weet ik wat ze mee willen nemen ook in het netwerk kunnen hangen). Wifi access point komt er ook (zodat bijvoorbeeld
deze en/of onze Hololensen ook datastromen kunnen versturen en ontvangen. Dat deze apparaten niet 10gbit ter beschikking zullen hebben is het probleem van de gebruiker, moeten ze of mee leven om met apparatuur komen die wel een 10gbit NIC heeft als ze dat echt nodig hebben.
Ik hoop dat dit de nodige context geeft (en vind het leuk om het te vertellen!), maar de vraag hier voor mij blijft bij de WOL/IMPI/etc. Idealiter kan ik dit wel via dezelfde 10gbit insteekkaart doen. Ik zal ook eerst 1 testsysteem laten bouwen voordat we er meer bestellen, dus kan gewoon uitproberen en bijschaven.