20 Gbit NAS voor fotobewerking en fotogrammetrie over SMB

[d-snp]

Hoi!

Als onderdeel van ons bedrijfsproces is er een dataverwerkingsteam dat iedere dag een terabyte of 2 aan foto's bewerkt en doorzet naar een fotogrammetrisch proces. Op het moment is de workflow dat ze de fotosets van een synology nasje (pricewatch: Synology DiskStation DS1819+) naar lokaal kopieeren (over 10gbit) hun bewerkingen uitvoeren, en dan de sets weer terug uploaden naar de nas. De volgende stap in het proces is dat de fotogrammetrische compute nodes de sets downloaden van de nas naar lokaal, en daar dan hun dingetje mee doen, en het resultaat weer terug schrijven naar de nas. De performance is hier ongeveer 400/700MB/s

Al dat heen en weer gekopieer van die terabytes zorgt voor een flinke demping op onze doorvoorsnelheid, dus de wens dat we dat elimineren. De oplossing: een NAS die snel genoeg is dat ie 2x 10gbit links in aggregate modus vol kan trekken, zodat zowel de fotobewerkers als de render nodes de NAS kan gebruiken als netwerkschijf, en er dus niet meer gekopieerd hoeft te worden.

Theorie: 6+ sata drives hebben samen in RAID5 genoeg doorvoersnelheid om 20Gbit (2500MB/s) te saturaten.

Off the shelf zou de dikkere synology kunnen:

pricewatch: Synology RackStation RS3617xs+ 144TB

Maar die heeft niet super indrukwekkende specs, vraag me dan af of we niet performance op tafel laten liggen, vooral voor die prijs.

Voor minder geld, kun je een gigabyte epyc machine laten configureren zoals deze:

https://www.broadberry.co...r272-z31-gigabyte-servers

Die eigenlijk op ieder vlak beter is, behalve dat je de software kant zelf moet managen. Maar mogelijk is die hardware dan weer een beetje overkill, dus dacht ik misschien kan ik zelf wat goedkopere harware samenstellen, dus kwam ik op deze setup, op basis van de Threadripper 1920X:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen Threadripper 1920X Boxed	€ 203,28	€ 203,28
1	Moederborden	Gigabyte X399 Aorus Pro (rev. 1.0)	€ 299,39	€ 299,39
1	Controllers	Highpoint RocketRAID 2840A	€ 0,-	€ 0,-
1	Controllers	LSI SAS HBA 9300-8i Single controller	€ 312,40	€ 312,40
1	Behuizingen	Supermicro SuperChassis CSE-219A-R920UB	€ 860,26	€ 860,26
1	Netwerkadapters	Intel X550-T2 10GbE Network Adapter	€ 265,-	€ 265,-
1	Processorkoeling	Dynatron A26	€ 43,99	€ 43,99
8	Solid state drives	Samsung 860 EVO 2TB	€ 312,-	€ 2.496,-
Bekijk collectie Importeer producten			Totaal	€ 4.480,32

Dat is basically de helft van de prijs, maar nog steeds betere specs, heb er meer vertrouwen in dat deze de 20gbit vol zou kunnen trekken dan de synology, maar misschien is dat een vooroordeel op basis van de goedkopere synologies.

Waar zouden jullie voor kiezen als het doel 20gbit reads en writes is? Zijn er dingen die ik over het hoofd zie of ik in gedachten moet houden?

[jvanhambelgium]

Deze foto-sets zijn dan eigenlijk "kleine" bestanden ? Eerder 10-30Mbytes per stuk of eerder 1Gbytes/stuk
Worden de resultaten terug geschreven van zodra een compute-node klaar is met processing van 1 foto(set) of loopt dit echt in batches ? hoeveel IOPS geeft je NAS aan ? Doorvoer is 1 ding, IOPS een ander...
2,5" SSD schijven geen optie om te vervangen ipv jullie 2.5" SATA's ?


>zodat zowel de fotobewerkers als de render nodes de NAS kan gebruiken als netwerkschijf, en er dus niet >meer gekopieerd hoeft te worden.

Dat doe je sowieso (indirect) hoor. Je node gaat de file openen op z'n remote mount en alsnog de content overhalen ter processing. Maar je zou op je toekomstig systeem eventueel 10Gbits interface voor ingress en een aparte 10Gbits voor je resultaten weg te schrijven kunnen hanteren. Is mischien iets om te bekijken.

Welke insteekkaart heb je zitten ? 10Gbit link of een kaart met 2 poorten ? (vb E10G18-T2)

[ Voor 5% gewijzigd door jvanhambelgium op 05-04-2020 16:52 ]

[HKLM_]

Kan je niet een serieuzer synology nemen zoals de RackStation RS3617RPxs bijvoorbeeld? Hang daar twee 10gb nic kaarten in i.c.m SSD-Cach (gebaseerd op de hoeveelheid storage en een extra sloot memory En je hebt volgens mij een veel betrouwbaarder systeem dan zelf iets in elkaar knutselen (wat je in een bedrijf niet moet willen volgens mij)

[ Voor 4% gewijzigd door HKLM_ op 05-04-2020 16:47 ]

[Wim-Bart]

Zoek wel een model uit wat zowel 10GBps + SSD cache ondersteund. En om voldoende IOPs te krijgen moet je veel spindles hebben. Dan praat je over 20 drives in een RAID0+1 bijvoorbeeld.

[d-snp]

@jvanhambelgium @Wim-Bart oeps! ik bedoelde inderdaad SATA SSD's, met HDD's gaat het inderdaad niet lukken met maar 8 stuks.

De foto's zijn tussen de 30MB en 100MB (sommige foto's zijn 100MP). De DS1819+ die we nu gebruiken heeft een single 10gbe insteekkaart.

@HKLM_ ja, vraag is dus of we het misschien wat optimaler kunnen aanpakken. Ik weet niet of we dat niet moeten willen, als er een goede standaard gezet kan worden is er geen reden om je te laten beperken tot wat de integrators aanbieden.

[jvanhambelgium]

Over hoeveel nodes hebben we hier die concurrent ingezet kunnen worden ? Welk soort hardware gebruik je op de LAN-switching layer ? Want alles is dan 10Gbits aangesloten ?
Want nu zit je tegelijk met een aantal nodes die files ophalen, ander nodes die op dezelfde moment waarschijnlijk data wegschrijven. Het is dus echt een mix van (random) read/write operaties.
Dus je heb actueel in de Synology 6 schijven 2.5" SSD steken in een "RAID" config ?

[Wim-Bart]

d-snp schreef op zondag 5 april 2020 @ 22:03:
@jvanhambelgium @Wim-Bart oeps! ik bedoelde inderdaad SATA SSD's, met HDD's gaat het inderdaad niet lukken met maar 8 stuks.

De foto's zijn tussen de 30MB en 100MB (sommige foto's zijn 100MP). De DS1819+ die we nu gebruiken heeft een single 10gbe insteekkaart.

@HKLM_ ja, vraag is dus of we het misschien wat optimaler kunnen aanpakken. Ik weet niet of we dat niet moeten willen, als er een goede standaard gezet kan worden is er geen reden om je te laten beperken tot wat de integrators aanbieden.

Je moet goed opletten, er zijn modellen waar je een SSD accelerator kaart in kan doen, of een 10Gbe kaart. Maar niet alle twee. Je moet dus een unit hebben met 10Gbe x 2 en daarbij de M.2 cache adapter.

[jvanhambelgium]

Ik denk niet dat de M.2 cache accelerator zoveel gaat helpen als ze reeds 6 x SSD's hebben steken.
De soort "content" lijkt me helemaal niet caching-interessant, aangezien allemaal verschillende bestanden verspreid worden over verschillende clients. Geen enkele "foto" (bestand) zal door 2 verschillende nodes opgevraagd worden.

Ik denk minimale return/nut van deze caching, al zeker met 6 x SSD's reeds onboard.
Met een 2*10Gbits LAN heb je alvast terug meer ademruimte, als dat effectief je bottleneck is hé.

[Thralas]

d-snp schreef op zondag 5 april 2020 @ 12:44:
Dat is basically de helft van de prijs, maar nog steeds betere specs

Tenzij je fan bent van machines debuggen naast een rack zou ik sowieso niets kopen zonder IPMI

Bovendien moet je je voor bedrijfsmatig gebruik sowieso niet besparen door non-enterprise hardware te kopen: die paar euro die je bespaart ben je tig keer kwijt zodra de hele afdeling één minuut niet kan werken.

Om netto beter af te zijn dan een off the shelf NAS heb je daarnaast ook een degelijk plan qua software (en beheer) nodig. Daar zie ik niets over in de TS?

Ik zou een héél systeem kopen bij je favoriete hardwareleverancier (Dell/HPE/Supermicro) en er een degelijke fileserver bovenop laten bouwen door iemand die dat óók kan beheren - anders gewoon een off-the-shelf NAS.

Vergeet ook niet inzichtelijk te maken waar de bottlenecks nu zitten, want sequentiëel data van disk lezen en schrijven (zoals het nu klinkt) is in theorie niet heel spannend.

Als je de luxe hebt dat al je data op een handjevol SSDs past dan heb je met 4 NVMe drives al véél meer throughput en IOPS dan je met twee koperpoortjes aankunt..

Wim-Bart schreef op zondag 5 april 2020 @ 18:30:
En om voldoende IOPs te krijgen moet je veel spindles hebben. Dan praat je over 20 drives in een RAID0+1 bijvoorbeeld.

Hoewel concrete cijfers ontbreken heeft TS het expliciet over grote sequentiële transfers. Dan zou ik me niet zo snel zorgen maken over IOPS.

Z'n eigen voorstel had daarnaast al enkel flash

[d-snp]

Goed punt over de IPMI, ik ga dan voor de Asrock Rack X399D8A-2T, die heeft de intel netwerkkaart ook al ingebouwd dus dat is ook kostenefficient.

Qua software wil ik voor FreeNAS gaan, lijkt gemakkelijk te beheren.

De access is redelijk sequentieel ja, steeds chunks van 40-100MB, kleiner doen we volgens mij nauwelijks. Ik wil ook future proof zijn, misschien gaan de netwerk links nog omhoog naar 40gbe of 100gbe. Ik weet niet precies wat de access pattern is van Capture One, maar onze editor rapporteert dat zelfs met 700MB/s merkt hij duidelijk het verschil tussen lokaal werken op z'n NVMe SSD'tje, en de NAS.

We hebben de luxe dat de data op SSD's past, zo'n 12-16TB zou genoeg moeten zijn voor nu, omdat we alleen de data van ongeveer 1 week bewaren. Na verwerking gaat de data naar een grotere (tragere) NAS voor long term storage, en gedeeltelijk de cloud in voor onze eindgebruikers.

[jadjong]

Helaas is het niet zo makkelijk meer om extra opslag in een doos te gooien met de verwachting dat elke schijf snelheid toevoegt. Je moet er echt goed over nadenken en daarna de juiste config bedenken om die 10Gbit vol te maken, upgrade naar 100Gbit wordt nog uitdagender.

[jvanhambelgium]

d-snp schreef op maandag 6 april 2020 @ 11:24:
maar onze editor rapporteert dat zelfs met 700MB/s merkt hij duidelijk het verschil tussen lokaal werken op z'n NVMe SSD'tje, en de NAS.

Natuurlijk zal er verschil zijn. Je zal nooit de snelheid halen zoals je met een onboard NVMe SSD op een systeem haalt, maar dat hoeft helemaal geen probleem te zijn.
Je moet de berekening maken hoeveel winst je denkt te gaan maken.
Who cares dat er zoveel over-en-weer geschreven gaat worden (afgezien van SSD levensduur) en aardig en leuk dat je dat wil "optimaliseren" maar wat win je erbij ? Als je de workload van 1 werkdag 20min kan versnellen zou ik er niet aan beginnen, kan je 4-8 uur versnellen kan het wel eens beginnen renderen.

Hoe zit het met de CPU van je NAS (= 4 core Atom C3538) tijdens nominaal gebruik ? Staat die rustig op 15% of zit dat eerder ergens > 75% ?

Als je zelf iets in elkaar wil zetten zal je wel wat moeten gaan bestuderen ivm filesystems op high-speed (=10Gbits of meer) om dat optimaal te tunen.