De CSL/OT-kroeg

[HyperBart]

Ik kan binnenkort de tests eens herhalen met een hedendaagse setup à Xeon E3 1230v5, een sloot geheugen en 18/19 x 4TB op M1015 of nieuwe equivalenten op basis van LSI3008, dan hebben we toch al twee steekproeven.

Als iemand een cheap CPU'tje wil sponsoren die op het moederbordje past dan wil ik het ook eens herhalen met die CPU.

Op basis van deze discussie eens het volgende gelezen:
http://jrs-s.net/2015/02/...e-mirror-vdevs-not-raidz/

Dit stukje en dan vooral het bold stukje vond ik daar wel wat raar bij:

But wait, why would I want to trade guaranteed two disk failure in RAIDZ2 with only 85.7% survival of two disk failure in a pool of mirrors? Because of the drastically shorter time to resilver, and drastically lower load placed on the pool while doing so. The only disk more heavily loaded than usual during a mirror vdev resilvering is the other disk in the vdev - which might sound bad, but remember that it's only being heavily loaded with reads, whereas all of the remaining disks in a RAIDZ vdev are being much more heavily loaded with writes as well as reads during a resilver. Resilvering a mirror is much less stressful than resilvering a RAIDZ.

Hoezo worden nog werkende/overblijvende disks onder een RAIDZx VDEV ook beschreven tijdens resilvers ?

[Q]

Dat klopt inderdaad niet. Ik ben overigens goed bekend met dat artikel en 100% oneens met zijn / haar notie een betere efficientie willen dan 50% storage efficientie 'gierig' is.

[ Voor 9% gewijzigd door Q op 04-02-2016 20:22 ]

[HyperBart]

Q schreef op donderdag 04 februari 2016 @ 20:21:
Dat klopt inderdaad niet. Ik ben overigens goed bekend met dat artikel en 100% oneens met zijn / haar notie een betere efficientie willen dan 50% storage efficientie 'gierig' is.

Ja dat al helemaal, dat vond ik ook wel een topper qua "eeey euh even kort door de bocht".

Ik had het er net met FD nog over aan de telefoon, ik ben het eens met het feit dat je je VDEV's niet te wide moet maken. 10 disks met RAIDZ2 vind ik zo net prima, zo gaat het ook zijn bij de nieuwe build van een goede vriend van me. 2 x 10 disk RAIDZ2 in een 24 bay kast. Als hij dan later ooit nog snel moet uitbreiden kan hij een of twee mirrors bijsteken OF hij kan een VDEV upgraden door de disks een voor één te swappen. Dan krijgt hij door alleen maar de helft van de disks te vervangen toch al een uitbreiding in capaciteit.

FireDrunk is dan eerder (voor thuis) voor de mentaliteit om ze wat kleiner te houden en geen multi-VDEV pools te maken maar wat op te splitsen en pools en het vooral wat rustiger aan te doen en data te verwijderen...

Ik ben heel benieuwd naar de statistieken met je script, dat ga ik dan zeker eens laten lopen met verschillende configs.

We twijfelen nu alleen hoe we gaan migreren: even 2 x 10Gbit op de kop tikken of met je 450MB/s bonding aan de slag gaan om te ZFS senden en receiven. Met 10Gbit lijkt het me nog wel even een uitdaging om daar near line speeds te halen.

[ Voor 17% gewijzigd door HyperBart op 04-02-2016 21:30 ]

[Anoniem: 15758]

Mij lijkt een 19-disk RAID-Z3 juist wel leuk als je de overhead tot een minimum beperkt wilt houden. Voor archive van bulkdata zou dat goed werken. Weinig overhead en tot 3-voudige parity protection. Meerdere vdevs is meerdere pools het beste omdat je bij het doorbreken van de redundancy niet de data op de overige vdevs in gevaar brengt. Maar dan zit je wel meer een fragmentatie van vrije ruimte die niet als één blok beschikbaar is.

Kortom, ligt helemaal aan de situatie wat het handigste is voor je.

[Q]

@CiPHER 100% eens over RAID-Z3. Een 24-disk RAIDZ3 met large block support zou ik aan durven. Dat was ook mijn plan toen large block support er nog niet was.

Achteraf had ik de RAID-Z3 moeten houden want de lage performance die ik mat met resilveren kwam door een kleine hoeveelheid (< 1 TB) kleine files. RAID-Z2 met 18 disks is wat 'dun'.

2 x 12 RAID-Z2 met large block support is ook prima natuurlijk.

Ik heb 4 disks van de HighPoint afgehaald en op de 4 vrije on-board SATA aansluitingen gezet. De test loopt nu met 50% pool usage. De vraag is hoeveel dit gaat verschillen met de performance op de HighPoint.

Stom, ik heb een 5e disk nodig die resivered dus de test craste. Ik test nu mirror, RAID-Z met 3 disks en dat is het, meer kan niet. Vraag me af of we er iets uit op kunnen maken.

[ Voor 12% gewijzigd door Q op 04-02-2016 22:14 ]

[Anoniem: 15758]

Weet ik ook niet. Kan ook bij mij een keer testen met J1900 en ik heb ook nog een oudere AMD Quadcore (Q9350).

[HyperBart]

Anoniem: 15758 schreef op donderdag 04 februari 2016 @ 21:43:
Mij lijkt een 19-disk RAID-Z3 juist wel leuk als je de overhead tot een minimum beperkt wilt houden. Voor archive van bulkdata zou dat goed werken. Weinig overhead en tot 3-voudige parity protection. Meerdere vdevs is meerdere pools het beste omdat je bij het doorbreken van de redundancy niet de data op de overige vdevs in gevaar brengt. Maar dan zit je wel meer een fragmentatie van vrije ruimte die niet als één blok beschikbaar is.

Kortom, ligt helemaal aan de situatie wat het handigste is voor je.

Klopt, en dat is idd de afweging die FD ook aangaf door in pools te gaan splitsen.

Q schreef op donderdag 04 februari 2016 @ 22:01:
@CiPHER 100% eens over RAID-Z3. Een 24-disk RAIDZ3 met large block support zou ik aan durven. Dat was ook mijn plan toen large block support er nog niet was.

Achteraf had ik de RAID-Z3 moeten houden want de lage performance die ik mat met resilveren kwam door een kleine hoeveelheid (< 1 TB) kleine files. RAID-Z2 met 18 disks is wat 'dun'.

Hoe bedoel je dun? Had je 'm groter willen nemen à la 24 disks of bedoel je dat 2 disks voor pariteit op 18 disks wat te weinig is?

2 x 12 RAID-Z2 met large block support is ook prima natuurlijk.

Wat is nu eigenlijk de conclusie over het gebruik van large block? Ik had altijd begrepen dat een sub optimale VDEV in the end wel resulteert bij stevig wat plaatsverlies in hele wide VDEV's. Lost large blocks dit nu eigenlijk volledig op? Neen toch? Dat is de reden dat ik nog die optimale aantallen wil aanhouden namelijk.

Reden om ook voor de 2 x 10 RAIDZ2 VDEV te gaan was ook het feit dat er op dit moment al 6 x 4TB HGST Deskstar ter beschikking is van de huidige pool.

Bedoeling was dan om daarvoor 4 disks bij aan te schaffen, grand total 10 voor de HGST VDEV en dan een tweede VDEV te maken met 10 x de HGST Deskstar NAS, 4TB omdat die zogenaamd goedkoper zou zijn, maar ik was het nu even aan het checken en ik denk dat de vriend in kwestie ergens iets gemist heeft want voor die euro moeten we het nu niet laten.

Als large block het probleem van suboptimal aantallen helemaal wegneemt en er geen considerations zijn dan is de keuze aan hem of hij wil opsplitsen in VDEV's owv toekomstige expansie per VDEV dan of dat hij gedeelde ongefragmenteerde pariteit in Z3 wil.

Ik heb 4 disks van de HighPoint afgehaald en op de 4 vrije on-board SATA aansluitingen gezet. De test loopt nu met 50% pool usage. De vraag is hoeveel dit gaat verschillen met de performance op de HighPoint.

Stom, ik heb een 5e disk nodig die resivered dus de test craste. Ik test nu mirror, RAID-Z met 3 disks en dat is het, meer kan niet. Vraag me af of we er iets uit op kunnen maken.

[Anoniem: 15758]

HyperBart schreef op donderdag 04 februari 2016 @ 23:03:
Wat is nu eigenlijk de conclusie over het gebruik van large block? Ik had altijd begrepen dat een sub optimale VDEV in the end wel resulteert bij stevig wat plaatsverlies in hele wide VDEV's. Lost large blocks dit nu eigenlijk volledig op? Neen toch?

Ja en nee.

large_blocks feature zorgt ervoor dat de maximale recordsize kan groeien van 128KiB naar 1024K. Dat is een ver-acht-voudiging en zorgt er ook voor dat de hoeveelheid slack drastisch afneemt doordat per disk er grotere blokgroottes worden gebruikt zodat alignment met de stripesize (of blokgrootte zoals geforceerd door ashift) minder verspilling - slack - oplevert.

Maar, dit geldt alleen voor data die een dergelijke grote recordsize kan gebruiken. Voor kleinere writes zal nog steeds een kleinere recordsize worden gebruikt en dan heb je dus weer wel veel slack. Hele kleine writes zoals bestanden kleiner dan de sectorsize, kan de 'embedded_date' feature uitkomst bieden. Deze zorgt ervoor dat de data direct in de pointer wordt opgeslagen en niet langer op een apart locatie op de disk die door de pointer wordt aangegeven. Dit zorgt voor aanzienlijke ruimtewinst bij veel kleine bestanden op een vdev met veel disks. Compressie kan de grootte zover doen verkleinen dat deze in de pointer past.

Maar voor kleine writes/files die niet in de pointer passen, en kleiner zijn dan de maximale recordsize, daar heb je dus nog steeds veel verlies. Sla je echter alleen grote bestanden op en schrijf je deze van A tot Z weg (geen kleine mutaties binnen de grote bestanden) dan kun je met large_blocks prima hele grote vdevs maken en hoef je je ook niet meer aan de regel te houden die zegt dat het aantal datadisks een macht van twee moet zijn.

Reden om ook voor de 2 x 10 RAIDZ2 VDEV te gaan

10 disks in RAID-Z2 blijft wat mij betreft nog de beste allround ZFS configuratie die er is. 20% overhead is te behappen en dubbelvoudige parity is goede bescherming, en met 8 data disks is het nog prima te doen qua slack / verloren ruimte.

[FireDrunk]

Bij 10 disks (in RAIDZ2) heb je toch juist 0% slack?

[ Voor 13% gewijzigd door FireDrunk op 04-02-2016 23:43 ]

[Anoniem: 15758]

Als alle writes de maximale recordsize gebruiken, ja. Als de recordsize voor kleinere writes een breuk oplevert per disk, dan is er alsnog sprake van slack. De recordsize is niet een statisch iets. Het is een maximum. Kleinere writes zullen automatisch een kleine recordsize gebruiken en dan neemt de kans op slack toe naarmate je meer disks hebt in de pool.

[Q]

Ik weet niet echt wat ik er van moet maken. On-board controller brak?

code:

poolname,vdevtype,vdevcount,vdevsize,hours,minutes
pool-mirror-1-2,mirror,1,2,1,20
pool-raidz-1-3,raidz,1,3,1,37

Ik laat 'm nog een keer lopen.

code:

poolname,vdevtype,vdevcount,vdevsize,hours,minutes
pool-mirror-1-2,mirror,1,2,1,20
pool-raidz-1-3,raidz,1,3,1,36

Niet veel verschil dus.

[ Voor 24% gewijzigd door Q op 05-02-2016 16:26 ]

[A1AD]

Wooaa die SFF-8087 kabels zijn prijzig! Ik dacht de kabel te gebruiken die ik hier nog ergens liggen had maar mijn controller (lsi 9211-8i) ziet geen schijven

Het zal niet de forward variant zijn hoop ik, anders is de kaart defect.

Tips voor goedkope kabels?

[Pantagruel]

A1AD schreef op donderdag 11 februari 2016 @ 18:06:
Wooaa die SFF-8087 kabels zijn prijzig! Ik dacht de kabel te gebruiken die ik hier nog ergens liggen had maar mijn controller (lsi 9211-8i) ziet geen schijven

Het zal niet de forward variant zijn hoop ik, anders is de kaart defect.

Tips voor goedkope kabels?

Ebay en aanverwanten. De goedkopere kabels komen meestal uit China en dan duurt het wel langer.

[A1AD]

Pantagruel schreef op vrijdag 12 februari 2016 @ 14:20:
[...]


Ebay en aanverwanten. De goedkopere kabels komen meestal uit China en dan duurt het wel langer.

Ik vond ze zelf op ebay duur (incl. verzending). China, tsja weer een maand wachten...

[Pantagruel]

A1AD schreef op vrijdag 12 februari 2016 @ 21:33:
[...]


Ik vond ze zelf op ebay duur (incl. verzending). China, tsja weer een maand wachten...

Tja, als je ongeduldig bent dan zul toch al snel tegen de 20 euro per kabel kwijt zijn (excl. verzending).

[Dadona]

Ik heb ze destijds toch uit Nederland gehaald. Er staan wel wat kabels op Ebay, maar vooral die fancy blauwe kabels zijn super dun en de verbinding van connector naar draad was twijfelachtig.

[Pantagruel]

Ubuntu 16.04 LTS gaat ZFS uit de 'doos' doen vlgs Dustin Kirkland's blog en is t 'het FS voor container's '

[ Voor 9% gewijzigd door Pantagruel op 18-02-2016 14:52 ]

[Q]

Foutje.

[ Voor 93% gewijzigd door Q op 20-02-2016 18:17 ]

[Nindustries]

Zijn er eigenlijk veel mensen die goedkope 10Gb adapters kopen voor hun homelab? Vraag me af waarom deze niet meer gebruikt worden.
Ik geloof dat Chelsio drivers ter beschikking stelt voor esxi.

[Q]

Nindustries schreef op woensdag 24 februari 2016 @ 09:04:
Zijn er eigenlijk veel mensen die goedkope 10Gb adapters kopen voor hun homelab? Vraag me af waarom deze niet meer gebruikt worden.
Ik geloof dat Chelsio drivers ter beschikking stelt voor esxi.

Daar moet nog een SFP+ transceiver in ofwel koper of glas. Weet niet precies wat de prijzen zijn.

[HyperBart]

Nindustries schreef op woensdag 24 februari 2016 @ 09:04:
Zijn er eigenlijk veel mensen die goedkope 10Gb adapters kopen voor hun homelab? Vraag me af waarom deze niet meer gebruikt worden.
Ik geloof dat Chelsio drivers ter beschikking stelt voor esxi.

Een goede vriend van me heeft er net aangeschaft, Chelsio 2 kaartjes met een kabel erbij om tussen 2 servers een migratie te doen. Waren iets van een 100 EUR kwijt, wordt leuk om mee te spelen.

[Nindustries]

Een 100 euro voor 10Gbit tussen twee servers? Not bad, not bad at all

[HyperBart]

Jup, wel met Chelsio kaartjes, en volgens FireDrunk veroorzaken die nogal wat CPU load. Je kant altijd eens horen wat iemand hiervoor voor vraagt met betere kaartjes:

V&A aangeboden: Bloedsnel 10Gbit SFP setje aangeboden

[Q]

Zo zie je maar weer hoe onnodig ECC geheugen thuis is.

http://spectrum.ieee.org/...osmic-rays-and-bad-solder

Jaguar had 360 terabytes of main memory, all protected by ECC. I and others at the lab set it up to log every time a bit was flipped incorrectly in main memory. When I asked my computing colleagues elsewhere to guess how often Jaguar saw such a bit spontaneously change state, the typical estimate was about a hundred times a day. In fact, Jaguar was logging ECC errors at a rate of 350 per minute.

In the summer of 2003, Virginia Tech researchers built a large supercomputer out of 1,100 Apple Power Mac G5 computers. They called it Big Mac. To their dismay, they found that the failure rate was so high it was nearly impossible even to boot the whole system before it would crash.

The problem was that the Power Mac G5 did not have error-correcting code (ECC) memory, and cosmic ray–induced particles were changing so many values in memory that out of the 1,100 Mac G5 computers, one was always crashing.

[Anoniem: 15758]

Het blijft je bezig houden hè.

Als ik die cijfers even doorreken en voor het gemak 1 ECC detected bitflip per TB RAM per minuut neem, komt dat neer op 46 bitflips per dag bij 32GiB, aangenomen dat het aantal bitflips zich lineair verhoudt tot de kwantiteit geheugen. Ik denk dat dat ver boven de rate is van reguliere systemen die met ECC zijn beveiligd. Daarbij zou je met MemTest86+ maar zeer zelden een bitflip per 24 uur zien waarbij het RAM geheugen ook 100% wordt gestressed, mogelijk meer dan zo'n supercomputer die daar waarschijnlijk net wat onder zit.

Kortom, het zou zomaar kunnen dat de cijfers die worden genoemd voor die supercomputer met IBM PPC processors, niet te vergelijken is met het aantal dat je zou zien bij een regulier x86 systeem met ECC geheugen.

Want als ik die cijfers neem zou ook ik elke dag dus 46 bitflips op al mijn systemen met 32GiB zou moeten hebben, en dat zou betekenen dat er elke dag toch wel een crash voorkomt en ZFS regelmatig checksum errors te zien krijgt. Dat is natuurlijk niet het geval.

[Q]

Anoniem: 15758 schreef op vrijdag 26 februari 2016 @ 22:27:
Het blijft je bezig houden hè.

Je hapt

Als ik die cijfers even doorreken en voor het gemak 1 ECC detected bitflip per TB RAM per minuut neem, komt dat neer op 46 bitflips per dag bij 32GiB, aangenomen dat het aantal bitflips zich lineair verhoudt tot de kwantiteit geheugen. Ik denk dat dat ver boven de rate is van reguliere systemen die met ECC zijn beveiligd. Daarbij zou je met MemTest86+ maar zeer zelden een bitflip per 24 uur zien waarbij het RAM geheugen ook 100% wordt gestressed, mogelijk meer dan zo'n supercomputer die daar waarschijnlijk net wat onder zit.

Ik snap niet hoe je aan deze getallen komt.

Wikipedia: Jaguar (supercomputer)

Deze machine bestaat uit 26520 nodes, doe dat x 2 voor 2 geheugen modules en je komt op 53040 modules en 350 flips per minuut komt neer op 10 filps per module per dag, een stuk lager dus.

Ik ben het met je eens dat dit wel evengoed een erg hoog getal is en ik denk dat die rate thuis inderdaad niet zo hoog ligt.

Mijn twee met ECC beveiligde servers, waarvan er 1 meestal uit staat, hebben nog nooit een geheugen fout gelogged. Een erg kleine sample om conclusies uit te trekken, maar ik deel het toch.

Kortom, het zou zomaar kunnen dat de cijfers die worden genoemd voor die supercomputer met IBM PPC processors, niet te vergelijken is met het aantal dat je zou zien bij een regulier x86 systeem met ECC geheugen.

Dat mac ding gebruikte PPC maar Jaguar gebruikt x86 CPUs (AMD). Dus deze vlieger gaat niet op.

Want als ik die cijfers neem zou ook ik elke dag dus 46 bitflips op al mijn systemen met 32GiB zou moeten hebben, en dat zou betekenen dat er elke dag toch wel een crash voorkomt en ZFS regelmatig checksum errors te zien krijgt. Dat is natuurlijk niet het geval.

De kans is aanzienlijk dat je zonder ECC geheugen (tijdelijke) fouten hebt die niet door ZFS worden waargenomen, dat ZFS niets ziet zegt niet zoveel. Of je server ECC events logt, dat zegt veel meer. Zonder ECC geheugen ben je blind.

Ik ben zeker niet van mening dat deze getallen 1-op-1 voor thuis gelden, zeker niet. Maar het is wel een interessant resultaat. Als de rate 1 per minuut was geweest ipv 350 dan zou je nog steeds op jaarbasis 10 flips per dimm zien. Dat zijn er 10 teveel.

[Anoniem: 15758]

Is het een idee om deze discussie naar ECC geheugen voor zelfbouw ZFS NAS? te verplaatsen?

[Q]

Jij bent de moderator: edit: ik ben flauw, verplaats maar

[ Voor 46% gewijzigd door Q op 29-02-2016 03:16 ]

[Q]

Google onderzoek naar betrouwbaarheid van Flash:

http://0b4af6cdc2f0c59984...st16-papers-schroeder.pdf

Minder snel stuk, wel vaker bad blocks / unrecoverable errors (UE).

The drives in our study are custom designed high perfor- mance solid state drives, which are based on commodity flash chips, but use a custom PCIe interface, firmware and driver. We focus on two generations of drives, where all drives of the same generation use the same device driver and firmware. That means that they also use the same error correcting codes (ECC) to detect and cor- rect corrupted bits and the same algorithms for wear- levelling. The main difference between different drive models of the same generation is the type of flash chips they comprise.
Our study focuses on the 10 drive models, whose key features are summarized in Table 1. Those models were chosen as they each span millions of drive days, comprise chips from four different flash vendors, and cover the three most common types of flash (MLC, SLC, eMLC).

Als ik het goed lees is de leeftijd/wear level van het geheugen het enige wat impact heeft op de kans om een UE tegen te komen. Lees of schrijf gedrag heeft geen invloed.

We performed a detailed study of the effect of work- load on UEs. However, as noted in Section 5.1, we find no correlation between UEs and the number of read oper- ations. We repeated the same analysis for write and erase operations and again see no correlation.

[ Voor 84% gewijzigd door Q op 28-02-2016 11:00 ]

[Q]

code:

----total-cpu-usage---- -dsk/total- --net/ib0-----net/ib1-- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send: recv  send|  in   out | int   csw 
  1  47  41   0   0  10|   0  2867B|1245M 1240M:   0     0 |   0     0 |  40k   28k
  1  47  39   2   0  11|5360k 5325B|1244M 1235M:   0     0 |   0     0 |  40k   28k
  3  49  15  20   0  13|  63M   62k|1195M 1187M:   0     0 |   0     0 |  39k   25k

code:

------------------------------------------------------------
Client connecting to 10.0.4.3, TCP port 5001
TCP window size: 4.00 MByte (default)
------------------------------------------------------------
[  5] local 10.0.4.1 port 52572 connected with 10.0.4.3 port 5001
[  4] local 10.0.4.1 port 5001 connected with 10.0.4.3 port 44124
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0-60.0 sec  71.9 GBytes  10.3 Gbits/sec
[  4]  0.0-60.0 sec  72.2 GBytes  10.3 Gbits/sec

Infiniband

[Anoniem: 15758]

Probeer nog eens met een TCP window size van 8KiB.

[Q]

Anoniem: 15758 schreef op zaterdag 05 maart 2016 @ 01:54:
Probeer nog eens met een TCP window size van 8KiB.

Dat gaat zeker veel minder performance opleveren, maar waarom zou ik dit testen?

[Anoniem: 15758]

Omdat elke keer als Windows 'involved' is, ik de default TCP window size op 8KiB zie staan, met lage performance tot gevolg.

Natuurlijk is het makkelijk om met Jumbo Frames / zeer hoge TCP Window Sizes de bandbreedte lekker te vullen, maar met interfaces met een hoog Bandwidth-Latency-Product (zoals 1Gbps+ Ethernet) is het niet altijd makkelijk de bandbreedte daadwerkelijk te benutten. Ik was benieuws hoeveel je inlevert op je Infiniband als de Window Size naar 8K gaat.

Dat gezegd, veel weet ik er niet van waarom de Window Size zo drastisch omlaag gaat als Windows de client is en hoe dit valt te tunen. Dat is altijd nog iets wat ik wilde uitzoeken.

[FireDrunk]

Windows doet gewoon aan auto tuning? Dus afhankelijk van de load gaat je window size omhoog?

https://technet.microsoft.com/en-us/library/hh826132.aspx

Hier kan je de instellingen wijzigen.

[Anoniem: 15758]

Het punt is dat bij mensen waarbij ze lage CIFS performance hebben maar iperf met hoge TCP Window Size parameters wel genoeg bandbreedte haalt, de default TCP window size erg laag blijft (8K). Testen ze tussen twee ZFSguru machines, dan is de window size 128K en halen ze zonder tuning alles uit hun gigabit link.

Ik vermoed dat een wisselwerking tussen TCP stack van BSD en die van Windows niet altijd optimaal werkt. Het is echter niet altijd zo dat Windows geen goede CIFS performance haalt, dus waar het nou precies aan ligt weet ik ook niet. Maar als mensen slechte CIFS performance halen, is de TCP Window Size standaard altijd 8KiB met slechte iPerf performance tot gevolg. Dus ik had het vermoeden dat hier het probleem ligt.

Je geeft me een URL van Windows 10. Ik geloof best dat het daar beter is. Maar Windows 7 is denk ik vooral de client OS waar de performance problemen bij opdoken.

[ Voor 10% gewijzigd door Anoniem: 15758 op 05-03-2016 10:34 ]

[Q]

Ok helder, ik draai geen Windows en geen BSD dus ik geloof het wel, om eerlijk te zijn.

Met een single transfer haal ik trouwens 15 Gbit, terwijl de kaartjes 20 Gbit zijn. Mogelijk valt er nog wat te tunen, maar ik heb ze in mijn HP Microservers gestopt en dat zijn niet de grootste snelheidsmonsters.

[Pantagruel]

Anoniem: 15758 schreef op zaterdag 05 maart 2016 @ 10:33:
Het punt is dat bij mensen waarbij ze lage CIFS performance hebben maar iperf met hoge TCP Window Size parameters wel genoeg bandbreedte haalt, de default TCP window size erg laag blijft (8K). Testen ze tussen twee ZFSguru machines, dan is de window size 128K en halen ze zonder tuning alles uit hun gigabit link.

Ik vermoed dat een wisselwerking tussen TCP stack van BSD en die van Windows niet altijd optimaal werkt. Het is echter niet altijd zo dat Windows geen goede CIFS performance haalt, dus waar het nou precies aan ligt weet ik ook niet. Maar als mensen slechte CIFS performance halen, is de TCP Window Size standaard altijd 8KiB met slechte iPerf performance tot gevolg. Dus ik had het vermoeden dat hier het probleem ligt.

Je geeft me een URL van Windows 10. Ik geloof best dat het daar beter is. Maar Windows 7 is denk ik vooral de client OS waar de performance problemen bij opdoken.

De performance problemen van Windows 7 bij gebruik van Infiniband (IB) en cifs zijn te wijten aan het feit dat Win 7 cifs geen multi-path ondersteuning biedt. IB kan 8 parallelle transfers aan maar Win 7 knijpt de boel af tot slechts 1 transfer en beperkt dus je bandbreedte. Als je een SRP target inricht dan vallen de beperkingen weg en kan Win7 volle bak over IB (bij gebruik van een RAM disk als SRP target 900+ MB/sec over 10 Gbit IB onder linux). Linux naar linux laat dezelfde getallen zien. Met BSD+IB en windows heb ik geen ervaring, de IB attached storage draait linux en ZoL.

[Anoniem: 15758]

De problemen die ik hoorde van mensen die ZFSguru gebruiken, zijn mensen met regulier gigabit ethernet, dus geen Infiniband. Met een hogere TCP window size behalen ze 900Mbps+ met iPerf, maar zonder override valt deze terug tot 8KiB en is ook met iPerf de bandbreedte vele malen lager. Dat heeft vervolgens ook zijn invloed op de daadwerkelijk behaalde CIFS performance. Niet iedereen heeft hier last van, dus ik weet ook niet precies wat de oorzaak is. Maar ik vermoed dus iets tussen Windows 7 en BSD en mogelijk in combinatie met bepaalde netwerkdrivers (Realtek?!).

[Pantagruel]

Anoniem: 15758 schreef op maandag 07 maart 2016 @ 16:47:
De problemen die ik hoorde van mensen die ZFSguru gebruiken, zijn mensen met regulier gigabit ethernet, dus geen Infiniband.

De IB was vanwege Q:

Q schreef op zaterdag 05 maart 2016 @ 01:32:

code:

----total-cpu-usage---- -dsk/total- --net/ib0-----net/ib1-- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send: recv  send|  in   out | int   csw 
  1  47  41   0   0  10|   0  2867B|1245M 1240M:   0     0 |   0     0 |  40k   28k
  1  47  39   2   0  11|5360k 5325B|1244M 1235M:   0     0 |   0     0 |  40k   28k
  3  49  15  20   0  13|  63M   62k|1195M 1187M:   0     0 |   0     0 |  39k   25k

code:

------------------------------------------------------------
Client connecting to 10.0.4.3, TCP port 5001
TCP window size: 4.00 MByte (default)
------------------------------------------------------------
[  5] local 10.0.4.1 port 52572 connected with 10.0.4.3 port 5001
[  4] local 10.0.4.1 port 5001 connected with 10.0.4.3 port 44124
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0-60.0 sec  71.9 GBytes  10.3 Gbits/sec
[  4]  0.0-60.0 sec  72.2 GBytes  10.3 Gbits/sec

Infiniband

Met een hogere TCP window size behalen ze 900Mbps+ met iPerf, maar zonder override valt deze terug tot 8KiB en is ook met iPerf de bandbreedte vele malen lager. Dat heeft vervolgens ook zijn invloed op de daadwerkelijk behaalde CIFS performance. Niet iedereen heeft hier last van, dus ik weet ook niet precies wat de oorzaak is. Maar ik vermoed dus iets tussen Windows 7 en BSD en mogelijk in combinatie met bepaalde netwerkdrivers (Realtek?!).

Het zou me niet helemaal verbazen als er schommelingen zijn met RealTek (of Broadcom) gebaseerde nic's, ondanks dat ze tegenwoordig behoorlijk goed werken (was in t verleden wel anders).
Het probleem kan soms ook zijn dat moederbord producent hun 'eigen variant' draaien van een RealTek nic waardoor er driver incompatibiliteit ontstaat (Intel heeft wel eens een "eigen" RealTek nic gehad op een budget bordje) en je met *nix-achtigen tegen rare problemen aanliep.

Wat dat betreft lijkt het devies voor *nix dus nog steeds 'neem een Intel based nic' te zijn.

[FireDrunk]

Q schreef op zaterdag 05 maart 2016 @ 01:32:

code:

----total-cpu-usage---- -dsk/total- --net/ib0-----net/ib1-- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send: recv  send|  in   out | int   csw 
  1  47  41   0   0  10|   0  2867B|1245M 1240M:   0     0 |   0     0 |  40k   28k
  1  47  39   2   0  11|5360k 5325B|1244M 1235M:   0     0 |   0     0 |  40k   28k
  3  49  15  20   0  13|  63M   62k|1195M 1187M:   0     0 |   0     0 |  39k   25k

code:

------------------------------------------------------------
Client connecting to 10.0.4.3, TCP port 5001
TCP window size: 4.00 MByte (default)
------------------------------------------------------------
[  5] local 10.0.4.1 port 52572 connected with 10.0.4.3 port 5001
[  4] local 10.0.4.1 port 5001 connected with 10.0.4.3 port 44124
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0-60.0 sec  71.9 GBytes  10.3 Gbits/sec
[  4]  0.0-60.0 sec  72.2 GBytes  10.3 Gbits/sec

Infiniband

Wat voor kitje gebruik je?

[Q]

Q in "De CSL/OT-kroeg"

Drie stuks van deze in drie HP Microserver Proliants G8 met 10 GB geheugen.
Het verkeer is tussen twee van deze machines.

Ceph cluster!

Wel fragiel want de Gen8 is half-height en de kaarten zijn full height.
In de toekomst wil ik de hardware overzetten tussen mijn download server en mijn 71 TB NAS.

[ Voor 30% gewijzigd door Q op 08-03-2016 12:50 ]

[rikadoo]

Ik ga een Norco RPC 4220 halen met 20 bays, nu lees ik hier gemengde berichten over. Is er iemand die ervaring hiermee heeft met deze kast?

Lees veel problemen met backplanes etc.

[jacovn]

Ik heb 2 maal een 4220 jaren gebruikt (ze staan uit tenzij ik ze gebruik dus qua uren is het niet zo veel)
2 defecte backplanes totaal. Dat was direct bij aanschaf, daarna geen issue meer gehad.

[Q]

http://arstechnica.com/ap...les-new-apfs-file-system/

Apple's nieuwe file system doet niet aan data checksumming. Dat is opvallend, want ZFS en BTRFS doen het wel. Het schijnt dat de reden met name is dat ze de onderliggende storage betrouwbaar genoeg achten (doet al ECC in hardware) dat ze het niet zelf nog eens doen.

Opvallend.

[Q]

YouTube: Intel What Is the Value of Your Data?

Intel promoot haar SSD producten door wat stats vrij te geven over HDD silent data corruptie statistieken.
Hun stats: dat 1 op de 215 drives* in een jaar een silent data corruptie bit heeft.

* SAS Nearline drives in een datacenter 24/7.

[Nindustries]

Heeft er iemand al eens naar infinit.sh gekeken?
Zou wel cool zijn om een mediacollectie te stripen over verschillende servers van de mensen hier, met een replicationfactor >1. Ook is er een docker volume plugin, waardoor je simpel een plex container kan starten ermee.

Geinteresseerden?

Je kan blijkbaar ook zonder hun 'hub' functioneren door config files te distribueren.

[ Voor 13% gewijzigd door Nindustries op 25-08-2016 16:27 ]

[Anoniem: 15758]

Ik ben van plan één van mijn fileservers te upgraden van een 10-disk RAID-Z2 naar een 19-disk RAID-Z3, dus 9 disks erbij. Probleem is wel dat enkele disks 5400rpm-class zijn, en dat natuurlijk niet echt handig werkt. Dat gezegd, het is een backup server dus snelheid is niet extreem belangrijk; als hij maar in een nacht kan syncen en weer uit kan gaan.

Deze schijf is nu voor €79 (3TB, 7200rpm, Toshiba) pricewatch: Toshiba DT01ACA300, 3TB. Sommigen zeggen dat ze een rebranded Hitachi kregen, dat zou goed nieuws zijn. Toch niet heel bijzondere performance voor een 7200rpm schijf; mijn 6TB WD Green is sneller zie sequential I/O, want die heeft 1200GB ipv 1000GB platters. Dat is dan kennelijk al genoeg om de gap tussen 5400rpm-class en 7200rpm te overbruggen.

Maar prijstechnisch zou deze upgrade het beste zijn heb ik berekend; want dit is de goedkoopste schijf per TB (26 euro per TB - anderen zijn al gauw 35 euro per TB). En uitbreiden naar een RAID-Z3 betekent dat ik er qua parity overhead op vooruitga, terwijl 3 schijven kunnen uitvallen. Ik beschouw een 19-disk RAID-Z3 misschien wel als superieur aan een 10-disk RAID-Z2, ook al is de parity overhead lager. 3 disks uitvallen is best wel een stootje. Alleen een gemeenschappelijke oorzaak (bliksem, brand, diefstal) zou uitval van meerdere (3+) schijven mogen veroorzaken binnen korte tijd. Dus dat zou je genoeg tijd moeten geven om een gefaalde schijf te replacen voor een nieuwe.

Nadeel van mijn keuze is wel dat de huidige 10-disk RAID-Z2 vernietigd wordt. Het is een backup, dus op zich kan alles weg. Maar dan heb ik geen backup meer. Daarom maak ik mijn nieuwe 19-disk RAID-Z3 straks aan als 16-disk RAID-Z3 met 3 schijven missend. Die drie maak ik dan een tijdelijke RAID0 pool van, dus 9TB. Daar kan ik de meest belangrijke dingen eerst naartoe syncen voordat ik de RAID-Z2 pool vernietig. Pas dan maak ik de RAID-Z3 aan met 16 disks, terwijl de overige 3 disks in de tijdelijke pool zitten met een backup van de belangrijkste data. Dan begin ik met syncen van de alle data naar de 16-disk RAID-Z3 pool. Als dat voltooid is, voeg ik de 3 schijven weer toe aan de RAID-Z3 pool zodat deze volledig online bestaat uit 19 schijven.

19 schijven is een magisch getal omdat zonder de parity je op 16 uitkomt, een macht van twee. Dat is beter voor de beschikbare opslagruimte. Met large_blocks feature ingeschakeld, waardoor de recordsize van 128K naar 1024K kan stijgen, zorg je ervoor dat de disks niet 128K/16 = 8KB blokjes verstouwen, maar blokken van 1024K/16 = 64KB. Dat is vele malen sneller, maar werkt alleen voor grote bestanden. Hele kleine bestanden (ook met hulp van LZ4-compressie) kunnen met de embedded_data feature ook binnen de pointer worden opgeslagen en sparen zo veel ruimte. Want heel veel kleine files op een pool met veel disks in dezelfde vdev, kost je veel opslagruimte die je effectief niet kunt benutten; slack heet dat.

Ik heb een leuk grafiekje:



Mijn 19-disk RAID-Z3 moet je zoeken naar 16 data disks in de grafiek; want die is zonder de parity disks. Daar zie je dat een 4K optimized pool op 16 data disks het enorm goed doet, ipv bijvoorbeeld 15 data disks. Echter, dit is zonder gebruik van de large_blocks en embedded_data feature. In de praktijk is het verschil kleiner, behalve voor kleine files die net te groot zijn voor de embedded_data feature. Daarom houd ik me toch aan de regel: macht-van-twee voor het aantal data disks (totale disks minus parity disks).

Was eigenlijk benieuwd hoe jullie je ZFS NAS uitbreiden?

[ Voor 61% gewijzigd door Anoniem: 15758 op 04-09-2016 16:42 ]

[Pantagruel]

Anoniem: 15758 schreef op zondag 04 september 2016 @ 16:24:

TL;DR

Was eigenlijk benieuwd hoe jullie je ZFS NAS uitbreiden?

Ik heb er destijds (maart 2015) een tweede array bij geplaatst, de ruimte was er in de kast. Bij een toekomstige verandering wordt het wel nadenken, het betekend t verplaatsen/vervangen van het kleinste array en het is nu rik raden hoe dat zal gaan verlopen (maar dat zien ik dan wel weer).

[Anoniem: 15758]

Of gewoon een 2e server? Waarom persé alles in één machine? Qua prijs hoef je de aanschaf van een simpel mobo/cpu/ram systeempje niet te laten; N3160 bijvoorbeeld. Als je zonder ECC kunt tenminste.

[Pantagruel]

Anoniem: 15758 schreef op maandag 05 september 2016 @ 10:57:
Of gewoon een 2e server? Waarom persé alles in één machine? Qua prijs hoef je de aanschaf van een simpel mobo/cpu/ram systeempje niet te laten; N3160 bijvoorbeeld. Als je zonder ECC kunt tenminste.

Dat is idd een optie.
De huidige setup is fysiek en hardware technisch ruim genoeg bemeten om de 2e array te omvatten dus waarom dan ook niet.
Wel of geen ECC is een overweging die ieder voor zichzelf mag maken, wat mij betreft geldt dat als je lonkt naar server grade hardware ECC er bijhoort en je de extra kosten in de rekening meeneemt.
Wellicht als HTPC is zo'n N3160 bordje bruikbaar, qua storage wellicht te beperkt (max 4x SATA of een PCIe x16 slot dat electrisch op x1 draait.

[Anoniem: 15758]

Ga je toch de ECC route is 10G ethernet ook leuk. Ik bedoel je zit toch al in een andere price range, dan ben ik geneigd om full-out te gaan. Maar dan wel op een leuk 'koopmoment'. Bijvoorbeeld wanneer serverbordjes met 10GbE (10GBaseT) flink goedkoper worden. Laatst had ik dacht ik een bordje van tussen de 400 en 500 euro met 10G ethernet erop. Dat is al flink goedkoper dan de Xeon-D die gruwelijk sexy voor een NAS is, maar ook gruwelijk duur. De losse X540/X550 adapters van Intel blijven erg prijzig.

Dat gezegd, AMD Zen zou ook nog leuk speelgoed kunnen worden eind dit jaar. Mogelijk allemaal wat goedkoper.

[FireDrunk]

Als merk je niet zoveel uitmaakt: Kijk eens naar Chelsio, die hebben echt _hele_ goedkope 10Gb adapters (Lees: 28$ op eBay). Werken (mits je de iets recentere modellen pakt) prima onder Linux en ESXi. (BSD geen idee).

HyperBart kwam met een vrij basaal testje op ~6Gb doorvoersnelheid...

[Pantagruel]

Anoniem: 15758 schreef op maandag 05 september 2016 @ 12:41:
Ga je toch de ECC route is 10G ethernet ook leuk. Ik bedoel je zit toch al in een andere price range, dan ben ik geneigd om full-out te gaan. Maar dan wel op een leuk 'koopmoment'. Bijvoorbeeld wanneer serverbordjes met 10GbE (10GBaseT) flink goedkoper worden. Laatst had ik dacht ik een bordje van tussen de 400 en 500 euro met 10G ethernet erop. Dat is al flink goedkoper dan de Xeon-D die gruwelijk sexy voor een NAS is, maar ook gruwelijk duur. De losse X540/X550 adapters van Intel blijven erg prijzig.

Dat gezegd, AMD Zen zou ook nog leuk speelgoed kunnen worden eind dit jaar. Mogelijk allemaal wat goedkoper.

Klopt, 10GbE op termijn (mag ik de switch en ook alle kabels in t huis vervangen, nu Gbit/cat 5e) , Gbit voldoet in de thuis situatie nu nog steeds (luxe probleem zullen we maar zeggen). Eerlijk gezegd zijn er inmiddels meer wireless dan wired devices in gebruik in de huishouding dus optimaal gebruik maken van de 'line speed' is er steeds minder bij.
Leuke, sexy server hardware is en blijft kostbaar speelgoed;)

[Anoniem: 15758]

Maar je wireless systemen zullen vooral films streamen bijvoorbeeld, maar niet zo snel bulk data heen en weer gaan slepen, zoals je wel doet tussen verschillende NAS systemen die elkaar backuppen. En eventueel naar dedicated VM hosts, etc.

Over Braswell N3160 nog: je hebt standaard 4x SATA, maar je hebt wel minimaal één keer Mini-PCIe, daar kan ik een 2x SATA/600 ASMedia kaartje voor gebruiken. En je kun teen Delock 10x SATA op de PCI-express x1 of x2 zetten. SuperMicro heeft 2 lanes op de PCI-express x4 slot. Andere bordjes hebben vaak maar één lane. Met twee lanes deel je 1GB/s voor 10 schijven. In de praktijk vaak prima, zeker voor gigabit. Zelfs één lane zou voor een instapserver helemaal prima zijn.

Delock 10x SATA kaartje werkt lekker onder BSD inmiddels. Gewoon AHCI dus native drivers, geen heatsink, geen fan, laag energieverbruik en features als TRIM werken gewoon, wat niet zomaar werkt met een SAS controller met STP (SATA Tunneling Protocol) onder BSD. Ook erg goedkoop per poort. Nadeel is wel dat je niet met Mini-SAS kabels werkt. Dus enorme kabelbrij.

Dus 4+2+10=16 disks mogelijk op een Mini-ITX Braswell systeem. Meer disks rechtvaardigt toch wel een duurder systeem. Dan is het geen instapserver meer.

N3160 heeft wel de beschikking over AES-NI, waardoor je dus encryptie kunt gebruiken. De J1900 die ik ook heb, kan maar met moeite 60-70MB/s stouwen met software encryptie, waarbij alle 4 de cores gebruikt worden. Kortom, N3160 platform vind ik best leuk als goedkoop maar schattig speelgoed.

[Pantagruel]

Anoniem: 15758 schreef op maandag 05 september 2016 @ 13:48:
Maar je wireless systemen zullen vooral films streamen bijvoorbeeld, maar niet zo snel bulk data heen en weer gaan slepen, zoals je wel doet tussen verschillende NAS systemen die elkaar backuppen. En eventueel naar dedicated VM hosts, etc.

Doorgaans wel (kids met de tablet of smartphone die x264 mkv-tjes streamen). Af en toe doet de betere helft haar foto's overzetten vanaf de smartphone op de iMac (zomervakantie 8 Gib) en dan op de server, dat duurt dan wel even.
De ESXi bak draait alles lokaal, het handje vol vm's past op een 80 Gib SSD-tje. De download vm heeft zijn eigen storage deel dat aan een HBA hangt (passthrough). De backup server hangt aan het netwerk middels de powerline , ik had me voor genomen om cat7 door de kruipruimte te trekken, maar ik krijg mijn 'atletisch gebouwde lichaam' niet veel verder dan de opening van de kruipruimte. Ook al is deze ca 50 cm hoog (zandbed tot onderzijde vloerplaten) zitten alle leidingen op ca 10 cm van t 'plafond' . Vergt t nodige graven voordat ik achter bij t huis ben belandt om onder de diverse rioleringsbuizen door te komen en vervolgens richting de garage kan oversteken. De motivatie zakte me spontaan in de schoenen .

Over Braswell N3160 nog: je hebt standaard 4x SATA, maar je hebt wel minimaal één keer Mini-PCIe, daar kan ik een 2x SATA/600 ASMedia kaartje voor gebruiken. En je kun teen Delock 10x SATA op de PCI-express x1 of x2 zetten. SuperMicro heeft 2 lanes op de PCI-express x4 slot. Andere bordjes hebben vaak maar één lane. Met twee lanes deel je 1GB/s voor 10 schijven. In de praktijk vaak prima, zeker voor gigabit. Zelfs één lane zou voor een instapserver helemaal prima zijn.

Delock 10x SATA kaartje werkt lekker onder BSD inmiddels. Gewoon AHCI dus native drivers, geen heatsink, geen fan, laag energieverbruik en features als TRIM werken gewoon, wat niet zomaar werkt met een SAS controller met STP (SATA Tunneling Protocol) onder BSD. Ook erg goedkoop per poort. Nadeel is wel dat je niet met Mini-SAS kabels werkt. Dus enorme kabelbrij.

Dus 4+2+10=16 disks mogelijk op een Mini-ITX Braswell systeem. Meer disks rechtvaardigt toch wel een duurder systeem. Dan is het geen instapserver meer.

N3160 heeft wel de beschikking over AES-NI, waardoor je dus encryptie kunt gebruiken. De J1900 die ik ook heb, kan maar met moeite 60-70MB/s stouwen met software encryptie, waarbij alle 4 de cores gebruikt worden. Kortom, N3160 platform vind ik best leuk als goedkoop maar schattig speelgoed.

Idd de N3160 is leuk als je een kleinere NAS in t vizier hebt, relatief goedkoop, compact qua behuizing en toch redelijk wat opslag potentie.

[A1AD]

O mijn god, heeft er al iemand eens een RMA naar Seagate gestuurd? Mijn 2de aangetekende poging (vanuit Belgie) is weeral terug.

Eerste poging: adres dat ik bij de RMA aanvraag heb gekregen. (ni
2de poging: Seagate koolhovenlaan 1, 1119 Schiphol-rijk (gevonden op internet..)

Iemand tips voor een 3de poging? Het terug sturen kost me al meer dan de schijf zelf, wat een drama zeg

[Pantagruel]

A1AD schreef op woensdag 7 december 2016 @ 09:56:
O mijn god, heeft er al iemand eens een RMA naar Seagate gestuurd? Mijn 2de aangetekende poging (vanuit Belgie) is weeral terug.

Eerste poging: adres dat ik bij de RMA aanvraag heb gekregen. (ni
2de poging: Seagate koolhovenlaan 1, 1119 Schiphol-rijk (gevonden op internet..)

Iemand tips voor een 3de poging? Het terug sturen kost me al meer dan de schijf zelf, wat een drama zeg

Niet recentelijk, maar in t verleden nooit problemen gehad met t adres dat op de RMA formulieren staat.

[Q]

Eindelijk InfiniBand aangesloten.

http://louwrentius.com/us...-to-point-networking.html

Performance is niet optimaal maar acceptabel. Ik ben blij met 750 MB/s over NFS.

[FireDrunk]

Q schreef op zondag 26 maart 2017 @ 00:59:
Eindelijk InfiniBand aangesloten.

http://louwrentius.com/us...-to-point-networking.html

Performance is niet optimaal maar acceptabel. Ik ben blij met 750 MB/s over NFS.

Nice! Probeer voor de grap ook eens iperf -P 4 of 10. Dat zal misschien ook nog wel iets meer performance opleveren.

[Q]

FireDrunk schreef op maandag 27 maart 2017 @ 08:25:
[...]


Nice! Probeer voor de grap ook eens iperf -P 4 of 10. Dat zal misschien ook nog wel iets meer performance opleveren.

Gedaan, maar dat hielp niet helaas. Ik denk dat als ik naar Ubuntu of CentOS zou switchen dat de performance met hun drivers beter zou zijn, maar ik vind het best zo.

[FireDrunk]

Hmm, waarom denk je dat? Vanwege de nieuwere kernel?

[Q]

FireDrunk schreef op maandag 27 maart 2017 @ 10:18:
Hmm, waarom denk je dat? Vanwege de nieuwere kernel?

Ja, ik haalde op de microservers met nieuwe Ubuntu destijds gewoon 10 tot 15 Gbit, hierboven nog ergens gepost. Er is ook een kleine kans dat het de hardware is (moederbord in combinatie met deze kaartjes).


CiPHER zag ik in een topic deze kaart noemen:

pricewatch: Qlogic QLE3442-CU-CK

Lijkt me ook een veilige optie. (Geen 2ehands zooi van Ebay) Ben benieuwd naar ervaringen.

De afgebeelde kaart blijkt verkeerd te zijn. Tweakers.net pricewatch zit vol fouten.

Als je naar de type aanduiding kijkt dan zie je dat dit de echte RJ45 10Gbe kaart is.

pricewatch: Qlogic QLE3442-RJ-CK - FastLinQ 3400 10 GbE Series

Die is veel duurder.

[ Voor 23% gewijzigd door Q op 27-03-2017 11:27 ]

[FireDrunk]

http://www.ebay.com/itm/Q...655e29:g:L1oAAOSw44BYJgED

Ze zijn er ook wel iets goedkoper. Maar duurder zijn ze zeker.

EDIT: je kan ook nog even naar power saving kijken, in sommige gevallen is C1/C3 een extreme bottleneck qua performance. VMware heeft ooit eens in een whitepaper laten zien, dat als je Dell / HP servers op Max Performance zet (uitzetten van C-states / P-states etc) dat vMotions echt 20-50% sneller gingen in sommige gevallen.

Heeft te maken met de snelheid die het kost om uit een bepaalde C-/P-state te komen.

[ Voor 50% gewijzigd door FireDrunk op 27-03-2017 16:09 ]

[Pantagruel]

Q schreef op zondag 26 maart 2017 @ 00:59:
Eindelijk InfiniBand aangesloten.

http://louwrentius.com/us...-to-point-networking.html

Performance is niet optimaal maar acceptabel. Ik ben blij met 750 MB/s over NFS.

Hehe maar mooi hoor

Q schreef op maandag 27 maart 2017 @ 09:00:
[...]


Gedaan, maar dat hielp niet helaas. Ik denk dat als ik naar Ubuntu of CentOS zou switchen dat de performance met hun drivers beter zou zijn, maar ik vind het best zo.

NFS over RDMA (ietwat oud Mellanox doc) kan nog wat extra oempf opleveren in vergelijking tot IPoIB. Ik heb destijds ondervonden dat IPoIB altijd vertraging met zich bracht in vergelijking tot protocollen die IB direct gebruiken (iSCSI/SRP destijds getest). Uiteindelijk gaf SRP destijds (5jr geleden alweer) de beste snelheid tussen de linux server en de windows machine. In de tussentijd zal er heus wel t nodige veranderd/verbeterd zijn.

[ Voor 3% gewijzigd door Pantagruel op 29-03-2017 12:40 . Reden: Mellanox doc NFSoRDMA ]

[Q]

Ik wil een beetje knoeien met FIO voor storage benchmarks en dat dan naar coole graphs vertalen.



Tooltje is nog niet gereleased, maar zoiets kun je verwachten.

Je ziet dat als de queue depth voorbij 4 disks gaat de latency oploopt.

[FireDrunk]

Welke FIO opties gebruik je onderwater?

[Q]

Niets speciaals, als de tool vrij komt dan zal ik ook een simpel scriptje + config mee releasen.
Deze tool vertaalt de individuele json output van meerdere benchmarks naar een grafiekje zoals deze.

[Q]

Fio-plot gereleased.

https://github.com/louwrentius/fio-plot

[ Voor 23% gewijzigd door Q op 04-04-2017 22:51 ]

[FireDrunk]

Sweet! Dat is wel nice zeg! Goed bezig!

[Q]

Code is nog niet release-waardig.

[deadlock2k]

-

[ Voor 99% gewijzigd door deadlock2k op 06-08-2021 15:27 ]

[Bill_E]

Ik wil er geen topic aan wagen, maar vast wel iemand die weet hoeveel bier ( of euro's ) ik kan vragen voor mijn netgear readynas RNDP4000 zonder schijven en precieze leeftijd onbekend. Staat al een tijdje in de kast niets te doen.

[FireDrunk]

@deadlock2k SD kaartjes in zo'n sata ding? 5 van die kaartjes worden dan dmv RAID0 aangesproken als 1 schijf, is best goedkoop.

[Q]

Voor wie het leuk vind en nog niet zo bekend is met Ceph:

Ik heb een introductie over Ceph geschreven op mijn blog.

http://louwrentius.com/un...rce-scalable-storage.html

[brambello]

Zullen NAS schijven van Seagate en WD goedkoper worden met Black Friday? Of gebeurt dat voor zulke producten niet?

[Q]

Voor wie het leuk vind:

Een artikeltje over mijn Ceph Storage cluster

https://louwrentius.com/m...-and-hp-microservers.html

[World Citizen]

Voordat ik een hele zondag ga zoeken,

Heeft iemand wel eens een DELL backplane aan een andere PC gehangen?
Danwel via een SAS PCI kaartje, danwel via een Reverse breakout cable?

Als iemand een "ja dat zou kunnen werken" ervaring heeft is het voldoende. Dan ga ik zelf wel zoeken.

[ Voor 8% gewijzigd door World Citizen op 31-03-2019 09:58 ]

[World Citizen]

World Citizen schreef op zondag 31 maart 2019 @ 09:56:
Voordat ik een hele zondag ga zoeken,

Heeft iemand wel eens een DELL backplane aan een andere PC gehangen?
Danwel via een SAS PCI kaartje, danwel via een Reverse breakout cable?

Als iemand een "ja dat zou kunnen werken" ervaring heeft is het voldoende. Dan ga ik zelf wel zoeken.

Als antwoord,

Ja dit gaat. De DELL H200 en H300 controllers kun je prima in andere systemen gebruiken. Je kunt dan kiezen om er een backpanel bij te nemen die je aansluit met een SAS naar SAS kabel (let op type aansluiting), of je kunt een breakout kabel kopen van SAS naar 4xSATA.

Kabel komt binnen 2 weken binnen dus dan kan ik het testen.

[World Citizen]

Gezien dit voor mij erg goed nieuws is, en een enorme meevaller:

Als je een DELL H200 RAID controller hebt, dan staat er in de specs dat deze maar 4 schijven aan kan.

Ik had dus breakoutcables besteld van 1x SAS naar 2x SATA. Je hebt namelijk 2 SAS aansluiting op de kaart, en dan kun je dus 4 schijven aansluiten.

Maar omdat ik wist dat het officiële Breakoutboard van DELL meer schijven ondersteund icm de H200, had ik voor de grap ook kabels meebesteld die van 1x SAS naar 4x SATA gaan.

Uiteraard testen we dat en warempel, het werkt

Je steekt dus op beide poorten van de H200 een breakout naar 4x SATA en dan sluit je 8 schijven aan.

Als je op zoek bent naar goedkoop veel schijven aansluiten, dan is dit wel een idee. En gezien ik toch maar 1/2 schijven tegelijk benader... maakt het niet uit.

(Nu kan ik dus nog een RAID kaart extra bijsteken.)

[Dutch2007]

World Citizen schreef op zondag 5 mei 2019 @ 19:18:
Gezien dit voor mij erg goed nieuws is, en een enorme meevaller:

Als je een DELL H200 RAID controller hebt, dan staat er in de specs dat deze maar 4 schijven aan kan.

Ik had dus breakoutcables besteld van 1x SAS naar 2x SATA. Je hebt namelijk 2 SAS aansluiting op de kaart, en dan kun je dus 4 schijven aansluiten.

Maar omdat ik wist dat het officiële Breakoutboard van DELL meer schijven ondersteund icm de H200, had ik voor de grap ook kabels meebesteld die van 1x SAS naar 4x SATA gaan.

Uiteraard testen we dat en warempel, het werkt

Je steekt dus op beide poorten van de H200 een breakout naar 4x SATA en dan sluit je 8 schijven aan.

Als je op zoek bent naar goedkoop veel schijven aansluiten, dan is dit wel een idee. En gezien ik toch maar 1/2 schijven tegelijk benader... maakt het niet uit.

(Nu kan ik dus nog een RAID kaart extra bijsteken.)

Zou dit ook met een H220 werken?

Ik heb "via-via" daar eentje van gekocht

HP H220 6Gbps SAS PCI-E 3.0 HBA LSI 9207-8i P20 IT Mode for ZFS FreeNAS unRAID

Heb nu 2x2 (1xSAS naar 2x SATA, maar 1x SAS naar 4xSATA (en dat 2x) zou wel erg handig zijn...)

http://www.arp.com/medias/14254508.pdf
Capacity Fulfilling the need for high performance and capacity expansion, the HP H220 SAS HBA offers:
Eight 6 Gbps SAS physical links supporting up to 2 simultaneous x4 Wide SAS Ports
Capacity up to 42 TB of SAS or 42 TB SATA

[ Voor 9% gewijzigd door Dutch2007 op 06-05-2019 10:04 ]

[World Citizen]

Dutch2007 schreef op maandag 6 mei 2019 @ 09:54:
[...]


Zou dit ook met een H220 werken?

Goede vraag, en echt zekerheid durf ik je niet te geven, maar:

A: Je mag altijd komen testen, of opsturen dat ik het test. Doe ik graag voor je.
B: Een kabel op Ali is niet gek duur. Dus testen is te doen.

Als het niet werkt wil ik de kabels wel van je overnemen. (bestel ze dan wel van 1 meter)


Ik verwacht dat het wel werkt. Ik dacht zelf dat het officiele breakoutboard wellicht intiligentie had waardoor je meer schijven aan kan sluiten, maar achteraf gezien is dat dus niet. De H200 ondersteund het dus gewoon. "ik neem aan" dat het gewoon gaat werken.

EDIT @Dutch2007 Stuur eens een link van de DELL site. Ik kan de 220 nergens vinden en wil wel even zoeken voor je. Is het niet gewoon een H200?

Of maak een foto, of vertel me waar je 220 hebt zien staan... Dan kijk ik of ik dat bij mij ook terug kan vinden.

[ Voor 10% gewijzigd door World Citizen op 06-05-2019 17:00 ]

[Dutch2007]

World Citizen schreef op maandag 6 mei 2019 @ 16:30:
[...]


Goede vraag, en echt zekerheid durf ik je niet te geven, maar:

A: Je mag altijd komen testen, of opsturen dat ik het test. Doe ik graag voor je.
B: Een kabel op Ali is niet gek duur. Dus testen is te doen.

Als het niet werkt wil ik de kabels wel van je overnemen. (bestel ze dan wel van 1 meter)


Ik verwacht dat het wel werkt. Ik dacht zelf dat het officiele breakoutboard wellicht intiligentie had waardoor je meer schijven aan kan sluiten, maar achteraf gezien is dat dus niet. De H200 ondersteund het dus gewoon. "ik neem aan" dat het gewoon gaat werken.

EDIT @Dutch2007 Stuur eens een link van de DELL site. Ik kan de 220 nergens vinden en wil wel even zoeken voor je. Is het niet gewoon een H200?

Of maak een foto, of vertel me waar je 220 hebt zien staan... Dan kijk ik of ik dat bij mij ook terug kan vinden.

Het is eentje van HP

https://www.spareit.nl/servers/opties-server/hba/650933-b21

Deze is 't.

https://h20195.www2.hpe.com/v2/GetPDF.aspx/c04111455.pdf

Capacity Fulfilling the need for high performance and capacity expansion, the HPE H220 SAS HBA offers:
• Eight 6 Gbps SAS physical links supporting up to 2 simultaneous x4 Wide SAS Ports
• Capacity up to 42 TB of SAS or 42 TB SATA


Dus als die 8 links heeft, dan zou 't dus ook met SATA moeten werken..

Zo "duur" issue ook niet, 2e hands voor ~50 euro gekocht (via ebay),

https://www.ebay.com/itm/...ksid=p2060353.m1438.l2649

[World Citizen]

@Dutch2007

Ahh dat makkt het duidelijker

Maar dan denk ik dat je geluk hebt want de handleiding zegt dat er 8 op kunnen.

Designed to be as flexible as HP servers, HP H220 Host Bus Adapter provides support for the tape drives
and both SAS and SATA HDDs. The HP adapter delivers exceptional system performance, with eight 6 Gb/s
SAS ports providing up to 48 Gb/s total storage bandwidth.


http://www.arp.com/medias/14254508.pdf
Pagina 3

[FireDrunk]

Heb volgens mij nog wel een M1015 liggen als je nodig hebt.

[World Citizen]

FireDrunk schreef op maandag 6 mei 2019 @ 17:33:
Heb volgens mij nog wel een M1015 liggen als je nodig hebt.

Dat is toch eigenlijk dezelfde als de DELL H200, althans... de firmware van die LSI kaart kun je ook naar je H200 flashen voor IT mode.

Ik zou om 2 redenen van die H200 afwillen.
- Hij doet geen RAID 5
- Hij word 80 graden (in vergelijking, de H310 word maar 30 graden)

Maar een model wat hoger ligt zou ik dan inclusief Cache en BBU willen, en dan zit je al weer snel aan de 150 euro (niet marktplaats).

Maar als je puur veel schijven wilt aansluiten en niet aan RAID doet (0, 1 en 10 kan wel.. maja...beetje duur), dan is deze H200 voor 30 euro niet duur. 2 kabels erbij van ieder 5 euro, en je kunt 8 schijven aansluiten.

(overigens haal je op PCI x4 prima snelheden, dus als je meerdere H200 kaarten erin hangt is je enigste probleem de koeling. )

[ Voor 9% gewijzigd door World Citizen op 06-05-2019 18:43 ]

[FireDrunk]

Ja klopt, alleen is de M1015 soms iets makkelijker te flashen, Dell kaarten doet soms wat lastig vanwege andere PCI ID's, maar doorgaans moet het inderdaad wel lukken.

RAID5 op een kaart is echt hopeloos verouderd. Je wil (met de grote schijven van tegenwoordig) *minimaal* RAID6, en als je data je echt lief is, ga je voor ECC + ZFS, maar dat is een andere discussie.

Bij schijven groter dan 2-3TB wil je gewoon geen RAID5.

Persoonlijk zou ik lekker voor een simpele setup gaan, en gewoon goede backups maken. Werkt veel beter.

Koeling van die kaarten is vaak matig omdat die kaarten uit gaan van (hele) goede airflow in een server kast. Het helpt om een keer de koeler los te halen en fatsoenlijke koelpasta op te doen. Check daarnaast ook even of ASPM aan staat (en ook effectief is). Ook kan je er eventueel een grotere koeler op monteren, maar dat is wat meer knutselwerk.

[World Citizen]

[b]FireDrunk in "De CSL/OT-kroeg"
Persoonlijk zou ik lekker voor een simpele setup gaan, en gewoon goede backups maken. Werkt veel beter.

Koeling van die kaarten is vaak matig omdat die kaarten uit gaan van (hele) goede airflow in een server kast. Het helpt om een keer de koeler los te halen en fatsoenlijke koelpasta op te doen. Check daarnaast ook even of ASPM aan staat (en ook effectief is). Ook kan je er eventueel een grotere koeler op monteren, maar dat is wat meer knutselwerk.

Dat is het plan . Ik heb alle schijven dubbel, dus trek een kopie en leg die offsite. Het gaat om digitale versies van mijn films, dus er is geen constant dataverkeer. Hooguit 1x per week denk ik.

Ik overwoog helemaal geen backup te maken gezien ik ze nog een keer kan rippen, maar kon een deal maken in schijven dus ben voor de letterlijke backup gegaan. Eenmaal een schijf vol, veranderd hij toch nooit meer.

Koelpasta is al vervangen . Ik moet gewoon een fan bijplaatsen en dan is het goed. Er zitten al wat fans in, maar die worden geblokkeerd door de schijven. Ik zal voor de grap morgen wat foto's maken.

[teaser]

Na weken twijfelen heb ik me uiteindelijk toch een QNAP TS-251B aangeschaft ter vervanging van de oude ReadyNAS in de kelder. Echt een dozijn pistes heb ik overwogen: van een RPI4 tot zelfbouw barebone, de combinatie met HTPC, etc etc.
Uiteindelijk de KISS weg opgegaan en een simpele, maar toch redelijk krachtige, NAS gekozen. Qua media kijk ik wel hoe ver ik voorlopig geraak met Plex op de NAS in combinatie met Chromecast.

Qua backup denk ik er wel aan een RPI in te zetten zodat ik niet meer manueel een schijf in de usb moet steken, backup starten, en achteraf fysiek die schijf weer te verplaatsen. Dat hou ik toch niet consistent vol.

Trouwens, de Synology DS218+ is zowat identiek aan de TS-251B qua specs. Maar wel 60 euro duurder

[ Voor 7% gewijzigd door teaser op 25-07-2019 09:20 ]

[Q]

Voor wie het leuk vindt:

Ik heb een homelab server gekocht met 20 cores / 40 threads + 128 GB geheugen en ik heb er een artikeltje over geschreven.

[Giesber]

Daarnet eindelijk een groot bestand naar mijn server kunnen kopiëren.

Ik had het een tijd geleden al geprobeerd, maar bij zo'n 11% ging het altijd mis in Filezilla. Na een hoop opzoekwerk over de foutmeldinge bleek er in de FTP client van Freenas een obscure bug te zitten die zeer zelden een verbinding afbreekt bij een groot bestand. Die FTP client was pas geüpdate bij Freenas 11.2 (en ik draaide tot voor even nog 11.1).

Nu ik de server geüpdate heb dacht ik het nog eens te proberen: weer niets. Dan maar via SMB proberen: ook blijven haken op 11%. Ik dacht eerst aan een Windows of SMB quirk omdat ik telkens hetzelfde bestand probeer te kopiëren. Vervolgens dan maar eens lokaal het bestand naar een andere folder kopiëren: dat lukte ook al niet.

Opeens viel mijn frank: het bronbestand was defect . Even opnieuw unzippen op een andere locatie: geen probleem meer.

Hoe kan een mens daar in godsnaam zolang mee bezig zijn. En ook: datacorruptie gebeurt niet alleen bij anderen.

[HyperBart]

Poeh, lang geleden dat ik hier nog eens langs kwam.

Vandaag liep ik even langs mijn servers in de bureau (woon sinds bijna 3 jaar in een nieuwbouw woning) en het viel me op dat mijn UPS voor mijn NAS en server een knipperend doorkruist-batterij-icoontje aangaf.

In 2017 heb ik een nieuwe batterij (niet de APC-branded versie) voor dat ding besteld bij Megekko, deze batterij is na 2 jaar defect, de originele die in de UPS zat ging van 2011 tot 2017 mee. Toch een verschilletje .


Indertijd gaven @mux en @FireDrunk (per telefoon) al eens aan dat die UPS van mij niet uitblinkt in efficiëntie. Wat staat vandaag dan aangeschreven als een goede en efficiënte UPS? Belasting is iets van om en bij de 150W maar dat gaat binnenkort naar beneden als ik mijn NAS opnieuw inricht met deze combinatie.

#	Category	Product	Prijs	Subtotaal
2	Processors	Intel Core i3-9100 Boxed	€ 106,80	€ 213,60
2	Moederborden	Fujitsu D3644-B	€ 151,-	€ 302,-
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 87,12	€ 174,24
1	Solid state drives	Samsung 970 Evo Plus 500GB	€ 108,50	€ 108,50
Bekijk collectie Importeer producten			Totaal	€ 798,34

Een van die setjes is een vervanging voor mijn X9-SCA-F en Xeon E3 1230v1 die 60W slurpen in standby

[ Voor 68% gewijzigd door HyperBart op 28-10-2019 22:15 ]

[MathieuT]

Ik weet niet goed waar ik dit moet zetten, dus ik zal mijn situatie eens kort schetsen

Ik ben via een faillissement in het bezit gekomen van een WD Sentinel DX4000 met 4x2TB aan boord, er draait Windows Server 2008 op maar de mogelijkheid is er om te upgraden naar 2012 of zelfs 2016. Ik heb gelezen dat de beide netwerkpoorten de vervelende gewoonte hebben om er tegelijk mee op te houden, niet handig voor een NAS natuurlijk.

Nu heb ik al aan veel opties gedacht, gaande van 2 schijven in RAID 1 in mijn pc te steken tot een externe RAID behuizing op USB te kopen.

Waar mag ik de uitgebreide versie van deze vraag om advies plaatsen?

[Q]

MathieuT schreef op donderdag 7 november 2019 @ 07:46:


Waar mag ik de uitgebreide versie van deze vraag om advies plaatsen?

Dat kan gewoon in dit forum hier als post. Wat ik mis in jouw verhaal en wat belangrijk is om daarin te verwerken: wat is je doel, wat wil je bereiken, wat zijn de keuzes waarmee je worstelt en hoe denk je zelf over die keuzes

[knights16]

Ik wil de dashcam functie van mijn auto gaan gebruiken. Ervaring is dat reguliere usb sticks na een paar maanden corrupt raken door de vele schrijfacties.

Ik twijfel nu tussen een Samsung Endurance 128 GB microsd kaartje (icm een microsd naar usb adapter, totaal 45 euro) of toch maar een duurdere externe SSD zoals een Samsung T5 van 240GB, 70_80 euro.

Ik neig naar optie A maar ben niet helemaal thuis in het corrupt raken van storage als het vaak beschreven wordt. Is het ook daadwerkelijk ander geheugen in een endurance kaartje versus een SSD?

Iemand een biertje trouwens?

[ Voor 16% gewijzigd door knights16 op 03-02-2020 13:00 ]

[Q]

knights16 schreef op maandag 3 februari 2020 @ 12:22:
Ik wil de dashcam functie van mijn auto gaan gebruiken. Ervaring is dat reguliere usb sticks na een paar maanden corrupt raken door de vele schrijfacties.

Ik twijfel nu tussen een Samsung Endurance 128 GB microsd kaartje (icm een microsd naar usb adapter, totaal 45 euro) of toch maar een duurdere externe SSD zoals een Samsung T5 van 240GB, 70_80 euro.

Ik neig naar optie A maar ben niet helemaal thuis in het corrupt raken van storage als het vaak beschreven wordt. Is het ook daadwerkelijk ander geheugen in een endurance kaartje versus een SSD?

Iemand een biertje trouwens?

Ik drink niet maar toch bedankt.

Hoe groter de 'stick', hoe minder frequent alle cellen worden beschreven, hoe langer die mee gaat, is mijn gedachte. Dus ik denk dat die 45 euro prima besteed is. Ik denk dat dit al genoeg is.

Wordt een beetje een rekensommetje: wat is je datastream (MB/s) hoe lang zit je in de auto, hoeveel
MB is dat per maand?

Je kunt ook gewoon wat goedkopere kaartjes kopen maar dan moet je ze misschien jaarlijks (preventief) vervangen.

De belangrijkste vraag is: hoe weet je dat je kaart stuk is?

Ik heb een tijdje een dashcam gehad en na een jaar of wat 1 uur per werkdag in de auto met het mee geleverde (goedkope) kaartje geen issues.

[DaOverclocker]

Ik heb een beetje een enterprise gerichte storage vraag. Binnen ons (kleine) bedrijf hebben we storage systemen van bijvoorbeeld 24x10Tb drives, altijd in raid6 ( Als ik onze sysadmin moet geloven duurt een rebuild met 24 drives in 1 raid6 array tegenwoordig helemaal niet lang, zeker minder dan 24h).
Deze storage benaderen wij via nfs, met verschillende linux clients over ethernet met gbit, of 10gbit.
Nu heeft die storage als voordeel dat het de meest goedkope manier is om een grote storage plek te maken, maar voor mij ook nadelen;
1) - de backup verloopt via rsync (met --delete) naar een soortgelijk systeem. Dit wordt met miljoenen files uiteindelijk ondoenlijk omdat het dagen duurt voor 1 sync, en loopt de backup hierdoor soms dagen achter.
2) - de performance is met 1 thread prima over 10gbit ethernet, maar met meerdere gebruikers zakt dit als een kaartenhuis in elkaar, wat te verwachten is voor zo's setup.
3) - het uitbreiden van de storage /uitfaseren kan alleen door het geheel te vervangen door iets nieuws.
4) availability is tot nog toe in afgelopen jaren nooit echt een issue geweest, maar uiteraard is 1 server met 1 raid array niet heel erg redundant (afgezien van een disk failure gewoon niet). De backup kunnen we evt gebruiken als replacement als de server ploft.
5) de backup bestaat nu uit 1 versie, er zijn geen eerdere versies beschikbaar.

Nou ben ik al tijden zo nu en dan aan het googlen hoe we dit kunnen oplossen zonder direct de hoofdprijs te betalen. We hebben een tijdje naar een software defined storage oplossen gekeken van bijv Euronas en Compuverde. Hiervoor zouden we namelijk commodety hardware kunnen gebruiken, en ben je niet gebonden aan 1 bepaald merk (zoals bij Dell of HPE) . Nu is Compuverde opgenomen door PureStorage in tussentijd, dus die valt helemaal af. Euronas is nog steeds wellicht een optie. Eenvoudiger zou een zfs storage oplossing zijn, wat in elk geval punt2 deels kan oplossen door gebruik te maken van meerdere raidz2 pools, plus write log devices bijvoorbeeld.Kwa performance zijn we dan wel genoeg geholpen denk ik. Voor wat betreft punt 1 en punt 3 weet ik niet of zfs daar de beste optie voor is. Daarnaast ben ik benieuwd of hier ook andere systemen bekent zijn wat de moeite waard is om eens in te duiken. Zaken als Lustrfs en ceph zijn voor ons wat te hoog gegrepen, daar hebben we dan weer net wat te weinig beschikbare tijd voor van onze sys-admin. Omdat ik tegenwoordig niet zoveel meer op GoT zit, kan ik moeilijk inschatten of ik hier een los topic voor kan starten. Zoals aangegeven in de guidelines, hier geen indepth advies, maar tips of hints waar ik verder kan kijken zijn welkom

[Q]

DaOverclocker schreef op dinsdag 9 juni 2020 @ 12:33:
Ik heb een beetje een enterprise gerichte storage vraag.

Ik zou dit niet hier posten maar gewoon even een eigen topic aanmaken. Worst-case wordt het verplaatst naar
deze plek: Professional Networking & Servers

Mijn advies zou zijn om - ondanks de kosten - gewoon een consultant inhuren om jullie met dit traject te begeleiden. Eentje die onafhankelijk is van specifieke producten, zodat je geen belangenverstrengeling hebt.

Dat lijkt mij een meer robuuste oplossing.

[ Voor 27% gewijzigd door Q op 09-06-2020 23:29 ]

[DaOverclocker]

Q schreef op dinsdag 9 juni 2020 @ 23:17:
[...]

Mijn advies zou zijn om - ondanks de kosten - gewoon een consultant inhuren om jullie met dit traject te begeleiden. Eentje die onafhankelijk is van specifieke producten, zodat je geen belangenverstrengeling hebt.

Dat lijkt mij een meer robuuste oplossing.

Bedankt, goed punt, een tip een onafhankelijke consultant op dit gebied?

[ Voor 16% gewijzigd door DaOverclocker op 10-06-2020 11:23 ]

[Q]

DaOverclocker schreef op woensdag 10 juni 2020 @ 11:23:
[...]


Bedankt, goed punt, een tip een onafhankelijke consultant op dit gebied?

Sorry niet echt. Ik zou best willen helpen zelf maar dan was mijn opmerking over een consultant misschien achteraf gezien een smoes om mijzelf aan te kunnen bieden. 😜

Bovendien ben ik (nog) particulier.

Maar mocht je interesse hebben en je zit ergens in de randstad DM gerust.

Edit: https://louwrentius.com/u...nce-iops-and-latency.html
Misschien is dit gesneden koek, maar misschien heb je er wat aan.

[ Voor 13% gewijzigd door Q op 10-06-2020 16:10 ]

[FireDrunk]

Commodity hardware vs een merk als HP / Dell nemen is niet perse een voordeel. Vooral niet als je er zelf weinig verstand van hebt. Je bent namelijk zelf verantwoordelijk voor de 'integratie'. Je krijgt niet een off-the-shelf oplossing. Ik zou persoonlijk liever een lichte vendor lockin hebben, dan als bedrijf afhankelijk te zijn van kennis die je dus eigenlijk niet hebt.

Als de protocollen die je praat met je storage laag (rsync, NFS, iSCSI, SMB, whatever) open zijn, is een vendor lockin helemaal niet zo erg. Dat de caching laag van zo'n apparaat proprietary technologie is, boeit dan weinig.

Wil je ooit weg migreren, prima. Maak een backup, zet die via NFS op de andere doos, en ga verder waar je gebleven was. Tuurlijk moet je qua configuratie een aantal zaken weer opnieuw (laten) doen, maar dat is nog altijd beter dan een SDS systeem hebben wat je compleet opnieuw moet inrichten.