Het grote ZFS topic

[Verwijderd]

@iRReeL: de nieuwe livecd op basis van FreeBSD 9 gebruikt nog maar 64MB van je totale RAM voor ZFS, en is dus niet geschikt voor benchmarking. Wil je dus enigszins kunnen vergelijken met Solaris/napp-it moet je dus wel een Root-on-ZFS installatie uitvoeren.

@Walking_The_Dead: je kunt op een ander systeem met de livecd installeren op een USB stick. Door de USB stick als normale 'HDD' te formatteren, er een pool op te maken en daarna naar die pool te installeren. Dan gebruik je die USB stick om je server te booten. Je kunt daarna via de USB stick ook naar een HDD pool opnieuw installeren. Je installeert dan dus vanaf de USB stick in plaats van de LiveCD, en zo heb je dus geen cdrom nodig in je server.

Doe je dat laatste, dan installeer je dus twee keer. Eén keer van een LiveCD naar de USB stick op een ander systeem en daarna van de USB stick naar een HDD pool op je server. Bij die eerste installatie moet je dan de system image meekopiëren zodat deze op de USB stick komt te staan. Daar is een optie voor bij de laatste stap (step 4) bij de installatieprocedure moet je even kijken.

Enige wat roet in het eten kan gooien is bootproblemen vanaf USB stick, maar bij mij werkt bovenstaande.

[CurlyMo]

Verwijderd schreef op donderdag 17 november 2011 @ 15:43:
CurlyMo, ik ben bang dat ik je met jouw probleem niet echt kan helpen. Wel zou ik aanraden toch je pool een keer opnieuw aan te maken, maar dan met versie 28 max. Dat kan met een commando zoals:
zpool create tank -o version=28 -O version=5 raidz disk1 disk2 disk3 ...

In dat geval kun je meerdere platforms uitproberen zoals ook FreeBSD, FreeNAS, ZFSguru, OpenIndiana, etc. Zo kun je eens testen waar het probleem nu ligt.

Wellicht dat je ook bij een Solaris community iemand kunt vinden die je kan helpen, want met Solaris heb ik veels te weinig ervaring om je goed te kunnen helpen.

En de @CurlyMo

[CurlyMo]

Misschien handig voor anderen om te weten. Was wat aan het klooien met de advanced tuning opties in ZFSguru. Zoals al gewaarschuwd kan dit je systeem unbootable maken. Dat was dus het geval. Gelukkig is zfs zo'n handig filesystem. Van te voren had ik namelijk een backup via snapshots:

code:

zfs snapshot rpool/zfsguru-system-8.3-001@backup
zfs snapshot rpool/zfsguru-system-8.3-001/var@backup
zfs snapshot rpool/zfsguru-system-8.3-001/usr@backup

zfs send rpool/zfsguru-system-8.3-001@backup | gzip > system.gz
zfs send rpool/zfsguru-system-8.3-001/var@backup | gzip > system.usr.gz
zfs send rpool/zfsguru-system-8.3-001/usr@backup | gzip > system.var.gz

Voor de zekerheid had ik dus ook de snapshots van de systeem schijf weggeschreven naar een bestand op mijn externe backup schijf, maar vandaag dus nog niet nodig.

Door vandaag simpelweg te booten naar de ZFSguru livecd --> de rpool te importeren --> root snapshot terug laten zetten --> reboot. Deed het systeem het weer.

Mocht het zo zijn dat je hele schijf crashed dan zou je gewoon opnieuw ZFSguru kunnen installeren en dan het volgende doen. Nog niet hoeven testen maar het zou theoretisch moeten werken:

code:

gunzip system.gz
zfs rename rpool/zfsguru-system-8.3-001 rpool/zfsguru-system-8.3-001.old
zfs receive rpool/zfsguru-system-8.3-001@backup < system

gunzip system.usr.gz
zfs rename rpool/zfsguru-system-8.3-001/usr rpool/zfsguru-system-8.3-001/usr.old
zfs receive rpool/zfsguru-system-8.3-001/usr@backup < system.usr

gunzip system.var.gz
zfs rename rpool/zfsguru-system-8.3-001/var rpool/zfsguru-system-8.3-001/var.old
zfs receive rpool/zfsguru-system-8.3-001/var@backup < system.var

zfs rollback -r rpool/zfsguru-system-8.3-001@backup
zfs rollback -r rpool/zfsguru-system-8.3-001/var@backup
zfs rollback -r rpool/zfsguru-system-8.3-001/usr@backup

Zou misschien ook handig zijn als optie binnen ZFSguru webui.

[ Voor 6% gewijzigd door CurlyMo op 22-01-2012 22:31 ]

[Waking_The_Dead]

Verwijderd schreef op donderdag 15 december 2011 @ 18:53:
@Walking_The_Dead: je kunt op een ander systeem met de livecd installeren op een USB stick. Door de USB stick als normale 'HDD' te formatteren, er een pool op te maken en daarna naar die pool te installeren. Dan gebruik je die USB stick om je server te booten. Je kunt daarna via de USB stick ook naar een HDD pool opnieuw installeren. Je installeert dan dus vanaf de USB stick in plaats van de LiveCD, en zo heb je dus geen cdrom nodig in je server.

Doe je dat laatste, dan installeer je dus twee keer. Eén keer van een LiveCD naar de USB stick op een ander systeem en daarna van de USB stick naar een HDD pool op je server. Bij die eerste installatie moet je dan de system image meekopiëren zodat deze op de USB stick komt te staan. Daar is een optie voor bij de laatste stap (step 4) bij de installatieprocedure moet je even kijken.

Enige wat roet in het eten kan gooien is bootproblemen vanaf USB stick, maar bij mij werkt bovenstaande.

Bedankt! Dat ga ik dit weekend eens proberen. Booten vanaf USB is geen probleem. Ik heb FreeNAS al geïnstalleerd via USB maar daar ben ik niet 100% tevreden over. Vandaar dat ik nu ZFSGuru eens wil proberen.

Kan ik eigenlijk ZFSGuru vanaf een USB-stick draaien? Uit jouw reactie kan ik wel afleiden dat het technisch mogelijk is, maar heeft dat ook een impact op de performantie van het systeem? Ik zou denken dat eens het OS is opgestart, je er daarna geen last zou mogen van hebben, of is dat wel zo?
Mijn server dient puur voor opslag van DVD en BD ISO's. Het enige dat ik verder nodig heb is een share zodat mijn media-player aan de ISO's kan. That's it.

Momenteel ben ik aan het testen met drie oude schijven tussen de 200 en 250 GB samen in RAID-Z1. Ik overweeg om drie grotere schijven bij te kopen zodat ik 6 schijven in RAID-Z2 kan plaatsen. Ik weet wel dat ik dan maar 800GB heb maar als de harde schijven weer op normaal prijsniveau zijn, vervang ik ook die drie kleine schijven.

[ Voor 23% gewijzigd door Waking_The_Dead op 16-12-2011 15:08 ]

[Femme]

Ik heb nu OpenIndiana draaien op mijn systeempje bestaande uit een Tyan S8010, Opteron 4122, 32GB RAM, 2x LSI SAS2008 (onboard en IBM m1015), QLogic QLE2464 fibre channel adapter, 12x Seagate Barracuda Green 2TB en 5x OCZ Vertex 30GB. Ik moet zeggen dat het configureren me allemaal reuze meevalt. Ik had er napp-it opgezet maar dat vind ik zo lelijk dat ik liever via de command-line werk. Ik ben nu al wat aan het benchen met een iscsi volume.

Ik vind het hoog tijd dat we eens wat aandacht gaan besteden aan zelfbouw nas en san. Met de kerst wil ik wat tijd besteden aan het benchen van verschillende configuraties van disks, cache devices, raid-levels, netwerkprotocollen/interfaces (fcp vs iscsi over ethernet) en wijze van delen van opslag (nas vs san).

[CurlyMo]

Een mooi artikel over bijv. de vooruitgang m.b.t. de nieuwste filesystems lijkt me dan ook interessant aangezien veel mensen niet meer weten dan fat en ntfs. Bijv. de verschillende linux filesystems voor bovenop mdadm en de nieuwste ontwikkelingen qua zfs en btfrs (voor zover deze nog leeft).

[EnerQi]

Is het niet mogelijk om een paar ZFS builds in het starttopic te zetten? Een small, medium en large build? Het probleem waar ik (onderandere) tegenaan loop, is dat er weinig ZFS builds bekend zijn die werken.

In de build die CiPHER hieronder adviseert, is het bijvoorbeeld niet/moeilijk mogelijk om uit te breiden doordat er maximaal 2 reepjes DDR3 in kunnen en 1 PCI-e 16x die mogelijk niet werkt met een HBA. De hieronder genoemde build zou dus goed als "small" door kunnen gaan .

Verwijderd in "Het grote ZFS topic"

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 95,80	€ 95,80
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 124,90	€ 749,40
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 30,54	€ 30,54
Bekijk collectie Importeer producten		Totaal	€ 910,59

Eerlijkgezegd zoek ik meer een medium build dus een ZFS build die uitbreidbaar is met een HBA maar de informatie is te verspreid over het web om tot een juiste beslissing te komen, vooral als je ook nog eens firmware moet flashen . Misschien iets voor de handleiding/how-to?

[Verwijderd]

Build lijstjes zijn inderdaad wel een aanvulling op de startpost. Bedenk wel dat we ook het DIY RAID NAS topic hebben wat zich vooral op de hardware richt. Er is natuurlijk overlap bij beide topics, maar het idee is dat beide topics als aanvulling voor elkaar dienen. Dit topics is voor ZFS-specifieke vragen en discussies.

Wil je een super low-power NAS, dan is die Brazos build wel geinig. Lekker goedkoop, 100% passief gekoeld met PicoPSU en superzuinig. Wil je een 'medium' build, dan kom je snel uit bij SuperMicro die hele mooie bordjes maakt. Kun je dan een IBM M1015 controller op aansluiten en er zijn ook bordjes die al zo'n controller onboard hebben, wat vooral handig is voor de grotere builds. Flashen naar IT-firmware valt aardig wat over te lezen op de website ServeTheHome, wat zich op zelfbouw NAS richt. Geen slecht idee daar eens wat dingen over door te nemen!

Verder kun je denk ik beter gaan voor zuiniger 1,35V of 1,25V DDR3 geheugen, kost nu ook geen drol meer.

[CurlyMo]

@CiPHER
Een tijdje geleden gaf je aan mij pas goed te kunnen helpen bij het zoeken naar mijn netwerk problemen, wanneer ik over zou stappen van Solaris naar een BSD systeem. Nu draai ik dus ZFSguru. Welke informatie zou je (en anderen hier) nodig moeten hebben om precies de oorzaak van mijn probleem te kunnen achterhalen? Ik kan om te beginnen wel even opnieuw iperf en een dd kunnen uitvoeren?

De suggestie EnerQi lijkt me dan ook zeer waardevol; waarom werkt het ene systeem wel perfect, en het andere niet. Welke componenten dragen bij aan het een en aan het ander...

[FireDrunk]

Geheugen is erg belangrijk voor ZFS. memtest had je al gedraaid toch?

[CurlyMo]

code:

memtest 486m 2

  Stuck Address       : ok
  Random Value        : ok
  Compare XOR         : ok
  Compare SUB         : ok
  Compare MUL         : ok
  Compare DIV         : ok
  Compare OR          : ok
  Compare AND         : ok
  Sequential Increment: ok
  Solid Bits          : ok
  Block Sequential    : ok
  Checkerboard        : ok
  Bit Spread          : ok
  Bit Flip            : ok
  Walking Ones        : ok
  Walking Zeroes      : ok
  8-bit Writes        : ok
  16-bit Writes       : ok

Edit:
Voor de herinnering, ik heb 7.9GiB geheugen

[ Voor 4% gewijzigd door CurlyMo op 17-12-2011 14:17 ]

[FireDrunk]

Hmm, individuele disks getest?
Lezen kan geen kwaad, schrijven moet je natuurlijk niet doen als ze in een RAID *zfs* set zitten

[CurlyMo]

Voor de zekerheid. Hoe kan ik dat het beste doen?

[FireDrunk]

Onder ZFSguru?

dd if=/dev/[devicenaam] of=/dev/null bs=1M count=1024

[CurlyMo]

code:

dd if=/dev/label/disk1 of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.965443 secs (134800015 bytes/sec)

dd if=/dev/label/disk2 of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 8.320615 secs (129045972 bytes/sec)

dd if=/dev/label/disk3 of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.793387 secs (137776014 bytes/sec)

[FireDrunk]

Dat is iig keurig. Ligt niet aan de disks dus.

[FiXeL]

Ik heb mn vorige nas build een upgrade gegeven. Reden hiervoor was dat een Core2 duo E8400 best zwaar overkill is, teveel stroom vreet, en dat de ATX kast niet in de meterkast past. Ik heb het volgende gebruikt + een 4GB USB stick:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 95,80	€ 95,80
5	Hitachi Deskstar 5K3000, 2TB	€ 153,94	€ 769,70
1	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 129,-	€ 129,-
1	Fractal Design Array R2 Mini ITX NAS Case	€ 157,50	€ 157,50
2	Kingston ValueRAM KVR1066D3N7/4G	€ 17,81	€ 35,62
Bekijk collectie Importeer producten		Totaal	€ 1.187,62

(De schijven zijn gekocht voor die nattigheid in thailand, dus ik heb daar iets minder voor betaald dan hierboven aangegeven. ) Ook is de standaard 140mm fan vervangen voor een Noctua 140mm. Ik vond de standaard fan niet genoeg flow geven, en ik heb voor de zekerheid een Recom 50mm fan boven de heatsink van het moederbord geplaatst. Aangezien dit systeem in de meterkast verdwijnt, is geluid niet echt een issue, en ook met deze config is hij best stil.

Helaas is er niet veel keuze als je een mini-itx behuizing wilt hebben die 6x 3,5" schijven kan herbergen, en ik zat te twijfelen tussen een:

1	Fractal Design Array R2 Mini ITX NAS Case	€ 157,50	€ 157,50
1	Lian Li PC-Q08B	€ 87,-	€ 87,-

Nadeel van de Lian-Li is dat er ook plek is voor een 5,25" drive (ruimte die je niet gebruikt) en er een losse voeding bij moet. Ik zat te denken aan een Huntkey Jumper 300W, gezien die goed uit de tests komt. Maar de doorslag voor de Fractal design kast was toch wel dat de hdd kooi van de Lian-li soms wil trillen als ik de reviews geloven mag, en de voeding die standaard bij de fractal kast zit, al voorzien is van 7x SATA en 1xMolex, dus dat scheelde weer gekloot met extra stekkers aan de kabelboom maken.

Die WD green power zit er tijdelijk in omdat 1 van mn hitachi schijven het click of death melodietje speelt. Gelukkig had ik nog 2x WD green schijven in mn Netgear Readynas Duo RND2000 NAS zitten, dus 1 schijf als vervanging gebruikt, en eentje om de bestaande data op mn Freenas build te backuppen. Gelukkig staat er nog maar 2TB aan data op...

In ieder geval, na een dooie 2GB USB stick, een dooie HDD en veel gekloot met Freenas 8.0.2 die niet lekker wil migreren met mn 8.0 config (jammer, want 8.0.2. heeft een paar leuke features zoals cron jobs, sync, UPS support) Ben ik nu weer bezig mn backup terug te zetten.

Iig, ik draai dus Freenas 8.0, en 6x 2TB schijven in ZFS Raid-Z2, effectief 7,8TB.

[CurlyMo]

Ik zou gaan voor de Factal Design zonder voeding. Voor het geld wat je bespaard kan je een mooie PicoPSU set kopen. *Spreekt uit ervaring*

[Waking_The_Dead]

Kan een PicoPSU wel 6 schijven aan die samen opstarten? Dat lijkt me toch net op het randje...

[CurlyMo]

Ligt eraan welke picopsu je pakt. Er zijn er al van 200W.

[FiXeL]

Picopsu wordt idd echt op het randje, ik heb daar destijds navraag na gedaan en werd me afgeraden. Maar ook daarmee zal je toch wel het nodige aan de bekabeling moeten doen, de Lian-Li + Huntkey jumper 300W was iets goedkoper, maar ik wou er niet teveel gezeur van hebben.

[Verwijderd]

@CurlyMo: als je je performanceproblemen uitgebreid wilt onderzoeken is het wellicht handig een eigen topic hiervoor aan te maken. Want ik zie maar te zoeken naar alle informatie over je probleem die her en der verspreid staat. Wellicht handig als je alle specs en gegevens in één topicstart post en dat ik je daar rustig kan helpen die probleem te analyseren.

Waking_The_Dead schreef op zaterdag 17 december 2011 @ 15:21:
Kan een PicoPSU wel 6 schijven aan die samen opstarten? Dat lijkt me toch net op het randje...

Ja dat kan opzich prima. De PicoPSU doet zelf niets met +12V dus het draait hier om de power brick die je erachter hangt. Informatique levert een 150W power brick (met piekvermogen naar 180W geloof ik). En dat zou zeker voldoende moeten zijn voor 6x Samsung F4EG in combinatie met een Brazos systeem.

Systeem kun je 40W voor rekenen
Samsung F4EG doet 16W spinup * 6 = 96W
Totaal zit je dan onder de 140W piekspanning, die je maar een paar seconden nodig hebt om de schijven op te laten spinnen. Dus ja het kan zeker.

Bedenk wel dat andere schijven flink meer stroom verbruiken bij het opspinnen; de Samsung F4EG doet het op dit vlak veel beter dan WD, Seagate of Hitachi schijven. Ik zou zo'n config dus alleen met Samsung F4EG schijven aanraden.

[Waking_The_Dead]

Welja, het kan, maar dan zit je wel vast aan je Samsung schijven natuurlijk. Als je later je schijven door 4TB modellen wil vervangen die misschien veel meer verbruiken moet je ineens ook je PSU vervangen... Op zich niet echt een probleem natuurlijk als je het geld hebt voor 6 4TB schijven

[Verwijderd]

Schijven vervangen lijkt me niet zo aan de orde; dan lijkt me eerder dat je een nieuwe NAS bouwt met ook snellere processor en meer geheugen. Als je zo'n Brazos systeempje met 6 schijfjes in RAIDZ2 bouwt, is dat een complete set die je gewoon houdt zoals die is. Valt verder niet veel aan uit te breiden, maar is wel betaalbaar en vooral erg zuinig. En passief gekoeld dus ook erg stil.

[Waking_The_Dead]

Als het dan toch over Brazos systeempjes hebben, kan je nog eens kijken naar mijn vraag over USB sticks in mijn post van gisteren 9:45?

[Verwijderd]

Waking_The_Dead schreef op vrijdag 16 december 2011 @ 09:45:
Kan ik eigenlijk ZFSGuru vanaf een USB-stick draaien? Uit jouw reactie kan ik wel afleiden dat het technisch mogelijk is, maar heeft dat ook een impact op de performantie van het systeem? Ik zou denken dat eens het OS is opgestart, je er daarna geen last zou mogen van hebben, of is dat wel zo?

Helaas wel ja. In principe klopt wat je zegt eenmaal opgestart dan heb je niet zoveel nodig van je USB stick maar heel zelden. Maar het gaat voornamelijk om kleine writes die Samba doet. En kleine writes zijn USB sticks héél erg slecht in.

Je hebt wel USB sticks die hier redelijk goed in zijn, maar 95% is extreem slecht hierin. Dat komt door hele grote erase blocks waardoor de stick enorm veel werk moet verzetten om een paar kilobyte te schrijven. Dat kan dan extreem lang gaan duren wat je niet wilt.

Je kunt dus:
1) USB stick kopen die goed is met random writes, zoals gemeten in CrystaldiskMark of AS SSD
2) USB stick gebruiken maar /var op een memory disk laten draaien, geen slechte oplossing en er is een how-to op het ZFSguru forum dacht ik
3) installeren naar je main ZFS pool. ZFSguru kan direct booten van ZFS. Makkelijkste oplossing, enig nadeel is dat het slecht samenwerkt met het downspinnen van je pool. Als je niet wilt downspinnen wellicht de beste oplossing.

[FiXeL]

Verschil in USB sticks is zeker merkbaar... Niet echt gelet op de random writes, maar bij het installen van freenas zag ik de volgende verschillen:

Oude 2GB USB stick: 3.0MB schrijven max.
Nieuwe Fusion 4GB stick: 3,9MB schrijven max.

Maar mn corsair Flash Voyager 16GB doet 10MB max!

Hoe dit vertaalt naar random writes is op deze manier lastig te zeggen, maar er zit zeker een hoop verschil tussen sticks onderling.

[Verwijderd]

Nouja die random write kan minder dan 0,01MB/s zijn. Zie bijvoorbeeld:



Hardeschijven doen ongeveer 1MB/s dus 0,01MB/s is 100 keer langzamer dan een hardeschijf random writes doet, en we weten allemaal dat hardeschijven best traag zijn met random I/O (writes iets sneller dan reads).

[Waking_The_Dead]

Wat bedoel je met "kleine writes die Samba doet" ? Als ik pakweg een ISO lees die op mijn pool staat en mijn OS staat op USB stick, worden er dan ook writes gedaan door Samba? En gaat het dan enkel om Samba? Wat als ik Unix sharing gebruik?

[FireDrunk]

Je USB stick word dan inderdaad niet aangesproken.

[CurlyMo]

Verwijderd schreef op zaterdag 17 december 2011 @ 16:13:
@CurlyMo: als je je performanceproblemen uitgebreid wilt onderzoeken is het wellicht handig een eigen topic hiervoor aan te maken. Want ik zie maar te zoeken naar alle informatie over je probleem die her en der verspreid staat. Wellicht handig als je alle specs en gegevens in één topicstart post en dat ik je daar rustig kan helpen die probleem te analyseren.

Zie: ZFS NAS Performance Issues

[Verwijderd]

Samba schrijft wat sessiebestandjes in /var ergens, dat kan zorgen dat je soms hangende performance over Samba hebt. Dit was bij mij weg toen ik tmpfs gebruikte voor de /var. Maar nu heb ik een andere config dus ik kan niet zo heel snel zien om welke directories het precies ging. Maar ik herinner me wel dat het om Samba ging, en ik geloof ergens in /var/db ofzo.

[CurlyMo]

Sinds twee dagen krijg ik de melding:

attempt to re-allocate valid device ada0

Waarna mijn hele computer vast loopt. Het gaat hier om de systeemschijf. Opnieuw opstarten wil wel helpen maar het probleem komt onaangekondigd terug. Iemand hier die weet waar het aan ligt?

[Verwijderd]

Die melding zou je moeten krijgen als een device wordt aangekoppeld. Kan het zijn dat je kabels niet in orde zijn? Bijvoorbeeld een power connector die even geen contact maakt? Ik maak alleen nog maar gebruik van SATA power splitters, en dus niet meer van die 4-polige Molex naar SATA splitters, die veel problemen kunnen geven omdat ze soms even geen contact maken; dat probleem heb ik meerdere keren gehad.

[CurlyMo]

Aangezien ik eerder had gemeld dat het hier om een oude schijf ging, zou het dan ook kunnen zijn dat hij gewoon gecrashed is?

[Femme]

Ik ben de afgelopen dagen beziggeweest met wat proefbenches op mijn systeem met twaalf Seagate Barracuda Green 2TB drives op twee LSI SAS2008-controllers en vijf OCZ Vertex 30GB drives op de onboard sata-controller van AMD SP5100-southbridge. De cpu is een Opteron 4122 met 32GB RAM. Er werd geboot vanaf een OCZ Vertex 120GB en ik heb er later ook nog een Adata S511 120GB (SandForce-chipset) aan toegevoegd als log-device. Deze hing aan één van de sas 6G-poorten. Verder zat er nog een Qlogic QLE2464 fibre channel-hba in.

OpenIndiana installeren ging zoals eerder gemeld voorspoedig. Ik heb me tot nu toe beziggehouden met het benchen van de prestaties van volumes die via iScsi of fibre channel worden geëxporteerd. Hiervoor heb ik gebruikgemaakt van onze standaard trace-based benchmarks die worden uitgevoerd door Intel NAS Performance Toolkit.

Een iscsi volume target creeëren en deze mounten via de iscsi-initiator van Windows 7 was simpel. Fibre channel was ook niet moeilijk alleen blijkt het niet mogelijk om multipath I/O te gebruiken in Windows 7. Voor MPIO moet je Server 2008 gebruiken.

In de testconfiguratie hingen de twaalf drives in een striped mirror. De l2arc bestond uit vijf Vertex 30GB drives.

De prestaties in de trace-based benchmarks waren nogal wisselvallend. In sommige gevallen was de bovenstaande configuratie niet sneller dan een enkele VelociRaptor 600GB, soms waren de prestaties beter dan van een enkele Vertex 120GB. Het toevoegen van een log-device aan de pool had geen duidelijk positief effect op de prestaties. In bepaalde tests zoals de boot- en game-traces waren de responstijden erg hoog (bijna factor tien hoger dan van een moderne ssd) terwijl deze traces naar verhouding veel goed cachebare reads bevatten. Het inschakelen van caching van prefetch reads (set zfs:l2arc_noprefetch=0) om de l2arc beter te vullen had ook geen duidelijk effect op de prestaties. Het verlagen van zfs_vdev_min_pending (minimale I/O queue van een vdev) van de default van 4 naar 1 had ook geen duidelijk effect. De fluctuaties tussen runs zijn veel hoger dan we normaal gesproken gewend zijn van harde schijven en ssd's wat het vergelijken bemoeilijkt.

De dataset van de trace benchmarks heeft een omvang van 90GB. Tijdens de tests wordt er 43,2GB aan data gelezen. In theorie kan dit gecached worden door de l2arc (5x 30GB). De grootte van de arc was 24,5GB. De l2arc groeide gedurende de tests naar bijna 30GB.

Om de resultaten in perspectief te zetten heb ik een VelociRaptor 600GB en een Vertex 120GB aan de grafieken toegevoegd. Een Vertex is naar huidige maatstaven een trage ssd. De nieuwste modellen zijn gemiddeld een factor twee sneller.

Workstationprestaties (o.a. traces van beeldbewerking in Photoshop, foto's beheren in Lightroom, video-editing in Sony Vegas Pro)



Prestaties van verschillende soorten file copies en I/O op de datapartitie in de Photoshop-, Lightroom- en Vegas Pro-traces.



Bootprestaties, traces van het booten van Windows 7 en het starten van applicaties op twee verschillende systemen. De gemiddelde responstijden waren hier erg hoog.



Trace van I/O op de datapartitie in de Sony Vegas Pro-trace. De trace bestond voornamelijk uit kleine redelijk willekeurige reads afkomstig van het inlezen van frames uit full hd-videofragmenten om deze op de tijdlijn weer te kunnen geven.



Trace van Photoshop, Lightroom inclusief alle activiteit van het besturingssysteem en de Photoshop-scratchfile. Daardoor relatief veel writes. Het zfs san presteert hier vrij goed. Het resultaat is de gemiddelde responstijd, dus lager is beter.



Je ziet in alle bovenstaande grafieken dat de prestaties over het algemeen toenemen als de benchmark wordt herhaald. De verbetering van de prestaties stopt na de derde run:





De bovenstaande resultaten vond ik teleurstellend gezien de specs van de achterliggende hardware (32GB RAM, een l2arc met vijf ssd's van 30GB, dedicated slog-device en twaalf disks in raid 10.

IOMeter liet op zich wel goede resultaten zien. De fileserversimulatie doet I/O's met een uiteenlopende grootte met een verhouding van 80/20 tussen lezen en schrijven bij oplopende queue-depths. Er werd getest op een testbestand van 16GB. De prestaties schalen uitstekend en er wordt blijkbaar goed gebruikgemaakt van de caches gezien het feit dat de prestaties veel hoger liggen dan van een enkele Vertex 120GB.



In IOMeter doet hij 23MB/s op 4K random reads met een queue = 1. Bij queue = 8 schaalt dit naar 104MB/s. Sequentiële reads zijn 156MBs bij queue = 1 en 343MB/s bij een queue van acht uitstaande I/O's. Dit zijn vrij goede resultaten.

Inmiddels heb ik ook Windows Server 2008 R2 geïnstalleerd om te kunnen benchen met multipath I/O. MPIO aan de praat krijgen is eenvoudig en een kwestie van deze feature toevoegen in het beheerdinges van je server. Onder Windows 7 zie je vier disks waarvan er drie niet gebruikt mogen worden omdat Windows herkent dat het om dezelfde volumes gaat die via verschillende paden worden aangeboden. Met AS-SSD haal ik uitstekende resultaten:



Het is me niet helemaal waarom de configuratie in NAS Performance Toolkit nogal matig presteert terwijl ik er uitstekende resultaten uithaal in AS-SSD en IOMeter.

[FireDrunk]

Kun je zien hoe veel interrupts er af gaan op je zfs bak als je fc gebruikt? Misschien heeft je chipset het een beetje druk met het verwerken van IO.

[Femme]

De processorbelasting kwam bij de tests met een enkele fibre channel-link niet boven de negen procent maar was meestal nog lager met een load van ~0.5. Tijdens het bovenstaande AS-SSD-testje met vier links ging de load naar ~3,5. Ik heb niet de indruk dat de machine er veel moeite mee heeft.

De responstijden die NASPT meet bij de game- en boottraces liggen tussen de 1200 en 3000 microseconde afhankelijk van de invloed van de cache. Snelle ssd's doen deze tests met een gemiddelde responstijd van 150 tot 200 microseconde. De reads kunnen goed gecached worden.

Ik heb de indruk dat de prestaties nogal afhankelijk zijn van de queue-depth. Onder serverachtige workloads met een hoge queue-depth levert de machine prima prestaties. De desktop traces die ik erop draai hebben een lage queue-depth.

Het valt me ook op dat er volgens zpool iostat relatief veel read I/O naar de disks gaat, ook bij de derde run op dezelfde dataset. De ssd's in de l2arc krijgen bijna geen read I/O.

Binnenkort wil ik beginnen met de formele tests waarin ik het systeem wat ga uitkleden om een configuratie te krijgen die meer aansluit bij wat de gemiddelde tweaker thuis neer kan zetten. Ik wil testen met 16GB RAM, vier harde schijven en één 120GB ssd in de l2arc als baseline en van daaruit verschillende configs testen (o.a. aantal disks, aantal ssd's, hoeveelheid RAM, iscsi vs fibre channel vs filesharing via SMB).

[FireDrunk]

Begrijp wel dat er een hoop tuning bij komt kijken. Als je een beetje DIY / ZFS topic volgt, zie je dat veel mensen een hoop moeten tunen voordat het een beetje leuk word.

Ook ikzelf heb de readahead flink aangepast in MDADM om zo wat meer sequentiele performance te krijgen.
Op ZFS gebied is er veel te tunen. Misschien verstandig om eerst een paar flinke tune slagen te doen, voordat je officieel gaat benchen?

[Verwijderd]

[b][message=37370593,noline]

Ik heb de indruk dat de prestaties nogal afhankelijk zijn van de queue-depth. Onder serverachtige workloads met een hoge queue-depth levert de machine prima prestaties. De desktop traces die ik erop draai hebben een lage queue-depth.

Ligt er aan wat je onder performance verstaat. Response tijd of troughput?

Het valt me ook op dat er volgens zpool iostat relatief veel read I/O naar de disks gaat, ook bij de derde run op dezelfde dataset. De ssd's in de l2arc krijgen bijna geen read I/O.

Wel write neem ik aan? Heb je veel arc_shrink entries? Het lijkt wel of je juist graag IO ziet van je L2ARC je wilt liever ARC hits dan L2ARC

[Verwijderd]

FireDrunk schreef op donderdag 22 december 2011 @ 10:10:
Begrijp wel dat er een hoop tuning bij komt kijken. Als je een beetje DIY / ZFS topic volgt, zie je dat veel mensen een hoop moeten tunen voordat het een beetje leuk word.

Ook ikzelf heb de readahead flink aangepast in MDADM om zo wat meer sequentiele performance te krijgen.
Op ZFS gebied is er veel te tunen. Misschien verstandig om eerst een paar flinke tune slagen te doen, voordat je officieel gaat benchen?

+1

[Wouter.S]

Stel dat je het aantal sata poorten op je moederbord wil uitbreiden maar daarvoor geen 8-poorts HBA wil kopen van 100€+ wat is dan het meest geschikt? Ik weet dat pci-kaarten not done zijn qua doorvoer en dat ZFS dit niet zo leuk vindt maar stel dat je een Asrock Sata 3 kaartje gebruikt. Zal dit een impact hebben op de performance?

[Verwijderd]

Dat kaartje gebruikt volgens mij een Marvell chip, en die werken niet zo lekker onder FreeBSD en volgens mij ook niet onder Solaris en Linux. Ik kan het dus afraden.

Koop anders een tweede hands SuperMicro USAS-L8i of Intel SASUC8i ofzo? Of gewoon een goede IBM M1015 en dan flashen met IT-firmware. Daar heb je aardig wat jaartjes plezier van denk ik, ook al gebruik je het nu niet.

Wil je echt een ander alternatief, denk dan eens aan een PCI-express x1 kaartje met Silicon Image SiI-3132. Werkt prima onder FreeBSD maar je deelt wel 140MB/s over twee apparaten. Niet geschikt dus voor een RAID-Z, of althans daar gaan je snelheden wel onder lijden!

[Dadona]

Hmm, M1015, niet meer de USAS2-L8e? Of simpelweg vanwege problematische leverbaarheid van de SuperMicro?

[Pantagruel]

Dadona schreef op donderdag 22 december 2011 @ 22:43:
Hmm, M1015, niet meer de USAS2-L8e? Of simpelweg vanwege problematische leverbaarheid van de SuperMicro?

Als je voor nieuw gaat dan is de Supermicro AOC-USASLP-L8i inderdaad slechts verkrijgbaar (+12 dagen vlgs pricewatch), de M1015 is binnen een paar dagen te hebben. De M1015 (of Intel SASUC8i) is via o.a. ebay relatief goedkoop en gemakkelijk is te krijgen, een verloren USASLP zwerft er ook nog wel rond maar lijkt enigszins exotisch te zijn.

[ Voor 4% gewijzigd door Pantagruel op 23-12-2011 06:49 ]

[iRReeL]

M1015 heeft ook support voor >2.2.TB disks dus is misschien handig voor in de toekomst.

edit1: Pff PC-BSD is nu geinstalleerd maar helaas onmogelijk mee te werken via IPMI Ik moest de muis instelling op "relatief" zetten (IPMI Setting) maar nu wijkt de muis zodanig af dat het b.v. onmogelijk is om het 'start' menu te benaderen enorm frustrerend Hopelijk kan ik vinden hoe ik een console kan openen zonder muis

edit2: Nu gevonden (xterm ) maar blijkt dat ik bij de install voor 'use entire disk' gekozen had (30GB Vertex) maar dan maakt ie een 22GB SWAP aan en blijft dus zo goed als niets over voor het OS. Nu maar ff nieuwe installatie met UFS. Voor later ben ik aan het kijken voor 2x80GB 2,5" disks en dan raid0 maar moet nog kijken hoe ik dan moet installeren

edit3: Nu bezig met de guide voor het installeren van ZFSguru maar krijg een error bij zowat het eerst commando voor het installeren van lighttpd:
checking for gettext in -L/usr/local/lib -lintl -I/usr/local/include.... no gettext function not found. Please install libintl at ./Makefile.PL line 18. Nu verder aan het zoeken voor een workaround..

[ Voor 116% gewijzigd door iRReeL op 23-12-2011 15:15 ]

[Verwijderd]

Even een vraagje

Ik heb nu een Highpoint Rocketraid 3520 in passtrough mode met vmware esxi 5.0. Dit is een standaard RAID6 array met een OS X Lion Server virtual machine. (voor plex, storage en andere media meuk)

Werkt prima opzich, maar was me een beetje aan het inlezen met ZFS. Nu weet ik dat een raidcontroller geen zin heeft met ZFS, maar het heeft wel de optie om per disk een jbod aan te maken. Zodat je 8 jbod 'arrays'/disks hebt. Werkt dit net zo goed als normale AHCI SATA of heeft dit weinig zin.

[Wouter.S]

Verwijderd schreef op vrijdag 23 december 2011 @ 15:20:
...
Werkt prima opzich, maar was me een beetje aan het inlezen met ZFS. Nu weet ik dat een raidcontroller geen zin heeft met ZFS, maar het heeft wel de optie om per disk een jbod aan te maken. Zodat je 8 jbod 'arrays'/disks hebt. Werkt dit net zo goed als normale AHCI SATA of heeft dit weinig zin.

Volgens mij is het een beetje te vergelijken met ZFS gebruiken maar met één arm op zijn rug gebonden. ZFS heeft het liefst 'rauwe' toegang tot de schijven zonder tussenlaag van een raidcontroller die volumes aanmaakt op de schijven.

[Verwijderd]

Die 'raw/block' disk access wordt in raid controller software gezien als disk-passthrough zodat het als sata controller functioneert. Dit zit niet in de highpoint software, vandaar de vraag of 1 disk in jbod hetzelfde functioneert. Waarschijnlijk niet, maar dit was nogal onduidelijk voor mij

[FireDrunk]

JBOD op een HighPoint controller beschermt je niet tegen TLER fouten volgens mij. De HighPoint beslist namelijk nog steeds of een disk kapot is, en niet ZFS.

[Femme]

FireDrunk schreef op donderdag 22 december 2011 @ 10:10:
Begrijp wel dat er een hoop tuning bij komt kijken. Als je een beetje DIY / ZFS topic volgt, zie je dat veel mensen een hoop moeten tunen voordat het een beetje leuk word.

Ook ikzelf heb de readahead flink aangepast in MDADM om zo wat meer sequentiele performance te krijgen.
Op ZFS gebied is er veel te tunen. Misschien verstandig om eerst een paar flinke tune slagen te doen, voordat je officieel gaat benchen?

Ik begreep juist dat zfs in principe zonder tuning goed moet kunnen functioneren.

Met quad port 4Gbps fibre channel en multipathing haal ik overigens al een stuk betere resultaten dan op de enkele link. Ik zit nu met onze workstationindex na drie runs (dus warme cache) op een niveau dat vergelijkbaar is met een OCZ Vertex 3.

Ik haal opeens ook hele bijzondere resultaten op een trace waarin file copies van grote bestanden worden gedaan. Ding haalt bijna 1500MB/s op een kopieeractie met in totaal ruim 3GB data. De transaction group (van standaard vijf seconden?) accepteert blijkbaar zoveel data.

Is er hier nog belangstelling voor tests met InfiniBand-adapter? Ik vind zelf een high performance home san wel een interessant onderwerp waar ik wat redactionele aandacht aan wil besteden. Om een beetje performance te krijgen moet je met iets anders dan gigabit ethernet aan de slag. Quad channel fibre channel is behoorlijk prijzig (ca. 250 euro per adapter). De goedkoopste oplossing is momenteel 10Gb InfiniBand. Een InfiniBand host channel adapter heb je voor 50-70 dollar per stuk en een kabel van tien meter voor 70 dollar. Dat soort prijzen zijn goed te doen voor de hobbyïst.

Verwijderd schreef op donderdag 22 december 2011 @ 18:11:
[...]

Ligt er aan wat je onder performance verstaat. Response tijd of troughput?

Bij een lage queue depth komen responstijd en throughput praktisch op hetzelfde neer.

Mijn setup presteert vooral slecht op de game traces die overwegend sequentieel zijn. Het is me niet duidelijk waarom de responstijden desondanks toch zo hoog zijn. Prefetching zou prima moeten kunnen werken op een sequentiële workload met een lage queue-depth.

Wel write neem ik aan? Heb je veel arc_shrink entries? Het lijkt wel of je juist graag IO ziet van je L2ARC je wilt liever ARC hits dan L2ARC

Er wordt inderdaad wel naar geschreven. Als ik een dataset heb van 40GB waarvan ongeveer 22GB in RAM gecached kan worden en na drie runs zo'n 25-30GB data naar de l2arc is geschreven verwacht ik weinig read I/O meer op de disks. Toch krijgen de disks meer read I/O dan de ssd's in de l2arc.

[analog_]

Ik ben momenteel in de aanschaf/onderzoeks fase van zon IB setup, ik ga waarschijnlijk werken met die mellanox MHEL-CF256-T (MT25208 InfiniHost® III Ex) kaartjes met ondersteuning voor win7/esxi/openindiana. Zeker interesse in dergelijke opstelling.

[ Voor 13% gewijzigd door analog_ op 24-12-2011 16:48 ]

[FireDrunk]

Pas op met esx, want je kan daar IB alleen gebruiken voor FC targets naar mijn weten. Geen ethernet over IB. Ethernet lijkt mij handiger.

IB is gaaf maar point to point, en dat maakt het voor en nas weer lastig.
Als je perse ZFS en Windows wil, dan ontkom je er niet aan om ZFS op een andere machine te doen.
Dan is IB wel leuk.

[Femme]

Bij InfiniBand kun je het beste SRP (scsi remote direct memory access) gebruiken in plaats van tcp/ip. Hier is iemand die het heeft uitgeprobeerd en die haalde met samba mounts via IP over IB slechts 135MB/s bij 100 procent processorbelasting. Vanaf een SRP-target haalde hij 900MB/s naar een ramdisk. Ook bij iscsi over IPoIB zijn de cpu-prestaties een bottleneck. Als je iscsi wil doen kun je beter een 10Gbit ethernetkaart kopen.

Voor alle oplossingen om interconnectiviteit met een bandbreedte van meer dan een gigabit te bereiken geldt dat alleen point-to-point betaalbaar is. Alleen gigabit ethernet met MPIO of adapter teaming zou je nog een beetje betaalbaar op normale hardware kunnen doen. 10GbE switches zijn onbetaalbaar. Gebruike fc-switches kun je nog wel voor redelijke prijzen krijgen maar dan zit je met het probleem dat een san zich niet leent voor het delen van data tenzij je een clusterbestandssysteem gebruikt. Filesharing via Samba is altijd ruk qua prestaties.

Ook point-to-point zijn er veel voordelen mogelijk. Je kunt je storage consolideren op één systeem, de gecombineerde prestaties van harde schijven en eventuele ssd's zo goed mogelijk benutten, sneller en makkelijker backups maken of dingen doen zoals snapshots die onder desktop besturingssystemen moeilijker gaan. Ook kun je de opslag uit het zicht in een ruimte zetten waar het geen geluidsoverlast veroorzaakt.

[FireDrunk]

Wat ik bedoel is als je 2 of 3 werkstations hebt, je met point to point best een hoop IB kaarjtes in je server moet stoppen

Ik dacht dat IB altijd RDMA gebruikte om de processor belasting laag te houden, dat word dus niet gebruikt bij iSCSI of TCP/IP over IB?

Wat ik niet wil, is een lun maken voor mijn client PC's.
Ik wil dat alle PC's dezelfde data kunnen benaderen. Het hoeft niet allemaal over die ene IB.

[nielsdc]

Ik heb op ebay 2 dual port infiniband kaartjes gekocht voor 23$ p/s + 50$ verzendkosten! Daarnaast 2 kabels uit hong kong voor 40$ inclusief verzendkosten. Dus totaal 20GB/s tussen mijn NAS en werkstation voor 140$ plus mogelijk wat invoerrechten. Infiniband kaartjes worden op grote schaal gedumpt omdat bedrijven overstappen op snellere versies, en verreweg de goedkoopste optie als je wat sneller wilt dan GB ethernet.
Ik hoop ze uiterlijk volgende week te ontvangen, en zal de resultaten wel posten als ik ze heb draaien.

Ik gebruik zfs on linux, en ben van plan voornamelijk NFS/RDMA te gaan gebruiken, en misschien een beetje SRP. Daarmee zou ik makkelijk line speed moeten halen, dus het netwerk gaat m'n bottleneck zeker niet zijn.

Overgens kan je met dual poort kaarten ook makkelijk meerdere werkstations aansluiten. Je werkstations hoeven namelijk niet rechtstreeks aan de server te hangen, maar kun je ook doorlussen via een werkstation. Je kunt 3 werkstations redundant aansluiten op een server met 4 dual port kaartjes en 4 kabels, door een ring te maken tussen alle systemen. Door de lage latency en hoge bandbreedte ga je dat in performance echt niet merken.

[nielsdc]

Voor de mensen die het nog niet gehoord hebben, er is een solaris11 source gelekt (solaris11.tar.gz) inclusief een recente zfs versie. De source ondersteunt zpool versie 33.

De verbeteringen per versie zijn (uit de source):

29 RAID-Z/mirror hybrid allocator
30 Encryption
31 Improved 'zfs list' performance
32 One MB blocksize
33 Improved share support

Legaal zal het wel tricky zijn om dit te gebruiken, maar dit maakt de weg wel vrij om open source (clean room) implementaties van deze features te maken die compatible zijn met solaris.

[Sfynx]

Ik kijk vooral uit naar de "block pointer rewrite" feature... zoiets schijnt wel in Btrfs te komen uiteindelijk, en maakt het mogelijk om vdevs te verwijderen, het ene vdev type naar het andere te converteren, online alles te defragmenteren/comprimeren/dedupliceren met een scrub variant, enzovoort.
Dat maakt de administratie van ZFS ultiem flexibel, zonder dat je nog een complete pool hoeft te backuppen en restoren.

Alleen ik hoor er vooral veel gepraat over en dat men ermee bezig is

[FireDrunk]

nielsdc schreef op woensdag 28 december 2011 @ 01:35:
Ik heb op ebay 2 dual port infiniband kaartjes gekocht voor 23$ p/s + 50$ verzendkosten! Daarnaast 2 kabels uit hong kong voor 40$ inclusief verzendkosten. Dus totaal 20GB/s tussen mijn NAS en werkstation voor 140$ plus mogelijk wat invoerrechten. Infiniband kaartjes worden op grote schaal gedumpt omdat bedrijven overstappen op snellere versies, en verreweg de goedkoopste optie als je wat sneller wilt dan GB ethernet.
Ik hoop ze uiterlijk volgende week te ontvangen, en zal de resultaten wel posten als ik ze heb draaien.

Ik gebruik zfs on linux, en ben van plan voornamelijk NFS/RDMA te gaan gebruiken, en misschien een beetje SRP. Daarmee zou ik makkelijk line speed moeten halen, dus het netwerk gaat m'n bottleneck zeker niet zijn.

Overgens kan je met dual poort kaarten ook makkelijk meerdere werkstations aansluiten. Je werkstations hoeven namelijk niet rechtstreeks aan de server te hangen, maar kun je ook doorlussen via een werkstation. Je kunt 3 werkstations redundant aansluiten op een server met 4 dual port kaartjes en 4 kabels, door een ring te maken tussen alle systemen. Door de lage latency en hoge bandbreedte ga je dat in performance echt niet merken.

Dan heeft het dus veel weg van Fibre Channel. Elk device krijgt een eigen id?

[analog_]

nielsdc schreef op woensdag 28 december 2011 @ 01:35:
[...] nfs [..]

Zorg dat je de MTU sizes in de gaten houdt, als je 64k frames doet schijnt het een gigantisch verschil te maken.

[nielsdc]

analog_ schreef op donderdag 29 december 2011 @ 00:25:
[...]

Zorg dat je de MTU sizes in de gaten houdt, als je 64k frames doet schijnt het een gigantisch verschil te maken.

Dat is alleen het geval als je NFS via IPoverIB gebruikt, NFS/RDMA gebruikt native infiniband en werkt dus wat anders. Bij infiniband heb je wel een MTU (max 4K), maar dat wordt allemaal in hardware afgehandeld. Voor performance maakt alleen de message size uit, en die gaat tot 2GB!

[Femme]

Ik heb ook even twee Infiniband-kaartjes van eBay geplukt. Ik ga er tzt aan benchmarken en er een artikel over schrijven. Voor Windows-gebruikers is Infiniband de goedkoopste oplossing voor een netwerkbandbreedte van meer dan een gigabit, mede omdat Windows 7 geen MPIO ondersteunt en je dus aangewezen bent op een technologie met een hoge bandbreedte per poort.

[Pantagruel]

Femme schreef op zaterdag 31 december 2011 @ 21:25:
Ik heb ook even twee Infiniband-kaartjes van eBay geplukt. snipzz

Uiteindelijk heb ik voor mijn huidige file server (FreeBSD/ZFS setup) en de verwerkingsbak ook een Infiniband kaartje en directe kabel verbinding in gedachte. Op zich werkt Gbit/trunked Gbit niet slecht, maar om de een of andere reden kan ik me niet van het idee ontdoen dat het nog sneller kan.
Een volledige 10Gbit netwerk is wellicht een wens, maar financieel voorlopig absoluut geen optie (kaartjes ca. €500,- 't stuk, 10Gbps switch een klein fortuin) De pech blijft wel dat het dan bij die ene point-to-point verbinding blijft, en de rest van t netwerk het dan 'maar' met 1 Gbps moet doen.
Ach, als hobbyist kun je niet alles hebben

[Q]

Kleine tip,

Ik heb zelf altijd gebruik gemaakt van het Windows SMB protocol voor file shares. Omdat ik zelf een Mac heb, maak ik nu gebruik van NFS en de performance is vele malen beter. Ik bewaar mijn VMs voor VMware Fusion gewoon op mijn server, de performance van gigabit ethernet en NFS is qua reactietijd goed genoeg.

IO op reguliere interne HD van iMac:

code:

Uncached Read   171.28  1.21 MB/sec [4K blocks]
Uncached Write  26.19   2.77 MB/sec [4K blocks]

IO op de NFS share die wordt gehost door mijn 18 TB RAID 6 NAS

code:

Random Uncached Read    656.90  4.66 MB/sec [4K blocks]
Random Uncached Write   25.09   2.66 MB/sec [4K blocks]

Het gaat hier duidelijk om random I/O niet om brute doorvoersnelheid.

Tussen mijn twee servers zou ik graag meer brute doorvoersnelheid willen hebben. Ik zou graag een infiniband of FC kaart willen kopen en die in mijn machines zetten.

Misschien is dit een vraag @Femme: kun je die FC of Infiniband kaartjes ook in een PCIe 1x slot stoppen? Helaas heb ik geen server-grade borden gekocht met de juiste sloten voor dit type kaarten.

Ik zie graag weer eens een artikel van jouw hand

[ Voor 33% gewijzigd door Q op 01-01-2012 15:34 ]

[NightH4wk]

Vorige week root (FreeBSD RELENG_9) op ZFS geinstalleerd en de hele schijf encrypted met GELI. Kon gelijk een performance boost merken bij het eerste keer draaien van portsnap. Maar het compileren lijkt wat langzamer te gaan.

[nielsdc]

FireDrunk schreef op woensdag 28 december 2011 @ 12:08:

Dan heeft het dus veel weg van Fibre Channel. Elk device krijgt een eigen id?

Ja, het is in feite een heel basic switched netwerk. Het enige waar je rekening mee moet houden is dat er op elk subnet een subnet manager moet draaien. De subnet manager weet precies welke poort waar zit, en bepaald de routes zodat er geen loops in het netwerk zitten. De subnet manager kan in de switch geintegreerd zijn, maar hij is ook als daemon voor linux beschikbaar. Er kan maar een subnet manager per subnet aktief zijn, je kan wel een backup subnet manager hebben voor redundancy.

Als je 2 servers met 2 connecties met elkaar verbind kan je dus het beste 2 verschillende subnets maken, zodat je de totale bandbreedte van beide links kunt gebruiken. Als je er een subnet van maakt zal er altijd een link disabled worden om loops te voorkomen en heb je dus wel redundancy, maar geen extra bandbreedte.

Femme schreef op zaterdag 31 december 2011 @ 21:25:
Ik heb ook even twee Infiniband-kaartjes van eBay geplukt. Ik ga er tzt aan benchmarken en er een artikel over schrijven. Voor Windows-gebruikers is Infiniband de goedkoopste oplossing voor een netwerkbandbreedte van meer dan een gigabit, mede omdat Windows 7 geen MPIO ondersteunt en je dus aangewezen bent op een technologie met een hoge bandbreedte per poort.

Ik heb mijn kabels binnen en de kaarten liggen bij de douane. Als de douane een beetje opschiet zal ik proberen komende week wat benchmarks te posten.

[nielsdc]

Pantagruel schreef op zondag 01 januari 2012 @ 14:46:
[...]


Uiteindelijk heb ik voor mijn huidige file server (FreeBSD/ZFS setup) en de verwerkingsbak ook een Infiniband kaartje en directe kabel verbinding in gedachte. Op zich werkt Gbit/trunked Gbit niet slecht, maar om de een of andere reden kan ik me niet van het idee ontdoen dat het nog sneller kan.
Een volledige 10Gbit netwerk is wellicht een wens, maar financieel voorlopig absoluut geen optie (kaartjes ca. €500,- 't stuk, 10Gbps switch een klein fortuin) De pech blijft wel dat het dan bij die ene point-to-point verbinding blijft, en de rest van t netwerk het dan 'maar' met 1 Gbps moet doen.
Ach, als hobbyist kun je niet alles hebben

Je kan best betaalbaar meer aansluiten hoor. 2 dual poort infiniband kaarten: 100 dollar inclusief verzendkosten. Elke extra kaart is 33 dollar (inclusief verzendkosten). 3m kabels koop je voor 20 dollar p/s in hong kong, met gratis verzending. Ik heb geen goedkope kabels gevonden langer dan 3m, maar 3m is voor mij net genoeg. Met Mellanox dual poort kaartjes kun je als het goed is je connectie doorlussen, dus b.v. NAS -> verwerkingbak -> WS-> backup server. Hiermee kun je ook je kabellengte optimaliseren, maar deel je de bandbreedte uiteraard. (Maar dat gaat geen probleem zijn met 10G ) Dit zou moeten werken, maar ik heb er maar heel weinig informatie over kunnen vinden. Waarschijnlijk omdat in enterprise oplossingen de bandbreedte vrijwel nooit gedeeld wordt, Ik kan het zelf helaas niet testen omdat ik maar 2 kaartjes besteld heb.

[Femme]

Q schreef op zondag 01 januari 2012 @ 15:30:


Misschien is dit een vraag @Femme: kun je die FC of Infiniband kaartjes ook in een PCIe 1x slot stoppen? Helaas heb ik geen server-grade borden gekocht met de juiste sloten voor dit type kaarten.

Alles wat ik tot nu heb gezien is pci express x4 of x8, wat ook niet vreemd is omdat PCIe x1 onvoldoende bandbreedte heeft voor 10Gbps InfiniBand of dual 4Gbps fibre channel.

Voor de InfiniBand-kaartjes en twee kabels van 10 meter was ik ongeveer 200 euro kwijt exclusief eventuele btw. Ik doe ze weg zodra ik klaar ben met testen omdat ik er zelf geen bestemming voor heb.

[Pantagruel]

nielsdc schreef op zondag 01 januari 2012 @ 18:00:
[...]


Je kan best betaalbaar meer aansluiten hoor. 2 dual poort infiniband kaarten: 100 dollar inclusief verzendkosten. Elke extra kaart is 33 dollar (inclusief verzendkosten). 3m kabels koop je voor 20 dollar p/s in hong kong, met gratis verzending. Ik heb geen goedkope kabels gevonden langer dan 3m, maar 3m is voor mij net genoeg. Met Mellanox dual poort kaartjes kun je als het goed is je connectie doorlussen, dus b.v. NAS -> verwerkingbak -> WS-> backup server. Hiermee kun je ook je kabellengte optimaliseren, maar deel je de bandbreedte uiteraard. (Maar dat gaat geen probleem zijn met 10G ) Dit zou moeten werken, maar ik heb er maar heel weinig informatie over kunnen vinden. Waarschijnlijk omdat in enterprise oplossingen de bandbreedte vrijwel nooit gedeeld wordt, Ik kan het zelf helaas niet testen omdat ik maar 2 kaartjes besteld heb.

Klopt, zolang je binnen dezelfde kamer blijft kun je met diasy-chaining ver komen, of je moet bereidt zijn om een ietwat groter gaatje door vloer/plafond te boren (there goes the WAF ) .Ook een 10m kabel is wel betaalbaar , jammer dat sommige yanks de verzendkosten wel zeer onaantrekkelijk maken.

Gebruik je dual-link of single link tussen je machines??

Update:
Zojuist 2x 2M SAS 4X InfiniBand SFF-8470 to SFF-8470 kabel en 3x een Mellanox InfiniHosts MHEA28-XTC dual port 10GB/s via ebay besteld, t zwikje kost € 141,- incl. verzending. Zien of daisy chaining wil werken.

[ Voor 6% gewijzigd door Pantagruel op 01-01-2012 20:30 ]

[Q]

Femme schreef op zondag 01 januari 2012 @ 19:20:
[...]


Alles wat ik tot nu heb gezien is pci express x4 of x8, wat ook niet vreemd is omdat PCIe x1 onvoldoende bandbreedte heeft voor 10Gbps InfiniBand of dual 4Gbps fibre channel.

Voor de InfiniBand-kaartjes en twee kabels van 10 meter was ik ongeveer 200 euro kwijt exclusief eventuele btw. Ik doe ze weg zodra ik klaar ben met testen omdat ik er zelf geen bestemming voor heb.

Ik zou zeggen dat die kaarten volgens de PCIe standaard gewoon terug schakelen, de performance zal beter zijn dan wat ik met gigabit haal. Maar ik heb geen zin om de 1x sloten te gaan uitvijlen. Het zou wel een goede reden zijn om eens een keer server-grade spul in mijn servers te stoppen.

[ Voor 6% gewijzigd door Q op 01-01-2012 20:23 ]

[nielsdc]

Voor zover ik kan zien hebben de meeste infiniband kaarten hetzelfde of meer aan bandbreedte nodig als de poorten. Dus een dual port 10G kaart met een pcie 2.0 x8 connector werkt in 1.0 x8 slot, een 2.0 x8 slot met 4lanes maar niet met 4 pcie 1.0 lanes. Dit is logisch aangezien de kaarten niet bufferen maar de data direct in het systeemgeheugen/cache schrijven. De enige manier om met een kleinere bandbreedte naar de computer te werken is door de data te bufferen. Helaas zorgt dat voor een flink hogere latency, terwijl infiniband juist ontworpen is voor zo laag mogelijke latency. Je kan dus veilen wat je wilt, maar het zal nooit gaan werken.

[Q]

Oplossingen waarbij ik poorten moet gaan vijlen om dingen aan de praat te krijgen is natuurlijk ook een absolute no-go voor een systeem waar je je data aan gaat toevertrouwen en waarbij een backup niet mogelijk is gezien de omvang van de storage.

Ik heb een download server en een grote storage server. Ik zou makkelijk data tussen de twee willen uitwisselen met een simpele 1-op-1 verbinding, die ik in een PCIe 1x slot kan stoppen.

Helaas is er niets wat sneller is dan gigabit maar toch nog in een PCIe 1x slot past.

De enige hoop die ik heb is een PCIe 1x Thunderbolt kaart. Beetje het idee zoals je nu vaak USB 3, Firewire poorten aan een computer kunt toevoegen. De volledige bandbreedte van Thunderbolt haal je niet, maar het is beter dan niets. Als ik steady met 1 verbinding 250+ MB/s over die verbinding zou halen ben ik tevreden.

Een PCIe 1.0 slot kan 250 MB/s ruwe data verwerken.
Een PCIe 2.0 slot, zoals mijn machines hebben, kan 500 MB/s ruwe data verwerken.

Als van die 2.0 bandbreedte 400 MB/s zou overblijven, of slechts 300 MB/s. En dat zou bruikbaar zijn, dan zou ik blij zijn.

Vermoedelijk zouden de 1x sloten wel eens versie 1.0 kunnen zijn en alleen de 16x sloten zijn dan 2.0 helaas.

[ Voor 68% gewijzigd door Q op 01-01-2012 23:39 ]

[nielsdc]

USB 3.0?
Dat is volgens mij het enige gangbare consumenten spul met een redelijke match met pcie 2.0 x1
Je noemde dat zelf ook al, waarom denk je dat dat niet geschikt is?

[Q]

nielsdc schreef op maandag 02 januari 2012 @ 03:47:
USB 3.0?
Dat is volgens mij het enige gangbare consumenten spul met een redelijke match met pcie 2.0 x1
Je noemde dat zelf ook al, waarom denk je dat dat niet geschikt is?

Mijn Google skills zijn misschien niet super. Kan weinig vinden over host2host communcatie via USB3 maar het zou wel een mooie optie zijn.

[Oid]

Ik ben overgestapt naar zfsguru met:

6x 2TB samsung f4
1x 80GB Intel 320 SSD (da6)
system: 15GB da6s1
log: 4GB da6s2
l2arc: 26GB da6s3

volgens een collega is /dev/zero niet intressant omdat het puur nullen schrijven is en dus altijd snel.

/dev/zero zie je:

code:

ZFSguru 0.1.9 pool benchmark
Pool            : tank (10.9T, 45% full)
Test size       : 16 GiB
Data source     : /dev/zero
Read throughput : 2 GB/s = 1.9 GiB/s
Write throughput: 849.3 MB/s = 809.9 MiB/s

/dev/random is slecht:

code:

ZFSguru 0.1.9 pool benchmark
Pool            : tank (10.9T, 45% full)
Test size       : 16 GiB
Data source     : /dev/random
Read throughput : 1.2 GB/s = 1.1 GiB/s
Write throughput: 33.3 MB/s = 32.9 MiB/s

top tijdens /dev/random:

code:

last pid:  3055;  load averages:  3.77,  3.73,  2.36                             up 0+00:55:48  22:41:17
44 processes:  3 running, 40 sleeping, 1 stopped
CPU:  0.0% user,  0.0% nice, 59.8% system,  0.3% interrupt, 39.8% idle
Mem: 37M Active, 172M Inact, 6077M Wired, 328K Cache, 30M Buf, 1628M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME   THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
 2976 root         1 109    0  7880K  2068K CPU3    3   3:42 52.10% dd
 2880 root         1  44    0 35884K  8856K select  1   0:49  0.00% smbd
 1270 root         1  44    0  6916K  1296K RUN     0   0:03  0.00% powerd
 1612 www          1  44    0 20096K  7864K piperd  0   0:01  0.00% php-cgi
 1346 root         1  44    0 42904K 21276K select  2   0:00  0.00% perl

verdere gegevens:

zpool status:

code:

pool: tank
 state: ONLINE
 scan: scrub repaired 0 in 5h16m with 0 errors on Tue Jan  3 06:04:16 2012
config:

        NAME                                            STATE     READ WRITE CKS                         UM
        tank                                            ONLINE       0     0                              0
          raidz2-0                                      ONLINE       0     0                              0
            gptid/cb6e1873-acc9-11e0-a334-0022156407ce  ONLINE       0     0                              0
            gptid/cc259406-acc9-11e0-a334-0022156407ce  ONLINE       0     0                              0
            gptid/cce5f716-acc9-11e0-a334-0022156407ce  ONLINE       0     0                              0
            gptid/cda2c437-acc9-11e0-a334-0022156407ce  ONLINE       0     0                              0
            gptid/ce5641ba-acc9-11e0-a334-0022156407ce  ONLINE       0     0                              0
            gptid/cf0ed5ac-acc9-11e0-a334-0022156407ce  ONLINE       0     0                              0
        logs
          da6s2                                         ONLINE       0     0                              0
        cache
          da6s3                                         ONLINE       0     0                              0

errors: No known data errors

welke gegevens hebben jullie eventueel nog meer nodig, en waarom is mijn write zo slecht?

Feitelijk is mijn vraag, waarom is de write zo laag bij /dev/random, is dat normaal cpu is ook niet echt heftig bezig.

[Verwijderd]

/dev/zero is juist wat je moet gebruiken. Zolang compressie en dedup uit staan haal je daarmee dezelfde snelheden als met willekeurige data. Het probleem is dat je een te kleine grootte hebt geselecteerd. Je hebt veel RAM dus je RAM zorgt voor buffering waardoor je testscore te hoog wordt. Gebruik eens 64GiB en je zult redelijk nauwkeurige resultaten krijgen.

/dev/random is erg CPU-intensief. 60% cpu load op een quadcore is zéér intensief. /dev/random is bedoeld voor encryptie en dient dus echt willekeurig te zijn. Alleen de write score wordt hierdoor beïnvloed.

Ben benieuwd welke resultaten je krijgt met hogere testsizes.

[Oid]

code:

ZFSguru 0.1.9 pool benchmark
Pool            : tank (10.9T, 45% full)
Test size       : 64 GiB
Data source     : /dev/zero
Read throughput : 1.2 GB/s = 1.1 GiB/s
Write throughput: 760.3 MB/s = 725.1 MiB/s

cpu gebruik is vrijwel hetzelfde als bij de vorige actie. Moet ik ook de /dev/random testen met 64GiB, heb echt het gevoel dat dat een eeuwigheid gaat duren...

Bedankt tot zo ver!

Kan je me ook wat vertellen over de volgende foutmelding:

Notice: using an outdated offline copy for system images. op de status pagina. Ik heb alles al dubbel gechecked en de laatste versie. en bij disks krijg ik:

code:

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Notice: Undefined index: label in /usr/local/www/data/includes/disk.php on line 391

Komt dat omdat ze aan een LSI controller hangen?

[ Voor 56% gewijzigd door Oid op 05-01-2012 08:11 ]

[Verwijderd]

Je hebt een foute php.ini waarin je errors via je browser laat weergeven. Nog erger, niet alleen errors maar ook notices worden doorgegeven.

Je wilt de production php.ini gebruiken met wijzigingen zodat je grote bestanden kunt uploaden met AjaxPlorer. Omdat je geen officiële system image gebruikt moet je dat zelf doen.

Je systeem heeft óf geen internettoegang, of je moet de timeout van 1 seconde verhogen naar 3 seconden ofzo.

Over je scores zelf; weet je zeker dat je geen compressie hebt ingeschakeld? Output van 'zfs get compression tank'?

[Oid]

quote: http://zfsguru.com/doc/bsd/zfsguru

6. Configuring PHP
Now we are going to create a php.ini file. Normally PHP runs without one when freshly installed and uses all default values. Two example configuration files recommended either for development or production are provided. I recommend using the development PHP.ini, that uses strict error checking to notify of any problems that may occur.

cp /usr/local/etc/php.ini-development /usr/local/etc/php.ini

compressie uitgezet:

code:

ZFSguru 0.1.9 pool benchmark
Pool            : tank (10.9T, 51% full)
Test size       : 64 GiB
Data source     : /dev/zero
Read throughput : 331.4 MB/s = 316 MiB/s
Write throughput: 221.6 MB/s = 211.3 MiB/s

[FireDrunk]

Dat ziet er al veel aannemelijker uit

[iRReeL]

Verwijderd schreef op vrijdag 09 december 2011 @ 22:26:
Serienummers kun je op de Advanced pagina zien, maar dat werkt ook niet op mijn LSI controller; schijnt aan die chip te liggen. Je kunt volgens mij wel via smartctl /dev/... de serienummers zien, maar dat gaat dan niet via de web-interface.

Ik heb een aantal commando's geprobeerd maar krijg er geen serienummer uit (met openindiana werkt smartctl wel met de M1015). Mijn oude pool is ok onder OpenIndiana maar als ik van de ZFSguru live cd opstart is ie 'degraded' (geen import gedaan).

Nu zou ik graag het serienummer willen achterhalen om te kijken welke disk dit is. Hoe doen jullie dit dan met ZFSguru?? Als een hdd faalt, hoe weten jullie dan welke disk te vervangen?

De 2e pool op het systeem is wel online onder ZFSguru / Napp-it

ZFSguru
pool: EARS
id: 9357497074858849202
state: DEGRADED
status: The pool was last accessed by another system.
action: The pool can be imported despite missing or damaged devices. The
fault tolerance of the pool may be compromised if imported.
config:
EARS DEGRADED
raidz2-0 DEGRADED
ada3p1 ONLINE
da11p1 ONLINE
da8p1 ONLINE
7320190195822736862 UNAVAIL cannot open
da10p1 ONLINE
da9p1 ONLINE
da4p1 ONLINE
da7p1 ONLINE
da6p1 ONLINE
da5p1 ONLINE

Reboot naar Napp-it
pool: EARS
state: ONLINE
scan: resilvered 1.53T in 38h51m with 0 errors on Wed Jan 4 12:43:40 2012
config:
NAME STATE READ WRITE CKSUM
EARS ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
c4t4d0 ONLINE 0 0 0
c6t50014EE65589D4B0d0 ONLINE 0 0 0
c6t50014EE6558A2848d0 ONLINE 0 0 0
c4t1d0 ONLINE 0 0 0
c6t50014EE600C7D206d0 ONLINE 0 0 0
c6t50014EE65589D265d0 ONLINE 0 0 0
c6t50014EE25AE16885d0 ONLINE 0 0 0
c6t50014EE2B01E19AEd0 ONLINE 0 0 0
c6t50014EE6AADF27F5d0 ONLINE 0 0 0
c6t50014EE6003480B3d0 ONLINE 0 0 0
errors: No known data errors

Momenteel gebruik ik een Supermicro X8SIL-F met X3440 en 12GB Kingston ECC met 2x IBM M1015 (IT). 10x WD EARS 2TB en 10x Samsung F2 1.5TB. Openindiana + Napp-it staat nu op een Vertex turbo 30GB.

Uiteindelijk wil ik ook graag PC-BSD met ZFSguru gebruiken maar dat is stukken lastiger dan OpenIndiana dus daar ben ik nog mee aan het prutsen.

[Verwijderd]

[quote]

iRReeL schreef op vrijdag 06 januari 2012 @ 16:13:
Nu zou ik graag het serienummer willen achterhalen om te kijken welke disk dit is. Hoe doen jullie dit dan met ZFSguru?? Als een hdd faalt, hoe weten jullie dan welke disk te vervangen?

Normaliter heb je je disks met een zelfgekozen naam gelabeled, zodat je weet dat 'disk5' de fysieke schijf is met het label 'disk5' opgeplakt. Dat maakt het stukken makkelijker. Nu moet je met smartmontools je serienummer achterhalen.

Als je LED lampjes hebt zoals vaak bij hot-swap bays, dan is het wat makkelijker. Je degraded pool een scrub laten starten dan zie je alle lampjes branden behalve de disk die eruit is gegooid. Diens LEDje blijft dan uit; en dan weet je ook vrij snel welke schijf je moet hebben.

Ik raad aan om bij het formatteren van de hardeschijven de disks te labelen.

Uiteindelijk wil ik ook graag PC-BSD met ZFSguru gebruiken maar dat is stukken lastiger dan OpenIndiana dus daar ben ik nog mee aan het prutsen.

Waarom onder PC-BSD? Waarom niet FreeBSD of de officiële system releases? Daar kun je ook X draaien, al weet ik niet precies waarom onder een server OS.

[FireDrunk]

VNC perhaps?

[Verwijderd]

ZFSguru heeft twee nieuwe releases aangekondigd: 0.2-beta en beta2.

This version, 0.2-beta, adds some important features the ZFSguru web-interface was lacking so far.
• New Partition map editor for visual disk formatting
• New Disks->Memory page for configuring memory devices and file-images
• New Pools->Cache page for configuring L2ARC devices
• New Pools->Log page for configuring SLOG devices
• The Files->Browse page now uses AjaxPlorer when available
• The Pools page now can be used to perform disk operations such as disk replacement, converting single disks to mirrors, etc.
• The Pools->Create pagenow features an option to force the use of disks, even though they contain an old ZFS filesystem
• other changes I've missed.


Beta2, released on the 6th of January 2012, adds:
• new Files->Permissions page to manage file permissions and samba user authentication
• Files->Volumes allows creating thin-provisioned volumes called sparse zvols
• Files->Volumes allows creating swap devices
• Files->Volumes allows resizing existing volumes
• Disks can be sorted on the Disks->Formatting and Disks->SMART pages
• Files->Snapshots page has been redesigned with more functionality
• Allows upgrading filesystems on the Files->Filesystems page
• Allows upgrading pools to a specific version on the Pools->Status page
• Allows renaming pools by exporting and then importing using a different name


Download LiveCD
http://static.zfsguru.com...2.0-beta-livecd-amd64.iso

Link naar release topic: New release: 0.2-beta and beta2

In beide beta's kun je ook een stukje werk van mij zien, namelijk de partition map editor waar ik aan gewerkt heb. Dat ziet er ongeveer zo uit:



Als iemand hier eens wat Linux/Windows/Apple/Solaris diskjes onder ZFSguru wil laten draaien ben ik benieuwd of ze goed herkend worden. Daar valt denk ik nog veel aan te verbeteren.

[vargo]

Verwijderd schreef op zaterdag 07 januari 2012 @ 00:09:
ZFSguru heeft twee nieuwe releases aangekondigd: 0.2-beta en beta2.

[...]

Link naar release topic: New release: 0.2-beta and beta2

In beide beta's kun je ook een stukje werk van mij zien, namelijk de partition map editor waar ik aan gewerkt heb. Dat ziet er ongeveer zo uit:

[afbeelding]

Als iemand hier eens wat Linux/Windows/Apple/Solaris diskjes onder ZFSguru wil laten draaien ben ik benieuwd of ze goed herkend worden. Daar valt denk ik nog veel aan te verbeteren.

Nice! Op basis van welke versie van FreeBSD is dit?
En zijn de file permissions NFSv4 style?

Zou het wel willen proberen, maar ben bang dat FreeBSD nog steeds niet wil installeren op mijn test-bak (FreeBSD 8+ installeert niet meer op een Asus K8N4-e Deluxe; bug status is nog steeds 'open').

[Verwijderd]

De beta heeft FreeBSD 9.0-RC2 geloof ik. Welk probleem heb je precies met booten?

[vargo]

Het is al even geleden dat ik er voor het laatst mee bezig ben geweest, maar FreeBSD8+ boot niet meer doordat het hangt op de volgende 2 bugs:
- het detecteren van het USB spul
- de IDE poorten

Beide problemen worden ook in de mailinglist besproken, maar zijn volgens mij nooit opgelost (het IDE probleem kan ik niet eens een bugnr van vinden):
http://unix.derkeiler.com...ent/2009-07/msg00407.html

Vroeger FreeBSD 7.2 RC (ZFS v13) op gedraaid en werkte altijd prima.

[vargo]

On a different note - ik kwam toevallig http://smartos.org/ tegen en dit ziet er heel cool uit. Gebaseerd op illumos, waar ze ook aan bijdragen.

SmartOS incorporates the four most revolutionary OS technologies of the past decade — Zones, ZFS, DTrace and KVM

Het mooie is dat je native ZFS krijgt + virtualizatie (KVM) + security (zones) + analyze tools (DTrace).

Misschien ga ik mijn main NAS (nu opensolaris) hier naar updaten, maar eerst de backups weer op orde krijgen op bovenstaande NAS.

[CurlyMo]

vargo schreef op zondag 08 januari 2012 @ 08:40:
Het is al even geleden dat ik er voor het laatst mee bezig ben geweest, maar FreeBSD8+ boot niet meer doordat het hangt op de volgende 2 bugs:
- het detecteren van het USB spul
- de IDE poorten

Beide problemen worden ook in de mailinglist besproken, maar zijn volgens mij nooit opgelost (het IDE probleem kan ik niet eens een bugnr van vinden):
http://unix.derkeiler.com...ent/2009-07/msg00407.html

Vroeger FreeBSD 7.2 RC (ZFS v13) op gedraaid en werkte altijd prima.

Draai je ook je OS van een USB óf IDE drive? Zo ja, dan is het belangrijk dat FreeBSD voldoende tijd neemt om je USB (en IDE?) poorten te detecteren. Normaal gesproken doet hij dat tijdens en na het booten nog, maar als je van USB moet booten, dan vindt FreeBSD simpelweg je root pool niet.

Het volgende in je /boot/loader.conf toevoegen hielp in mijn geval:

kern.cam.boot_delay=20000

[Sandor_Clegane]

Hoi iedereen,

Wat een mooi topic is dit, ik heb met verbazing zitten lezen.

Nu ben ik zelf ook een Solaris machientje aan het testen/bouwen en dacht dat het wel eens tijd werd om mezelf te registreren.

Ik ben dit weekend aardig bezig geweest met het uitzoeken van Infiniband ondersteuning voor Solaris 11.

Dit blijkt niet zo simpel als ik had gehoopt. Met name de ondersteuning voor kaarten zonder onboard memory is eruit gehaald. Dit zijn juist de kaartjes die zo lekker goedkoop zijn. ( Zie release notes van Oracle over het eruit halen van de Arbel driver. )

Ander punt is dat de Mellanox chips ook in veel OEM kaarten worden gebruikt, probleem alleen is dat het best lastig is om te achterhalen welke kaart nu welke chipset gebruikt.

Solaris 11 heeft ondersteuning voor deze chips via zijn Tavor driver mits memory onboard:
http://docs.oracle.com/cd...ml/821-1475/tavor-7d.html

Weet niet of dit al behandeld is, hoop dat het geen dubbele info is.

[Sandor_Clegane]

Heb ik een vraagje:

Ik heb een ZVOL gemaakt en deze via Comstar gedeeld. Via de Windows ISCSI initiator heb ik deze aan mijn Windows 7 machine gekoppeld. So far so good.

Via zfs set volsize=200g heb ik deze lun groter gemaakt. ZFS list geeft de nieuwe grootte goed weer. Deze wijziging krijg ik alleen niet te zien in Windows. Als het goed is moet ik nu de disk kunnen extenden maar wat ik ook doe Disk management heeft niet door dat de disk groter is geworden. Diskpart ziet het ook niet.

Ik heb hetzelfde geprobeerd met een Lun dat gekoppeld is aan een 2008R2 VM, zelfde verhaal. Het lijken dus niet mijn Windows machines te zijn.

Ik heb verbindingen verbroken op Windows, de target gestopt op Solaris en verscheidene rescan en refreshes gedaan van Disk Management. Niets.

Ik hoef in de Comstar laag niets te wijzigen toch? stmfadm heeft toch niets met de aangeboden zvol te maken? behalve het creeeren van de LUN e.d. Mis ik ergens een refresh van het geheel?

Enig idee?

[ Voor 10% gewijzigd door Sandor_Clegane op 08-01-2012 16:07 ]

[Verwijderd]

vargo schreef op zondag 08 januari 2012 @ 08:40:
Het is al even geleden dat ik er voor het laatst mee bezig ben geweest, maar FreeBSD8+ boot niet meer doordat het hangt op de volgende 2 bugs:
- het detecteren van het USB spul

Heb je ZFSguru 0.1.9+ al eens geprobeerd? Die heeft een boot delay optie waarmee dit probleem dus verholpen zou moeten zijn.

@Sandor_Clegane: rebooten ook al geprobeerd? Misschien detecteert Comstar de wijziging niet na de eerste detectie?

[Sandor_Clegane]

Verwijderd schreef op zondag 08 januari 2012 @ 17:38:
[...]


@Sandor_Clegane: rebooten ook al geprobeerd? Misschien detecteert Comstar de wijziging niet na de eerste detectie?

Dat is nu juist iets wat ik wil voorkomen Ga het eens proberen. Thx

[Sandor_Clegane]

Ok, ik ben erachter waarom dat het niet werkt maar of ik nu blij moet zijn met de oplossing is een tweede.

stmfadm en sbdadm importeren als het ware je Zvols. En houden dus ook de grootte bij. Los van de grootte op disk lijkt.

Zie:

zfs list
storagepool/winlun1 51.6G 225G 1.44G -

Dit lun was 30g

stmfadm list-lu -v:
LU Name: 600144F0080027A4E54F4F049A020001
Operational Status: Online
Provider Name : sbd
Alias : SQLdata
View Entry Count : 1
Data File : /dev/zvol/rdsk/storagepool/winlun1
Meta File : not set
Size : 32212254720
Block Size : 512
Management URL : not set
Vendor ID : SUN
Product ID : COMSTAR
Serial Num : not set
Write Protect : Disabled
Writeback Cache : Enabled
Access State : Active

De size is hier nog 30g. Wil je dit vergroten moet je dus een modify-lu doen. Ik ben er nog niet achter hoe je nu gewoon je aangeboden blockdevice backende Zvol even opnieuw uitleest waardoor je Zvol resize propageert naar stmf.

Zoals het lijkt moet je nu op 2 plekken de config/sizes bijhouden.

Na modify-lu werkt diskmanagement van Windows zich direct bij.

Je kan via stmfadm wel je Lun veel groter maken dan je Zvol is. Maar waarom je dat zou willen?

Je kan via zfs create -s al een sparse zvol maken die veel groter is dan de daadwerkelijke pool grootte. Heb voor de gein van de 50g Zvol een 500g lun gemaakt en aangeboden, diskmanagment ziet dit dan ook als een 500g disk.

[vargo]

CurlyMo schreef op zondag 08 januari 2012 @ 11:34:
[...]


Draai je ook je OS van een USB óf IDE drive? Zo ja, dan is het belangrijk dat FreeBSD voldoende tijd neemt om je USB (en IDE?) poorten te detecteren. Normaal gesproken doet hij dat tijdens en na het booten nog, maar als je van USB moet booten, dan vindt FreeBSD simpelweg je root pool niet.

Het volgende in je /boot/loader.conf toevoegen hielp in mijn geval:

kern.cam.boot_delay=20000

Ja het OS moet op USB / IDE komen te staan. De SATA poorten hangen de data disks aan.
Zal er van de week nogmaals mee aan de slag gaan; hopelijk geeft FreeBSD9 RC2 betere resultaten.

[ Voor 1% gewijzigd door _Dune_ op 26-03-2013 21:07 ]

[Sandor_Clegane]

@Cipher,

Nu zit ik te denken aan een SSD voor mijn nasje waar ik een aantal VM's op kan installeren om zodoende een beetje goede response te krijgen. Had ik de Samsung 830 voor ogen lees ik net je post over write amplification.

Dat een beetje onderzocht, conclusie: geen Samsung.

Nu wordt het een Crucial M4 van 128 GB. Dit wordt later wel uitgebreid maar om gelijk een vermogen uit te geven aan SSD's gaat me iets te ver. Ruimte is dus een probleem, alleen met sparse volumes moet ik al een heel end komen.

Vergis ik mij of is een storagepool met Windows VM's een aardige dedup kandidaat? En met 128GB moeten de dedup tables prima in memory zijn te houden niet? 1GB aan RAM oid?

[Verwijderd]

Samsung 830 is wel lekker snel, maar de hoge write amplification vind ik een nadeel. Dan zou ik eerder voor Crucial M4 kiezen die praktisch even snel is, maar minder hoge WAf heeft.

Dus Crucial M4 128GB zou zeker kunnen. Bedenk wel dat je maar een gedeel te van de ruimte zou moeten gebruiken. 100GB partitie ofzo en 28GB ongebruikt laten als spare space.

Je kunt ook denken aan twee keer een Crucial M4 64GB. Dat is voor lezen grofweg twee keer zo snel; voor schrijven maakt het weinig uit. Als je de poorten kunt missen is dit de optie die je de meeste performance per euro geeft.

Dedup kan ja, bedenk dat je dedup op filesystem-niveau kunt in- of uitschakelen. Dus je ssd/vm_images filesystem enable je dan dedup op, terwijl andere data opgeslagen niet dedupped wordt.

[ Voor 14% gewijzigd door Verwijderd op 08-01-2012 22:00 ]

[FireDrunk]

vargo schreef op zondag 08 januari 2012 @ 08:54:
On a different note - ik kwam toevallig http://smartos.org/ tegen en dit ziet er heel cool uit. Gebaseerd op illumos, waar ze ook aan bijdragen.

[...]

Het mooie is dat je native ZFS krijgt + virtualizatie (KVM) + security (zones) + analyze tools (DTrace).

Misschien ga ik mijn main NAS (nu opensolaris) hier naar updaten, maar eerst de backups weer op orde krijgen op bovenstaande NAS.

Ik ben zeker beniewd, mooie link! KVM + ZFS is voor mij wel een hele interessante combi!
Nu nog wachten tot de disks weer betaalbaar zijn, dan kan ik een mooie ZFS backupserver maken in het ouderlijk huis, als remote backup locatie

[Sandor_Clegane]

Echt jammer dat schijven nu zo duur zijn... Enig idee wanneer de prijzen weer een beetje dalen?

Ik zit in hetzelfde schuitje, maak nu nog gebruik van mijn 2x 1TB disken.

Crucial M4 128 is besteld! Ben benieuwd.....

[FireDrunk]

Er word geloof ik in de wandelgangen Februari - Maart geroepen. Maar WD heeft zijn productie volgens mij nog steeds niet op pijl, dus zal het wel later worden voordat we *echt* op het oude niveau zitten.