Het grote ZFS topic

[Sandor_Clegane]

Nu ben ik zelf niet zo'n fan van WD maar ja, de prijzen van Samsungs zijn ook verschrikkelijk omhoog gegaan.

[Sandor_Clegane]

Om nog even terug te keren op mijn vraag waarom Comstar de grootte van een Zpool niet goed weergeeft.

Ik denk dat ik snap waarom. Je kan met ZFS ook gewoon een file maken en deze dus als ISCSI blockdevice uitsturen.

Aangezien je met een file geen grootte opgeeft moet Comstar dat doen. Tenminste ik denk dat dit logica erachter is. Een file is ook een stuk mooier omdat je dan wel ZFS als basis houdt en niet een volume.

Ik denk dat ik maar gewoon files ga gebruiken ipv een zvol voor mijn ISCSI targets. Nu maar hopen dat clone e.d. net zo mooi werken.

[Oid]

die nieuwe zfsguru versie ziet er goed uit! veel meer functionaliteit, echt super!!

[Ultraman]

Voor iedereen die er op zat te wachten: FreeBSD 9.0-RELEASE is uit!

Op http://torrents.freebsd.org:8080/ staan verse torrents klaar, deze downloaden prima en dvd1 md5sum matched met een post op Google+ door een FreeBSD committer:

Manolis Kiagias - Yesterday 07:21 - Public
Updated FreeBSD 9.0-RELEASE DVD images are now on the central FTP server and on many mirrors. MD5 hashes for the updated images:


FreeBSD-9.0-RELEASE-i386-dvd1.iso = fee32ba2041285b971daf7ea429e36e4

FreeBSD-9.0-RELEASE-amd64-dvd1.iso = 61221643ebeefeeb74bd552311e07070

Please check any images downloaded earlier to make sure you have the latest version!

Volgens hem dus ook op de FTP servers, maar daar heb ik hem nog niet echt kunnen ontdekken via de officiële weg. Verwacht dat dat vast niet lang meer zal duren, waarna ook een officieel release announcement geplaatst zal worden.

[ Voor 97% gewijzigd door Ultraman op 09-01-2012 22:38 ]

[Waking_The_Dead]

Ik heb een setje tweedehandse enterprise schijven op de kop kunnen tikken: het gaat over 5 van deze jongens: pricewatch: Western Digital Caviar RE2 WD4000YR, 400GB en eentje van deze: pricewatch: Western Digital Caviar RE2 WD5000YS, 500GB

Nu weet ik wel dat je voor ZFS geen TLER nodig hebt; maar kan het problemen geven als ik deze schijven gebruik in een RAIDZ2 setupje? En wat als ik een paar van deze schijven combineer met niet-enterprise schijven?

[Ultraman]

Aangezien ZFS praat met de individuele schijven als jij ze aan normale controllers/HBAs hangt verwacht ik geen problemen.Maar ik ben geen expert op dat gebied.

[Verwijderd]

Je wilt mogelijk zelfs TLER uitschakelen, want op de RE series is deze feature standaard ingeschakeld zijn. Dat kan gevaar opleveren als je bad sectors in een degraded configuratie hebt. Normale consumentenschijven zonder TLER werken prima, mits je ze op een non-RAID controller hebt aangesloten.

De controller is cruciaal. Je onboard SATA van je chipset is het allerbeste, daarna komt een goede LSI controller zoals de IBM M1015 die je kunt flashen met IT-mode firmware. Dan heb je voor één PCI-express slot ruimte voor 8 SATA schijven, door middel van twee mini-SAS kabels, die je vaak apart moet kopen. Lees je hier even over in.

[iRReeL]

Verwijderd schreef op vrijdag 06 januari 2012 @ 17:34:
[quote]
[...]
Waarom onder PC-BSD? Waarom niet FreeBSD of de officiële system releases? Daar kun je ook X draaien, al weet ik niet precies waarom onder een server OS.

Sja dat is idd iets wat eigenlijk niet mag maar het is wel duidelijk dat ik niet echt normaal bezig ben Ik wil graag een desktop zodat ik de server ook kan gebruiken om ff iets te internetten, mail etc. Server staat altijd aan dus leek me wel handig (tenslotte is het geen productie server).

Daarom dacht ik ook aan PC-BSD maar daar werkt de IPMI weer ontzettend slecht en ZFSguru install moeilijk voor me. ZFSguru en dan achteraf X installeren is idd een optie. Voor nu ga ik toch nog verder met openindiana en ga op het 2e systeem met ZFSguru spelen.

Echter nog altijd via windows SMB maar 50 MB/s lezen (100MB/s schrijven) dus dacht toch maar 's die pool leeg te maken en via ZFSguru cd nieuwe pool met ashift12 aan te maken (nu kan het nog).

De EARS pool 'destroyed' met Napp-it, de 2e pool (samsung disks) laten staan. Met ZFSguru moet ik dan importeren, de 10 samsung disks worden gezien als pool. Dus gaan importeren en opeens maken alle 20 disks deel uit van de samsung pool Dus kan geen nieuwe EARS pool meer maken. Ik zal vanavond de samsung disks lostrekken en dan nog 's proberen.

edit: Uiteindelijk kon ik wel een nieuwe pool maken. GEOM formatting en dan die 4K override. Die pool kon ik in Napp-it niet importeren, gebeurde niets. Nieuwe OI install gedaan (ISO mounten via IPMI werkte opeens niet goed, kreeg alleen een desktop in OI , Installatie kunnen doen via een DVD). Kon toen wel de zpool importeren maar blijkt achteraf instabiel en volgens Bonnie++ benchmark minder snel. Veel H: errors (Error: S:0 H:48 T:0) vooral op de interne SATA poorten en S:2 op alle andere poorten.

1 hdd miste ook (ONLINE maar verder geen data) maar was aanwezig 'ongebruikt' (als ik dan een replace doe krijg ik een melding dat beide hdd's uitmaken van de zpool).

Inmiddels de 4K zpool verwijderd en nieuwe pool in Napp-it aangemaakt en die schijnt stabiel te zijn, geen errors.

Tevens een mirror gemaakt voor de OI installatie

pool: rpool
state: ONLINE
scan: resilvered 8.98G in 0h6m with 0 errors on Sat Jan 14 17:52:04 2012
config:

NAME STATE READ WRITE CKSUM CAP MODELL
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c2t0d0s0 ONLINE 0 0 0 80.03 GB Mod: ST98823AS FRev: 7.24 SN: 5PK395ZA
c2t5d0s0 ONLINE 0 0 0 80.03 GB Mod: ST98823AS FRev: 7.24 SN: 5PK580Q1

errors: No known data errors

Edit2: Na het kopieeren van enkele TB's toch weer errors. De 6 onboard aangesloten disk hebben allemaal H:74 en nog 's 3 disks Error: S:3 H:4 T:20 Is het nu normaal om errors te zien? Vooral omdat ik veel data aan het kopieeren ben? Waarom specifiek de onboard controller zoveel errors? Supermicro x8SIL-F is toch zeer geschikt voor ZFS begreep ik?

logfile staat helemaal vol met AHCI port errors (port 0 t/m 5)
ahci: [ID 296163 kern.warning] WARNING: ahci0: ahci port 3 has task file error
ahci: [ID 687168 kern.warning] WARNING: ahci0: ahci port 3 is trying to do error recovery
ahci: [ID 693748 kern.warning] WARNING: ahci0: ahci port 3 task_file_status = 0x451
ahci: [ID 332577 kern.warning] WARNING: ahci0: the below command (s) on port 3 are aborted
ahci: [ID 117845 kern.warning] WARNING: satapkt 0xffffff0431d280e8: cmd_reg = 0xb0 features_reg = 0x0 sec_count_msb = 0x0 lba_low_msb = 0x4f lba_mid_msb = 0x4f lba_high_msb = 0x0 sec_count_lsb = 0x0 lba_low_lsb = 0x6 lba_mid_lsb = 0x4f lba_high_lsb = 0xc2 device_reg = 0x0 addr_type = 0x4 cmd_flags = 0x12
ahci: [ID 657156 kern.warning] WARNING: ahci0: error recovery for port 3 succeed
Error for Command: Error Level: Recovered
scsi: [ID 107833 kern.notice] Requested Block: 0 Error Block: 0
scsi: [ID 107833 kern.notice] Vendor: ATA Serial Number: WD-WMAZ
scsi: [ID 107833 kern.notice] Sense Key: Soft_Error
scsi: [ID 107833 kern.notice] ASC: 0x0 (), ASCQ: 0x1d, FRU: 0x0
scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g50014ee2ad6d9579 (sd24):

[ Voor 55% gewijzigd door iRReeL op 17-01-2012 12:12 ]

[Verwijderd]

Even uit het DIY RAID NAS topic:

Verwijderd schreef op dinsdag 17 januari 2012 @ 16:13:
Kan al wel vast verklappen dat de nieuwe LiveCD met FreeBSD 9.0-RELEASE vandaag uit zou moeten komen.

CurlyMo schreef op dinsdag 17 januari 2012 @ 16:18:
@CiPHER, weet je ook of de nieuwe versie een upgrade mogelijkheid biedt vanaf FreeBSD 8.2?

Je kunt in ZFSguru altijd upgraden, simpelweg vanaf een draaiend systeem.

1) upgrade eerste de web-interface naar 0.1.9
2) ga naar system > install en kies root-on-zfs
3) download een nieuwe system image 9.0-004 (stap 2)
4) kies bij stap 3 dezelfde pool als je huidige pool; je kunt dan 'upgraden'
5) stap 4 kun je de installatie starten en rebooten

Nadat je reboot, boot je dan in je nieuwe omgeving. Je oude systeem filesystems zijn er nog, maar unmounted.

Een nieuwe installatie betekent wel dat al je services, samba shares en andere aanpassingen weg zijn. In een volgende beta versie van ZFSguru 0.2 komt migratie van systeemconfiguratie als belangrijke nieuwe feature, die upgraden met behoud van systeembestanden een stuk makkelijker maakt.

[CurlyMo]

Dus een échte upgrade mogelijkheid is er dus niet, want je verlies wel je settings. In mijn geval draai ik allemaal custom scripts & een paar andere daemons. Deze zou ik graag gewoon direct gemigreerd zien en niet alleen hetgeen wat standaard in ZFSguru zit.

[Verwijderd]

Je krijgt altijd een nieuwe, verse installatie. Echt upgraden betekent dat je je huidige install en alles behoudt, dus ook een hoop rommel en oude configuratiebestanden.

ZFSguru werkt met system images, waarbij alles voor elkaar gecompileerd is op één tijdstip en dus de meeste kans biedt dat alles goed werkt als je gaat upgraden.

Zodra de migratiefunctionaliteit aanwezig is kun je een profiel opstellen met de zaken die je wilt behouden (checkbox samba, checkbox firewall config, etc) en dat profiel meenemen naar je nieuwe installatie. Dan heb je dus wel allemaal schone systeembestanden, in feite een verse installatie, maar kopieer je in feite de bestanden die je wilt behouden. Ik denk dat dit een beter idee is dan mensen met binary upgrade op te zadelen, wat niet altijd zonder risico is dat sommige zaken niet werken, bijvoorbeeld omdat ports gehercompileerd moeten worden.

[CurlyMo]

Wat een andere optie zou zijn voor gebruikers zoals ik, is dat er een multiboot wordt gecreëerd net zoals bij een Linux kernel upgrade. Dan kan ik aan het nieuwe systeem werken zolang ik alleen thuis ben, en zolang dit nieuwe systeem nog niet werkt, de oude kan draaien wanneer de rest er weer afhankelijk van is.

Weet je daarnaast of het Samba VFS objects probleem is verholpen in de nieuwe versie? Dat zou het migreren namelijk ook een stuk gemakkelijker maken.

[3p0x]

Op dit moment heb ik een losse raidcontroller welke eenvoudig in een ander systeem geprikt kan worden, hetgeen ik al en paar keer gedaan heb Maar eigenlijk wil ik naar een NAS/ZFS oplossing toe. Kan ZFS overgezet worden naar een ander platform?

[ Voor 21% gewijzigd door 3p0x op 18-01-2012 15:47 ]

[CurlyMo]

Yep, simpel met een export / import commando Welke elke keer perfect.

[Verwijderd]

Ik heb de onderdelen voor mijn ZFS NAS besteld met o.a. 5 WD20EARX die ik in een RAIDZ1 zpool wou configureren. Nu loop ik met het idee om in de toekomst 2 extra HDD's bij te voegen om een RAIDZ2 zpool kunnen maken. Zou het daarom geen goed idee zijn om reeds een RAIDZ2 pool aan te maken van 7 vdevs bestaande uit de 5 HDD's en 2 tijdelijke bestanden(op mijn OS partitie) die ik later kan vervangen door 2 echte HDD's ?

UPDATE: blijkbaar is een raidz2 pool met 7 disks niet zo'n goed idee. Dus zelfde vraag maar dan met een raidz2 zpool met 6 vdevs.

[ Voor 13% gewijzigd door Verwijderd op 18-01-2012 21:51 ]

[Verwijderd]

Je kunt prima een memory disk maken. Dus je hebt 6 schijven waarvan 1 een memory disk. Na het aanmaken, verwijder je de memory disks weer. Simpel zat.

Kun je met ZFSguru 0.2 allemaal via de GUI doen, of gebruik je wat anders?

[Verwijderd]

ok, bedankt.

Ik ga ubuntu gebruiken met native zfs, dus "ubuntu-zfs" ipv "zfs-fuse"

[lange]

een dezer dagen moet ik weer aan de reinstall van m'n freenas 7 setupje (weer een defecte bootschijf yay),
nu zag ik dat de laatste 7.5 stable een nieuwe zfs/pool versie gebruikt (eindelijk stable!).
mijn vraag is nu, kan ik zomaar upgraden (pool import via de gui zag ik voorbij komen) zonder verlies van data?
als ik zo rond lees heb ik het idee van wel, maar wil het toch graag zeker weten voor ik eraan begin

[FireDrunk]

@Mortok.

Ubuntu-ZFS, RAIDZ2, en Memory disks. Het ruikt mij een beetje naar vragen om problemen.
Je hebt veel (in mijn ogen) hokkie wokkie oplossingen door elkaar. Ubuntu-ZFS is redelijk beta, en je gaat een extra risico nemen door je pool aan te maken met memory disks.

Lijkt je dat verstandig?

[iRReeL]

Ik had juist met het Supermicro bordje gehoopt dat het stabieler en sneller zou zijn maar blijkbaar niet
Snap er eigenlijk niet veel van

pool: EARS1
state: DEGRADED
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://www.sun.com/msg/ZFS-8000-8A
scan: scrub in progress since Wed Jan 18 18:51:05 2012
13.9T scanned out of 15.4T at 249M/s, 1h50m to go
7.56M repaired, 89.85% done
config:

NAME STATE READ WRITE CKSUM CAP MODELL
EARS1 DEGRADED 0 0 134
raidz2-0 DEGRADED 0 0 269
c2t1d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB Mod:
c2t4d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB Mod:
c5t50014EE25AE16885d0 DEGRADED 0 0 183 too many errors (repairing) 2.00 TB
c5t50014EE2B01E19AEd0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB
c5t50014EE600348083d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB
c5t50014EE6003480B3d0 DEGRADED 0 0 172 too many errors (repairing) 2.00 TB
c5t50014EE600C7D206d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB C
c5t50014EE65589D265d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB
c5t50014EE6558A2848d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB C
c5t50014EE6AADF27F5d0 DEGRADED 0 0 126 too many errors (repairing) 2.00 TB

errors: 134 data errors, use '-v' for a list

[FireDrunk]

8 rotte disks... Kabel? Voeding? Automatische spindown die ZFS niet verwacht?

[iRReeL]

Voeding wilde ik sowieso wisselen van de Nexus 800w naar de Nexus 430w, dat zal ik vanavond doen. Sata kabels zal ik dan ook wisselen, de sff8087 wisselen met de 2e array kijken of die dan problemen krijgt.

Ik gebruik de M1015 controller (IT) maar heb nooit in de settings gekeken (ook niet op de vorige machine waar ik geen problemen) had. Ik zal de power management in Napp-it disablen en opletten of de disks nog downspinnen of niet. Bedankt voor de tips, ff een beetje frustrerend om de array zo te zien

[FireDrunk]

Het is wel vreemd... Kun je in kernel logs zien wat er precies fout gaat? (Welk commando, is het de schijf die de fout geeft of de controller misschien...)

[Verwijderd]

@FireDrunk:
Dat verhaal van die memory disks ga ik niet doen. Ik heb besloten om nu al direct een 6de HDD bij te nemen en mijn zpool van in het begin aan te maken met raidz2 en 6 fysische disks. Een 7de disk komt er niet.

Ubuntu-zfs: ik heb wat tests gedaan en lijkt me goed te werken, alleszins stukken beter dan zfs-fuse. Maar ik zal nog even wachten om er cruciale data op te zetten tot ik er een goed gevoel bij heb. Bedankt voor de waarschuwing.

Raidz2: Is de implementatie minder betrouwbaar dan raidz1 ? (op papier natuurlijk niet maar in praktijk ?)

[ Voor 0% gewijzigd door Verwijderd op 19-01-2012 12:07 . Reden: typo ]

[FireDrunk]

Dat lijkt me wel duidelijk, RAIDZ2 kan 2 schijven missen, RAIDZ1 maar 1.
In de praktijk is dat niet zoveel anders dan RAIDZ1... Wat wel iets lager is, is misschien de performance.

[Verwijderd]

Ok, ik was even in de war omdat je raidz2 opsomde samen met ubuntu-zfs en memory disks.

[iRReeL]

ik heb de log van gister en vandaag op pastebin gezet maar kom er (nog) niet helemaal wijs uit. Eens kijken of het met een andere voeding iets beter gaat uitzien. Ik heb nu al bestanden op de pool die 'unrecoverable' zijn.

[FireDrunk]

lba_mid_lsb en lba_high_lsb errors... Kan er eerlijk gezegd niet zoveel over vinden.
Misschien iemand anders?

[Verwijderd]

iRReeL schreef op donderdag 19 januari 2012 @ 11:22:
Ik had juist met het Supermicro bordje gehoopt dat het stabieler en sneller zou zijn maar blijkbaar niet
Snap er eigenlijk niet veel van

Je hebt checksum fouten die tot in je pool doordringen; wat heb je gedaan met dit beestje? Wat draai je nu precies?

Heb je een MemTest86+ gedaan voor meerdere uren om zeker te weten dat je geen gaar RAM hebt?

[iRReeL]

HW momenteel is Supermicro x8SIL-F met X3430, (2x4GB+2x2GB) 12GB ECC RAM, 2x IBM M1015 (IT). 10x WD EARS 2TB intern en 10x hotswap waar momenteel 10x Samsung F2 1.5 in zitten. 2x80GB OS disk onboard controller, 2 disks van iedere pool (totaal 4) ook op interne controller.

1. als test openindiana 151a + napp-it op SSD gezet. EARS pool van mijn oude openindiana installatie geimporteerd. Zag er verder goed uit.
2. nu het nog kon wilde ik toch de EARS met ashift=12 installeren dus in ZFSguru een nieuwe pool aangemaakt op de 10x EARS met 4K override en GEOM formatting (eerst in ZFSguru alle disks naar GEOM geformat want enkele disks stond GPT format bij). Zag er verder mooi uit.
3. terug naar OpenIndiana maar kon de pool niet importeren, als ik het commando in Napp-it of terminal geeft lijkt er niets meer te gebeuren.
4. ik wilde sowieso van de SSD af dus 2x80GB erin en nieuwe OI installatie (wat opeens niet meer lukte via IPMI ISO mounten over het netwerk, opstarten van OI bleef hangen bij de desktop. IPMI/iKVM reset/defaults nog gedaan, nieuwe ISO, ander share server maar hielp niet.). Toen DVD speler aangesloten en installatie ging goed.
5. OpenIndiana 151a erop met de laatste Napp-it (deze week installed). Daarna een 2e 80GB OS drive erbij gezet volgens een guide (wat goed ging).
6. met de nieuwe OI installatie kon ik de nieuwe pool wel importeren maar weer veel H: errors en ook performance volgens BONNIE++ was niet goed. Ook was 1 disks van de pool UNAVAIL en had ik 1 disk niet in gebruik. Replace van de UNAVAIL drive met de overgebleven drive lukte niet omdat ze beide deel uitmaken van de zpool. Export/import verhielp het ook niet. Voor de rest geen errors op de zpool zelf.
7. pool destroyed en weer een nieuwe z2 pool via napp-it gemaakt (ashift9). Alles zag weer goed uit. Toen data gaan inlezen van EADS pool en weer wat H: errors (all interne poorten, 'n paar op 2 andere hdd's). Goed.. doorgegaan, en pool 85% vol gezet.
8. scrub gedaan op de nieuwe pool met het huidige resultaat, too many errors op alle disks. 2e F2 pool lijkt ok maar durf er nu geen scrub op te draaien.
9. Memtest draait nu (1,5uur, 1st pass complete, no errors), vanavond wissel ik de PSU. Gezien de problemen met de interne poorten doe ik ook maar een CMOS clear en check voor de nieuwste firmware.

Ik ga nu toch maar weer 's ZFSguru proberen omdat er meer support voor te vinden is. Verder gaat de server toch maar in een hok dus desktop is niet van toepassing, ook merk ik dat je toch veel via terminal moet doen (je ontkomt er toch niet aan ).

[Femme]

Ik heb napp-it heel even geprobeerd maar vond het al meteen niks aan omdat je geen fibre channel targets kunt aanmaken. Sindsdien doe ik alles op de command-line. Pools met 4K alignment maak ik aan mbv een aparte alignment. Overigens merk ik in benchmarks geen prestatieverschil tussen een pool met ashift=9 en ashift=12 bij gebruik van Seagate Barracuda Green 5900.3 harde schijven.

Voor wie een san wil bouwen op een zfs-systeem is de zvol blocksize veruit de belangrijkste tunable. Standaard is deze 8K en dat is veel te laag. Een blocksize van 8K zorgt er weliswaar voor dat transacties verdeeld worden over veel schijven maar de latency van de disk die het langst duurt over het positioneren van de koppen wordt de bottleneck en dat wil je niet. Net zoals bij stripe sizes in raidarrays kun je veel beter een grotere stripesize gebruiken. Eenmaal gepositioneerd gaat het lezen op schrijven naar een disk immers releatief snel en je houdt andere disks beschikbaar om I/O's uit te voeren. Uiteindelijk haalde ik de beste prestaties bij een zvol block size van 128K, wat ook meteen het maximum is.

De Infiniband-hca's en kabels heb ik inmiddels ook binnen dus daar gaat tzt ook mee getest worden.

[Verwijderd]

Overigens merk ik in benchmarks geen prestatieverschil tussen een pool met ashift=9 en ashift=12 bij gebruik van Seagate Barracuda Green 5900.3 harde schijven.

Zijn dat 4K schijven? Zo ja, dan merk je vooral verschil bij niet-optimale configuraties.

Optimale configuraties voor 4K schijven zijn:
RAID-Z: 3, 5 of 9 schijven (data_disks + 1 parity)
RAID-Z2: 4, 6 of 10 of 18 schijven (data_disks + 2 parity)
RAID-Z3: 5, 7 of 11 of 19 schijven (data_disks + 3 parity)
Zoals je misschien kunt zien, de data_disks moet een macht van 2 zijn, dus 1, 2, 4, 8, 16.

Dus als je een RAID-Z van 3 of 5 schijven maakt dan heb je ook bijna geen nadeel van de 4K sectors en heb je dus niet persé ashift=12 nodig.

Voor zvols kun je ook overwegen de 'sync' attribuut op off te zetten. Dan doe je geen sync writes meer en dat kan behoorlijk sneller zijn afhankelijk van je client.

Oh en Femme, als je ooit een testbak met veel schijven en veel RAM hebt, en je hebt even tijd.. wellicht kun je dan de Benchmark feature in ZFSguru eens gebruiken. Install ZFSguru eerst naar een extra systeem disk (normale hdd) want de livecd is niet voor ZFS performance getuned. Na die installatie kun je bij Disks->Benchmark een lange automatische benchmark starten die vele RAID-Z configuraties afgaat. Afhankelijk van de testgrootte kan dit uren of dagen duren met veel schijven. Maar je produceert wel hele mooie grafiekjes waarin je een aantal zaken kunt afleiden, zoals het schalen van performance met meer disks en niet-optimale configuraties.

Deze benchmark is destructief, dus je disks mogen geen pools of data bevatten. Doe alleen de sequential test. Ik zou de eerste run op de laagste test size houden zodat je ziet dat het werkt. De echte run moet minimaal 64GiB zijn voor goede nauwkeurigheid, maar 32GiB kun je eventueel ook overwegen. Eenmaal draaiende hoef je verder niets te doen; de pagina refresht en geeft de grafiek met (onvolledige) resultaten weer. Best een mooie feature.

Voorbeeld:

[Pantagruel]

Mijn Mellanox MHEA28-XTC HCA's zijn vandaag binnen gekomen (wat een ballen vervoerder is USPS, tracking info loopt hopeloos achter). ZFSguru 0.2.0-beta3 op CD gezet (De GA-X38-DQ6 die als test plank dient wil niet vanaf stick booten noch een BIOS update accepteren ("BIOS id check error") vanaf een USB stick. HCA erin gefrot en bootstrappen die handel [GA-X38-DQ6, E7400, 8Gib RAM, GTS8800 ( for some l33t gr4ph1c5 at the CLI)]

system's log knipseltje wat er toe doet mbt OFED:

Jan 19 18:48:47 zfsguru kernel: ib_mthca0: <ib_mthca> mem 0xea800000-0xea8fffff,0xea000000-
0xea7fffff irq 16 at device 0.0 on pci2
Jan 19 18:48:47 zfsguru kernel: ib_mthca: Mellanox InfiniBand HCA driver v1.0-ofed1.5.2
(August 4, 2010)
Jan 19 18:48:47 zfsguru kernel: ib_mthca: Initializing ib_mthca
Jan 19 18:48:47 zfsguru kernel: Trying to mount root from ufs:/dev/md0 []...
Jan 19 18:48:47 zfsguru kernel: WARNING: TMPFS is considered to be a highly experimental
feature in FreeBSD.
Jan 19 18:48:47 zfsguru kernel: ib_mthca0: HCA FW version 5.1.000 is old (5.3.000 is
current).
Jan 19 18:48:47 zfsguru kernel: ib_mthca0: If you have problems, try updating your HCA FW.
Jan 19 18:48:47 zfsguru kernel: ib0: max_srq_sge=27
Jan 19 18:48:47 zfsguru kernel: ib0: max_cm_mtu = 0x10000, num_frags=16
Jan 19 18:48:47 zfsguru kernel: ib0: Attached to mthca0 port 1
Jan 19 18:48:47 zfsguru kernel: ib1: max_srq_sge=27
Jan 19 18:48:47 zfsguru kernel: ib1: max_cm_mtu = 0x10000, num_frags=16
Jan 19 18:48:47 zfsguru kernel: ib1: Attached to mthca0 port 2

rest van system's log: http://pastebin.com/xvgcb9Eu
Kernel log: http://pastebin.com/j8hVnheL


De SFF-8470 kabels (2m) zijn nog steeds onderweg (HongKong) dus jammer genoeg geen transfer
speeds of link setup voorlopig.

Aangezien IB pas net is toegevoegd aan ZFSguru (0.2.0-beta3) ga ik de huidige setup op basis van 0.1.9 voorlopig nog even niet upgraden. Neemt niet weg dat er volop gepield gaat worden met de test plank, arrgghh ongeduldig wachten op die kabels, niet altijd mijn beste eigenschap.

Pic's or it didn't happen:

[iRReeL]

Inmiddels voeding vervangen en gestart van de ZFSguru installatie.

Volgens SMART disks met 1 bad sectors en 1 disk met 2 bad sectors. 2 disks staat bij dat ze 12/21uur oud zijn, dat kan niet.

Systemlog ziet er gezond uit, ik zie geen errors.

Een van de M1015 leek niet te werken, geen HDD's listed. Maar ik moest blijkbaar de boot volgorde van de controllers in het M1015 menu aanpassen.

ZFSguru 0.1.9 pool benchmark
Pool : EARS1 (18.1T, 85% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 797 MB/s = 760.1 MiB/s
Write throughput: 394.4 MB/s = 376.1 MiB/s

Pool name EARS1
Status ONLINE
Description One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
Action Restore the file in question if possible. Otherwise restore the
entire pool from backup.
See http://www.sun.com/msg/ZFS-8000-8A
Scrub scrub in progress since Fri Jan 20 01:38:22 2012
7.99T scanned out of 15.4T at 255M/s, 8h29m to go
0 repaired, 51.75% done
Ashift pool is optimized for 512 B sector disks (ashift=9)

Pool members Status Read errors Write errors Checksum errors
EARS1 ONLINE 0 0 134
raidz2-0 ONLINE 0 0 268
da2p1 ONLINE 0 0 0
da6p1 ONLINE 0 0 0
da7p1 ONLINE 0 0 0
da5p1 ONLINE 0 0 0
ada0p1 ONLINE 0 0 0
da4p1 ONLINE 0 0 0
gpt/zfs ONLINE 0 0 0
da3p1 ONLINE 0 0 0
da1p1 ONLINE 0 0 0
ada2p1 ONLINE 0 0 0

[Verwijderd]

Heb je al MemTest86+ gedraaid?

De leeftijd van de disk gaat over uren dat de schijf in werking is, dus een jaar lang afgekoppeld + 1 dag draaiend wil zeggen dat de schijf 24 uur werkuren heeft. Met deze info, kloppen de cijfers nog steeds niet?

[FireDrunk]

Het zijn alleen maar Checksum errors, geen read of write... Suggereert dat niet dat de errors er al eerder in gekomen zijn? Ik begrijp dat je meerdere OSen geprobeerd hebt?

[CurlyMo]

Een vraagje. Op dit moment zitten deze schijven in mijn systeem:

code:

Disk    Status  Temperature     Power cycles    Load cycles     Cable errors    Bad sectors     Lifetime
ada0    Healthy     33°C - 91°F     119     36514   0   0 active - 0 passive    8.1 months
ada1    Healthy     35°C - 95°F     122     36256   0   0 active - 0 passive    8.1 months
ada2    Healthy     35°C - 95°F     117     36310   0   0 active - 0 passive    8 months
da0     Healthy     36°C - 97°F     48  100815  0   0 active - 0 passive    22 days
da1     Healthy     24°C - 75°F     1458    36173   0   0 active - 0 passive    5.9 months

Maar zoals te zien is hebben mijn schijven een nogal hoge load cycle. De laatste 2 zijn usb schijven voor respectievelijk de OS en Backup. De eerste 3 is mijn RAIDZ pool.

De APM van mijn RAIDZ heb ik al aangepast zodat deze niet meer gaan slapen. Voor mijn usb schijven gaat dit via ZFSGuru niet. Weet iemand hoe ik dit ook voor mijn USB schijven kan instellen? Daarnaast vroeg ik me af wanneer de load cycles 'gevaarlijk hoog' zijn en of dit wel redelijk is voor mijn 22 dagen oude usb disk?

Ook zag ik een aantal mensen hier praten over een configuratie van 2 pools. 1 pool voor het dagelijkse gebruik (zoals in mijn geval mijn school documenten) en een tweede pool voor minder intensief gebruik (zoals films, foto's e.d.). Heeft dat als aanvulling van zo'n kleine pool (3 disks) ook enige meerwaarde?

[ Voor 6% gewijzigd door CurlyMo op 20-01-2012 12:45 ]

[Verwijderd]

36.000 load cycles op 8 maanden gaat nog wel. De meeste specs zijn 300.000 load cycles. Dat zou in dat tempo neerkomen op 5 en half jaar.

Maar je 100.000 cycles in 22 dagen is wel extreem. Wat voor schijf is dat? Ik zou APM uitschakelen indien mogelijk, als dat de USB disk is zou ik die even intern (onboard SATA) aansluiten zodat je APM kunt instellen.

Let wel op, niet alle disks bewaren hun APM settings na een power cycle! Dit kun je het beste even uittesten door de machine helemaal uit te doen, dan weer aan en kijken of de APM op dezelfde setting is gebleven. Daarna pas weer terugzetten in je USB behuizing.

[CurlyMo]

Het gaat om een My Passport Elite 500GB, dat is een schijf die vanaf de fabriek al gebouwd is voor USB. Aansluiten op SATA gaat dus al niet. Je begrijpt dus dat ik dat al heb geprobeerd. Verder kan ik nergens vinden hoe ik de APM van usb disks kan veranderen.

Is het anders een optie om via een cronjob te voorkomen dat de schijf in slaapstand gaat?

[Verwijderd]

Je kunt met WDIDLE.EXE in DOS-mode de setting veranderen. Via APM is makkelijker. Je zegt dat je het al hebt geprobeerd? Dus je hebt je disk op je onboard controller aangesloten en je disk heet dus 'ada' (met een getal erachter)? Zo ja, dan zou je APM moeten zien onder Disks > Advanced.

[CurlyMo]

Ik kan de disk dus niet aansluiten via SATA omdat de schijf vanaf de fabriek al met een USB connector is gebouwd. Er zit dus geen converter op zoals gewoonlijk wel het geval.

[Verwijderd]

Oh zo. Oke in dat geval denk ik dat het niet gaat werken, ook niet via DOS. Onder Disks > Advanced zie je via je USB interface geen details over de disks? Normaal zie je gelijk een box om de APM setting te veranderen inclusief lijst met supported features.

[ Voor 24% gewijzigd door Verwijderd op 20-01-2012 13:12 ]

[CurlyMo]

Nope.

Zoals eerder aangegeven. Zou een cronjob werken om de head parking te voorkomen, zo ja, kan dat nog kwaad?

[Verwijderd]

Nee, headparking is iets wat de schijf zelf doet. Dat is dus wat anders dan spindown control van het OS. Je zult of met WD utilities aan de slag moeten, of de APM instelling wijzigen om headparking te beïnvloeden. Voor zover ik weet.

[CurlyMo]

WDIDLE werkt niet voor deze USB drive, verder weet ik niet hoe ik de APM kan aanpassen in FreeBSD. Het opnieuw opstarten van ZFSguru geeft ook weer dezelfde resultaten.

Mijn idee qua cronjob was dus om elke minuut een bestand aan te maken en weer te verwijderen. Op deze manier houdt ik de koppen van de schijf actief. Maar dat zou dus niet moeten werken?

[iRReeL]

Verwijderd schreef op vrijdag 20 januari 2012 @ 12:26:
Heb je al MemTest86+ gedraaid?

De leeftijd van de disk gaat over uren dat de schijf in werking is, dus een jaar lang afgekoppeld + 1 dag draaiend wil zeggen dat de schijf 24 uur werkuren heeft. Met deze info, kloppen de cijfers nog steeds niet?

Ja memtest ongeveer 2,5 uur en waren geen problemen. die EARS disks zijn allemaal al weken online op de vorige pc (onderdeel van de zpool). Verder waren de disks al gebruikt toen ik ze kocht. Ik heb 1 RMA gehad (maar dat is ook alweer 'n paar weekjes geleden) maar zeker niet 2 dus iets klopt er niet. Verder had ik dit overzicht nog opgeslagen van 'n weekje geleden (dezelfde disks) en had ik geen disk met slechts uren in gebruik.

FireDrunk schreef op vrijdag 20 januari 2012 @ 12:42:
Het zijn alleen maar Checksum errors, geen read of write... Suggereert dat niet dat de errors er al eerder in gekomen zijn? Ik begrijp dat je meerdere OSen geprobeerd hebt?

Ja zo te zien komen die checksums errors van de scrub (nog met OI+napp-it) van gister. Ik had dus gister de voeding vervangen, oude installatie van ZFSguru gebruikt en toen de pool weer geimporteerd. Als ik zpool status -v doe krijg ik ook weer de melding dat dezelfde ISO als gister permanent errors heeft.

Napp-it zpool status van gisteren:
EARS1 DEGRADED 0 0 134
raidz2-0 DEGRADED 0 0 269
c2t1d0 DEGRADED 0 0 0 too many errors (repairing) 2.00 TB Mod: WDC etc...

Ik zou denken dat de problemen nu verholpen zijn? Scrub is nu iets van 75% done, geen ahci errors etc in de kernel/system log en geen r/w errors in de zpool. Misschien de PSU of iets niet super aangesloten. Met 22 disks ontkom ik er niet aan om e.e.a. te verlengen (en ik begrijp dat dat ook problemen kan opleveren). Het is ook een enorme kabelzooi

Ik heb alleen nog een klein probleempje dat ik geen toegang heb tot de bestanden lol. Ik kan wel de share benaderen en zie de mappen maar ik kan de mappen niet openen. B.v. "drwx------ 13 root wheel 92 Nov 8 15:25 BACKUP" Nog ff zoeken waar ik kan aanpassen Dat gaat wel lukken.

Tweede probleempje is dat ik nu weer niet weet welke schijf wie is, dat mis ik toch wel erg. Ookal ga ik de disks labelen, hoe weet ik welke disk ik aan het labelen ben? En helaas zitten deze disks niet in de hotswap bays dus kan idd niet zien welke disk niet werkt. Dus ik ga nog 's op zoek waar ik de s/n van de disk kan opvragen

Scrub 250MB/s is toch wel een beetje sloom denk ik, daar had ik toch eerder 376MB/s gezien (Echter pool was maar ±30% vol). Ik overweeg om weer een nieuwe pool aan te maken, 4K override en die blocksize wat Femme opmerkte (alleen is de originele zpool degraded, heb 2TB EADS met EARS disk vervangen en rebuild ging met 600kb/s dus zou daaagen duren. Volgens mij komt dat omdat ik inmiddels 8xEADS en 2x EARS in dezelfde pool heb en dat werkt dus niet lekker. Lezen in deze degraded state ging eergisteren met 'n 100-150Mb/s (naar de EARS pool).

Ik voel me iig weer iets beter, zag er toch ff slecht uit gisteren Helaas druk weekend voor de boeg dus zal niet verder kunnen spelen.

[CurlyMo]

CurlyMo schreef op vrijdag 20 januari 2012 @ 13:51:
WDIDLE werkt niet voor deze USB drive, verder weet ik niet hoe ik de APM kan aanpassen in FreeBSD. Het opnieuw opstarten van ZFSguru geeft ook weer dezelfde resultaten.

Mijn idee qua cronjob was dus om elke minuut een bestand aan te maken en weer te verwijderen. Op deze manier houdt ik de koppen van de schijf actief. Maar dat zou dus niet moeten werken?

Op dit moment heb ik een scriptje lopen dat om de 5 seconden een bestandje "touched" en hetzelfde bestandje weer verwijderd. Waar ik volgens ZFSguru om de 18.9 seconden een load cycle had op mijn usb disk, is nu mijn load cycle voor ongeveer 4 uur hetzelfde gebleven Het is verre van een ideale oplossing maar ik verwacht dat dit de levensduur van mijn schijf vergroot ten opzichte van niks doen.

[Pantagruel]

Een update mbt Infiniband:

De kabels zijn gisteren aan gekomen, kwam er alleen achter dat de connector toch schroef bevestiging was en niet klem (wat ik nodig heb). Heb de connector los moeten schroeven om de boel aan te kunnen sluiten.
aan de Mellanox HCA's.

Een quickie Iperf test IPoIB.

Iperf server: GA-X38-DQ6, 8 Gib RAM, E7400, GTS8800,on-board RTL nic, HCA at PCIe x16 #2
Iperf client: Asus P5N7A-VM, 4 Gib RAM, E6600, on-board video, on-board Nvidia nic, HCA at PCIe x16

1e test: Win7 x64 -> Win7 x64 OFED drivers.



192.168.1.x zijn de on-board Gbit nic's en 10.10.4.x de 10Gbit HCA's.
Jammer genoeg doet de Realtek slechts ca. 50% van de 'advertised' speed als het om single thread throughput gaat, geklokt: 437 Mbit/sec.
De Mellanox HCA's doen het beter maar de 1 Gbit/sec is voorlopig nog geen 10 Gbit.

2e test: Win 7 x64 -> ZFSguru 0.2.0-beta3 liveCD.



192.168.1.x zijn de on-board Gbit nic's en 10.10.4.x de 10Gbit HCA's.
De onboard NIC's halen bij een hogere TCP windows size wel hun 'advertised' , geklokt: 939 Mbit/sec.
De Mellanox HCA's doen het beter, 3.13 Gbit/sec in single thread 64 K TCP windows size is niet slcht, maar het zou nog beter moeten kunnen.

Na een de man pages van iperf es doorgenomen te hebben en een hint van CiPHER de que depth verhoogt

3e test: Win 7 x64 -> FreeBSD 9 custom OFED kernel



De Mellanox HCA's doen het beter, 6.34 Gbit/sec bij 8 threads en een TCP windows size van 64 K is het betere werk.


Conclusie tot nu toe:
De Windows 7 default TCP window size van 8 Kb remt waarschijnlijk de on-board nic's, de 10Gbit HCA's leiden er definitief onder (single threaded transfer). FreeBSD's default TCP window size van 64 Kb doet het behoorlijk veel beter. Infiniband topt pas bij een que width van 8 en dan kom je redelijk in de buurt van de maximale doorvoersnelheid die je "in 't wild" zou verwachten (max. is ca. 80% van theoretische snelheid ivm overhead)

[FireDrunk]

20% overhead op TCP? Valt wel mee hoor, al helemaal als je 64k transfer sizes hebt, dan is het eerder 2-5%.
Je kan dus nog iets sneller

Heb je CPU belasting bekeken? Misschien is je PCIe chipset gewoon niet sneller.

[CurlyMo]

Pantagruel schreef op zaterdag 21 januari 2012 @ 11:41:
De Windows 7 default TCP window size van 8 Kb remt waarschijnlijk de on-board nic's, de 10Gbit HCA's leiden er definitief onder (single threaded transfer). FreeBSD's default TCP window size van 64 Kb doet het behoorlijk veel beter. Infiniband topt pas bij een que width van 8 en dan kom je redelijk in de buurt van de maximale doorvoersnelheid die je "in 't wild" zou verwachten (max. is ca. 80% van theoretische snelheid ivm overhead)

Dit is ook wat ik van heel veel mensen hoor (en zelf heb ondervonden). Je zou eens tijdelijk Windows XP moeten installeren, die heeft de TCP window size limieten niet (of je kan ze daarin wel aanpassen). Waarschijnlijk haal je dan wel de snelheden zoals geadverteerd. Hopelijk is dit met Windows 8 weer verholpen.

[Pantagruel]

FireDrunk schreef op zaterdag 21 januari 2012 @ 11:47:
20% overhead op TCP? Valt wel mee hoor, al helemaal als je 64k transfer sizes hebt, dan is het eerder 2-5%.
Je kan dus nog iets sneller

Heb je CPU belasting bekeken? Misschien is je PCIe chipset gewoon niet sneller.

Ik vrees dat je gelijk hebt, de E6000 is 100% belast tijdens de test, de E7400 in de FreeBSD bak heeft nog 20% over.

Spelen met de TCP windows size geeft nog net even dat beetje meer, maar de rek is niet groot. >= 256K geeft geen verbetering t.o.v 128K.

[FireDrunk]

Prioriteit van iperf al verhoogd?

Even voor de beeldvorming, hier op het werk halen we met 10Gbit ook maar 6-7Gbit max hoor

[ Voor 57% gewijzigd door FireDrunk op 21-01-2012 12:46 ]

[Q]

Zolang je niet op 1 tcp verbinding meer dan 1GB+ weet te halen ga je niet echt lol hebben van de performance.

[webfreakz.nl]

Q schreef op zaterdag 21 januari 2012 @ 12:50:
Zolang je niet op 1 tcp verbinding meer dan 1GB+ weet te halen ga je niet echt lol hebben van de performance.

Waarom niet? 500MB/s zou ik ook voor tekenen.

[Pantagruel]

FireDrunk schreef op zaterdag 21 januari 2012 @ 12:26:
Prioriteit van iperf al verhoogd?

Even voor de beeldvorming, hier op het werk halen we met 10Gbit ook maar 6-7Gbit max hoor

Aha, oftewel, we zijn al redelijk uitgetweakt en zitten nu in het bereik van bergen inspanning om de laatste Mib's uit de lijn te wringen.
Is dat IB of 10Gbit Ethernet?

Q schreef op zaterdag 21 januari 2012 @ 12:50:
Zolang je niet op 1 tcp verbinding meer dan 1GB+ weet te halen ga je niet echt lol hebben van de performance.

Aan de andere kant is 3GBit beduidend sneller dan de on-board Gbit NIC kan leveren en de aanschafprijs van de IB kaartjes en de kabels was te overzien.

[FireDrunk]

Hier op het werk hebben we 10Gbit met TwinAx (Wikipedia: Twinaxial cabling : 10Gbit SFP+ Cu)

[ Voor 6% gewijzigd door FireDrunk op 21-01-2012 14:36 ]

[Q]

Pantagruel schreef op zaterdag 21 januari 2012 @ 14:18:
Aan de andere kant is 3GBit beduidend sneller dan de on-board Gbit NIC kan leveren en de aanschafprijs van de IB kaartjes en de kabels was te overzien.

Ik keek verkeerd, ik zag alleen die parallelle connecties van rond de 1 gbit. 3 GB is nog altijd rond de 300 MB/s en daar zou ik al voor tekenen .

De vraag is: tot 4 GB kun je gewoon een server NIC met 4 poorten kopen 2x en die met regulier UTP met elkaar verbinden. Heb je wel meer kabel bende, maar dat werkt ook. De vraag is dan wat duurder is want als ik mag kiezen dan heb ik liever 1 kabel.

De vraag is ook waar het 'probleem' zit dat je er niet nog meer perf uit weet te halen. Ik ben beniewd of Windows hier zelf niet het probleem is en niet de hardware.

Door van een live cd /stick te booten in bsd of linux zou je dat kunnen uitsluiten.

[ Voor 9% gewijzigd door Q op 22-01-2012 10:20 ]

[Pantagruel]

Q schreef op zondag 22 januari 2012 @ 10:18:
[...]


Ik keek verkeerd, ik zag alleen die parallelle connecties van rond de 1 gbit. 3 GB is nog altijd rond de 300 MB/s en daar zou ik al voor tekenen .

De vraag is: tot 4 GB kun je gewoon een server NIC met 4 poorten kopen 2x en die met regulier UTP met elkaar verbinden. Heb je wel meer kabel bende, maar dat werkt ook. De vraag is dan wat duurder is want als ik mag kiezen dan heb ik liever 1 kabel.

De vraag is ook waar het 'probleem' zit dat je er niet nog meer perf uit weet te halen. Ik ben beniewd of Windows hier zelf niet het probleem is en niet de hardware.

Door van een live cd /stick te booten in bsd of linux zou je dat kunnen uitsluiten.

Klopt, je zou een dual/quad Gbit nic in je server kunnen steken (ca €100 en €300) en dan een 2 of 4Gbit trunk op kunnen zetten. Als je voor 2 stuks dual Gbit gaat is dat nog wel betaalbaar, twee keer quad is voor mijn hobby situatie eerlijk gezegd buiten bereik. Daarnaast is het aantal insteekplaatsen (soms) ook een beperkende factor. Wat dat betreft was de keuze voor IB een van betaalbaar en een redelijke kans van slagen op een verbinding sneller dan 2 Gbit trunked Gbit (tegen inleveren van 1 insteekplaats).

Het zou best kunnen dat Windows een flink deel van de 'beperkende' factor is. Idealiter wil je de 6Gbps (8 threads, TCP window size 64 Kb) bij een enkele thread zien.

Is een idee, heb tot op dit moment enkel van windows naar FreeBSD (ZFSguru liveCD/FB9 custom kernel) getest. Linux vereist het installeren van de OFED drivers, mijn gok is dat er geen liveCD distro is die dat heeft.

[webfreakz.nl]

Q schreef op zondag 22 januari 2012 @ 10:18:
[...]
De vraag is: tot 4 GB kun je gewoon een server NIC met 4 poorten kopen 2x en die met regulier UTP met elkaar verbinden. Heb je wel meer kabel bende, maar dat werkt ook. De vraag is dan wat duurder is want als ik mag kiezen dan heb ik liever 1 kabel.

Heb je dan niet het probleem dat 1 IP stream maar 1 van de 4 poorten kiest? Dat is volgens mij namelijk wel zo, anders krijg je keihard jitter op je stream en dat heeft ook geen positief effect op de performance..

[CurlyMo]

Caponi schreef op woensdag 11 januari 2012 @ 19:38:
Ik heb sinds enige tijd een Asus E35M1-M bordje in gebruik waar ik Ubuntu Server op heb draaien. Ik loop echter tegen een probleem aan waar ik maar niet uit kom.

Onder Ubuntu heb ik Samba opgetuigd t.b.v. de Windows 7 clients. Dit werkt goed, maar wanneer ik een groter bestand (bijv een DVD-ISO) vanaf de Ubuntu machine kopieer, kom ik niet boven de 40MB/s uit. Kopieer ik een ISO naar de Ubuntu machine, dan haal ik zo'n 82MB/s.

[...]

Na verder test- en zoekwerk ben ik er achter gekomen dat ik veel betere resultaten behaal wanneer ik het TCP window size op beide machines op elkaar afstem (in dit geval 256KB):

[...]

Ik heb een eeuwigheid gezocht naar een oplossing om het TCP window size in Windows7 aan te passen, maar het enige dat ik kan vinden is dat Windows 7 over TCP autotuning beschikt en dat het window size sinds Vista niet meer aan te passen is.

Daarom heb ik de proef op de som genomen. Ik heb een oude HDD in m'n PC gezet, en hier vervolgens Windows XP op geinstalleerd. En geloof het of niet: out of the box gigabit snelheden!

Weet iemand misschien een oplossing om i.c.m. Windows 7 ook gigabit snelheden te behalen? Ik ben al wezen testen met Jumbo Frames/MTU, maar dat biedt geen enkele verbetering.

Ik zou toch opnieuw het proberen van Windows XP onder de aandacht willen brengen Mits de drivers van je nieuwe kaarten ondersteund worden....

[Megalith]

Even inhakend op de discussie hierboven. Ik heb hier ook twee servers staan met beide een 4Gbit trunk via een HP Quadport NIC maar helaas weet ik zowel met iSCSI als met een filecopy niet meer dan 1Gbit te behalen.

[nielsdc]

fcg123 schreef op zondag 22 januari 2012 @ 11:57:
Even inhakend op de discussie hierboven. Ik heb hier ook twee servers staan met beide een 4Gbit trunk via een HP Quadport NIC maar helaas weet ik zowel met iSCSI als met een filecopy niet meer dan 1Gbit te behalen.

Ja, in veel gevallen zal de verdeling van het verkeer op basis van src/dst mac of ip addr gaan. Een enkele sessie zal nooit meer dan 1Gbit gebruiken. Tussen 2 linux machines kan je bonding met round robin gebruiken, en dan kan je wel meer dan 1Gbit halen met een enkele sessie.

Ik ben ondertussen weer terug uit het buitenland, en kan dus ook met mijn infiniband spulletjes gaan spelen . Met IP over IB kom ik ook niet veel verder dan 3-4Gbit voor een sessie, maar de ruwe bandbreedte is er wel zo te zien:

code:

ib_send_bw  -F -i 2 192.168.41.1
------------------------------------------------------------------
                    Send BW Test
Connection type : RC
Inline data is used up to 400 bytes message
  local address:  LID 0x02, QPN 0xe0406, PSN 0xa6f296
  remote address: LID 0x01, QPN 0xb0406, PSN 0x40bf52
Mtu : 2048
------------------------------------------------------------------
 #bytes #iterations    BW peak[MB/sec]    BW average[MB/sec]  
  65536        1000             935.34                935.33
------------------------------------------------------------------

Ik ben nu met NFS/RDMA bezig, hopelijk vandaag nog wat leuke resultaten.

[webfreakz.nl]

CurlyMo schreef op zondag 22 januari 2012 @ 11:36:
[...]


Ik zou toch opnieuw het proberen van Windows XP onder de aandacht willen brengen Mits de drivers van je nieuwe kaarten ondersteund worden....

Goed, het citeren ging nogal raar, en blijkbaar is mijn post in een ander topic terecht gekomen. Maar hier is de link: webfreakz.nl in "Het grote DIY RAID NAS topic deel 3"

[CurlyMo]

Ik had je stuk bewust van DIY NAS naar hier gehaald

[nielsdc]

nielsdc schreef op zondag 22 januari 2012 @ 13:12:
Ik ben nu met NFS/RDMA bezig, hopelijk vandaag nog wat leuke resultaten.

Over NFS haal ik nu 330MB/s write en 460MB/s read. Dit is met een 64GB dd van/naar mijn ZFS pool, dus geen ramdisks of zo. Dat moet nog wel beter kunnen, maar niet slecht voor de eerste poging. CPU load op de server is 60%, dus wel aan de hoge kant!

[Q]

nielsdc schreef op zondag 22 januari 2012 @ 13:12:
[...]


Ja, in veel gevallen zal de verdeling van het verkeer op basis van src/dst mac of ip addr gaan. Een enkele sessie zal nooit meer dan 1Gbit gebruiken. Tussen 2 linux machines kan je bonding met round robin gebruiken, en dan kan je wel meer dan 1Gbit halen met een enkele sessie.

Precies, alleen Round Robin met de Linux kernel geeft je 1GB+ speeds. En dan ook niet altijd onder alle omstandigheden.

http://louwrentius.com/bl...-how-to-get-beyond-1-gbs/

Daarom is infiniband of FC of Thunderbolt (hopelijk) uiteindelijk een betere oplossing.

[ Voor 10% gewijzigd door Q op 22-01-2012 16:19 ]

[analog_]

Voor de geïnteresseerden: heb gisteren ZFS for linux geprobeerd, eerst met FUSE maar dat ondersteunt maar tot ZFS v26. Daarna met de 'net-niet-in-kernel' packages (zelfde methode als nvidia drivers oa), deze ondersteunt tot v28 wat ik nodig had. Heb een pool vanuit NexentaStor 3.1 (v28) geïmporteerd. Praktisch om te weten is dat je dit niet met een degraded array kan doen. Toen een scrub gestart en afgebroken omdat het met maar 250KB/sec vooruitging. Ik ben overigens niet de enige met dit probleem, lijkt nog niet helemaal af allemaal.

[jwpmzijl]

Q schreef op zondag 22 januari 2012 @ 16:18:
[...]
Precies, alleen Round Robin met de Linux kernel geeft je 1GB+ speeds. En dan ook niet altijd onder alle omstandigheden.

[Long post warning]
Hoewel dit niet helemaal on-topic is wil ik hier toch even mijn ervaring delen. Naast bonding (Link Aggregation 802.3ad) kun je ook kiezen voor multipath IO. In dat geval plaats je in je storage server meerdere netwerkkaarten die ieder op een eigen subnet communiceren met de uitvragende "partijen". Dit is met name in combinatie met iScsi veelgebruikt. Bonding en iScsi gaan niet zo goed samen. Uiteraard moet je op de storage server wel zorgen dat de extra netwerkkaarten ook gebruikt worden door de aan de iScsi target (Comstar bij OpenIndiana en Nexenta en igst bij Freenas 8 ).

Ook op de ontvanger van de iScsi lun's zul je extra netwerk kaarten moeten plaatsen. En wel op corresponderende subnets met de netwerkkaarten in de storage server. Onder Windows moet je dan Multipath IO installeren. Dit kan alleen onder Windows server 2008 en niet op Windows 7. Zie hier voor een introductie.

Zelf ben ik een vergelijking aan het maken tussen iScsi target 3.3 van Microsoft en de alternatieven zoals Nexenta en OpenIndiana. Dit voor een virtualisatie project waarbij er geen geld is voor een SAN zoals bijv. de Dell MD 3200i. Windows heeft voor ons als voordeel dat het bekend is bij mij en mijn collega's. Wij zijn een Microsoft shop en buiten mijn persoontje heeft niemand ervaring met Unix/linux systemen. De performance van de Windows box moet dan echter niet al te veel onderdoen voor wat er met OpenIndiana of Nexenta te bereiken is. Overigens valt Freenas voor mij af omdat het daarmee niet mogelijk is om lun's toe te voegen of te wijzigen zonder herstart van de iScsi target. Het gaat voor mij overigens alleen om de iScsi performance t.b.v. HyperV!

Dit weekend heb ik de eerste tests gedaan met de Microsoft iScsi target 3.3. Op de storage server had ik een RAID0 array aangemaakt om de hoogst mogelijke performance te krijgen. In een productie omgeving zou ik daar nooit voor kiezen

• Om een indicatie te geven HD Tune 3.5 geeft op de server de volgende resultaten. Dit is geen test van de RAID kaart en/of deze specifieke machine. Het gaat er enkel om dat duidelijk is dat het storage deel geen bottleneck is voor 2 netwerkkaarten.
• HD Tune Pro: HPT DISK 0_0 Benchmark
• Test capacity: full
• Read transfer rate
• Transfer Rate Minimum : 246.2 MB/s
• Transfer Rate Maximum : 476.2 MB/s
• Transfer Rate Average : 377.9 MB/s
• Access Time : 12.4 ms
• Burst Rate : 187.3 MB/s
• CPU Usage : 10.9%
• Write transfer rate
• Transfer Rate Minimum : 265.2 MB/s
• Transfer Rate Maximum : 471.9 MB/s
• Transfer Rate Average : 393.0 MB/s
• Access Time : 0.213 ms
• Burst Rate : 179.8 MB/s
• CPU Usage : 11.4%
• IOPS
• HD Tune Pro: HPT DISK 0_0 Random Access
• Write test
• 512 b 4883 IOPS 0.204 ms 1.349 ms 2.385 MB/s
• 4 KB 1081 IOPS 0.924 ms 32.402 ms 4.225 MB/s
• 64 KB 87 IOPS 11.447 ms 64.146 ms 5.460 MB/s
• Read test
• 512 b 82 IOPS 12.134 ms 29.105 ms 0.040 MB/s
• 4 KB 75 IOPS 13.270 ms 31.942 ms 0.294 MB/s
• 64 KB 55 IOPS 17.923 ms 39.489 ms 3.487 MB/s

Vervolgens heb ik een paar lun's (devices in MS termen) aangemaakt en deze toegekend aan de "ontvangende" partij. Na de lun's gekoppeld te hebben via de iScsi Initiator heb ik vervolgens HD tune gestart.

Indien één netwerk kaart wordt gebruikt belast ik deze netwerkkaart met de HD tune read/write benchmark voor 94%. Transferrates doen daarbij iets van 110 Mbps.

Indien ik MPIO enable (round robin) en 2 netwerkkaarten gebruik dan worden de beide netwerkkaarten ieder voor 70% gebruikt en geeft HD tune een maximale doorvoer van 180 Mb weer (lezen en schrijven). Hoger kom ik niet.

Het inschakelen van de derde netwerkkaart brengt geen verbetering. Iedere netwerkkaart wordt voor 45% belast maar de doorvoer blijft gelijk.

BOTTLENECK:
Ik kan niet achterhalen waar de bottleneck zit. De processor op de storage server wordt maar voor 20% belast. De Highpoint kaart zit nog niet op de helft van zijn capaciteit. Wellicht dat de iScsi target van Microsoft gewoon niet meer kan behandelen.

IOPS
Voor virtualisatie is IOPS een veel belangrijkere grootheid. Als ik met deze setup 4 lun's aanmaak en op de ontvangende server 4x HD tune start voor iedere lun 1x dan krijg ik onderstaande resultaten

HD Tune Pro: 3.5 Random Access tests
Read test1
512 b 62 IOPS 15 ms 0.031 MB/s
4 KB 60 IOPS 16 ms 0.237 MB/s
64 KB 41 IOPS 24 ms 2.567 MB/s
1 MB 17 IOPS 57 ms 17.272 MB/s
Random 24 IOPS 41 ms 12.009 MB/s

Read test2
512 b 57 IOPS 17 ms 0.028 MB/s
4 KB 56 IOPS 17 ms 0.219 MB/s
64 KB 38 IOPS 26 ms 2.379 MB/s
1 MB 16 IOPS 59 ms 16.888 MB/s
Random 26 IOPS 38 ms 13.131 MB/s

Write test3
512 b 100 IOPS 10.0 ms 0.049 MB/s
4 KB 126 IOPS 7.9 ms 0.493 MB/s
64 KB 133 IOPS 7.5 ms 8.313 MB/s
1 MB 25 IOPS 39 ms 25.419 MB/s
Random 22 IOPS 45 ms 11.044 MB/s

Write test4
512 b 118 IOPS 8.5 ms 0.058 MB/s
4 KB 131 IOPS 7.6 ms 0.514 MB/s
64 KB 78 IOPS 12 ms 4.933 MB/s
1 MB 26 IOPS 37 ms 26.648 MB/s
Random 22 IOPS 43 ms 11.430 MB/s

Volgende week hoop ik een zelfde test te kunnen doen maar dan op basis van ZFS. Ik zal iedere schijf via de Highpoint controller als JBOD aan het besturings systeem ter beschikking stellen. Ik heb echter met Openindiana problemen. Het lijkt niet te installeren op het Asus moederbord. Nexenta is wel te installeren maar de licentie key moet ik nog ontvangen.

Wordt vervolgd....

BTW
Ik heb ook een Thecus N4200eco staan met 4x 2 Tb. samsung schijven. Als ik daar iScsi op activeer dan zijn de prestaties nog niet de helft van wat deze test setup doet. Maar dat is appels en peren vergelijken :-).

SPECS
Storage server:
Asus P5WD2-E premium met Intel dual core 3.2 Ghz met 6 Gb. mem
2x Marvell Yukon 1Gb. netwerk adapter onboard
1x Realtek 1Gb. adapter in pci slot (niet de snelste oplossing maar voor testen meer dan genoeg)
Highpoint 2320 (ik weet het fake raid maar de performance is goed genoeg om doorvoer te hebben die 2 ethernet lijntjes dicht kan trekken)
+ 8x WD RE3 320Gb.
Windows 2008R2 sp1 + Microsoft Iscsi target 3.3.

Ontvangende server:
Windows 2008R2 sp1 quad core Q6600
Abit IX38 quad GT 8 Gb. mem
2x Intel 1x pcie netwerkwerkkaart 1 Gb.
1x onboard realtek 1 Gb. netwerk kaart

Switch: Linksys SLM2008

Dit is niet de hardware waarmee wij straks gaan werken maar voor een vergelijkende test moet ik het ermee doen
[/Long post warning]

@mods, er zijn meerdere topics op GOT waar deze post geplaatst zou kunnen worden. Storage showoff topic - 10+ TB storage systems Thuis virtualisatie Ik denk dat dit topic uiteindelijk het meest geschikt is. Zeker als ik volgende week de vergelijkende nexenta scores kan toevoegen.

[ Voor 0% gewijzigd door jwpmzijl op 23-01-2012 18:01 . Reden: typo ]

[Verwijderd]

Snelle reactie voor het slapen gaan: HDtune is beperkte queue depth, je wilt iets als CrystalDiskMark, ATTO of AS SSD gebruiken. Ik zou met CDM en 1x 4GB run beginnen ofzo.

Dat zou voor extra queue depth moeten zorgen omdat het filesystem read-ahead toepast, dus meerdere I/O requests. Dan ben ik benieuwd hoe dat gaat met 3 kaarten zoals je eerder getest hebt. Was de load op de kaarten trouwens gelijk of had eentje een hogere load?

[Femme]

Met MPIO haal ik ook goede resultaten icm fibre channel. Het is nogal jammer dat Windows 7 geen MPIO ondersteunt. Ook voor workstationgebruikers zoals videoeditors kan het nuttig zijn. Ik zie die mensen nog niet zo snel op Windows Server werken. MacOS X heeft sinds Lion wel ALUA multipath I/O out of the box (daarvoor deed het devicespecieke MPIO wat alleen met bepaalde apparaten van o.a. Promise werkte).

[FireDrunk]

Zijn er geen 3rd party MPIO drivers te installeren? Of is het hele 'plugin' systeem uitgeschakeld?

[iRReeL]

Iemand enige suggestie hoe ik internet connectivity moet troubleshooten met ZFSguru? Via terminal kan ik zfsguru.com pingen en kon ports updaten etc. Maar ZFSguru zelf geeft errors

STATUS
failed fetching remote file zfsguru_system.txt from any master server - check your internet connection!
using an outdated offline copy for system images.

SYSTEM -> UPDATE
failed fetching remote file zfsguru_version.txt from any master server - check your internet connection!
Error
An unexpected exception occurred. When asking for help about this issue, please write down the message below.
ERROR: this page requires internet access - please check your network settings!

Als ik er nog 's op klik werkt de update pagina opeens wel, maar heb nog altijd de foutmeldingen op de status pagina.
EDIT

Verwijderd schreef op maandag 23 januari 2012 @ 17:11:
Timeout in de preferences even wat hoger zetten; er is op dit moment maar 1 server actief.

damn, dat was wel heel simpel op te lossen thanks!

[ Voor 13% gewijzigd door iRReeL op 23-01-2012 17:29 ]

[Verwijderd]

Timeout in de preferences even wat hoger zetten; er is op dit moment maar 1 server actief.

[iRReeL]

Ok hopelijk is de volgende vraag een ietwat grotere uitdaging maar voordat ik zelf handmatig ga installeren probeer ik het hier nog ff.

Ik heb de ZFSguru via ISO geinstalleerd en heb blijkbaar versie 9.0-003. Als ik bij de services Virtual box wil installeren dan kan dat niet.

This service is currently not installed and is also not available for your current system version (9.0-003) and platform (amd64). Only available for:

Service Size System version Branch BSD version Platform
VirtualBox 1 45.1 MiB 8.2-002 stable 8.2-RELEASE amd64
VirtualBox 2 93.4 MiB 8.3-001 stable 8.2-STABLE amd64
VirtualBox 3 46.9 MiB 9.0-004 stable 9.0-RELEASE amd64

Moet ik dan ZFSguru updaten? Maar dan ga ik toch naar een hogere, experimentele, versie 0.20-beta3? Of beter handmatig virtual box installeren (daar zal wel ergens een guide voor te vinden zijn).

[Verwijderd]

De nieuwe Virtualbox, virtio, SABnzbd, Transmission services (de laatste twee zijn nog niet zichtbaar dacht ik) zijn pas out of the box bruikbaar onder 9.0-004 system image en web-interface versue 2.0-beta4.

Je kunt wel de helft van het werk alvast doen, door naar 9.0-004 system image up te graden. Dat kun je doen door een nieuwe installatie uit te voeren via System->Install, waarbij je versie 9.0-004 downloadt en daarna selecteert. 9.0-004 is de final release van 9.0, terwijl 9.0-003 release candidates zijn.

Dus het beste kun je 9.0-004 draaien nu (de nieuwe experimental livecd heeft deze versie dacht ik) en nog even op beta4 wachten. Als je niet kunt wachten, kun je de services wel installeren onder 9.0-004 maar moet je zelf even wat fixen om de panel te kunnen zien. In een paar dagen wanneer de beta4 versie beschikbaar is zou alles out of the box moeten werken. Transmission heb ik hier al draaiend en dat vind ik eigenlijk wel heel erg gaaf.

[CurlyMo]

Let bij het installeren van Transmission erop dat je alleen transmission-daemon installeert. Anders krijg je alle X Server meuk ook mee

[FDMK]

Verwijderd schreef op maandag 23 januari 2012 @ 17:56:
De nieuwe Virtualbox, virtio, SABnzbd, Transmission services (de laatste twee zijn nog niet zichtbaar dacht ik) zijn pas out of the box bruikbaar onder 9.0-004 system image en web-interface versue 2.0-beta4.

Je kunt wel de helft van het werk alvast doen, door naar 9.0-004 system image up te graden. Dat kun je doen door een nieuwe installatie uit te voeren via System->Install, waarbij je versie 9.0-004 downloadt en daarna selecteert. 9.0-004 is de final release van 9.0, terwijl 9.0-003 release candidates zijn.

Dus het beste kun je 9.0-004 draaien nu (de nieuwe experimental livecd heeft deze versie dacht ik) en nog even op beta4 wachten. Als je niet kunt wachten, kun je de services wel installeren onder 9.0-004 maar moet je zelf even wat fixen om de panel te kunnen zien. In een paar dagen wanneer de beta4 versie beschikbaar is zou alles out of the box moeten werken. Transmission heb ik hier al draaiend en dat vind ik eigenlijk wel heel erg gaaf.

Weten jij/jullie wel dat zfsguru niet meer boot bij FBSD9.0 icm LSI1068E? wilde de experimentele installeren op mn Esxi box maar krijg m niet werkend.

[Verwijderd]

Kun je wat screenshots geven ofzo? Draait het wel zonder ESXi dus direct op de host?

[FDMK]

Verwijderd schreef op maandag 23 januari 2012 @ 21:34:
Kun je wat screenshots geven ofzo? Draait het wel zonder ESXi dus direct op de host?

Dat is nooit geen optie dus dat ga ik niet proberen . Wat ik tot nu al geprobeerd heb is:

Clean install 0.1.8, werkt
Clean install 0.1.8 > 0.1.9, werkt
Clean install 0.1.8 > 0.1.9 > 0.2 beta 3, boot niet verder vanwege screen
Clean install 0.2. beta3, boot niet verder vanwege screen



Dit dan tot oneindig.

Ik ga dit ook nog proberen op een fysieke bak die ik op het werk heb staan met een Perc6i/1068E maar aangezien ik de controller via VT-D passthrough naar mn VM zal het niet veel verschil maken.

[ Voor 17% gewijzigd door FDMK op 23-01-2012 21:46 ]

[Verwijderd]

Je gebruikte de livecd om te installeren? Of een custom FreeBSD installatie? Wat als je je schijven afkoppelt en dan ermee boot?

[FDMK]

Verwijderd schreef op maandag 23 januari 2012 @ 21:48:
Je gebruikte de livecd om te installeren? Of een custom FreeBSD installatie? Wat als je je schijven afkoppelt en dan ermee boot?

Ik gebruik een livecd, in alle gevallen. Met schijven afgekoppeld krijg ik hetzelfde effect als in de screen, gelukkig

[Verwijderd]

Maar de livecd kun je wel booten, maar de reboot na de installatie niet?

Ik heb dit gevonden voor in je /boot/loader.conf:

hw.pci.enable_msix="0"
hw.pci.enable_msi="0"

http://forums.freebsd.org/showthread.php?t=17802

Kan specifiek zijn voor je systeem of voor ESXi ik heb geen idee.

[FDMK]

Verwijderd schreef op maandag 23 januari 2012 @ 22:00:
Maar de livecd kun je wel booten, maar de reboot na de installatie niet?

Ik heb dit gevonden voor in je /boot/loader.conf:

[...]


http://forums.freebsd.org/showthread.php?t=17802

Kan specifiek zijn voor je systeem of voor ESXi ik heb geen idee.

Met de lifecd van beta3 kan ik niet verder booten, na het kiezen van een bootoptie krijg ik de geposte screen. De opties die je voorstelt kan ik niet vinden in de loader.conf.

[Verwijderd]

Zelf net even geprobeerd. Doe het volgende:
1) start je VM, boot van de livecd
2) wanneer je het FreeBSD logo krijgt met een menu dan moet je snel op spatie drukken. Het telt namelijk af vanaf 2 seconden. Wanneer je op spatie drukt stopt het aftellen. Dan kun je rustig naar de opties kijken, waaronder ESC = Escape to loader prompt. Druk dus op escape en je krijgt een soort prompt "OK".
3) type nu in (elke regel gevolgd door enter)
set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"
boot

Kom je dan iets verder?

[FDMK]

Verwijderd schreef op maandag 23 januari 2012 @ 22:16:
Zelf net even geprobeerd. Doe het volgende:
1) start je VM, boot van de livecd
2) wanneer je het FreeBSD logo krijgt met een menu dan moet je snel op spatie drukken. Het telt namelijk af vanaf 2 seconden. Wanneer je op spatie drukt stopt het aftellen. Dan kun je rustig naar de opties kijken, waaronder ESC = Escape to loader prompt. Druk dus op escape en je krijgt een soort prompt "OK".
3) type nu in (elke regel gevolgd door enter)
set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"
boot

Kom je dan iets verder?

Werkt! Is dit iets wat in freebsd 9 zit?

[Verwijderd]

Oke, nou als je een installatie gaat uitvoeren via System->Install moet je eerst een bestand aanpassen, zodat je nieuwe installatie ook bootable is. ;-)

Dat doe je zo:
1) log in via ssh en dan 'su' of direct op de control kun je alt+F2 drukken en inloggen als root
2) edit de loader.conf bedoeld voor nieuwe installaties:
ee /usr/local/www/zfsguru/files/roz_loader.conf
3) voeg voor de #end# regel toe:
hw.pci.enable_msix="0"
hw.pci.enable_msi="0"
4) zorg dat je geen 'set' gebruikt hierboven! Nu escape-enter om te saven en af te sluiten

Daarna kun je gewoon de installatie volgen en zou je nieuwe installatie ook bootable moeten zijn.

[jwpmzijl]

Verwijderd schreef op maandag 23 januari 2012 @ 03:56:
HDtune is beperkte queue depth, je wilt iets als CrystalDiskMark, ATTO of AS SSD gebruiken. Ik zou met CDM en 1x 4GB run beginnen ofzo.

Goede call Cipher. Heb net wat met ATTO zitten testen. Als ik in dezelfde situatie als hierboven ATTO met een queue depth van 10 start dan zie op de storage server het aantal IOPS op piek momenten oplopen naar iets van 6500. De maximale doorvoer blijft pieken op 290 Mpps dat zal ook zo'n beetje het maximum zijn dat de Highpoint kaart kan afhandelen. Twee van de netwerkkaarten zijn op dat moment 100% bezet. De derde netwerkkaart blijft hangen op 60%.

Vervolgens heb ik 4 lun's aangemaakt, op de ontvangende server gekoppeld en geformateerd. Daarna heb ik 4 instanties van ATTO opgestart, ieder op een eigen LUN.
Tijdens de test heb ik op de storage server een sessie van HD tune gestart en de disk monitor ingeschakeld. Het aantal IOPS schiet tijdens de kleine transfer tests naar maximaal 12.500
De processor belasting gaat tijdens deze test overigens ook behoorlijk omhoog, maar dat kan ook bijna niet anders met deze hardware. Een actuele XEON met serverclass netwerkkaarten zal hier veel minder moeite mee hebben

Ik ben niet helemaal ongelukkig met deze scores maar ben vooral benieuwd wat ik kan verwachten als ik later Nexenta aan de praat heb.

Kortom wordt vervolgd ...

[iRReeL]

Verwijderd schreef op maandag 23 januari 2012 @ 17:56:
Je kunt wel de helft van het werk alvast doen, door naar 9.0-004 system image up te graden. Dat kun je doen door een nieuwe installatie uit te voeren via System->Install, waarbij je versie 9.0-004 downloadt en daarna selecteert. 9.0-004 is de final release van 9.0, terwijl 9.0-003 release candidates zijn.

Ik krijg helaas een foutmelding als ik het probeer te downloaden van de SYSTEM - UPDATE pagina:
Server error: The website encountered an error while retrieving http://192.168.0.2/system.php?update&submit. It may be down for maintenance or configured incorrectly.

Maar ik wacht wel op de nieuwe beta dan, dat klinkt wel goed

Ik had trouwens mijn 2e zpool ' destroyed' maar als ik dan een nieuwe pool wil aanmaken in ZFSguru maken opeens alle 20 disks uit van de 1e zpool. Disks van de 1e pool los gemaakt. Toen een nieuwe pool aanmaken en ik selecteer 10 disk krijg ik een melding terug dat ik minimaal 3 disks moet hebben voor raidz. Uiteindelijk maar de pool via command prompt aangemaakt.

[Verwijderd]

Kun je iets meer info geven? Welke namen had je gebruikt voor je disks en je pool? Heb je alles via de web-interface gedaan?

En je weet zeker dat je System->Update bedoelt en niet System->Install? De Update is voor de web-interface, en die haalt alleen 400 kilobyte ofzo binnen.

[Verwijderd]

Nee

[ Voor 97% gewijzigd door Verwijderd op 24-01-2012 18:53 ]

[FireDrunk]

Spuit 11.

[ Voor 94% gewijzigd door FireDrunk op 24-01-2012 19:07 ]

[webfreakz.nl]

http://www.ietf.org/id/dr...tcp-multiaddressed-05.txt

Deze draft beschrijft Multipath TCP verbindingen (zie chapter 2). Dit maakt gebruik van "subflows" die het werk doen van . Het klinkt alsof er dan makkelijk in LACPs een hogere snelheid dan 1Gbps haalbaar is per TCP stream? Misschien wordt het ook interessant in de toekomst als er implementaties van komen

[smokalot]

Ten's complement biedt eindelijk ZFS voor OSX aan nu. Voor nu alleen single disk, geen redundancy, geen bootdisk support, en geen snapshots, maar in de nabije toekomst zullen ze ook pakketten aanbieden die die beperkingen niet hebben.

[FireDrunk]

@webfreakz.nl
Als de standaard geimplementeerd word door iemand als Cisco, ben je snel binnen, maar die hebben al EtherChannel, dus hebben het niet 'nodig'.
In de Enterprise omgeving hier, is single session snelheid echt niet van belang. Zolang je met meerdere servers maar goede snelheden haalt (in het geval van iSCSI / Storage etc.)

Ik vraag me dus af wanneer deze techniek interresant word voor de massa / enterprise en niet voor de niche markt.

[iRReeL]

Verwijderd schreef op dinsdag 24 januari 2012 @ 18:16:
Kun je iets meer info geven? Welke namen had je gebruikt voor je disks en je pool? Heb je alles via de web-interface gedaan?

Ik had de oude pool idd via de webinterface verwijderd etc, alles via de webinterface. Als ik dan een nieuwe pool wil aanmaken krijg ik dit hieronder te zien in de webinterface en kan dus niets meer aanmaken (EARS1 pool bevat 10 disks, niet 20). Daarna dus de EARS losgekoppeld en toen kon ik wel een pool aanmaken, de 10 disks zijn beschikbaar. Maar als ik dan op create pool klik krijg ik de melding dat er minimaal 3 disks nodig zijn (maar dit kan ik niet altijd reproduceren, met de EARS kon ik wel een 4K pool aanmaken). Pas op dat moment ben ik naar de command prompt gegaan en heb de zpool create EADS ada0 ada1 etc gedaan en de pool was toen ook meteen in de webinterface zichtbaar.

Van labels weet ik eigenlijk niets moet ik toegeven, ik probeer een pool in de web interface aan te maken maar heb de disks verder niet geformat of iets dergelijks. Ik heb de pool vernietigd en wilde toen meteen een nieuwe pool aanmaken.

Als ik de data van de EARS naar de EADS heb gekopieerd wil ik de desctructive test draaien en kan ik dit nog 's reproduceren als dat helpt. Overview van physical disks
disk ada0, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk ada1, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk ada2, identified with label gpt/osr1-disk2 (80 GB)in use as member disk for ZFS pool osr1
disk ada3, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk ada4, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk ada5, identified with label gpt/osr1-disk1 (80 GB)in use as member disk for ZFS pool osr1
disk da0, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da1, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da10, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da11, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da12, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da13, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da14, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da15, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da2, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da3, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da4, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da5, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da6, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da7, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da8, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1
disk da9, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool EARS1

Ik heb ditzelfde ook eerder gezien met de WD en Samsung disks (F2 pool zouden alleen de Samsungs F2 1.5TB moeten zijn)
disk ada1, identified with label gpt/zfs (1.5 TB)in use as member disk for ZFS pool F2
disk ada2, identified with label gpt/zfs (1.5 TB)in use as member disk for ZFS pool F2
disk ada3, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool F2
disk ada4 (32 GB)
disk da0, identified with label gpt/zfs (1.5 TB)in use as member disk for ZFS pool F2
disk da1, identified with label gpt/zfs (1.5 TB)in use as member disk for ZFS pool F2
disk da10, identified with label gpt/zfs (2 TB)in use as member disk for ZFS pool F2
etc

En je weet zeker dat je System->Update bedoelt en niet System->Install? De Update is voor de web-interface, en die haalt alleen 400 kilobyte ofzo binnen.

Idd correct is was bij de update aan het kijken

[Verwijderd]

Even met Jason (de dev van ZFSguru) overlegd en hij zegt dat je zelf een disk hebt geformatteerd met een 'zfs' label, maar al je disks hebben dezelfde label terwijl deze uniek voor elke disk hoort te zijn.
Goede disk labels kunnen zijn "samsung2" bijvoorbeeld, als dat de 2e Samsung disk is voor een bepaalde pool. Een andere disk in die pool kan dan "samsung3" heten, enzovoorts. Dus elke disk hoort zijn eigen label te hebben.

De vraag is, hoe komt het dat al je disks zo'n 'zfs' label hebben en allemaal GPT geformatteerd zijn? Heb je soms zelf één disk die je eerst met ZFSguru hebt aangemaakt letterlijk gekopieerd naar nieuwe disks ofzo? Hoe heb je al die disks geformatteerd of wat heb je er mee gedaan?

Eén mogelijkheid is dat je via de nieuwe partition map editor (met die kleurtjes op de Disks pagina) je disks zo'n label hebt gegeven. Dat wordt in beta3 nog niet goed gecontroleerd. Zou in beta4 verholpen moeten zijn.

Kun je bovenstaand verhaal bevestigen? Je informatie kan erg waardevol zijn aangezien beta4 zeer snel uitkomt.

[vargo]

smokalot schreef op dinsdag 24 januari 2012 @ 22:34:
Ten's complement biedt eindelijk ZFS voor OSX aan nu. Voor nu alleen single disk, geen redundancy, geen bootdisk support, en geen snapshots, maar in de nabije toekomst zullen ze ook pakketten aanbieden die die beperkingen niet hebben.

In hoeverre verschilt deze van de versie op google code?
Ik zou mijn macs graag ermee uitrusten, maar begreep dat er nog stabiliteits problemen zijn.

[vargo]

Verwijderd schreef op donderdag 26 januari 2012 @ 01:00:
Kun je bovenstaand verhaal bevestigen? Je informatie kan erg waardevol zijn aangezien beta4 zeer snel uitkomt.

Nog even gauw wat feedback van mijn kant dan
Ik heb mijn backup NAS up-and-running gekregen met ZFSguru beta2 (mijn eerdere problemen bleken door een BIOS mod te worden veroorzaakt).

Waar ik tegenaan liep was dat mijn disks vroeger onderdeel waren van een oude test pool. Gevolg: er werden oude, corrupte pools gevonden op het moment dat ik een nieuwe pool probeerde aan te maken. Uiteindelijk moest ik terug naar de command line. Zelfs een

code:

zpool destroy -f myOldPool

ging niet. Oplossing:

code:

zpool create -f myNewPool etc

Wat me verder opviel is dat ik geen nieuwe pool kon creeren zolang de disks geen gpt/geom partitie hebben. Vanaf de command line kan ik echter direct de disks aanwijzen:

code:

zfs create myNewPool raidz /dev/disk1 /dev/disk2 .../dev/disk8'

Voordeel hiervan is dat ik de pool rechtstreeks in mijn opensolaris bak kan hangen (of openindiana in de nabije toekomst).

Waarom moet je in ZFSguru GPT/GEOM formatted disks hebben?

Verder trouwens complimenten voor ZFSguru; het maakt je systeem echt een NAS appliance.

[iRReeL]

Ik dacht al dat het iets met de labels te maken zou kunnen hebben omdat ik dit niet op orde heb. Disk benchmark pakt ook maar 1 disk terwijl ik 10 disks aanvink (aan de andere kant hebben alle disks nu een 4 KiB sector (wat eerst nog op default 512 stond) dus de benchmark heeft blijkbaar wel alle 10 disks geformatteerd, allemaal label ZFS).

- Ik had eerder een zpool aangemaakt met napp-it, die had ik een tijdje in gebruik, toen verwijderd.
- Toen wilde ik met 4K override testen dus via ZFSguru alle disks een voor een GEOM format (wilde graag compatibility met openindiana) gedaan en label gegeven zoals de disk naam al was (DISKS - PHYSICAL DISKS- Quickformat)( da0, ada1 etc). Zpool 4K aangemaakt



- Terug naar opensolaris maar dit gaf problemen (veel H: errors), met Napp-it pool weer verwijderd en een nieuwe pool aangemaakt (voor de rest niets format of label).

Voor de andere zpool geldt hetzelfde, nooit naar label gekeken of zelfs format gedaan. Met napp-it kom je dat eigenlijk niet echt tegen (ik iig niet). Met die F2 pool lukte het dus ook niet om die in ZFSguru aan te maken dus had ik zelf zpool create gedaan.

Ik heb nooit een disk gekopieerd, als ik een zpool aanmaak verschijnen de labels zoals ze zijn 'vanzelf'. Ik heb gister wel kunnen opgraden naar 9.04 maar weet niets van die partitie manager met kleurtjes.


Omdat ik toch veel problemen had met openindiana blijf ik nu toch bij feebsd dus kan ik wel GPT format doen, dat zal ik vanmiddag proberen en dan nog 's testen.

EDIT: alle disks een aparte label gegeven en nu draait de benchmark idd op 10 disks. Oef hij gaat me nogal wat testjes draaien.. Was misschien handig om erbij te vermelden wat ie allemaal gaat doen zodat de gebruiker een beetje idee heeft hoelang het gaat duren. Ik heb nu trouwens ook 10 disks aangevinkt maar toch doet ie ook met 5,7,8,9 disks testen, ik zou eigenlijk denken dat de test zich beperkt tot het aantal disks dat ik geselecteerd had. Hierna nog 's de test met de 4K override (want die was ik vergeten te selecteren lol). 512b benchmark onderbroken en met 4K override benchmark gestart.

Meest belangrijk is 10 disks Raidz2 (no 4K override)
Now testing RAIDZ2 configuration with 10 disks: cWmRd@cWmRd@cWmRd@
READ: 489 MiB/sec 447 MiB/sec 489 MiB/sec = 475 MiB/sec avg
WRITE: 444 MiB/sec 477 MiB/sec 471 MiB/sec = 464 MiB/sec avg

10 disks raidz2 (4K override)
Now testing RAIDZ2 configuration with 10 disks: cWmRd@cWmRd@cWmRd@
READ: 602 MiB/sec 624 MiB/sec 651 MiB/sec = 626 MiB/sec avg
WRITE: 536 MiB/sec 509 MiB/sec 510 MiB/sec = 518 MiB/sec avg

Kun je ook labels aanpassen op een bestaande zpool (zonder dataverlies)? Misschien wel beter om problemen te voorkomen.

[ Voor 26% gewijzigd door iRReeL op 27-01-2012 09:49 . Reden: update ]

[smokalot]

vargo schreef op donderdag 26 januari 2012 @ 09:47:
[...]

In hoeverre verschilt deze van de versie op google code?
Ik zou mijn macs graag ermee uitrusten, maar begreep dat er nog stabiliteits problemen zijn.

Verschilt *enorm*. Het maczfs project is al zeker een paar jaar oud, en wordt amper verder ontwikkeld. Er zijn niet "nog" stabiliteitsproblemen, die problemen zullen nooit opgelost worden vrees ik.

Maczfs is FLOSS, ten's complement's (TC) versie is dat niet. TC heeft een mooie GUI gemaakt, maar dat is dan ook voorlopig de enige manier om het te gebruiken.

TC is gestart door Don Brady, vroeger werkzaam voor Apple als oa de lead engineer van HFS+. Hoewel ik het nog niet gebruikt heb, ga ik er daarom vanuit dat hun ZFS prima werkt.

De maczfs implementatie ondersteunt maar tot zpool v8, TCs implementatie ondersteunt de laatste vrije versie (v28).