Het grote ZFS topic

[FireDrunk]

Ik heb ZFS-on-Linux hier getest op exact dezelfde hardware als waarop ik alle andere platformen getest heb. En het performde gewoon een stuk slechter (10-30%).

[FutureCow]

via mijn 3x 2TB RaidZ1 haal ik de volle Gbit(110MB/s) over Samba.

Dus om dit average te noemen (ZoL).

Kunnen we niet even een standaard snelheid test bedenken zodat er wat te vergelijken valt?

[Xudonax]

Ik ben bang dat ik je gelijk moet geven FireDrunk Ik kom per disk niet boven een ~75MByte/s uit op een grofweg 50% gevulde pool. Compressie/dedup e.d. staan allemaal uit, en met twee dd testjes kom ik uit op het volgende:

code:

patrick@server:/tank
$ dd if=/dev/zero of=test.bin bs=32M count=8192
8192+0 records gelezen
8192+0 records geschreven
274877906944 bytes (275 GB) gekopieerd, 898,068 s, 306 MB/s
patrick@server:/tank
$ dd if=/dev/zero of=test2.bin bs=32M count=8192
8192+0 records gelezen
8192+0 records geschreven
274877906944 bytes (275 GB) gekopieerd, 904,457 s, 304 MB/s

Dat is een testsize van (volgens mijn berekeningen) 256GB, wat 16x mijn RAM is. De exacte setup van de pool is:

code:

  pool: tank
 state: ONLINE
  scan: scrub repaired 0 in 5h46m with 0 errors on Fri Jul 26 18:01:34 2013
config:

    NAME                                                STATE     READ WRITE CKSUM
    tank                                                ONLINE       0     0     0
      raidz2-0                                          ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J2RP1A         ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3ST5B         ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3TXGB         ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J422JB         ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4HGNB         ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4J15B         ONLINE       0     0     0
    logs
      ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part1  ONLINE       0     0     0
    cache
      ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part2  ONLINE       0     0     0

errors: No known data errors

EDIT: Nu moet ik wel zeggen dat de 350MB/s was met een compleet lege pool. De pool is nu 50% vol. Ik ben benieuwd wat 'ie gaat doen als mijn geplande upgrade er volledig in zit

[ Voor 4% gewijzigd door Xudonax op 28-07-2013 19:37 ]

[FireDrunk]

Bij mij ging het meer om Random IOPS (zowel read als write). Gigabit voltrekken is tegenwoordig geen sport meer, dat kan elke vorm van RAID wel.

[Xudonax]

Gigabit voltrekken is inderdaad geen probleem. Ik zit onderhand zelfs te kijken naar link aggregation van 2 of 3 GbE poorten om te zorgen dat ik op een enigszins fatsoenlijke snelheid overal bij kan Ik bedoel, mijn RAID1 setup (Linux SW RAID) kan makkelijk 150MByte/s sequentieel doen. En gezien het gebruik van deze opslag is het geen overbodige luxe om daar een 200Mbit/s pijp heen te hebben IMO.

[analog_]

Ik weet niet of je met Nexenta, enkel het OS bedoeld of hun afgeleide Stor. Maar de Stor variant heeft AD integratie en ik krijg ook de indruk dat je die kolom daarop (Stor) hebt afgestemd. Nexenta alleen heeft namelijk niet eens een web-interface. Wat jij bedoelt met packages is in principe gewoon '3rd party software' welke solaris natuurlijk even goed heeft als linux en bsd (en sommige opties via web aanbieden). Hou het verschil tussen native OS packages en 'webpackages' gescheiden.

Voeg toe:
betaalde support mogelijkheden
HA/Clustering/Master-Master/Master-Slave
Ondersteuning voor pool versie ? (lees: Solaris heeft encryptie, rest niet).

[ Voor 10% gewijzigd door analog_ op 28-07-2013 19:54 ]

[FireDrunk]

Mja, FreeNAS/NAS4Free heeft Plugins/packages, ZFSguru heeft services, en Linux (Ubuntu) heeft belachelijk veel PPA's, wat heeft NexentaStor dan?

Kopje High Availability is er al.

[ Voor 24% gewijzigd door FireDrunk op 28-07-2013 20:28 ]

[Mystic Spirit]

Ik moet zeggen dat ZFSguru, mij wel goed bevalt. Ik ben echt een ZFS noob en kan er toch redelijk mee overweg. Ik heb ook FreeNAS geprobeerd, maar daar was ik toch wel een tijdje aan het rotzooien voor ik door had hoe het werkte...

Als ik klaar ben met testen gaat waarschijnlijk mijn synology de deur uit en gaat alles op ZFSguru. Dat brengt me wel op een vraag. In mijn Synology kan ik schijven van verschillende grotes sttoppen en toch effectief alle ruimte gebruiken doordat je als je niet alle ruimte in een raid volume opneemt je de overige ruimte kan gebruik als single disk of in combinatie met een andere disk als raid.
Is dat met ZFS ook mogelijk?

[Dennisik]

Ja dat kan gewoon.

Je maakt dan simpelweg partities, dan kan je met een 3/4 tal partities van elk een aparte disk een raidz1 vormen. Dan maak je van de overige partities gewoon een enkele pool, zodat je die ruimte ook kan gebruiken.

[Mystic Spirit]

Dan moet ik waarschijnlijk partitioneren buiten ZFSGuru, want volgens mij lukt het daar binnen niet. Of zie ik iets over het hoofd?

Iets verder kijken en dan posten....

[ Voor 16% gewijzigd door Mystic Spirit op 28-07-2013 21:13 ]

[FireDrunk]

Ja, je kan prima partitioneren binnen ZFSGuru, klik op een disk en je krijgt automatisch de partition editor.
Geeft de partities duidelijke labels zodat je bij het maken van pools niet de weg kwijt raakt.

[jacovn]

Xudonax schreef op zondag 28 juli 2013 @ 19:45:
Gigabit voltrekken is inderdaad geen probleem. Ik zit onderhand zelfs te kijken naar link aggregation van 2 of 3 GbE poorten om te zorgen dat ik op een enigszins fatsoenlijke snelheid overal bij kan Ik bedoel, mijn RAID1 setup (Linux SW RAID) kan makkelijk 150MByte/s sequentieel doen. En gezien het gebruik van deze opslag is het geen overbodige luxe om daar een 200Mbit/s pijp heen te hebben IMO.

Dan moet je wel vanaf meerdere stations je data benaderen, of verschillende vlans gebruiken.
Anders is 10GE een betere oplossing. Voor point-to-point een enigszins betaalbare oplossing.
Op ebay heb je dual port inte x520-da2 kaarten voor rond de 300 euro. Direct attach sfp+ kabel is vanaf 50 euro.
Ik haal daar prima snelheden mee.

[Tsurany]

Draai nu FreeNAS om dat even te testen en dat past meer bij mij qua user interface dan ZFSguru. Zit niet veel verschil in verder.
Echter twijfel ik nu om van ZFS onder ESXi naar ZFS als VirtualBox host te gaan. Wat mij vooral tegenvalt is het stroomverbruik onder ESXi, dat is standaard al 60 watt met een systeem dat idle niet boven de 20 watt uit zou moeten komen. Ik neem aan dat FreeBSD door zijn betere driver ondersteuning een lager verbruik moet kunnen halen.

Wat mij enkel tegen staat zijn de slechte ervaringen hier met VirtualBox, ik wil wel graag een stabiel systeem en dat schijnt lastig te zijn lees ik hier.

[FireDrunk]

FreeBSD is niet veel beter dan ESXi hoor. Het is wel *iets* beter, maar niet super. Vooral als je veel randapparatuur hebt, is FreeBSD mager. Mijn server doet 35W onder FreeBSD, terwijl Windows 8 waarschijnlijk 22-25W oplevert.

Bovendien is VirtualBox in vergelijking tot ESXi stront...

[ Voor 12% gewijzigd door FireDrunk op 29-07-2013 09:29 ]

[Tsurany]

Hmm das jammer om te horen. Het is wel erg vervelend dat het stroomverbruik vergeleken met mijn vorige server omhoog geschoten is terwijl de hardware zelf juist een stuk zuiniger zou moeten zijn. Wellicht dat Hyper-V een optie is, dat moet de driver ondersteuning van Windows Server hebben. Alleen de best wel awesome chart hierboven zegt weer dat Hyper-V guest support "average" is.

[FireDrunk]

ZFS onder Hyper-V draaien is niet te doen. Er is geen support voor VT-d, en de controller is of IDE of een vage SCSI controller waarvan ik geen idee heb of hij werkt met ZFS.

Ik wil het ooit nog wel eens gaan proberen, aangezien Hyper-V wel (goede) ondersteuning heeft voor het doorgeven van fysieke schijven via die SCSI controller.

Ander nadeel is weer dat je geen 10Gb virtuele interface hebt onder FreeBSD, hooguit 1Gb.

[ Voor 17% gewijzigd door FireDrunk op 29-07-2013 09:46 ]

[HyperBart]

Nvm: gare refresh van React

[ Voor 76% gewijzigd door HyperBart op 29-07-2013 13:25 ]

[Tsurany]

FireDrunk schreef op maandag 29 juli 2013 @ 09:43:
ZFS onder Hyper-V draaien is niet te doen. Er is geen support voor VT-d, en de controller is of IDE of een vage SCSI controller waarvan ik geen idee heb of hij werkt met ZFS.

Ik wil het ooit nog wel eens gaan proberen, aangezien Hyper-V wel (goede) ondersteuning heeft voor het doorgeven van fysieke schijven via die SCSI controller.

Ander nadeel is weer dat je geen 10Gb virtuele interface hebt onder FreeBSD, hooguit 1Gb.

Dan moet ik helaas maar accepteren dat ik op jaarbasis 80-100 euro extra kwijt ben aan stroomkosten vrees ik Krijg HDD standby in FreeNAS en ZFSguru ook nog niet fatsoenlijk werkend. Bij ZFSguru worden niet alle schijven ondersteund en FreeNAS weigert om het consequent toe te passen.

[ Voor 12% gewijzigd door Tsurany op 29-07-2013 09:53 ]

[Mystic Spirit]

FireDrunk schreef op zondag 28 juli 2013 @ 19:55:
Mja, FreeNAS/NAS4Free heeft Plugins/packages, ZFSguru heeft services, en Linux (Ubuntu) heeft belachelijk veel PPA's, wat heeft NexentaStor dan?

Kopje High Availability is er al.

[afbeelding]

Deze lijst helpt mij goed FireDrunk! Het geeft een goed overzicht. Wat er ook nog in zou kunnen en niet onbelangrijk is, is spindown support met en zonder HBA. Daar loop ik nu namelijk tegenaan in ZFSguru. De schijven hebben geen automatische spindown. Dat komt bij mij, omdat er een IBM naar LSI IT mode geflashte HBA tussen zit. Ik ben wel benieuwd of dat bij andere distributies anders is.

[Tsurany]

Ik weet dat je bij FreeNAS zelf twee opties hebt, namelijk HDD Standby en HDD Advanced Power Management. Echter zijn dit twee losse opties die beiden voor hetzelfde zorgen. HDD Standby is, voor zover ik het begrepen heb, het in standby plaatsen van hardeschijven door het OS. HDD APM is het automatisch in standby gaan van de hardeschijven door de firmware in de schijf zelf.

[webbier]

Mystic Spirit schreef op maandag 29 juli 2013 @ 09:57:
[...]

Deze lijst helpt mij goed FireDrunk! Het geeft een goed overzicht. Wat er ook nog in zou kunnen en niet onbelangrijk is, is spindown support met en zonder HBA. Daar loop ik nu namelijk tegenaan in ZFSguru. De schijven hebben geen automatische spindown. Dat komt bij mij, omdat er een IBM naar LSI IT mode geflashte HBA tussen zit. Ik ben wel benieuwd of dat bij andere distributies anders is.

Voor je schijven die op je IBM aangesloten zijn kun je de service spindown gebruiken. Met de post van FireDrunk heb ik het destijds werkend gekregen.

FireDrunk in "Het grote ZFS topic"

[FireDrunk]

Dat dus ^^

[webfreakz.nl]

Kan die in de OP?

[Verwijderd]

In de nieuwe systeemversie van ZFSguru wordt spindown op een andere manier geregeld. Je kunt dat redelijk eenvoudig aanpassen met ee /etc/rc.conf

## ZFSguru autostart
zfsguru_enable="YES"
# APM or Advanced Power Management controls power saving features of your hard
# drives. To disable the dreaded 'headparking' feature, it is common to enable
# APM to a setting of 254, to disable headparking altogether.
zfsguru_apm_disks="ada1 ada2 ada3 ada4 ada5 ada6 ada7"
zfsguru_apm_level="254"
# To enable your disks to spindown whenever inactive for a number of seconds,
# configure both the timer (in seconds) and the disks you want to be spun down.
zfsguru_spindown_enable="YES"
zfsguru_spindown_timer="900"
zfsguru_spindown_disks="ada3 ada4 ada5 ada6 ada7"
# If you have a pool with L2ARC cache devices present, you might want to warm
# up the L2ARC right after boot with metadata. We can do that by scanning all
# directory layout which will cause metadata to be written to the L2ARC cache.
zfsguru_l2arc_warmup_enable="NO"

Ik wil de startpost eigenlijk redelijk OS agnostisch houden. Specifieke dingen voor BSD of Solaris horen er eigenlijk niet in vind ik. Wel kun je binnenkort een speciaal ZFS appliances topic verwachten. Bijvoorbeeld een topic voor ZFSguru/NAS4Free/FreeNAS en eentje voor Solaris+napp-it/Nexenta. Enzovoorts.

[Mystic Spirit]

Klinkt goed CiPHER! Ik zie de topics en de nieuwe ZFSguru graag tegemoet. Heeft het zin om te testen met de aanwijzingen van FireDrunk, of is de de nieuwe versie er "real soon" ipv "soon"

[Verwijderd]

Nog sooner dan 'real soon' want 9.1-006 kun je al downloaden en gebruiken. Alleen de nieuwe services kun je nog niet via de GUI downloaden en installeren. Wel handmatig, daar heeft Jason wat instructies voor gegeven om 9.1-006 met SABnzbd+ service te installeren. De SABnzbd+ service in 9.1-006 is sterk verbeterd en fixt - als het goed is - alle bekende issues van voorgaande releases.

[FireDrunk]

Verwijderd schreef op maandag 29 juli 2013 @ 12:11:
In de nieuwe systeemversie van ZFSguru wordt spindown op een andere manier geregeld. Je kunt dat redelijk eenvoudig aanpassen met ee /etc/rc.conf


[...]

Ik wil de startpost eigenlijk redelijk OS agnostisch houden. Specifieke dingen voor BSD of Solaris horen er eigenlijk niet in vind ik. Wel kun je binnenkort een speciaal ZFS appliances topic verwachten. Bijvoorbeeld een topic voor ZFSguru/NAS4Free/FreeNAS en eentje voor Solaris+napp-it/Nexenta. Enzovoorts.

Allemaal leuk, maar dat werkt dus niet met een M1015?

[Verwijderd]

APM werkt niet nee, maar de spindown timer denk ik wel. Zelf niet getest overigens! Als iemand dat kan doen met de nieuwe systeemversie zou dat mooi zijn. Dit simpelweg copypasten in /etc/rc.conf heeft geen zin met oudere systeemversies; die heeft geen zfsguru Run Control script.

[FireDrunk]

Hoe werkt de spindown control timer? Direct op camcontrol?

[HMS]

Zou 10 3TB schijven in een RAID-Z2 kunnen? Of is het dan handiger om naar RAID-Z3 te kijken?

Voor home storage lijkt het me niet zo erg om 1 grote vdev te hebben, IOPS zijn toch niet zo heel belangrijk.

[FireDrunk]

Ik denk dat het wel kan, RAIDZ2 is dan wel minimaal inderdaad.

[HMS]

Klopt, ik had RAIDZ niet eens overwogen

[Verwijderd]

10 disks in RAID-Z2 is een optimale configuratie en naar mijn idee de beste config voor massaopslag. Je hebt goede bescherming met dubbelvoudige parity protection gekoppeld met slechts 20% overhead. Bovendien is het optimaal voor 4K sector schijven (6 of 10 disks in RAID-Z2, 3, 5 of 9 disks in RAID-Z).

[Neptunus]

Spindown werk goed met een M1015 (IT mode getest) en ja het werk direct op camcontrol.

[ Voor 21% gewijzigd door Neptunus op 29-07-2013 15:14 ]

[u_nix_we_all]

FireDrunk schreef op zondag 28 juli 2013 @ 19:55:
Mja, FreeNAS/NAS4Free heeft Plugins/packages, ZFSguru heeft services, en Linux (Ubuntu) heeft belachelijk veel PPA's, wat heeft NexentaStor dan?

Kopje High Availability is er al.

[afbeelding]

Mooi overzicht, maar ik heb nog wel wat vragen, met name het lijstje voor opensolaris lijkt me niet helemaal correct vwb de virtualization host support, zowel KVM als VirtualBox werken zo goed als out-of-the box.
Ook ZFS-monitoring (email) is beschikbaar via napp-it. Ook iScsi-management is wat mij betreft good, if not excellent, maar je moet even weten hoe comstar met groepen omgaat. (Is hetzelfde als nexenta BTW)
Ook voor packages zijn er echt wel repositories, bijv. transmission is met een simpele pkgadd te installeren. Misschien niet excellent, maar wel aanwezig.
En het verschil in NFS speed tussen Nexenta en OpenSolaris, waar komt dat vandaan, dat is volgens mij dezelfde implementatie van NFSv4 ...

[FireDrunk]

Nexenta heeft volgens mij wat specifieke out-of-the-box tunings gedaan om het geheel net wat beter te laten performen. Voor de rest, ga ik aanpassen

[ Voor 12% gewijzigd door FireDrunk op 29-07-2013 15:31 ]

[Mystic Spirit]

Verwijderd schreef op maandag 29 juli 2013 @ 13:05:
Nog sooner dan 'real soon' want 9.1-006 kun je al downloaden en gebruiken. Alleen de nieuwe services kun je nog niet via de GUI downloaden en installeren. Wel handmatig, daar heeft Jason wat instructies voor gegeven om 9.1-006 met SABnzbd+ service te installeren. De SABnzbd+ service in 9.1-006 is sterk verbeterd en fixt - als het goed is - alle bekende issues van voorgaande releases.

Ik ga wel even testen Is met dit image het niet door booten door MSI en MSIX ook verholpen of blijft dat een aanpassing die ik moet doen?

Edit:
Nieuwe versie staat erop. Ging gewoon over de oude heen en ging prima. Eerste bevindingen:

• Je moet met ESXi de volgende commandos nog wel voor boot uitvoeren

code:

set hw.pci.enable_msi="0"
set hw.pci.enable_msix="0"
boot

• Het instellen van de spindown functie is geen standaard. Je moet het dus zelf aan de conf file toevoegen (dus niet hashes weghalen en gaan, of web interface werk)
• Ik heb het APM deel hashes gegeven, want dat werkt toch niet me een IBM in IT mode
• In het voorbeeld wordt uitgegaan van disks die het voorvoegsel "ada" hebben, maar bij mij heten de disks "da" (of ben ik dan een freeBSD noob, die het niet snapt?)

[ Voor 32% gewijzigd door Mystic Spirit op 29-07-2013 19:36 ]

[Xudonax]

Okay... Ik heb gisteren dus een benchmarkje gedraait voor hier, maar de ~500GB aan ruimte die daarvoor nodig was ben ik nu dus "kwijt"... Ik had gisteren nog ~1,3TByte aan beschikbare ruimte, en nu kom ik zelfs na grof opruimen niet boven de ~883GB uit.

Ik heb de bestanden gewoon verwijderd met rm -rf test.bin test2.bin en ze bestaan niet meer op het filesystem. Maar schijnbaar ziet ZFS de ruimte die ingenomen werd nog wel als "gebruikte ruimte". Halp?

EDIT: En sdi (wat vroegâh sdj was) blijft errors gooien. Vandaag zijn het READ errors in ZFS. Binnenkort toch maar eens eventjes contact opnemen met de fabrikant, want ik vertrouw dit eerlijk gezegd niet helemaal...

code:

$ sudo smartctl -A /dev/sdi
smartctl 6.1 2013-03-16 r3800 [x86_64-linux-3.9.9-302.fc19.x86_64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   062    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   040    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0007   163   163   033    Pre-fail  Always       -       1
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       435
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   040    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0012   090   090   000    Old_age   Always       -       4629
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       120
191 G-Sense_Error_Rate      0x000a   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       24
193 Load_Cycle_Count        0x0012   076   076   000    Old_age   Always       -       246689
194 Temperature_Celsius     0x0002   142   142   000    Old_age   Always       -       42 (Min/Max 15/48)
196 Reallocated_Event_Count 0x0032   088   088   000    Old_age   Always       -       425
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0
223 Load_Retry_Count        0x000a   100   100   000    Old_age   Always       -       0

EDIT2: SMART waardes van 23 juli 2013:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   062    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   040    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0007   163   163   033    Pre-fail  Always       -       1
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       429
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   040    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0012   090   090   000    Old_age   Always       -       4485
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       116
191 G-Sense_Error_Rate      0x000a   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       23
193 Load_Cycle_Count        0x0012   078   078   000    Old_age   Always       -       228511
194 Temperature_Celsius     0x0002   150   150   000    Old_age   Always       -       40 (Min/Max 15/48)
196 Reallocated_Event_Count 0x0032   089   089   000    Old_age   Always       -       416
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0
223 Load_Retry_Count        0x000a   100   100   000    Old_age   Always       -       0

EDIT3: Ja, ik blijf bezig, want schijnbaar is het zo laat dat ik niet meer kan tellen... Als ik de onderstaande output van zfs list neem, dan kom ik namelijk uit op ~960GB wat daadwerkelijk referenced is, in plaats van de 1,72TB die aangegeven word. En dit verschil is IMO te groot om te wijten aan RAIDZ2, plus dat ik dacht dat dat enkel getoond werd met zpool list.

code:

$ sudo zfs list
NAME               USED  AVAIL  REFER  MOUNTPOINT
tank              2,65T   934G  1,72T  /tank
tank/Documents    54,8G   934G  54,8G  /tank/Documents
tank/Downloads    16,2G   934G  16,2G  /tank/Downloads
tank/Videos       15,7G   934G  15,7G  /tank/Videos
tank/Manga        1,23G   934G  1,23G  /tank/Manga
tank/Music         170G   934G   170G  /tank/Music
tank/Torrents      337G   934G   337G  /tank/Torrents
tank/Video        10,7M   934G  10,7M  /tank/Video
tank/Whenever.is  52,8G   934G  52,8G  /tank/Whenever.is
tank/owncloud     5,39G   763G  5,39G  /tank/owncloud
tank/swap         40,5G   934G  40,5G  -
tank/tm            231G   793G   231G  /tank/tm
tank/vm_images    34,9G   934G  34,9G  /tank/vm_images
tank/websites     48,5M  50,0G  48,5M  /tank/websites

[ Voor 108% gewijzigd door Xudonax op 30-07-2013 08:52 ]

[Dennisik]

Samba is zo'n zaad protocol.

Van ubuntu server naar Windows 2008 server in ESXi op dezelfde switch gaat slechts 13,8MB/s.
En ik moet totaal 14TB heen en weer slepen

Met ZFSguru zal ik eens met NFS gaan proberen.

[Compizfox]

FireDrunk schreef op zondag 28 juli 2013 @ 19:55:
Mja, FreeNAS/NAS4Free heeft Plugins/packages, ZFSguru heeft services, en Linux (Ubuntu) heeft belachelijk veel PPA's, wat heeft NexentaStor dan?

Kopje High Availability is er al.

[afbeelding]

Goed initiatief!

Ik heb een aantal opmerkingen:

• Zet er "Ubuntu + ZFS" neer ipv "Linux-ZFS". Ik zag al dat je het in een opmerking onderaan hebt geplaatst, maar zo is het toch duidelijker.
• Wat versta je onder "Easy IP Management"? Ik vind persoonlijk ifconfig en /etc/network/interfaces best makkelijk. Concretiseer dat dus iets Met de juiste panels is het ook wel webbased te doen (Ajenti of Webmin kunnen het vast wel). Precies hetzelfde geldt ook voor "Easy share management".
• Je beweert dat Linux geen built-in firewall heeft? Netfilter (iptables) zit sinds Linux 2.4 in de kernel.
• Zowel FreeBSD als Linux hebben support voor Samba 4 wat Active Directory Integration biedt.
• Maak van "iSCSI Management" "Webbased iSCSI Management" (ik neem aan dat je dat bedoelt)
• SMB speed en NFS speed zouden onder FreeBSD en Linux hetzelfde moeten zijn, omdat ze dezelfde implementatie gebruiken (namelijk Samba voor SMB in user-space en NFS in kernel-space)
• Het is misschien handig om (onder "ESXi support") aan te geven dat FreeBSD 9.1 + ESXi Physical RDM niet lekker gaat.
• Het is het imho wel waard om aan te geven dat ZFSGuru e.d. webinterfaces hebben waarmee je ZFS kunt beheren. Linux heeft dat totaal niet.

---

Verwijderd schreef op maandag 29 juli 2013 @ 13:05:
Nog sooner dan 'real soon' want 9.1-006 kun je al downloaden en gebruiken. Alleen de nieuwe services kun je nog niet via de GUI downloaden en installeren. Wel handmatig, daar heeft Jason wat instructies voor gegeven om 9.1-006 met SABnzbd+ service te installeren. De SABnzbd+ service in 9.1-006 is sterk verbeterd en fixt - als het goed is - alle bekende issues van voorgaande releases.

Ik zie 9.1-006 niet in de webinterface staan onder Install. Moet ik iets refreshen of zo?

Iets anders: Is het mogelijk om via de native FreeBSD-methode te upgraden naar 9.2? Of verneuk ik dan ZFSGuru? (er is vast een reden dat ZFSGuru met eigen images komt)

---

Dennisik schreef op maandag 29 juli 2013 @ 22:06:
Samba is zo'n zaad protocol.

Van ubuntu server naar Windows 2008 server in ESXi op dezelfde switch gaat slechts 13,8MB/s.
En ik moet totaal 14TB heen en weer slepen

Met ZFSguru zal ik eens met NFS gaan proberen.

Maar de NFS-implementatie van Windows is nog brakker dan Samba. Dus dat schiet ook niet op. (Bij mij is Samba een stuk sneller dan NFS, maar ik haal dan ook wel wat meer dan 13,8 MB/s...

[ Voor 29% gewijzigd door Compizfox op 29-07-2013 22:31 ]

[HMS]

Is het niet makkelijker om dan gewoon even tijdelijk een FTP server op te zetten? Moet op zowel Ubuntu Server (proftpd) als Windows Server 2008 (IIS) niet zo heel moeilijk zijn.

[Dennisik]

HMS schreef op maandag 29 juli 2013 @ 22:35:
Is het niet makkelijker om dan gewoon even tijdelijk een FTP server op te zetten? Moet op zowel Ubuntu Server (proftpd) als Windows Server 2008 (IIS) niet zo heel moeilijk zijn.

SFTP al getest, is performance ook bagger.

Schrijven naar samba share doet die dan wel weer consequent met 50MB/s

[HMS]

Dennisik schreef op maandag 29 juli 2013 @ 22:37:
[...]

SFTP al getest, is performance ook bagger.

Schrijven naar samba share doet die dan wel weer consequent met 50MB/s

Ik bedoelde dan ook gewone FTP, niet SSH FTP (SFTP) . SFTP kan inderdaad ook nog wel eens takke traag zijn.

[Dennisik]

HMS schreef op maandag 29 juli 2013 @ 22:39:
[...]


Ik bedoelde dan ook gewone FTP, niet SSH FTP (SFTP) . SFTP kan inderdaad ook nog wel eens takke traag zijn.

Ik weet, nu schrijft die met 50MB/s en leest tegelijkertijd met 40MB/s. GB kan die makkelijk voltrekken, hij wil het alleen niet echt volhouden blijkbaar. Met 50MB/s duurt het overigens nog steeds 2x30u om over te stappen naar ZFS. Je moet er wat voor over hebben.

Ach ik ga wel even aankijken. M500 is bestelt, nu nog 4 of 8GB bestellen en dan is die ZFS ready.

[ Voor 10% gewijzigd door Dennisik op 29-07-2013 22:48 ]

[Dennisik]

HMS schreef op maandag 29 juli 2013 @ 22:35:
Is het niet makkelijker om dan gewoon even tijdelijk een FTP server op te zetten? Moet op zowel Ubuntu Server (proftpd) als Windows Server 2008 (IIS) niet zo heel moeilijk zijn.

Toch nog even proftpd geinstalleerd, dit gaat zo rond de 70/80MB/s.
Net wel bijna TB weggegooid, maar dit gaat zo een nachtje door.

Helemaal top, danku!

[ Voor 7% gewijzigd door Dennisik op 29-07-2013 23:09 ]

[onox]

Dennisik schreef op maandag 29 juli 2013 @ 23:08:
[...]

Toch nog even proftpd geinstalleerd, dit gaat zo rond de 70/80MB/s.
Net wel bijna TB weggegooid, maar dit gaat zo een nachtje door.

Helemaal top, danku!

Heb je wel eens vsftpd geprobeerd?

[Dennisik]

onox schreef op maandag 29 juli 2013 @ 23:14:
[...]


Heb je wel eens vsftpd geprobeerd?

Ja, dat stond er eerst op performance daarvan viel tegen. Maar niet uitgebreid getest, ben allang blij dat het nu met 80MB/s gaat. Al loopt filezilla ook niet erg soepel, afronden van transacties doet die niet erg soepel. Ach het werkt.

[ Voor 39% gewijzigd door Dennisik op 29-07-2013 23:33 ]

[Xudonax]

Okay... Ik heb de pool "even" geunmount en weer gemount (dat duurde echt bizar lang om de een of andere reden) en nu is er weer een fatsoenlijke hoeveelheid ruimte beschikbaar. Vreemd, maar het werkt. Net als mijn ervaringen met btrfs Unmounten en weer mounten zorgt er schijnbaar voor dat er het een en ander aan zooi word opgeruimd...

code:

NAME               USED  AVAIL  REFER  MOUNTPOINT
tank              1,82T  1,74T  1,22T  /tank
tank/Documents    54,8G  1,74T  54,8G  /tank/Documents
tank/Downloads    16,2G  1,74T  16,2G  /tank/Downloads
tank/Videos       15,7G  1,74T  15,7G  /tank/Videos
tank/Manga        1,23G  1,74T  1,23G  /tank/Manga
tank/Music         170G  1,74T   170G  /tank/Music
tank/Torrents     8,33M  1,74T  8,33M  /tank/Torrents
tank/Video        10,7M  1,74T  10,7M  /tank/Video
tank/Whenever.is  52,8G  1,74T  52,8G  /tank/Whenever.is
tank/owncloud     5,39G   763G  5,39G  /tank/owncloud
tank/swap         40,5G  1,74T  40,5G  -
tank/tm            231G   793G   231G  /tank/tm
tank/vm_images    34,9G  1,74T  34,9G  /tank/vm_images
tank/websites     43,6M  50,0G  43,6M  /tank/websites

EDIT: Ik zit nog even te kijken, en er is nog steeds meer USED dan er REFERED is. Is dit toe te wijzen aan RAIDZ2 of compressie?

[ Voor 5% gewijzigd door Xudonax op 30-07-2013 08:53 ]

[FireDrunk]

Compizfox schreef op maandag 29 juli 2013 @ 22:22:
[...]

Goed initiatief!

Ik heb een aantal opmerkingen:

[list]
• Zet er "Ubuntu + ZFS" neer ipv "Linux-ZFS". Ik zag al dat je het in een opmerking onderaan hebt geplaatst, maar zo is het toch duidelijker.

Will do.

• Wat versta je onder "Easy IP Management"? Ik vind persoonlijk ifconfig en /etc/network/interfaces best makkelijk. Concretiseer dat dus iets Met de juiste panels is het ook wel webbased te doen (Ajenti of Webmin kunnen het vast wel). Precies hetzelfde geldt ook voor "Easy share management".

Webbased IP Management

• Je beweert dat Linux geen built-in firewall heeft? Netfilter (iptables) zit sinds Linux 2.4 in de kernel.

Gaat er om of je de firewall via de webinterface kan beheren.

• Zowel FreeBSD als Linux hebben support voor Samba 4 wat Active Directory Integration biedt.

AD Integratie heeft weinig met Samba4 te maken. Met Samba 4 kan je een Domain Controller opzetten. Lid zijn van een domein kan al veel langer.

• Maak van "iSCSI Management" "Webbased iSCSI Management" (ik neem aan dat je dat bedoelt)

Will do.

• SMB speed en NFS speed zouden onder FreeBSD en Linux hetzelfde moeten zijn, omdat ze dezelfde implementatie gebruiken (namelijk Samba voor SMB in user-space en NFS in kernel-space)

De praktijk zegt toch echt iets anders... En zeggen dat het omdat het dezelfde software is, het hetzelfde zou moeten presteren, is zeggen dat Windows of Linux niet uitmaakt omdat het allebei op Intel draait.
Ik heb zelfs verschillen gemerkt tussen verschillende Linux versies (Gentoo, Fedora, Ubuntu, CentOS)

• Het is misschien handig om (onder "ESXi support") aan te geven dat FreeBSD 9.1 + ESXi Physical RDM niet lekker gaat.

Dat is wel heel specifiek, het gaat niet echt om of het platform te virtualiseren is. RDM is een beetje een hack, en past niet zo goed in dit overzicht.

• Het is het imho wel waard om aan te geven dat ZFSGuru e.d. webinterfaces hebben waarmee je ZFS kunt beheren. Linux heeft dat totaal niet.

Maar dat hebben FreeNAS, NAS4Free, Nexenta en OpenSolaris ook, dus alleen Linux heeft dat maar niet...

[/list]

[ronzelver]

Ik wil mijn zfsguru systeem (9.1-004) upgraden naar de laatste versie 9.1-006 middels de upgrade optie en ik wil graag mijn Samba shares behouden. Had iemand daar niet een klein script voor geschreven om die instellingen over te zetten? Ik kan het zo vlug niet meer vinden (hier en op zfsguru.com)?! Alvast bedankt!

[Compizfox]

FireDrunk schreef op dinsdag 30 juli 2013 @ 08:55:
[...]
Webbased IP Management
[...]
Gaat er om of je de firewall via de webinterface kan beheren.

Het is in beide gevallen dan duidelijk omdat er expliciet bij te vermelden

[...]
De praktijk zegt toch echt iets anders... En zeggen dat het omdat het dezelfde software is, het hetzelfde zou moeten presteren, is zeggen dat Windows of Linux niet uitmaakt omdat het allebei op Intel draait.
Ik heb zelfs verschillen gemerkt tussen verschillende Linux versies (Gentoo, Fedora, Ubuntu, CentOS)

Ik ben dan wel benieuwd waar de verschillen vandaan komen. Out-of-the-box tweaking? Snellere network stack? Is het dan überhaupt wel zeker dat het aan NFS/Samba ligt en niet aan iets anders?

[...]
Dat is wel heel specifiek, het gaat niet echt om of het platform te virtualiseren is. RDM is een beetje een hack, en past niet zo goed in dit overzicht.

Daar heb je gelijk in, RDM voor SATA is een hack. Maar aangezien het wel veel gebruikt wordt icm ZFS vind ik het wel het vermelden waard.

[...]
Maar dat hebben FreeNAS, NAS4Free, Nexenta en OpenSolaris ook, dus alleen Linux heeft dat maar niet...

Daarom juist...

---

ronzelver schreef op dinsdag 30 juli 2013 @ 13:06:
Ik wil mijn zfsguru systeem (9.1-004) upgraden naar de laatste versie 9.1-006 middels de upgrade optie en ik wil graag mijn Samba shares behouden. Had iemand daar niet een klein script voor geschreven om die instellingen over te zetten? Ik kan het zo vlug niet meer vinden (hier en op zfsguru.com)?! Alvast bedankt!

Je kunt toch gewoon /usr/local/etc/smb.conf backuppen en later weer terug zetten?

[ Voor 16% gewijzigd door Compizfox op 30-07-2013 13:55 ]

[Benjamin75]

Ik ben mijn server aan het installeren en testen.
OS: ZFSguru; hardware: zie inventaris

Nu zit ik met het probleem dat de leessnelheid met Samba wat tegenvalt.
Kan de snelheid nog verbeterd worden via de instellingen van Samba of is dit toch de limiet?



Deze pool heeft 5x WD30EZRX in raid-z1.

Pool-benchmark

ZFSguru 0.2.0-beta8 (9.1-005) pool benchmark
Pool            : data (13.6T, 0% full)
Test size       : 128 GiB
normal read	: 335 MB/s
normal write	: 290 MB/s
I/O bandwidth	: 23 GB/s

/usr/local/etc/smb.conf

[global]
workgroup = WORKGROUP
server string = ZFSguru
security = share

load printers = no
log file = /var/log/samba/log.%m
log level = 2
max log size = 50

guest account = share

create mask = 0666
directory mask = 0777

aio read size = 16384
aio write size = 16384
aio write behind = false

socket options = TCP_NODELAY IPTOS_LOWDELAY SO_SNDBUF=131072 SO_RCVBUF=131072
use sendfile = yes

iperf
192.168.0.20 is het ip-adres van de server

bin/iperf.exe -c 192.168.0.20 -P 1 -i 1 -p 5001 -f m -t 10 -T 1
[ ID] Interval       Transfer     Bandwidth
[260]  0.0-10.0 sec  1036 MBytes   868 Mbits/sec

[root@zfsguru /home/ssh]# iperf -c 192.168.0.185 -p 5001 -i 1 -t 10 -f m
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   730 MBytes   612 Mbits/sec

[Verwijderd]

Ik zie dat je de smb.conf hebt aangepast met socket options en sendfile. Wat zijn je scores als je die twee uitcomment door een # ervoor te zetten en samba te herstarten?

Ook is de default voor aio read size als het goed is 1, zodat Async I/O altijd gebruikt wordt. Kun je dat ook op 1 instellen en dan kijken wat voor scores je krijgt?

Graag wel apart benchmarken, dus eerst die optimalisaties weghalen en daarna pas AIO instellingen aanpassen en dat weer benchmarken.

Verder zou je ook de nieuwe image kunnen proberen (9.1-006) die heeft een modernere Samba versie. Je hardware lijkt mij prima in staat tot goede snelheden. Wel vind ik de netwerksnelheid die je met iperf behaalt onder de maat. Je hoor toch echt 900 megabit+ te behalen. Dat kan zelfs een simpel realtek chipje. Probeer eens naar een andere machine in jouw LAN te benchmarken? Misschien ligt het wel aan de drivers van je client ipv aan de server, je kunt dat uittesten door een andere LAN machine te gebruiken.

[Benjamin75]

Ik heb de netwerksnelheid nog eens getest tussen de server en een desktop die aangesloten is op dezelfde switch als de server. Dit geeft ongeveer dezelfde resultaten als in mijn vorige bericht. Ook in CrystalDiskMark zijn de resultaten gelijk.

De netwerksnelheid tussen de 2 desktops is ook maar 700-800 Mbps.

# voor socket options en sendfile


aio read/write size = 1 (vorige aanpassing verwijderd)

[Verwijderd]

Zou je het direct van server naar client kunnen proberen zonder gebruik van netwerkswitch met een korte kabel? Dan moet je mogelijk wel IPs handmatig instellen. Ook graag testen met een andere computer op het netwerk, dan weet je of het aan je client ligt. Je moet proberen het probleem te isoleren. Als het zich alleen voordoet met je desktop en naar je laptop bijvoorbeeld wel heel snel is, is dat een duidelijke aanwijzing. Ook als het zonder switch opeens veel sneller gaat is dat ook een aanwijzing waar je moet zoeken.

[pierce]

Weet iemand of je met ZFS ook HDD's van verschillende merken door elkaar kan gebruiken, bv seagate, wd, hitachi? Of heeft iemand hier ervaring mee?
Ik snap dat de schijven performance wise gelijkwaardig moeten zijn, dus zelfde grootte, rpm etc.

Ik was overigens niet van plan dit direct te gaan gebruiken, maar meer in het geval dat er toch een schijf kapot mocht gaan, er geen spares op voorraad zijn en je alleen maar een HDD kan krijgen van een ander merk met dezelfde specificaties.

[Tsurany]

Heb hier zelf een opstelling met WD's en Samsung/Seagate door elkaar heen. Werkt opzich prima, geen echte issues mee op dit moment. Zou ook niet weten waarom het niet kan, enkel performance wise zou het issues kunnen geven maar ook niet meer dan dat.

[Dennisik]

pierce schreef op woensdag 31 juli 2013 @ 11:24:
Weet iemand of je met ZFS ook HDD's van verschillende merken door elkaar kan gebruiken, bv seagate, wd, hitachi? Of heeft iemand hier ervaring mee?
Ik snap dat de schijven performance wise gelijkwaardig moeten zijn, dus zelfde grootte, rpm etc.

Ik was overigens niet van plan dit direct te gaan gebruiken, maar meer in het geval dat er toch een schijf kapot mocht gaan, er geen spares op voorraad zijn en je alleen maar een HDD kan krijgen van een ander merk met dezelfde specificaties.

Dat hoeft niet hoor.

Ik gebruik stuk of 3 verschillende 2TB schijven door elkaar en ook een 3TB voor een raidz1 array van 6x2TB

[Savages]

another ZFS/ESXi noob enters the playground.... Ik ben op dit moment ook aan het kijken of ik een ZFS NAS virtueel kan uitvoeren in ESXi.
Ik heb na uren prutsen eindelijk ESXi aan de gang op mn nieuwe desktop hardware. Het betreft een Asus z87-deluxe plank, met zowel Intel als Realtek nic, alleen kreeg ik in eerste instantie geen van beide NICs aan de gang. Nu draait ESXi dus eindelijk met de Intel nic, ik riep al "Eureka!", maar nu zit ik met de volgende uitdaging; Hoe wijs ik storage toe aan de eerste VM (de ZFS NAS dus), zodat deze datastore kan spelen voor ESXi.


Ik heb de laatste 4 weken dit topic gevolgd, de laatste paar dagen de overige pagina's doorgeworteld, maar heb de holy grail nog niet gezien.

Ik heb de beschikking over de onboard 6 poorts LynxPoint controller, plus 2x2 onboard ASM1062 aansluitingen. Daarnaast zit er nog een 2 poorts Sil2132 controller op. ESXi draait uiteraard vanaf USB.
Ik wil op die eerste 6 poorten een SSD aansluiten, plus 5x2TB. Die SSD moet verder niet gebruikt gaan worden in ESXi (enkel dualboot voor Win7 pc), die 5x2TB moet doorgegeven gaan worden aan ZFS voor Raidz1 config. Ik heb verder nog 2x 1 TB Barracuda disken, en een 1.5TB samsung, welke op de andere controllers kunnen komen.

Ik heb nog een M1015 controller in bestelling staan. Hierop moet nog een oude set hergebruikt gaan worden met 6x500GB in Raidz2. Dit is echter voor latere zorg. Ik wil eerst de bestaande config draaiende hebben.

Nu las ik dat RDM problemen kan geven. Ik wil dus de LynPoint controller direct doorzetten naar de VM. Dit lijkt te gaan in de ESXi configuratie. Ik had echter gelezen dat de mogelijkheid bestaat dat de andere onboard controller (de Asmedia) ook meeschakeld. Lijkt me op zich geen probleem, want daar mag de ZFS-VM ook de controle over krijgen. Vraag is: kan dit? ESXi heeft dan namelijk geen local persistant datastore.

Ik twijfel op dit moment tussen ZFSGuru en NAS4Free. Ik ben niet vies van wat commandline werk. Ik heb de matrix bekeken. Voordelen die voor mij belangrijk zijn is ZFS monitoring (maar geen must, systeem draait niet 24x7), en vooral Root-On-ZFS / boot from Raidz. Dit doet namelijk vermoeden dat er mogelijk geen local datastore in ESXi 'hoeft' te zijn, mits ik de ZFS-NAS op de doorgegeven controller kan installeren.

Hier komt dus ook de vraag: hoe nu verder. Ik wil testen of de controllers individueel doorgegeven kunnen worden, of dat ze mee 'omkwakken'. Daarna wil ik een ZFS-NAS install gaan doen. Hoe configureer ik de disken en de passthrough? Wat is jullie advies hiervoor?

[FireDrunk]

Dat kan niet, zoals je zegt heb je een lokale persistent datastore nodig om die ene ZFS VM te starten.
Je kan de ZFS VM op die Sil Controller zetten en dan toch de hele Lynxpoint doorgeven, alleen kom je dan in de knoei met je Windows 7 dual boot.

Je kan misschien beter een M1015 kopen en die doorgeven via VT-d, dan heb je niet zoveel gezeur...

[Savages]

oke, thanks voor je snelle antwoord. En daar was ik al bang voor.. Ik heb dus dat 'boot from raidz' dan verkeerd begrepen. Ik hoopte daardoor geen local datastore nodig te hebben.
Ik ga nu de 2x1TB disken als local datastore configgen op Sil3132. Ik had gehoopt deze als een Mirror binen de ZFS-NAS te kunnen configgen.

ps. Die dualboot optie houd ik toch? In de bios staat usb voor de local disken in de boot-order. Ik start ESXi vanaf USB. Als ik de USB-stick eruit trek, start Windows gewoon vanaf de SSD. Of mis ik hier iets?

[ Voor 31% gewijzigd door Savages op 31-07-2013 14:19 ]

[FireDrunk]

Boot from RAIDZ heeft weinig te maken met ESXi, dat betekend alleen maar of de bootloader van het desbetreffende OS het snapt om van een RAIDZ volume te booten.

Nadeel van VT-d (en dus ESXi) is dat je nooit kan booten van een controller die via VT-d is doorgegeven.
(Dit komt omdat de option rom niet gebruikt word, maar dat is een ander verhaal)

Je moet dus altijd een vDisk hebben op een lokale datastore waar de VM van kan booten.

[HMS]

Werkt het doorgeven van disks via Hyper-V beter dan met ESXi? Of zijn er weinig Hyper-V gebruikers in dit topic?

[FireDrunk]

Disk doorgeven werkt wel goed, of het met ZFS werkt is (voor zover ik weet) nog niet geprobeerd.

Staat wel op mijn todo lijstje.

[Savages]

Ik heb nu problemen zo te zien om de onboard LynxPoint door te geven, of zie ik iets over het hoofd? Ik kan wel beide Asmedia controllers gescheiden doorgeven, dus dat lijkt te werken.



Het vreemde is ook dat de Realtek nic er tweemaal tussen lijkt te staan...

[HMS]

Ik heb even een nieuw topic geopend om dit topic een beetje specifieker bij ZFS en gerelateerde issues te houden. Om nou mijn build hier tussendoor te behandelen lijkt me niet helemaal de bedoeling

Aanschaf ZFS NAS discussie

[jadjong]

Savages schreef op woensdag 31 juli 2013 @ 16:01:
Ik heb nu problemen zo te zien om de onboard LynxPoint door te geven, of zie ik iets over het hoofd? Ik kan wel beide Asmedia controllers gescheiden doorgeven, dus dat lijkt te werken.

[afbeelding]

Het vreemde is ook dat de Realtek nic er tweemaal tussen lijkt te staan...

De Lynx staat niet in de lijst vermeldt, wel heb je een gratis sil3132 gekregen.

[Savages]

jadjong schreef op woensdag 31 juli 2013 @ 16:10:
[...]

De Lynx staat niet in de lijst vermeldt, wel heb je een gratis sil3132 gekregen.

Nee die 3132 is een insteekkaartje, zoals eerder gemeld...

Maar mooie is dus dat de 2 extra Asmedia controllers gescheiden doorgegeven kunnen worden, zonder dat een van de 2 meegaat of de 6 onboard poorten van de LynxPoint meegaan. Ik zie dus alleen de Lynxpoint zelf niet
En de Realtek staat er zo te zien 2x tussen...

[mkroes]

HMS schreef op woensdag 31 juli 2013 @ 14:56:
Werkt het doorgeven van disks via Hyper-V beter dan met ESXi? Of zijn er weinig Hyper-V gebruikers in dit topic?

Dit werkt wel goed met hyper-v. Of het beter werkt dan met esxi, tsja.... Durf ik geen antwoord op te geven. Voor mij werkt het goed. Wel de vdev aanmaken met de 'by-id' naamgeving ipv sda, sdb, enz.
Moet er wel bij vermelden dat bij mij de disk eigenlijk nooit in standby gaan. Heb dit dus ook niet getest.

Gebruik ubuntu server lts met Zol.

[Verwijderd]

Ik speel met de gedachte om permanent een ZFS capabele distributie in VirtualBox te draaien en de schijven aan het host OS (Windows) door te geven. Er zijn genoeg horror verhalen te vinden over deze combinatie, maar als je de volgende punten in acht neemt zou dit toch moeten werken?

1) Schijven worden uiteraard 'raw' benaderd door VirtualBox en niet geïnitialiseerd in Windows zelf.
2) De virtualmachine wordt geconfigureerd met respond to guest IDE/SATA flush requests. Dit is een punt dat ik nooit in de "horror" verhalen terug zie komen; als VirtualBox writes direct uitvoert - en dus ZFS niet voor de gek houdt - is het gevaar voor datacorruptie geweken.

Als ik iets over het hoofd zie hoor ik het graag. De reden waarom ik deze opstelling wil gebruiken is zodat ik één (1) machine kan gebruiken die zowel als mijn desktop fungeert (=Windows) en daarnaast diverse 'server'-taken kan vervullen (grotendeels in VMs draaiend, waaronder ZFS). Ik heb geen zin in een aparte NAS machine, maar wil wel betrouwbare datastorage.

[FireDrunk]

Het zou kunnen, maar het ligt ook aan de controller die je gebruikt onder Windows. Gebruik je de 'echte' AHCI controller of zit er nog een driver tussen? (Marvell / Promise).

Als je true-AHCI gebruikt, en de AHCI controller in VirtualBox gebruikt zie ik geen problemen.

Het zal overigens wel pest pokke traag zijn...

[Verwijderd]

FireDrunk schreef op donderdag 01 augustus 2013 @ 15:52:
Gebruik je de 'echte' AHCI controller of zit er nog een driver tussen? (Marvell / Promise).

Ah, de tussenliggende driver laag had ik over het hoofd gezien. Ik zie er van af en ga het risico niet wagen aangezien áls ik al die moeite doe om ZFS te gebruiken, dan moet het ook gegarandeerd betrouwbaar werken. Misschien toch nog eens kijken naar ReFS.

[FireDrunk]

Och, ik zit uit mijn nek te kletsen... Ik zit te denken dat VirtualBox dan de AHCI commando's door kan geven, maar dat is natuurlijk niet zo, je zit altijd met het vDisk formaat, en dat gooit altijd roet in het eten qua ZFS.

[Phasis]

Als ik de startpost lees kan ik 1 SSD gebruiken voor:

- systeem pool voor booten en wat niet
- L2ARC cache voor je grote HDD pool
- SLOG voor je grote HDD pool

Het is de bedoeling om ZFSGuru te gaan draaien op:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 34,95	€ 34,95
1	ASRock B75 Pro3-M	€ 55,90	€ 55,90
6	Hitachi Deskstar 5K4000, 4TB	€ 151,84	€ 911,04
1	Fractal Design Define Mini	€ 72,71	€ 72,71
1	Corsair CMSO8GX3M1A1333C9	€ 42,58	€ 42,58
1	Corsair CMV16GX3M2A1333C9	€ 79,98	€ 79,98
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
Bekijk collectie Importeer producten		Totaal	€ 1.255,16

Ik heb nog een pricewatch: Intel 320 80GB liggen deze is wel gebruikt.
En anders dacht ik aan de Crucial M4 64GB

Nu is mijn vraag kan dit?

[FireDrunk]

Ja hoor, prima. De Intel 320 is een prima keuze hiervoor.

[webfreakz.nl]

Graag zie ik wat benchmarks zodra je hem gebouwd hebt!

[Habana]

Heren, met ZFSguru zie ik in SMART rap oplopende Load Cycles enkel bij ada0/1 en 2 (nieuwe drives), de oudste twee drives ada3 en 4 beiden 2.1jaar oud verspringen maar slechts af en toe
de Warning verwijst naar Disk-Advanced page, maar laat enkel zien APM en AAM unknown, en er valt verder geen AMP of iets anders in te stellen.
Of is dit uberhaubt geen probleem?, in het verleden werd wdidle3 hiervoor nog al eens voor gebruikt dacht ik me te herinneren, maar daar de twee oudste drives er geen last van hebben verdenk ik wat anders, iemand die mij uit de droom kan helpen..thanks

@ CiPHER: nee helaas, ik volg de verwijzing naar Disks->Advanced en er valt werkelijk niets in te stellen cq. te wijzigen, APM en AAM beiden unknown, en enkel Spindow en wake-up werkt , ook niet als ik op Disk ada0 oid. druk bv, daar is alleen info zichtbaar, ben nu bezig met update naar 9.1.006.

You are currently using rootonzfs distribution with system version 9.1-006 (md5 checksum
Ook na de update hier geen verschil.

[ Voor 27% gewijzigd door Habana op 02-08-2013 16:10 ]

[Verwijderd]

Klik op de disk op Disks->Advanced. Als je disk ada heet hoor je daar APM te kunnen instellen. Instellen op 254 betekent headparking uitschakelen, dan loopt de Load Cycle Count (LCC) niet meer op. Dit moet je mogelijk wel doen bij iedere boot. Je kunt bij de nieuwe ZFSguru systeemversie 9.1-006 in de /etc/rc.conf instellen welke disks automatisch op APM 254 moeten worden ingesteld bij iedere boot.

[Phasis]

FireDrunk schreef op vrijdag 02 augustus 2013 @ 08:44:
Ja hoor, prima. De Intel 320 is een prima keuze hiervoor.

Oké bedankt FireDrunk dat scheelt me weer wat geld.
Wat kan ik het beste gebruiken voor partitie grote(n)?
Ik heb ook nog een Fractal Design Array 2 staan maar er zijn geen (zuinige)moederborden met 6x sata. Dan had deze wel mooi compact geworden.

[Phuncz]

pricewatch: Asus P8-H77-I

Zuinig en 6x SATA.

[FDMK]

In testen komt die er juist niet zuinig vanaf.

[Phasis]

Die had ik nog wel gezien gister maar Asus staat er inmiddels om bekend dat ze niet zuinig zijn. En zie dat bord ook niet voorbij komen in 'Het grote zuinige server topic'.

[matty___]

Phasis schreef op vrijdag 02 augustus 2013 @ 15:25:
Die had ik nog wel gezien gister maar Asus staat er inmiddels om bekend dat ze niet zuinig zijn. En zie dat bord ook niet voorbij komen in 'Het grote zuinige server topic'.

En over hoeveel onzuiniger hebben we het dan?

CPU lijkt me toch de grootste bepalende factor hier.

[FDMK]

matty___ schreef op vrijdag 02 augustus 2013 @ 15:27:
[...]

En over hoeveel onzuiniger hebben we het dan?

CPU lijkt me toch de grootste bepalende factor hier.

Ik heb destijds mijn beslissing van deze test laten afhangen.

[Phuncz]

Dan is het simpel he, vergelijking maken naargelang die test:
Zuinigste mITX in die test: pricewatch: Asus P8Z77-I Deluxe --> 26,4W
mITX die ik vermeldde: pricewatch: Asus P8-H77-I --> 37,2W

154€ - 88€ = ~65€
37,2W - 26,4W = ~11W
Vergelijk het dan met je energiemaatschappij of je dat binnen de verwachte termijn eruithaalt.

[ Voor 4% gewijzigd door Phuncz op 02-08-2013 15:41 ]

[Habana]

Ik heb hem hier de Asus P8-H77 met een i5-3470 en 5 drives, schommelt rond de 49 Watt, geen idee of het zuinig is, het zal in het ergste geval 10Watt schelen met de zuinigste denk ik..

haha jaja lekker belangrijk die €17,52 op jaarbasis… .

[ Voor 15% gewijzigd door Habana op 02-08-2013 16:46 ]

[webfreakz.nl]

65 / ( 11 / 1000 * 24 * 365 ) / $KWh-prijs / $verwachte-levensduur = 0.

?

@hierboven:

10W x 24/7/365 x 20cent per KWh kost 17,52 per jaar.

[ Voor 68% gewijzigd door webfreakz.nl op 02-08-2013 16:36 . Reden: Geen rechten aan verbonden, het is vrijdagmiddag tenslotte! ]

[Phuncz]

Dus na 3,5 jaar beginnen de euro's binnen te rollen !

[matty___]

Phuncz schreef op vrijdag 02 augustus 2013 @ 16:44:
Dus na 3,5 jaar beginnen de euro's binnen te rollen !

ik denk dat er een makkelijkere manier is om 11 watt te besparen.

[FireDrunk]

Phasis schreef op vrijdag 02 augustus 2013 @ 14:41:
[...]


Oké bedankt FireDrunk dat scheelt me weer wat geld.
Wat kan ik het beste gebruiken voor partitie grote(n)?
Ik heb ook nog een Fractal Design Array 2 staan maar er zijn geen (zuinige)moederborden met 6x sata. Dan had deze wel mooi compact geworden.

Partitiegrootte is een beetje smaak afhankelijk. Voor boot is 5GB al zat inc een paar applicaties (ZFSguru neemt zelf maar 900MB ofzo in gebruik inc swap). ZIL hoeft niet groter te zijn dan een paar GB (<4GB is al zat), dus dan blijft er nog wat ruimte over voor L2ARC. Ik zou iets van 20-30GB nemen, en de rest ongepartitioneerd houden, waardoor je overprovisioning hebt en je SSD lekker snel blijft en langer mee gaat (hoewel de 320 weinig last heeft van vol zijn).

[Phasis]

FireDrunk schreef op vrijdag 02 augustus 2013 @ 17:10:
[...]


Partitiegrootte is een beetje smaak afhankelijk. Voor boot is 5GB al zat inc een paar applicaties (ZFSguru neemt zelf maar 900MB ofzo in gebruik inc swap). ZIL hoeft niet groter te zijn dan een paar GB (<4GB is al zat), dus dan blijft er nog wat ruimte over voor L2ARC. Ik zou iets van 20-30GB nemen, en de rest ongepartitioneerd houden, waardoor je overprovisioning hebt en je SSD lekker snel blijft en langer mee gaat (hoewel de 320 weinig last heeft van vol zijn).

Oké bedankt, ik krijg morgen de hardware binnen, ben benieuwd.
Ik heb even zitten googlen, en las dat wanneer je 'm puur alleen voor storage gebruik, dan moet je denken aan streamen van 1080p content naar XBMC clients en iets van Sabnzbd/Spotweb dat het niet echt uitmaakt of je L2ARC en ZIL gebruikt. Dat dit meer nut heeft met databases en VM's.

[FireDrunk]

klopt

[Verwijderd]

Nou kan L2ARC wel helpen door directorylistings lekker snel te laten verlopen. Als je toch je Intel 320 gaat gebruiken zou ik zeker wel L2ARC gebruiken. Je kunt dan de pool instellen op 'metadata' only. Zoiets als:

zfs set secondarycache=metadata tank

Waarbij tank de naam van de pool is. Alle overige filesystems nemen dit dankzij inheritance over.

[FireDrunk]

Ik heb daar persoonlijk nooit veel van gemerkt. Directorylist zit hier gewoon in RAM. Misschien dat het inderdaad helpt als je je server regelmatig uitzet, maar ik heb nooit last van trage directorylisting...

Het zal inderdaad uitmaken als je iets als WinDirStat draait, maar dat doe ik niet echt dagelijks ofzo

[Phasis]

Super, ik weet even voldoende. Nogmaals bedankt.

[Dennisik]

In ESXi kreeg ik telkens de error:
cannot create '/zfsguru': dataset already exists

Dus ik denkt, dat gaat fout. Ik stop de installatie, ik 3x opnieuw proberen. USB zero write.
Denk na 1,5u, laat ik eens wachten.

Moest ik gewoon langer wachten, en werkt alles prima
Het duurt even, maar ZFS gaan we zo installeren.

[Verwijderd]

In ESXi kreeg ik telkens de error:
cannot create '/zfsguru': dataset already exists

Dat is geen error. Het betekent alleen dat je tenminste één keer eerder ZFSguru op die pool hebt geïnstalleerd. Als het een error was, zou de installatie op dat punt stoppen.

[Dennisik]

Verwijderd schreef op zaterdag 03 augustus 2013 @ 00:49:
[...]

Dat is geen error. Het betekent alleen dat je tenminste één keer eerder ZFSguru op die pool hebt geïnstalleerd. Als het een error was, zou de installatie op dat punt stoppen.

Het kwam in ieder geval over als een error, vandaar dat ik stopte.

Als ik een slog device wil toevoegen, dan geeft mijn browser een foutmelding.

pools.php?slog&pool=storage&submit
Deze url geeft een serverfout, zoal op Chrome als IE.

Opgelost met zpool add storage log gpt/device

[ Voor 62% gewijzigd door Dennisik op 03-08-2013 01:32 ]

[Dennisik]

Met kleinere block size valt de performance enigszins tegen, met grote blocksize is volgens mij wel netjes.
Eens kijken of ik morgen nog de performance omhoog kan gooien met wat finetunen.

Via GUI 64GB File:
Test size : 64 GiB
normal read : 598 MB/s
normal write : 367 MB/s

Met DD
Read 561MB/s
Write 347MB/s:

code:

Write: 
[root@zfsguru /storage]# sudo dd if=/dev/zero of=/storage/test3.bin bs=1048576000 count=64
64+0 records in
64+0 records out
67108864000 bytes transferred in 184.142641 secs (364439565 bytes/sec)

Read:
[root@zfsguru /storage]# sudo dd if=/storage/test3.bin of=/dev/null bs=1048576000 count=64
64+0 records in
64+0 records out
67108864000 bytes transferred in 114.033561 secs (588500994 bytes/sec)

12GB ram + 6x2TB raidz1

Wel beetje jammer dat er in de GUI staat
storage 28 RAID5 (single parity) 10.9T 177G 10.7T

Via SSH is het:
storage 8.6T 141G 8.4T 2% /storage
Nog steeds 1.4TB minder dan verwacht (Gezien 6x2TB raidz1)
Als ik 5x1.8 pak, kom ik uit op 9TB dan is het verschil 'slechts' 400GB.

[ Voor 24% gewijzigd door Dennisik op 03-08-2013 03:23 ]

[Verwijderd]

Er zit een bug in beta8 waardoor je geen SLOG devices kan toevoegen. Beetje irritant maar gefixed in de komende build en je kunt desnoods even downgraden naar beta7 waar de bug niet in zit. Maar via de command line is het ook zo gepiept natuurlijk.

De installatieprocedure geeft wel duidelijk aan of deze geslaagd is of gefaald is. De output van het installscript is daarbij slechts een extra. Maar die melding is ook in beta9 weg omdat je niet de enige bent die het als een error zag. Toch staat er bovenaan duidelijk of het successful was of dat er iets fout ging.

Verder vind ik je snelheden prima in orde? Het is natuurlijk zo dat je met 6 disks in RAID-Z geen optimale configuratie draait; 6 disks in RAID-Z2 zou wel optimaal zijn. Verder heb je 4K optimalisatie toegepast bij het aanmaken van je pool? Of je pool 4K optimaal is kun je zien op de Pool pagina als je je pool aanklikt, staat in het overzicht halverwege de pagina.