Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
Ik ben ook nog steeds aan het rommelen tot nu toe lijkt openindiana het snelste qua ZFS host.

Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
Solaris 11 Express 2010.11 was in mijn benchmarks (met 1 disk) marginaal sneller, maar ook niet altijd. Maar ik kies toch liever voor een OS met een open karakter en OpenIndiana lijkt inderdaad sneller dan bijvoorbeeld Nexenta. NexentaStor heb ik niet geprobeerd, maar deze is getuned voor enkel storage en ik wil toch wat meer dan dat.

Acties:
  • 0 Henk 'm!

Verwijderd

Hoe krijg je het voor elkaar in OpenIndiana dat een USB disk auto mount...iemand :?

Acties:
  • 0 Henk 'm!

  • Ultraman
  • Registratie: Februari 2002
  • Laatst online: 11-09 14:49

Ultraman

Moderator Harde Waren

Boefje

Verwijderd schreef op woensdag 18 mei 2011 @ 22:47:
Hoe krijg je het voor elkaar in OpenIndiana dat een USB disk auto mount...iemand :?
Wat heeft dat met ZFS te maken? ;)

Als je stil blijft staan, komt de hoek wel naar jou toe.


Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
Verwijderd schreef op woensdag 18 mei 2011 @ 22:47:
Hoe krijg je het voor elkaar in OpenIndiana dat een USB disk auto mount...iemand :?
Ultraman heeft eigenlijk wel gelijk ja... Dus maar even :+
offtopic:
maar ik was benieuwd geworden en heb het dus even uitgezocht. Het is eigenlijk heel simpel:

# svcadm enable hotplug

Okee dan toch nog maar even ontopic: hmm nee ik heb eigenlijk toch niks meer te vertellen >:)

Oh wacht ik heb nog wel een interessante vraag. Heeft iemand al ZFS in combinatie met compressie gebruikt? Dat is wel iets wat ik waarschijnlijk wil gaan testen, misschien heeft er al iemand ervaring?

Acties:
  • 0 Henk 'm!

Verwijderd

Ultraman schreef op donderdag 19 mei 2011 @ 00:03:
[...]

Wat heeft dat met ZFS te maken? ;)
* veel :>

[ Voor 51% gewijzigd door Verwijderd op 19-05-2011 09:05 ]


Acties:
  • 0 Henk 'm!

  • Ultraman
  • Registratie: Februari 2002
  • Laatst online: 11-09 14:49

Ultraman

Moderator Harde Waren

Boefje

Verwijderd schreef op donderdag 19 mei 2011 @ 00:41:
[...]
Goh wat flauw. . Dat is de 2e x :(
Het was te moeilijk om de inkopper niet te doen :P Sorry!
Micr0mega schreef op donderdag 19 mei 2011 @ 00:19:
Oh wacht ik heb nog wel een interessante vraag. Heeft iemand al ZFS in combinatie met compressie gebruikt? Dat is wel iets wat ik waarschijnlijk wil gaan testen, misschien heeft er al iemand ervaring?
Ik gebruik het op een paar filesystems onder mijn FreeBSD 8.2 test installatie, op zaken waarvan ik vooraf wist dat het best wel effectief zou zijn. Dus dingen waar data in zit die goed comprimeert. Zoals logfiles, source code en, weliswaar in mindere mate, tijdelijke files.
Ik gebruik dus compressie op /var/log, /usr/ports (niet de onderliggende distfiles en packages, dat zijn aparte filesystems zonder compressie), /tmp en /var/tmp. Hierop heb ik de lichte "lzjb" compressie aan staan.
Maar ik heb helaas niets qua cijfers of benchmarks voor je.

Wel nog ervaring van vroeger toen ik met Reiser4 speelde, welke ook transparante compressie kon doen. Dat heb ik toen getest en dat leverde een aardige boost op in de meeste gevallen. Alleen kreeg de CPU het iets drukker, maar dat kon mijn AthlonXP destijds wel aan.

Als je stil blijft staan, komt de hoek wel naar jou toe.


Acties:
  • 0 Henk 'm!

Verwijderd

Micr0mega schreef op donderdag 19 mei 2011 @ 00:19:
[...]


Ultraman heeft eigenlijk wel gelijk ja... Dus maar even :+
offtopic:
maar ik was benieuwd geworden en heb het dus even uitgezocht. Het is eigenlijk heel simpel:

# svcadm enable hotplug
BEDANKT !! ben er 2 dagen mee bezig geweest en als je googled op mount usb openindiana ofzo kom je echt niet uit op het woord HOTPLUG
uiteindelijk was het # svcadm enable svc:/system/hotplug:default :*)

het feit dat ik teste met een kingston datatraveller, de enige USB stick die (achteraf) bekend staat niet te werken in dit systeem hielp niet mee.
@ultraman.. ook bedankt, er zit nu een flinke barst in mijn iPad 8)

[ Voor 11% gewijzigd door Verwijderd op 19-05-2011 09:35 ]


Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
Ultraman schreef op donderdag 19 mei 2011 @ 02:02:
[...]
Ik gebruik het op een paar filesystems onder mijn FreeBSD 8.2 test installatie, op zaken waarvan ik vooraf wist dat het best wel effectief zou zijn. Dus dingen waar data in zit die goed comprimeert. Zoals logfiles, source code en, weliswaar in mindere mate, tijdelijke files.
Ik gebruik dus compressie op /var/log, /usr/ports (niet de onderliggende distfiles en packages, dat zijn aparte filesystems zonder compressie), /tmp en /var/tmp. Hierop heb ik de lichte "lzjb" compressie aan staan.
Maar ik heb helaas niets qua cijfers of benchmarks voor je.

Wel nog ervaring van vroeger toen ik met Reiser4 speelde, welke ook transparante compressie kon doen. Dat heb ik toen getest en dat leverde een aardige boost op in de meeste gevallen. Alleen kreeg de CPU het iets drukker, maar dat kon mijn AthlonXP destijds wel aan.
Op zich logisch dat je niet alles comprimeert, veel binaries (muziek, films) zullen niet veel verder gecomprimeerd kunnen worden. Hier wordt trouwens een interessante claim gemaakt:
... the time it takes to compress and decompress the data is quicker than the time it takes to read and write the uncompressed data to disk.
Maar dat lijkt me inderdaad afhankelijk van de compressie ratio. Kan je dit voor jouw zpool checken? Ben wel benieuwd:
# zfs get compressratio <poolname>
Overigens, deduplication lijkt minder interessant voor thuisgebruik, maar wellicht beter toepasbaar in multi-user omgevingen.
Graag gedaan, mooi dat je het gevonden hebt 8) Bij mij was "# svcadm enable hotplug" voldoende. Je kan trouwens met "# cfgadm" de devices bekijken.

[ Voor 2% gewijzigd door Micr0mega op 19-05-2011 11:31 . Reden: cfgadm ]


Acties:
  • 0 Henk 'm!

  • Arnoud1
  • Registratie: September 2010
  • Laatst online: 12-08-2024
Net enkele zaken ontdekt ivm met zpool import en export.
Blijkbaar kijkt ZFS enkel naar de hostid (uuid).
Deze wordt aangemaakt bij installatie en lijkt mij volledig random te zijn.
Indien je je systeemschijf samen met je zpool gewoon verplaats naar andere hardware, of indien je systeemschijf ook je zpool is, en je dus maw geen verse installatie doet (drivers zitten toch id kernel), zal de hostid niet veranderen en is er dus ook geen zpool export of zpool import nodig.
Niet dat het niet veiliger is natuurlijk, maar je hostid blijft dezelfde.
Je moet mogelijks wel je fstab aanpassen om te kunnen booten, tenzij je het geluk hebt om op beide pc's dezeldfe te hebben.

Ook nog:
Op mijn ene pc werk ik met Intel Sasuc8i (Lsi IT bios) en daar krijg ik da0 da2 da4 etc...
Op mijn andere (E35M1-M pro) werk ik met de onboard (ad4, ad6 tot ad14) en als ik daar een Highpoint Rocketraid 620 kaart bijsteek (2x 6Gbps) nemen deze ad4 en ad6 in, en verschuiven dus alle onboard poorten. Steek ik er nog een Rocketraid bij, dan verschuiven ze terug.
Ik moet dus telkens de fstab aanpassen als ik er een kaart bijsteek of uithaal omdat mijn systeemschijf opschuift.
Nu weet ik niet of dit aan het moederbord ligt (de bios) of aan het type raidkaart. da is normaal voor scsi en ad voor gewoon sata. Die lsi raid met IT bios wordt nog steeds herkend als SCSI, terwijl die highpoint gewoon als AHCI herkend wordt.
Atacontrol werkt ook niet op die LSI met IT bios (wegens SCSI), en ik zie eigenlijk totaal geen verschil met de IR bios, dus ook niet in freebsd... (in de bios wel, maar daar is gewoon de optie om raid aan te maken weg...)
Die atacontrol werkt natuurlijk wel perfect op die highpoint raid die wel als ahci gezien wordt.
Ook in de bios van die E35M1-M pro zie ik alle schijven dia aan zo'n highpoint controller hangen. Op mijn andere pc zie ik die niet in de bios, maar enkel in de bios van de lsi kaart zelf.
Daar ik die lsi kaart nog niet werkende gekregen heb op die E35M1-M pro weet ik dus niet of het aan de kaart of de bios ligt.
Booten van een schijf op PCIe16x (op die E35...) lukt echter niet (maw booten van ad4), terwijl de bios wel die optie geeft. Neem je een ander slot of gewoon onboard dan lukt het natuurlijk wel. Een beperking die vaak voorkomt op PCIe sloten voor grafische kaarten..

Acties:
  • 0 Henk 'm!

Verwijderd

..

Graag gedaan, mooi dat je het gevonden hebt 8) Bij mij was "# svcadm enable hotplug" voldoende. Je kan trouwens met "# cfgadm" de devices bekijken.
het werkt . maar vooralsnog alleen met een FAT32 geformatte stick.. (ntfs package = installed)
kan jij wel een ntfs device auto mounten ?

Acties:
  • 0 Henk 'm!

Verwijderd

...
Indien je je systeemschijf samen met je zpool gewoon verplaats naar andere hardware, of indien je systeemschijf ook je zpool is, en je dus maw geen verse installatie doet (drivers zitten toch id kernel), zal de hostid niet veranderen en is er dus ook geen zpool export of zpool import nodig.
leuk om te weten 8)

Acties:
  • 0 Henk 'm!

  • Arnoud1
  • Registratie: September 2010
  • Laatst online: 12-08-2024
Als ik ahci_load="Yes" in de loader.conf plaats blijven al mijn schijven 'ad' ipv 'ada' te worden...
In bios staat de SATA wel degelijk op AHCI.
Edit:
Met FreeBSD 8.2 Release

[ Voor 9% gewijzigd door Arnoud1 op 19-05-2011 20:05 ]


Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
Hallo allemaal,

Even een vraagje voor de ZFS veteranen :)

Algemene informatie
Ik heb onderstaande configuratie:
#ProductPrijsSubtotaal
5Samsung EcoGreen F4EG HD204UI, 2TB€ 60,-€ 300,-
2Kingston ValueRAM KVR1333D3N9/4G€ 31,49€ 62,98
1AMD Phenom II X6 1055T Boxed€ 128,-€ 128,-
1MSI 880GM-E41€ 54,68€ 54,68
Bekijk collectie
Importeer producten
Totaal€ 545,66


Nu loopt dit al een tijdje op Debian met een mdadm configuratie (daarop LVM+XFS)

Ik loop echter tegen een enorm hoog fragmentatie probleem aan (de machine word door meerdere gebruikt, vooral torrents en rtorrent werkt niet lekker mee).

Ik was al van plan te switchen naar ZFS toen ik de hardware binnen had maar ivm uitbreiden van de array heb ik dit niet gedaan, nu wil ik aankomende week toch switchen naar FreeBSD 8.2 met ZFS.

Vraag(en)
- Ik had gelezen dat 4 disks een performance verlies geeft (tegenover 3, 5 of 9 disks) ik ben dus van plan een extra disk aan te schaffen zodat het een raidz word met 5 disks, goed idee ?
- Ik was ook van plan om 8 GB ram bij te prikken voor ZFS, is dit nodig / wenselijk ?
- Performance technisch, wat ik reeel om te verwachtten ? momenteel is mijn lees en schrijfsnelheid vrij laag imo (rond de 50MB) kan dit met ZFS hoger worden ? (ik zal zowizo de 4k sectoren etc goed zetten in de config, dit moet ik nog even uitzoeken / lezen nav eerdere links in deze thread
- Gezien het een gezamelijke bak is (sort of) wil ik ook graag dedup gaan draaien, is dit mogelijk met deze configuratie ? evt, wil ik gewoon patch .28 applien ?sp? op 8.2

Thnx voor jullie tijd !

Acties:
  • 0 Henk 'm!

  • leuk_he
  • Registratie: Augustus 2000
  • Laatst online: 15-07 15:35

leuk_he

1. Controleer de kabel!

YaNightmare schreef op vrijdag 20 mei 2011 @ 12:30:
Vraag(en)
- Ik had gelezen dat 4 disks een performance verlies geeft (tegenover 3, 5 of 9 disks) ik ben dus van plan een extra disk aan te schaffen zodat het een raidz word met 5 disks, goed idee ?
Je hebt toch 5 disks staan in je config? je kunt NIET booten van een raidz. Je zou freenas kunnen installeren op USB.

Of wou je een losse 6e disk als boot gebruiken? Maar net wat je hebt liggen. (maar je systeem inrichten met een raidz, maar je boot niet mirroren zou weer jammer zijn)

Dedup moet de moeit waard zijn. (kan niemand goed voor je inschatten). maar voor 8Tb in 128k Blokken heb je 20 GB aan geheugen nodig, dus dan moet je denk ik wel een L2ARC SSD opnemen in je systeem.Verbeter me me alsjeblieft als iemand zoveel data op een ZFS hebt staan men aanzienlijk minder geheugen....

/Edit: ja later toevoegen of je kunt dedup altijd uitzetten als hij geheugen gaat swappen daardoor.

[ Voor 17% gewijzigd door leuk_he op 20-05-2011 13:33 ]

Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.


Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
Whoops, sorry, heb nu 4 disks, wil daar een 5e disk bij kopen, mijn OS staat op een 80Gb disk (momenteel 2x 80 in raid 1), ik heb in het overzicht eigenlijk alleen de relevante (naar mijn weten) informatie gezet, zodat het nog enigsinds overzichtelijk bleef :)

Anyway, 20Gb aan geheugen ... darnit .. :) ik zou dan 16 totaal hebben, met ongeveer 6 voor niet ZFS werk, eg, 10 Gb voor zfs.

Ik moet misschien maar even kijken naar een kleine SSD voor erbij (caching) als dat echt een groot verschil maakt.

PS, voor wat ik kan lezen kan de SSD altijd achteraf toegevoegd worden, dus in principe kan ik met deze config gewoon van start en later (indien nodig) een extra cache disk toevoegen.

EDIT:
/Edit: ja later toevoegen of je kunt dedup altijd uitzetten als hij geheugen gaat swappen daardoor.

Thnx, maar bottomline, zou dit systeem ZFS redelijk moeten kunnen handelen ? ik ben bereid consessies te doen uiteraard, maar ik zit niet op te wachtten op mega trage write/read speeds :)

[ Voor 17% gewijzigd door YaNightmare op 20-05-2011 16:38 . Reden: Antwoord ]


Acties:
  • 0 Henk 'm!

Verwijderd

Afbeeldingslocatie: http://imageshack.us/m/840/6292/resultsm.jpg

Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
Met 10 schijven lezen trek je dus inderdaad je gigabit verbinding wel vol. Schrijven niet helaas, valt toch wat tegen lijkt mij? Ik hoop eigenlijk zelf met 5 schijven wel tegen de limiet van gigabit te zitten, maar dit ga ik van het weekend zien, mijn moederbord is binnen :-D
Verwijderd schreef op donderdag 19 mei 2011 @ 18:21:
het werkt . maar vooralsnog alleen met een FAT32 geformatte stick.. (ntfs package = installed)
kan jij wel een ntfs device auto mounten ?
Ik heb geen removable NTFS devices in gebruik, dus ik zou het niet weten.

@YaNightmare & @leuk_he:

Wat ik heb begrepen, is dat 1GB RAM per 1TB aangeraden wordt voor productieomgevingen, voor thuisgebruik is dit niet kritiek. Het geheugen wordt namelijk gebruikt als cache: ARC of L2ARC voor een SSD. Dit is dus vooral nuttig bij veel iops (webserver/sql), als je veel sequentiële data leest/schrijft (video/muziek) dan is het minder belangrijk. Maar met de huidige geheugen prijzen kan het natuurlijk geen kwaad er gewoon wat bij te prikken. Zeker als je eventueel ook nog met virtualisatie gaat werken.

Bij het in-of uitschakelen van dedup en compression moet je wel onthouden dat de nieuwe staat alleen voor nieuwe data geldt. Bestaande data wordt dus niet gecomprimeerd of "geduped". Wil je dit wel, dan zal je je pool opnieuw moeten aanmaken (en de data dus tijdelijk ergens anders opslaan).

Dus, ik zou lekker je huidige setup behouden met eventueel een extra disk om aan een "magic number" van schijven te komen. Mocht je eventueel meer RAM of een SSD willen, dat kan altijd.

Overigens wil ik me niet voordoen als guru, ik heb alleen nog maar systemen in virtuele machines getest :P Maar ik heb al wel aardig wat leesvoer doorgespit, vandaar dat je mij ook vaak links ziet posten. Dit alles is dus mijn eigen interpretatie, neem mee wat je nuttig lijkt :)

Acties:
  • 0 Henk 'm!

  • u_nix_we_all
  • Registratie: Augustus 2002
  • Niet online
Micr0mega schreef op vrijdag 20 mei 2011 @ 17:54:


Wat ik heb begrepen, is dat 1GB RAM per 1TB aangeraden wordt voor productieomgevingen, voor thuisgebruik is dit niet kritiek. Het geheugen wordt namelijk gebruikt als cache: ARC of L2ARC voor een SSD. Dit is dus vooral nuttig bij veel iops (webserver/sql), als je veel sequentiële data leest/schrijft (video/muziek) dan is het minder belangrijk. Maar met de huidige geheugen prijzen kan het natuurlijk geen kwaad er gewoon wat bij te prikken. Zeker als je eventueel ook nog met virtualisatie gaat werken.

[knip]
Haal je hier niet de ZIL en de L2ARC door elkaaar ? De L2ARC is uitbreiding van de ARC (read) cache, meestal een read-optimized (ssd mlc), maar die zie je volgens mij alleen bij de grotere installaties. De ZIL is je write cache voor je sync io. En die wordt idd voor sequentiele data vanaf een bepaalde blokgroootte niet gebruikt.
Je ARC statistieken kun je gebruiken om te bepalen of je een L2ARC-cache wilt hebben, maar de L2ARC kost ook weer ARC geheugen, dus meestal kun je beter de ARC (lees RAM) uitbreiden. Let ook op de ratio meta-/data van je ARC cache, daar kun je soms ook nog wat optimaliseren.....

Alles is natuurlijk flink afhankelijk van je working set, maar dit is wat ik de afgelopen dagen heb meegekregen van de Nexenta European User Conference en de CNE training erbij, met daarbij een van de ZFS devvers :9~

BTW, ik ben ook helemaal geen guru, ZFS is nog vrij nieuw voor me, maar ben afgelopen dagen flink in het diepe gegooid, en flink kennis opgebouwd over de werking van ZFS. En ik ga er zeker meer mee doen :9

Edit: BTW, er is een nieuwe fork van OpenSolaris gemaakt, illumos. Ik denk dat dit een mooi open project is, en lijkt me een goed alternatief om ZFS op te draaien.

Edit2: Oh, niet zo heel nieuw meer, dat illumos, en hier al bekend (OpenIndiana) zie ik nu... :>

[ Voor 7% gewijzigd door u_nix_we_all op 20-05-2011 19:33 ]

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.


Acties:
  • 0 Henk 'm!

Verwijderd

Micr0mega schreef op vrijdag 20 mei 2011 @ 17:54:
Met 10 schijven lezen trek je dus inderdaad je gigabit verbinding wel vol. Schrijven niet helaas, valt toch wat tegen lijkt mij?..
net andersom :9 (maar die snelheid kan wel wat omhoog zodra je een vdev erbij zet)

[ Voor 9% gewijzigd door Verwijderd op 20-05-2011 19:38 ]


Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
Bedankt voor jullie info !!

Ik denk dat ik zowizo voor een extra disk en 8gb geheugen ga. Ik twijfel nog even of ik er een SSD bij moet / wil zetten.

Mocht ik een SSD nemen zet ik hier ook meteen het OS op, dan evt met een backup/raid 1 voor alleen het OS gedeelte.

Ik draag geen SQL oid, draai het wel, maar niet heavy. torrent-wise is het vrij heftig gebruik, maar dat zijn enkel simpele operaties (veelal lezen, seedprint van ongeveer 4TB momenteel, gemiddeld 10MBps constant)

PS, dit is dus ook direct het probleem van MDADM momenteel, doordat deze geen caching heeft van veelgebruikte/momenteel-gebruikte bestanden blijft de HDD actief, hierdoor heb je natuurlijk een behoorlijke vertraging bij alle andere IO operaties. mijn "hoop" is dat ZFS de bestanden in de cache houd die op dat moment actief zijn waardoor de disks het wat rustiger hebben. (ps, dit zijn vaak rond de 20 bestanden met een totale grootte van ongeveer 5-10Gb.

PPS, kan iemand hier misschien bevestigen of ZFS inderdaad op deze manier cached ? (eg, alles wat is verzocht voor lezen zolangmogelijk in de cache houden totdat het niet meer gelezen word of de cache niet meer toereikend is ?)

Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
u_nix_we_all schreef op vrijdag 20 mei 2011 @ 19:13:
[...]

Haal je hier niet de ZIL en de L2ARC door elkaaar ? De L2ARC is uitbreiding van de ARC (read) cache, meestal een read-optimized (ssd mlc), maar die zie je volgens mij alleen bij de grotere installaties. De ZIL is je write cache voor je sync io. En die wordt idd voor sequentiele data vanaf een bepaalde blokgroootte niet gebruikt.
Je ARC statistieken kun je gebruiken om te bepalen of je een L2ARC-cache wilt hebben, maar de L2ARC kost ook weer ARC geheugen, dus meestal kun je beter de ARC (lees RAM) uitbreiden. Let ook op de ratio meta-/data van je ARC cache, daar kun je soms ook nog wat optimaliseren.....

Alles is natuurlijk flink afhankelijk van je working set, maar dit is wat ik de afgelopen dagen heb meegekregen van de Nexenta European User Conference en de CNE training erbij, met daarbij een van de ZFS devvers :9~

BTW, ik ben ook helemaal geen guru, ZFS is nog vrij nieuw voor me, maar ben afgelopen dagen flink in het diepe gegooid, en flink kennis opgebouwd over de werking van ZFS. En ik ga er zeker meer mee doen :9

Edit: BTW, er is een nieuwe fork van OpenSolaris gemaakt, illumos. Ik denk dat dit een mooi open project is, en lijkt me een goed alternatief om ZFS op te draaien.

Edit2: Oh, niet zo heel nieuw meer, dat illumos, en hier al bekend (OpenIndiana) zie ik nu... :>
Ik haal ze geloof ik niet echt door elkaar, ik bedoelde L2ARC als uitbreiding van ARC (vandaar dat het secondary level ARC heet ;)) Maar je hebt wel gelijk :) mijn verhaal is eigenlijk alleen van toepassing op lees operaties. ZIL is inderdaad voor sync writers. Praktisch nadeel hiervan is dat je je ZIL cache eigenlijk moet mirroren, want als je een failure van je SSD(/disk) hebt, ben je simpelweg de ongeschreven data kwijt (maw financieel nadeel: aanschaf van nog een SSD :P).
Maargoed, volgens mij heeft eigenlijk niemand die ZFS voor z'n thuisserver gebruikt baat bij L2ARC of ZIL. Precies wat jij zegt lijkt mij het beste, lekker veel RAM voor een zo groot mogelijke ARC.

Nexenta European User Conference klinkt wel interessant, veel geleerd dus? Zijn er online presentaties? Nexenta is natuurlijk losjes verbonden aan OpenIndiana, gezien ze beide (toekomstig?) op Illumos gebaseerd worden, dacht ik.

Acties:
  • 0 Henk 'm!

  • DARKLORD
  • Registratie: December 2000
  • Laatst online: 22-01 21:17
Verwijderd schreef op woensdag 18 mei 2011 @ 16:25:
[...]


gebruikte jij nou ook een geflashte intel raid controller SASUC8I ?

zoja.. zou jij voor mij is kunnen kijken (via ssh) .. ik krijg steeds iets vreemds, welke disk/kabel ik ook pak.
' Failed to inquiry this logical disk ' :?
[afbeelding]

format -e </dev/null | egrep "[0-9]\."
ik heb een Supermicro AOC-USAS-L8i kaart. maar is wel dezelfde chipset geloof ik. is je probleem al opgelost?

Acties:
  • 0 Henk 'm!

Verwijderd

DARKLORD schreef op vrijdag 20 mei 2011 @ 20:53:
[...]


ik heb een Supermicro AOC-USAS-L8i kaart. maar is wel dezelfde chipset geloof ik. is je probleem al opgelost?
tis eigenlijk geen (merkbaar) probleem.

als je gewoon een # format op de commandline geeft laat die je drives zien (gebeurt nog niks verder)
alleen drive 0 daar geeft die altijd die melding.. ook als ik de disks/kabels verwissel.. dus ik vermoed een bug.

maar om dat eventueel te bevestigen dacht ik aan jou setup.. maar we hebben niet exact dezelfde kaart dus heeft geen zin verder .. bedankt in ieder geval.

verder is mijn enige probleem met OpenIndiana, dat ik het niet voor elkaar krijg om een externe NTFS usb disk te mounten... fat32 werkt wel, en dat is voor mij erg vervelend omdat ik ca. 6 TB op losse NTFS disks heb staan, die ik natuurlijk vlot over wil zetten naar de nieuwe ZFS pool straks.
-

een ander onderwerp waar ik hier nog niets over gelezen heb is ZFS en encryptie.
en met name.. in welke mate beinvloed encryptie de ZFS performance.

artkeltje wat duidelijk maakt dat sommige NAS processors meer/minder geschikt zijn hier

[ Voor 13% gewijzigd door Verwijderd op 20-05-2011 21:12 ]


Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
Verwijderd schreef op vrijdag 20 mei 2011 @ 21:04:
[snip]

verder is mijn enige probleem met OpenIndiana, dat ik het niet voor elkaar krijg om een externe NTFS usb te mounten... fat32 werkt wel, en dat is voor mij erg vervelend omdat ik ca. 6 TB op losse NTFS disks heb staan, die ik natuurlijk vlot over wil zetten naar de nieuwe ZFS pool straks.
Ik dacht dat je het over auto-mounten had. Als je gewoon wilt mounten, werkt dit niet?
code:
1
mount -F ntfs /dev/<disk> /mnt

Acties:
  • 0 Henk 'm!

Verwijderd

Micr0mega schreef op vrijdag 20 mei 2011 @ 21:09:
[...]

Ik dacht dat je het over auto-mounten had. Als je gewoon wilt mounten, werkt dit niet?
code:
1
mount -F ntfs /dev/<disk> /mnt
had ik ook :9
ik wil gewoon een ntfs usb disk erin kunnen prikken en werken.

dat hotplug gebeuren werkt.. maar blijkbaar niet voor ntfs :?

Acties:
  • 0 Henk 'm!

  • u_nix_we_all
  • Registratie: Augustus 2002
  • Niet online
Micr0mega schreef op vrijdag 20 mei 2011 @ 20:50:
[...]

Ik haal ze geloof ik niet echt door elkaar, ik bedoelde L2ARC als uitbreiding van ARC (vandaar dat het secondary level ARC heet ;)) Maar je hebt wel gelijk :) mijn verhaal is eigenlijk alleen van toepassing op lees operaties. ZIL is inderdaad voor sync writers. Praktisch nadeel hiervan is dat je je ZIL cache eigenlijk moet mirroren, want als je een failure van je SSD(/disk) hebt, ben je simpelweg de ongeschreven data kwijt (maw financieel nadeel: aanschaf van nog een SSD :P).
Niet helemaal: De data van de ZIL wordt alleen teruggelezen bij systeemuitval, anders blijft het gewoon ook in de ARC staan en wordt daarvandaan geschreven. Dus geen probleem bij uitval van de ZIL. De ZIL levert je dus de snelle sync op write data op, maar moet die dus wel meteen non-volatile opslaan, zodat je integriteit bij uitval blijft. Dataverlies is er pas als je hele systeem uitvalt en de ZIL niet meer te lezen is.
Edit: snapshots FTW :)
Nexenta European User Conference klinkt wel interessant, veel geleerd dus? Zijn er online presentaties?
Nexenta is natuurlijk losjes verbonden aan OpenIndiana, gezien ze beide (toekomstig?) op Illumos gebaseerd worden, dacht ik.
Er werd wel wat gevideoot bij de presentaties , via die link kun je misschien e.e.a. vinden als ze dat daar posten.

En ja, enorm veel geleerd over ZFS, zie boven 8)
Vooral het Copy on Write principe erachter is mooi, en de mogelijkheden die dat bied qua snapshots, dedup etc. Was natuurlijk wel op Nexenta gericht, maar 90% van de tijd ging het over ZFS :)

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Arnoud1 schreef op donderdag 19 mei 2011 @ 18:13:
Je moet mogelijks wel je fstab aanpassen om te kunnen booten, tenzij je het geluk hebt om op beide pc's dezeldfe te hebben.

..

Ik moet dus telkens de fstab aanpassen als ik er een kaart bijsteek of uithaal omdat mijn systeemschijf opschuift.
Je moet ook helemaal geen ruwe device nodes in je fstab plaatsen, dat is de 1990-manier. De 2000-manier is om labels te gebruiken zodat hoe je disk ook heet hij bij een label wordt gedetecteerd. De 2010-manier is direct booten van je RAID-Z pool.

Bij FreeBSD betekent dat bij booten van UFS dat je glabel gebruikt, bij ZFS heb je het probleem sowieso niet omdat je van een genaamde pool boot en niet van een device. Je fstab blijft bij beide manieren dus vrij van /dev/ad4 ofzoiets, maar keurig een /dev/label/systeemdisk of iets van zfs:tankpool/boot
Atacontrol werkt ook niet op die LSI met IT bios (wegens SCSI), en ik zie eigenlijk totaal geen verschil met de IR bios, dus ook niet in freebsd... (in de bios wel, maar daar is gewoon de optie om raid aan te maken weg...)
Voor SCSI/SAS hebben we camcontrol ipv atacontrol. Werkt ongeveer hetzelfde. IR mode betekent dat de firmware van je controller de disks eruit kan schoppen, en de laatste sector van elke disk kan overschrijven. Niet ideaal bij ZFS en andere software RAID, vandaar dat je IT mode wilt.
leuk_he schreef op vrijdag 20 mei 2011 @ 13:06:
[...]

Je hebt toch 5 disks staan in je config? je kunt NIET booten van een raidz. Je zou freenas kunnen installeren op USB.
Je kunt WEL booten van een RAID-Z; alleen niet onder Solaris. Dat is geen beperking van ZFS maar van het feit dat Solaris geen bootcode heeft om dit mogelijk te maken. RAID-Z, RAID-Z2 en RAID-Z3 zijn gewoon bootable onder FreeBSD, zelfs degraded of triple degraded.

Om voor een paar honderd MB nu weer twee hardeschijven te laten ronken vind ik echt onzin; gewoon lekker booten van RAID-Z dus, tenzij je Solaris platform zit. Dan heb je ook nog meer beperkingen zoals dat je L2ARC en SLOG op een enkele SSD niet makkelijk kunt combineren.
Dedup moet de moeit waard zijn.
Is onzin voor thuisgebruik. Kleine winst, enorme aantasting van je snelheid. Niet doen dus.
Micr0mega schreef op vrijdag 20 mei 2011 @ 17:54:
Wat ik heb begrepen, is dat 1GB RAM per 1TB aangeraden wordt voor productieomgevingen, voor thuisgebruik is dit niet kritiek. Het geheugen wordt namelijk gebruikt als cache
RAM is met name cruciaal voor transacties, met weinig RAM zullen je hardeschijven continu stilvallen bij het schrijven.
Dit is dus vooral nuttig bij veel iops (webserver/sql), als je veel sequentiële data leest/schrijft (video/muziek) dan is het minder belangrijk.
Dat is onjuist, eerder andersom. Bij random writes zonder SLOG zijn de HDDs de bottleneck en volsta je met weinig RAM, bij sequential writes zijn je HDDs heel snel (1,6GB/s) en kan door het gebrek aan RAM en latency van je CPU ZFS het niet meer bijhouden. RAM geheugen is dus nodig voor snellere storage, voor langzame storage kun je met veel minder RAM volstaan. Dit gaat veel minder op voor SSDs omdat die geen klerehoge latency hebben als je ze eventjes laat stilvallen; HDDs wel. Die moeten aan het werk gehouden worden, en veel RAM (16GB+) helpt daarbij.

Veel gehoorde stelregel is dat je per hardeschijf 1 of 2GB RAM gebruikt, wat dus betekent dat je met een simpele 5-disk RAID-Z prima met 4GB of 8GB kunt werken maar bij 10/20 disks al snel naar de 16GB wilt.

Wat betreft SSDs als buffer en cache: dat is nu juist de killer feature van ZFS en gewoon nodig als je performance belangrijk vindt. Een kleine 20GB SSD kan al enorme snelheidsverbeteringen geven. Intels 7xx serie zou hier met name geschikt voor moeten zijn; maar is nog niet leverbaar. Een SSD met supercap valt sterk aan te raden. Anders werk je met schijnveiligheid en kun je beter alleen L2ARC gebruiken.

[ Voor 11% gewijzigd door Verwijderd op 21-05-2011 07:31 ]


Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
Ik draai op dit moment Ubuntu server met MDADM en XFS. 3 disks in RAID5
Het is afgelopen jaar al twee keer voorgekomen dat MDADM één van de drie schijven uit de array had gegooid. Deze schijf kon daarna weer eenvoudig toegevoegd worden, maar een prettig gevoel was het zeker niet.
Om deze reden wil ik overstappen op RAID6.

Nu heb ik veel gelezen over ZFS en ben ik van plan om de overstap te maken naar FreeBSD met ZFS
Dit wordt dan een RAIDZ2 van 6x 2TB Samsung F4. Deze disks ga ik komende week bestellen.

Als OS vind ik ZFSguru zeer interessant, ik hoop dan ook dat de dev in orde is en snel iets van zich laat horen.
Eventueel kan ik ook nog wachten tot FreeBSD 9 gereleased wordt, maar ik kan nergens een datum vinden. Weet iemand wanneer we een release kunnen verwachten?

Acties:
  • 0 Henk 'm!

  • DARKLORD
  • Registratie: December 2000
  • Laatst online: 22-01 21:17
ik zou naar openindiana + napp-it kijken ipv freebsd!

Acties:
  • 0 Henk 'm!
Iemand die nog op zoek is naar 1.5TB schijven? Kan ik mooi mijn schijven vervangen voor 2TB schijven om zo een 'mooier' aantal schijven te hebben om ZFS te draaien :D

Even niets...


Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
DARKLORD schreef op zaterdag 21 mei 2011 @ 11:15:
ik zou naar openindiana + napp-it kijken ipv freebsd!
Openindiana heb ik in een VM draaien, maar het lukt me niet om Napp-it te installeren. Wanneer ik het volgende commando draai: wget -O - www.napp-it.org/nappit | perl
krijg ik een foutmelding en ik weet nog geen andere manier om Napp-it te installeren.

Ook draai ik op dit moment SABnzbd, Sickbeard en Couchpotato op mijn Ubuntu-server. Ik kan bijna geen info vinden om deze programma's op Openindiana te draaien. Bij FreeBSD is dit redelijk simpel.

Acties:
  • 0 Henk 'm!

  • DARKLORD
  • Registratie: December 2000
  • Laatst online: 22-01 21:17
Kriss27 schreef op zaterdag 21 mei 2011 @ 11:35:
[...]

Openindiana heb ik in een VM draaien, maar het lukt me niet om Napp-it te installeren. Wanneer ik het volgende commando draai: wget -O - www.napp-it.org/nappit | perl
krijg ik een foutmelding en ik weet nog geen andere manier om Napp-it te installeren.

Ook draai ik op dit moment SABnzbd, Sickbeard en Couchpotato op mijn Ubuntu-server. Ik kan bijna geen info vinden om deze programma's op Openindiana te draaien. Bij FreeBSD is dit redelijk simpel.
sabnzdb:
http://blog.bitechular.co...owto-opensolaris-sabnzbd/

transmission is zelf te compilen.
http://58.96.99.76/joomla...&catid=34:linux&Itemid=64

maar wget moet wel werken. werken andere wgets wel? is het met een 0 of en O ?

[ Voor 22% gewijzigd door DARKLORD op 21-05-2011 12:31 ]


Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
DARKLORD schreef op zaterdag 21 mei 2011 @ 12:24:
[...]

maar wget moet wel werken. werken andere wgets wel? is het met een 0 of en O ?
Andere wget's werken inderdaad ook niet. Heb Openindiana opnieuw geinstalleerd en kwam erachter dat het netwerk niet automatisch geconfigureerd wordt :? 8)7

Ik heb nu even geen tijd om dit verder uit te zoeken. Zal er vanavond mee verder gaan.
FreeBSD 9 met ZFSguru heeft nog steeds mijn voorkeur, maar zal Openindiana zeker nog een kans geven.

Weet nog iemand antwoord op de vraag wanneer FreeBSD 9 gereleased wordt?

[ Voor 16% gewijzigd door Kriss1981 op 21-05-2011 13:32 ]


Acties:
  • 0 Henk 'm!

  • leuk_he
  • Registratie: Augustus 2000
  • Laatst online: 15-07 15:35

leuk_he

1. Controleer de kabel!

Micr0mega schreef op vrijdag 20 mei 2011 @ 17:54:
@YaNightmare & @leuk_he:

Wat ik heb begrepen, is dat 1GB RAM per 1TB aangeraden wordt voor productieomgevingen, voor thuisgebruik is dit niet kritiek. Het geheugen wordt namelijk gebruikt als cache: ARC of L2ARC voor een SSD.
Ik had het in mijn geheugen gebruik (~20 Gb voor 8Tb aan data in 128k blocks) dus over dedup. Voor elke blok die geschreven wordt, wordt uitgezocht of deze hash al bestaat. Voor elk block heb je daarvoor 320 bytes nodig. Volgens mij moet je heel die dedup database direct beschikbaar hebben in memory (arc of l2arc). Als je dat niet hebt gaat je OS dus direct swappen om dedup te kunnen uitvoeren.

Dus als je dedup nodig hebt moet je veel geheugen hebben of op zijn minst een L2ARC device lijkt me?

merk op dat dedup altijd uit te zetten is of een l2arc ook later toe te voegen is.

ik kan dit niet onderbouwen met benchmarks, ik heb zelf niet zo'n grote dataset. (het gaat uiteraard om actief gebruikte storage, niet om capaciteit.)

Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.


Acties:
  • 0 Henk 'm!

Verwijderd

Kriss27 schreef op zaterdag 21 mei 2011 @ 11:35:
[...]

Openindiana heb ik in een VM draaien, maar het lukt me niet om Napp-it te installeren. Wanneer ik het volgende commando draai: wget -O - www.napp-it.org/nappit | perl
krijg ik een foutmelding en ik weet nog geen andere manier om Napp-it te installeren.

Ook draai ik op dit moment SABnzbd, Sickbeard en Couchpotato op mijn Ubuntu-server. Ik kan bijna geen info vinden om deze programma's op Openindiana te draaien. Bij FreeBSD is dit redelijk simpel.
Eerst

# su
Password:

En dan de wget riedel, maar je zal wel geen inet verbinding hebben op je vm, je kan het script ook eerst downloaden..op je vm plaatsen en dan installen.

[ Voor 9% gewijzigd door Verwijderd op 21-05-2011 15:02 ]


Acties:
  • 0 Henk 'm!

  • u_nix_we_all
  • Registratie: Augustus 2002
  • Niet online
leuk_he schreef op zaterdag 21 mei 2011 @ 14:24:
[...]


Ik had het in mijn geheugen gebruik (~20 Gb voor 8Tb aan data in 128k blocks) dus over dedup. Voor elke blok die geschreven wordt, wordt uitgezocht of deze hash al bestaat. Voor elk block heb je daarvoor 320 bytes nodig. Volgens mij moet je heel die dedup database direct beschikbaar hebben in memory (arc of l2arc). Als je dat niet hebt gaat je OS dus direct swappen om dedup te kunnen uitvoeren.

Dus als je dedup nodig hebt moet je veel geheugen hebben of op zijn minst een L2ARC device lijkt me?

merk op dat dedup altijd uit te zetten is of een l2arc ook later toe te voegen is.

ik kan dit niet onderbouwen met benchmarks, ik heb zelf niet zo'n grote dataset. (het gaat uiteraard om actief gebruikte storage, niet om capaciteit.)
De DDT (Dedup-table) staat in de metastore van de arc. Die kost je dus sowieso RAM. L2ARC toevoegen helpt niet echt qua RAM-verbruik, integendeel, de ARC heeft ook de pointers naar de L2ARC, en dat kan erg oplopen afhankelijk van de grootte van je L2ARC. Als je geen RAM wilt/kunt toevoegen zou je de ratio metastore/datacache kunnen wijzigen zodat je meer/genoeg ruimte in de metastore hebt voor de ddt en l2arc-pointers, maar dat kost je dan dus datacache ruimte in de arc. En de arc is nog steeds vele malen sneller dan l2arc, dus de vraag is of dat allemaal helpt.
In short:
Dedup is pas nuttig als je een flinke ratio haalt.
Wat je wint in diskruimte, betaal je gedeeltelijk terug in geheugengebruik.
When in doubt, add more RAM >:)

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Kriss27 schreef op zaterdag 21 mei 2011 @ 11:05:
Ik draai op dit moment Ubuntu server met MDADM en XFS. 3 disks in RAID5
Het is afgelopen jaar al twee keer voorgekomen dat MDADM één van de drie schijven uit de array had gegooid.
Draai je dan toevallig op een hardware RAID controller, ipv een normale HBA controller? Als je een RAID controller gebruikt met eigen firmware dan krijg je dit soort ongein. Zou nooit mogen gebeuren als je een échte controller gebruikt zonder RAID firmware.
Om deze reden wil ik overstappen op RAID6.
Als bovenstaand probleem niet is opgelost krijg je dit nog steeds. RAID6 is sowieso wel aan te bevelen al helemaal als je geen 100% backup hebt van de data.
Nu heb ik veel gelezen over ZFS en ben ik van plan om de overstap te maken naar FreeBSD met ZFS
Dit wordt dan een RAIDZ2 van 6x 2TB Samsung F4. Deze disks ga ik komende week bestellen.
Dat lijkt mij een mooie config!
Als OS vind ik ZFSguru zeer interessant, ik hoop dan ook dat de dev in orde is en snel iets van zich laat horen.
Eventueel kan ik ook nog wachten tot FreeBSD 9 gereleased wordt, maar ik kan nergens een datum vinden. Weet iemand wanneer we een release kunnen verwachten?
FreeBSD 9.0 zou ik in augustus verwachten. Gaat het je specifiek om ZFS v28? Die komt eerder al naar 8-STABLE dus dat kun je ook overwegen, dan draai je geen echte release maar wel stabiele code. v28 is al aardig stabiel in 9-CURRENT, de huidige development branche.

Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
Verwijderd schreef op zaterdag 21 mei 2011 @ 15:06:
[...]

Draai je dan toevallig op een hardware RAID controller, ipv een normale HBA controller? Als je een RAID controller gebruikt met eigen firmware dan krijg je dit soort ongein. Zou nooit mogen gebeuren als je een échte controller gebruikt zonder RAID firmware.

[...]

FreeBSD 9.0 zou ik in augustus verwachten. Gaat het je specifiek om ZFS v28? Die komt eerder al naar 8-STABLE dus dat kun je ook overwegen, dan draai je geen echte release maar wel stabiele code. v28 is al aardig stabiel in 9-CURRENT, de huidige development branche.
Mijn harddisks zijn momenteel direct op mijn moederbord aangesloten. Dus het licht niet aan een RAID controller. Het lag echt aan mdadm en waarschijnlijk een dansende harddisk. Na: "mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1" én een rebuild van heel wat uren, was alles weer in orde.

Ik dacht dat FreeBSD 9 voor deze maand stond gepland?
Dan denk ik dat ik, wanneer ik mijn disks volgende week bestel, ZFSguru met FreeBSD 8.2 ga installeren.

Vanavond nog even met Openindiana + Napp-it stoeien.

Acties:
  • 0 Henk 'm!

  • Nielson
  • Registratie: Juni 2001
  • Laatst online: 17:02
Kriss27 schreef op zaterdag 21 mei 2011 @ 15:42:
[...]
Het lag echt aan mdadm en waarschijnlijk een dansende harddisk.
Dan heb je blijkbaar een probleem met je hardware en ligt het dus niet aan mdadm.

Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
Nielson schreef op zaterdag 21 mei 2011 @ 15:51:
[...]
Dan heb je blijkbaar een probleem met je hardware en ligt het dus niet aan mdadm.
Als ik CiPHER goed begrepen heb, dan heb je met ZFS hier geen last van, omdat je je disks kunt labelen.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Of je disks gelabeled zijn had met fstab te maken; dat je zonder problemen je disks op andere controller kunt aansluiten of andere volgorde.

Als je disk helemaal verdwijnt en mdadm daarom niet meer kan zien, lijkt me dit een probleem met RAID controller. In jouw geval kan het ook een hardwarematig probleem zijn. Bijvoorbeeld stroomsplit-stekkertjes die eventjes geen verbinding maken; dan kan een disk wegvallen en is niet fijn om te hebben. Wat zeggen je logs over wat er is gebeurd?

Hoe dan ook, met ZFS is je data nog een heel stuk veiliger, en heb je er bijna geen omkijken meer naar.

Acties:
  • 0 Henk 'm!

Verwijderd

Ik zit even met het volgende. Heb een mobo op het oog met 6 sata aansluitingen waarop ik een RAIDZ2 wil gaan draaien. Echter het os, welke ZFS moet ondersteunen, moet ook nog ergens op. Ik heb ergens gelezen dat je ook van de ZFS pool kunt booten, mits je FreeBSD gebruikt. Het moederbord heeft ook 1 pata aansluitingen. Heb ook diverse mensen een IDE naar Compact Flash oplossing zien gebruiken. Wat raden jullie aan?

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
CompactFlash is niet lekker om je OS op te zetten; wel als je iets als FreeNAS embedded gebruikt maar niet als er continu writes naartoe gaan. Je hebt maar 500MB tot een paar gig nodig voor je systeem, waarom dan moeilijk doen en niet gewoon direct van je pool booten? Lekker makkelijk en heb je niets extra's voor nodig.

Het werkt alleen niet met Solaris; die kan alleen booten van mirror en single disk pool. Maar FreeBSD heeft mooie bootcode die van alle ZFS pools kan booten, ook als je pool degraded is.

Ik raad je aan zo'n "root on zfs" niet zelf te doen, maar bijvoorbeeld gebruik te maken van mfsBSD waarin zo'n script zit die dat voor je doet. Ook ZFSguru heeft een installatieprocedure zodat je makkelijk kunt booten van je ZFS pool. Desgewenst kun je de web-interface dan de-installeren en het als gewone FreeBSD gebruiken; voor zover ik weet zit er gewoon 100% normale FreeBSD onder.

Acties:
  • 0 Henk 'm!

  • johnkeates
  • Registratie: Februari 2008
  • Laatst online: 04-07 16:30
Disks op een andere controller moet je niet met labels proberen! Gebruik de UUID's!

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
johnkeates schreef op zaterdag 21 mei 2011 @ 17:48:
Disks op een andere controller moet je niet met labels proberen! Gebruik de UUID's!
Ook al sluit je je disks op USB externe behuizingen aan of zelfs via een andere PC (geom_gate) - dan nog blijft de label hetzelfde. Wat jij zegt is dus in elk geval niet van toepassing op FreeBSD.

Bovendien is zo'n vage UUID veel minder sexy dan "samsung-disk3" - dan heb je een menselijk gekozen label waaraan je de disk kunt herkennen, en desgewenst je disks fysiek nummeren zodat ze met de label overeenkomen. Handig bij falende disks zodat je weet welke disk het betreft.

[ Voor 26% gewijzigd door Verwijderd op 21-05-2011 17:50 ]


Acties:
  • 0 Henk 'm!

Verwijderd

Verwijderd schreef op zaterdag 21 mei 2011 @ 17:48:
CompactFlash is niet lekker om je OS op te zetten; wel als je iets als FreeNAS embedded gebruikt maar niet als er continu writes naartoe gaan. Je hebt maar 500MB tot een paar gig nodig voor je systeem, waarom dan moeilijk doen en niet gewoon direct van je pool booten? Lekker makkelijk en heb je niets extra's voor nodig.

Het werkt alleen niet met Solaris; die kan alleen booten van mirror en single disk pool. Maar FreeBSD heeft mooie bootcode die van alle ZFS pools kan booten, ook als je pool degraded is.

Ik raad je aan zo'n "root on zfs" niet zelf te doen, maar bijvoorbeeld gebruik te maken van mfsBSD waarin zo'n script zit die dat voor je doet. Ook ZFSguru heeft een installatieprocedure zodat je makkelijk kunt booten van je ZFS pool. Desgewenst kun je de web-interface dan de-installeren en het als gewone FreeBSD gebruiken; voor zover ik weet zit er gewoon 100% normale FreeBSD onder.
Dank voor je antwoord. Is dit te doen voor een complete niet-Windows leek? Of zeg je dan kies toch maar voor Freenas / Openindiana?

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Nouja FreeBSD zonder web-interface is niet zo heel makkelijk als je geen enkele non-Windows ervaring hebt en ook geen weken lang een nieuw OS wilt leren. Hangt er ook maar vanaf wat je precies wilt, gewoon een standaard NAS of ook nog allemaal dingen die erop moeten draaien, dat laatste maakt het natuurlijk wel iets lastiger.

FreeNAS is opzich wel leuk om mee te beginnen, maar kent een aantal nadelen. Zo gebruikt het UFS wat je eigenlijk niet moet gebruiken in combinatie met ZFS, omdat het geheugen steelt van ZFS. Daarnaast biedt het geen boot-van-ZFS optie en zijn er allemaal dingen uit FreeBSD gehaald waardoor je dus niet makkelijk kunt uitbreiden.

ZFSguru is dan misschien nog de makkelijkste optie, maar mist een aantal features en wordt de laatste tijd ook niet meer zo ontwikkeld. Voordeel is wel dat het normaal FreeBSD is en je dus standaard FreeBSD dingen kunt gebruiken/doen. De web-interface ziet er ook erg simpel/makkelijk uit voor een leek, en installatie zodat je van ZFS pool kunt booten is daarmee kinderspel.

Acties:
  • 0 Henk 'm!

Verwijderd

Verwijderd schreef op zaterdag 21 mei 2011 @ 19:13:
Nouja FreeBSD zonder web-interface is niet zo heel makkelijk als je geen enkele non-Windows ervaring hebt en ook geen weken lang een nieuw OS wilt leren. Hangt er ook maar vanaf wat je precies wilt, gewoon een standaard NAS of ook nog allemaal dingen die erop moeten draaien, dat laatste maakt het natuurlijk wel iets lastiger.

FreeNAS is opzich wel leuk om mee te beginnen, maar kent een aantal nadelen. Zo gebruikt het UFS wat je eigenlijk niet moet gebruiken in combinatie met ZFS, omdat het geheugen steelt van ZFS. Daarnaast biedt het geen boot-van-ZFS optie en zijn er allemaal dingen uit FreeBSD gehaald waardoor je dus niet makkelijk kunt uitbreiden.

ZFSguru is dan misschien nog de makkelijkste optie, maar mist een aantal features en wordt de laatste tijd ook niet meer zo ontwikkeld. Voordeel is wel dat het normaal FreeBSD is en je dus standaard FreeBSD dingen kunt gebruiken/doen. De web-interface ziet er ook erg simpel/makkelijk uit voor een leek, en installatie zodat je van ZFS pool kunt booten is daarmee kinderspel.
Eigelijk wil ik gewoon een betrouwbare storage. Met name voor archief / media. Geen fancy dingen, daar heb ik mijn mac mini welke ik als download / htpc gebruik. Daar kom ik alleen ruimte te kort. Een qnap oid is dan erg makkelijk, maar heeft geen zfs. Voor foto's e.d. wil ik een betere bescherming dan normale raid. Nu kan ik deze gaan zippen, zodat ik crc errors kan ondekken. Met bijbehorende reparatieblokken is dat dan wel weer te redden, echter vind ik dit best omslachtig.

Ik weet dat Thecus ook zfs als filesystem biedt. Echter die gebruikt geen ecc geheugen en ook nog eens een oude fuse installatie. Daarbij is een zelfbouw stukken goedkoper.

Het liefst zie ik een kant en klare oplossing. De eerder door mij genoemde zenavault is de enige welke ik heb gevonden. Wederom geldt: niet te betalen.

Drobo's vallen zeker af door het eigen raid systeem. Je blijft aan hen vast zitten als de nas kapot haat. Daarnaast lees je ook horror verhalen. Dat het support forum niet publiekelijk toegangelijk is slaat ook nergen op.

Zfsonlinux is mogelijk datgeen ik wil. Echter is deze nog noet productierijp.

Kan ik anders niet een raidz1, van twee schijven, mirror dus, maken waarop ik de belangrijkste data zet? Foto's e.d. En dan mdam raid linux? Met behulp van Debian Squeeze of een andere kbsd variant. Dit om de raid uit te kunnen breiden. Ik hik tegen de aanschaf van alle schijven ineens. Als ze nou net de belangrijkste irritatiepuntjes voor de consument weghalen: vergroten van raidz met extra schijven. Omzetten van een raidz variant naar een hogere variant. Dan zou ik dus starten met raidz1 van twee schijven en vervolgens deze omzetten tot een raidz2 van vier, twee schijven bijkopen dus. Etc...

Ik blijf dus elke keer bij zfs uitkomen. Ik weet echter nog niet in welke hoedanigheid.

[ Voor 14% gewijzigd door Verwijderd op 21-05-2011 20:00 ]


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Als je de beste bescherming wilt kun je niet om ZFS heen. De checksums betekent dat je nóóit meer corrupte bestanden kan lezen. ZFS fixt altijd alle bestanden die worden aangesproken automatisch. Als om wat voor reden de bestanden niet te repareren zijn, dan kun je ze ook niet lezen. Het is dus onmogelijk om corrupte bestanden te lezen; de zogenaamde end-to-end data integrity guarantee.

Wat heb je al geprobeerd als ZFS oplossing? Je kunt in een VM gewoon wat dingen uitproberen. Als je gewoon een NAS wilt hebben die ZFS draait zonder toeters en bellen mag dat toch niet teveel problemen opleveren dat hoort erg makkelijk te zijn.

Acties:
  • 0 Henk 'm!

  • Dadona
  • Registratie: September 2007
  • Laatst online: 07-09 10:34
Verwijderd schreef op zaterdag 21 mei 2011 @ 19:13:
ZFSguru is dan misschien nog de makkelijkste optie, maar mist een aantal features en wordt de laatste tijd ook niet meer zo ontwikkeld. Voordeel is wel dat het normaal FreeBSD is en je dus standaard FreeBSD dingen kunt gebruiken/doen. De web-interface ziet er ook erg simpel/makkelijk uit voor een leek, en installatie zodat je van ZFS pool kunt booten is daarmee kinderspel.
Het staat er nog wat slechter voor, waardoor ik nu niet zou aanraden om ermee te beginnen. De developper is al een tijdje niet meer te zien geweest op fora waar hij veel komt, inclusief zijn eigen forum. Aangezien hij daarvoor zo goed als iedere dag iets op een forum zei en actief met de ontwikkeling bezig was lijkt het dat er iets naars zijn pad is gekruist.
Gezien de huidige staat van ZFSguru, dat niet standalone is lijkt het dan ook niet verstandig om voor ZFSguru te gaan totdat er een reactie van Jason (de ontwikkelaar) is. Je bent nu nog namelijk afhankelijk van zijn site om het admindeel van ZFSguru te kunnen bereiken. Dit zou worden aangepast, middels caching geloof ik, maar hoe dan ook zou ik nu ZFSguru (nog) niet in een productieomgeving inzetten.

De CSL/OT kroeg !


Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
Verwijderd schreef op zaterdag 21 mei 2011 @ 17:43:
Ik zit even met het volgende. Heb een mobo op het oog met 6 sata aansluitingen waarop ik een RAIDZ2 wil gaan draaien. Echter het os, welke ZFS moet ondersteunen, moet ook nog ergens op. Ik heb ergens gelezen dat je ook van de ZFS pool kunt booten, mits je FreeBSD gebruikt. Het moederbord heeft ook 1 pata aansluitingen. Heb ook diverse mensen een IDE naar Compact Flash oplossing zien gebruiken. Wat raden jullie aan?
Ik zit met dezelfde uitdaging, wanneer ik de upgrade maak naar 6x 2TB in RAIDZ2.
Daarvoor heb ik een PCI-e kaartje met 2x SATA aangeschaft.

@CiPHER, met het oog op energiebesparing. Is het dan niet beter om het OS op een aparte disk te zetten?
Ik heb nog een 160GB 2,5inch schijfje liggen, welke ik wil gebruiken voor het OS. Zo kunnen de 6x 2TB in idle wanneer ze niet aangesproken worden.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Dadona schreef op zaterdag 21 mei 2011 @ 20:34:
[...]
Je bent nu nog namelijk afhankelijk van zijn site om het admindeel van ZFSguru te kunnen bereiken. Dit zou worden aangepast, middels caching geloof ik, maar hoe dan ook zou ik nu ZFSguru (nog) niet in een productieomgeving inzetten.
Kun je dat uitleggen? :?

Afgezien van de web-interface zelf, kun je ZFSguru gebruiken om een root-op-ZFS installatie uit te voeren, waarmee je dus direct van je ZFS pool boot. Dat is gebaseerd op normaal FreeBSD, met voor-geinstalleerde meuk maar er niks uitgehaald zoals bij FreeNAS het geval is. Dus al gebruik je die hele web-interface niet dan nog is het handig om zo een installatie uit te voeren zonder gebruik van UFS, zeker voor mensen die net beginnen en command line toch iets te spannend vinden in het begin, is het best een aanrader.

Ben wel met je eens dat projecten die zijn uitgestorven minder aantrekkelijk zijn, maar of dat het geval is is maar even afwachten. Op de site staat inderdaad niks gemeld hieromtrent.

@Kriss27: hoe minder dingen je draaiend hebt, des te zuiniger. Een controller + notebookschijf zit je aan 2W tot 4W extra; echt niet veel en prima te doen, maar als het niet nodig is? Je hebt wel een argument om het OS op eigen disk te zetten als je je primaire schijven wilt laten downspinnen. Maar dat wil niet iedereen; om 15 seconden te wachten voordat ik wat aanklik vind ik niet erg fijn. Bovendien brengt het extra 'wear' met zich mee; HDDs blijven het liefst continu draaien en met een stabiele temperatuur. Up en downspinnen betekent dat je continu temperatuurschommelingen hebt wat hardeschijven over het algemeen niet zo fijn vinden. Ook zit je met Samsung F4 op 4W per schijf wat met 6 schijven dus op 24W neerkomt. Dan kun je er voor kiezen om die spindown lekker te laten zitten en je data altijd paraat te houden, of de spindown op een uur te zetten zodat het alleen 's nachts gebeurt ofzo.

Maar als je wel spindown wilt gebruiken, dan moet je het OS wel ergens anders neerzetten inderdaad, anders blijft er I/O komen en spinnen je disks dus nooit down.

Acties:
  • 0 Henk 'm!

  • Dadona
  • Registratie: September 2007
  • Laatst online: 07-09 10:34
Verwijderd schreef op zaterdag 21 mei 2011 @ 21:57:
[...]

Kun je dat uitleggen? :?

Afgezien van de web-interface zelf, kun je ZFSguru gebruiken om een root-op-ZFS installatie uit te voeren, waarmee je dus direct van je ZFS pool boot. Dat is gebaseerd op normaal FreeBSD, met voor-geinstalleerde meuk maar er niks uitgehaald zoals bij FreeNAS het geval is. Dus al gebruik je die hele web-interface niet dan nog is het handig om zo een installatie uit te voeren zonder gebruik van UFS, zeker voor mensen die net beginnen en command line toch iets te spannend vinden in het begin, is het best een aanrader.

Ben wel met je eens dat projecten die zijn uitgestorven minder aantrekkelijk zijn, maar of dat het geval is is maar even afwachten. Op de site staat inderdaad niks gemeld hieromtrent.
Ik baseer mij op een reply op zijn forum. Ik heb zelf het alleen maar bekeken omdat ik nog geen tijd kon steken in het testen en niet zomaar wou overgaan naar ZFSguru. (Op datzelfde forum zie je ook topics verschijnen dat er al, relatief, tijden geen reactie van Jason is.)
Dat ZFSguru het installeren makkelijker maakt is leuk, maar als de rest beperkt is dan zou ik toch liever of leren hoe het moet (en ik neem aan dat het makkelijker is in FreeBSD 9) of voor een andere optie kiezen. Want hoe lang blijft dit werken?

Maar goed, hopelijk komt er weer een teken van leven van Jason (letterlijk en figuurlijk), want het zag er wel erg interessant uit, helaas is het nu echt geen optie voor mij.

De CSL/OT kroeg !


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Als volwaardig alternatief voor FreeNAS op dit moment niet nee, maar als je twijfelt tussen FreeBSD en ZFSguru lijkt me dat laatste een mooie installer hebben zodat je gelijk aan de slag kunt, en de web-interface als 'extra' ziet ipv als core feature.

FreeBSD 9 zal ook geen ZFS installer hebben, daarvoor moet je dan mfsBSD gebruiken. Dus ik zie wel degelijk toegevoegde waarde in het project. Hoop wel dat het werder wordt ontwikkeld want FreeNAS vind ik moeilijk aan te raden doordat het op oude UFS is gebaseerd, geen Root-op-ZFS ondersteunt en geen volwaardig FreeBSD is zodat uitbreiden vrijwel onmogelijk is. Iets wat écht FreeBSD is met een web-interface erbij lijkt me de beste oplossing. Ik ken geen alternatief voor ZFSguru die dat kan.

Acties:
  • 0 Henk 'm!

  • dutch_warrior
  • Registratie: Mei 2005
  • Laatst online: 29-05-2023
Freenas is inderdaad nog lang niet perfect, in 8.0 zitten ook nog veel bugs waaronder problemen welke ontstaan door de combinatie UFS en ZFS.
Veel mensen denken dat een combinatie van UFS en ZFS efficient kan zijn, ikzelf dacht dit ook maar dat is het dus absoluut niet, UFS zit ZFS in de weg.
Maar in laatste release notes van Freenas staat al een notitie waarin men aangeeft op korte termijn naar ZFS only te willen switchen en voor de volgende versie wil men ook de PBI package stuctuur van pc-bsd gaan implementeren. Het is te hopen dat de developers deze plannen snel uitwerken dan kan de volgende freenas release echt als volwaardig product worden ingezet.

In mijn ogen is op dit moment Open Indiana met Napp-it de beste keuze om snel en simpel een betrouwbare ZFS server in te richten, het enige minpunt aan open indiana is het gebrek aan tutorials voor simpele zaken zoals het installeren van de nieuwste versie van bonnie++.
Voor (Free)BSD zijn bijvoorbeeld forum en blog posts te vinden over het installeren van programma x of y en dit is voor Open Indiana wel lastiger.

Ik hoop zelf dat deze zomer de definitieve doorbraak komt voor eenvoudige FreeBSD ZFS storage machines met of een nieuwe versie van Freenas of misschien een port van Napp-it, maar dat is afwachten.


Is onderstaande performance een beetje redelijk voor 3x 2.0TB wd EARS in raidz?
Het betreft een test met Bonnie++, ik moet nog even met wat andere tools gaan testen maar Bonnie was al meegeinstalleerd met Napp-it.
nameTest size:Seq-Wr-Chr:CPU%:Seq-WriteCPU %Seq-RewrCPU%Seq-Rd-ChrCPU %Seq-ReadCPU%Rnd SeeksCPU%
test32 GB85 MB/s95182 MB/s2791 MB/s2160 MB/s96162 MB/s17603.9/s3

[ Voor 23% gewijzigd door dutch_warrior op 22-05-2011 02:25 ]


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Write is goed, read valt tegen. De read hoort theoretisch 33% hoger dan de write te liggen. Met Samsung F4 zou je max 3 * 140MB/s = 420MB/s kunnen lezen en max 2* 140MB/s = 280MB/s kunnen schrijven. Een efficiency van 75% zou ik als maximum haalbaar hanteren in optimale omstandigheden. Dat is vooral afhankelijk van de hoeveelheid RAM en instellingen die voor bottlenecks kunnen zorgen. Een SSD als SLOG en L2ARC (metadata) zal de efficiency flink verhogen.

Ik ben niet overtuigd dat Solaris platform een ultiem ZFS platform is. Allereest stinkt het naar Oracle, die echt niet open-source friendly is en de meester van vendor lock-ins. OpenSolaris is er niet meer, en wordt nu buiten Oracle om in OpenIndiana ontwikkeld. Solaris zelf is op sommige punten erg gedateerd en kent ook met betrekking tot ZFS enkele beperkingen die 'jammer' zijn. Het niet kunnen booten van RAID-Z, SSDs niet voor meerdere functies (OS, L2ARC, SLOG) kunnen gebruiken en de mindere hardware support zijn toch wel serieuze beperkingen voor een thuis-NAS.

Maar ieder heeft andere wensen en prioriteiten, als Solaris goed past en de nadelen niet bijzonder vervelend zijn kent het ook voordelen boven FreeBSD, zoals meer distributies zoals Nexenta die ook een goede community hebben en er gelikt uitzien; breder inzetbaar en minder technische kennis nodig. Ook heeft Solaris bij weinig RAM (onder de 8GB) een performancevoordeel boven FreeBSD, alhoewel ik daar nog wat meer benchmarks van zou willen zien; maar dat is wat ik links en rechts lees en hoor. Gezien het feit dat BSD prefetching geheel uitschakelt onder de 8GiB RAM en Solaris dynamische geheugentoewijzing kent klinkt dit echter zeer aannemelijk.

Er is geen 'ultiem' ZFS platform denk ik, althans nog niet. Maar voor de toekomst denk ik dat je bij FreeBSD veel veiliger zit. De devs hebben keigoed werk geleverd en interessante BSD-only features toegevoegd en tekortkomingen van ZFS opgelost. ZFS en BSD lijkt een mooie combinatie te zijn/worden en met FreeBSD 9.0 wordt het pas echt kicken. Tot die tijd moet je gewoon rondsnuffelen en uitproberen wat het beste werkt.

Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
Verwijderd schreef op zaterdag 21 mei 2011 @ 21:57:

@Kriss27: hoe minder dingen je draaiend hebt, des te zuiniger. Een controller + notebookschijf zit je aan 2W tot 4W extra; echt niet veel en prima te doen, maar als het niet nodig is? Je hebt wel een argument om het OS op eigen disk te zetten als je je primaire schijven wilt laten downspinnen. Maar dat wil niet iedereen; om 15 seconden te wachten voordat ik wat aanklik vind ik niet erg fijn. Bovendien brengt het extra 'wear' met zich mee; HDDs blijven het liefst continu draaien en met een stabiele temperatuur. Up en downspinnen betekent dat je continu temperatuurschommelingen hebt wat hardeschijven over het algemeen niet zo fijn vinden. Ook zit je met Samsung F4 op 4W per schijf wat met 6 schijven dus op 24W neerkomt. Dan kun je er voor kiezen om die spindown lekker te laten zitten en je data altijd paraat te houden, of de spindown op een uur te zetten zodat het alleen 's nachts gebeurt ofzo.

Maar als je wel spindown wilt gebruiken, dan moet je het OS wel ergens anders neerzetten inderdaad, anders blijft er I/O komen en spinnen je disks dus nooit down.
Die 6x 4W vallen inderdaad wel mee. Ook schakelt mijn NAS s'nachts uit en s'ochtends weer aan, want dan wordt ie toch niet gebruikt.
Dan zit ik nog met het volgende:

Als ik ZFSguru met FreeBSD8.2 op een RAIDZ pool installeer kan ik dan eventueel updaten naar FreeBSD9 en de pool intact houden?

Ik heb een PCI-e SATA3 kaartje aangeschaft. In eerste instantie voor de extra OS schijf, welke ik nu niet meer ga gebruiken. Ook om later een SSD te kunnen toevoegen voor caching.
Maar dit kaartje heeft een Marvell controller en ik las gister in het DIY NAS topic dat deze worden afgeraden.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
SATA/600 heb je ook niet direct zoveel aan. Voor SLOG gaat het om sequential write en maar weinig SSDs komen boven de 250MB/s. Voor L2ARC gaat het om random reads daar kan het wel uitmaken, maar als je Intel wilt (wat ik je aanraad) dan is de 300 serie qua random read uit mijn hoofd net iets beter dan de 500 serie die een Marvell NAND controller heeft. Dus dan zit je toch met SATA/300.

Bovendien kun je veel beter je chipset SATA gebruiken voor SSDs; die hebben de laagste latency. Voor je HDDs is het dan prima om een add-on controller te gebruiken. Zelf raad ik Intel SASUC8i aan maar er zijn meer keuzes.

Veel Marvell controllers werken slecht op UNIX; ik had zelf een PCIe x1 met 4 SATA/300 maar schijven kregen continu errors en dat dus nooit meer. De juiste controller kopen is dus wel cruciaal. Je kunt het natuurlijk eerst uittesten voordat je iets nieuws koopt. Als je 24 uur lang een benchmark laat draaien en dan geen rare problemen ziet, kun je denk ik vanuit gaan dat die Marvell wel goed werkt. Er zijn inmiddels vast wel wijzigingen aan de Marvell driver aangebracht, maar dat is dus geen garantie dat het zonder problemen werkt.

Als je nu een ZFS pool aanmaakt (met FreeBSD of met ZFSguru of met FreeNAS) dan kun je die zonder problemen gebruiken met FreeBSD 9.0. Je zou zelfs over kunnen gaan naar Solaris platform. Enig nadeel is dat Solaris GPT niet optimaal ondersteunt, en dus FreeBSD GPT partities niet zal herkennen. FreeBSD ondersteunt GPT wel optimaal en je kunt je disks met een label onderscheiden. Dat kan allemaal via ZFSguru web-interface dacht ik. Zou je dan later overgaan op FreeBSD 9.0 of iets anders op FreeBSD platform, dan kun je gewoon je data behouden.

Als je ook over wilt kunnen gaan op Solaris platform moet je ouderwets ruwe device nodes gebruiken. Nadeel is dan dat als je een keer een disk moet vervangen deze misschien net 40 kilobyte kleiner is; dan mag je hem niet vervangen! Dat los je op door partities te gebruiken, en ouderwetse MBR partities zijn misschien minder chique; ook omdat deze vaak misaligned worden aangemaakt wat je snelheden flink zal doen laten kelderen.

Zodra je je spulletjes binnen hebt misschien gewoon maar eens gaan testen. Eén tip: zet er pas échte data op als je het zaakje minimaal een week lang intensief hebt getest, inclusief het simuleren van een disk failure, zodat je weet wat je moet doen en vertrouwd bent met recovery procedure.

Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
OK. Thanx voor alle snelle en goede info.

Acties:
  • 0 Henk 'm!

  • dutch_warrior
  • Registratie: Mei 2005
  • Laatst online: 29-05-2023
Verwijderd schreef op zondag 22 mei 2011 @ 04:22:
Write is goed, read valt tegen. De read hoort theoretisch 33% hoger dan de write te liggen. Met Samsung F4 zou je max 3 * 140MB/s = 420MB/s kunnen lezen en max 2* 140MB/s = 280MB/s kunnen schrijven. Een efficiency van 75% zou ik als maximum haalbaar hanteren in optimale omstandigheden. Dat is vooral afhankelijk van de hoeveelheid RAM en instellingen die voor bottlenecks kunnen zorgen. Een SSD als SLOG en L2ARC (metadata) zal de efficiency flink verhogen.
write 20.48 GB via dd, please wait...
time dd if=/dev/zero of=/test/dd.tst bs=1024000 count=20000
real 1:49.6
user 0.0
sys 16.1
20.48 GB in 109.6s = 186.86 MB/s Write

read 20.48 GB via dd, please wait...
time dd if=/test/dd.tst of=/dev/null bs=1024000
real 1:26.9
user 0.0
sys 14.0
20.48 GB in 86.9s = 235.67 MB/s Read

De uitkomst van een test met dd lijkt zo te zien iets meer op de te verwachten waardes, ik weet dat 20GB dd geen ideale test is maar om even snel te checken is het wel handig.

Acties:
  • 0 Henk 'm!

  • paul999
  • Registratie: November 2005
  • Laatst online: 10-09 19:07
Ik denk niet dat /dev/zero een goede bron is,
code:
1
2
3
4
5
file# time dd if=/dev/zero of=/tank/dd.tst bs=1024000 count=20000
20000+0 records in
20000+0 records out
20480000000 bytes transferred in 11.728933 secs (1746109372 bytes/sec)
0.037u 10.148s 0:11.78 86.3%    26+1513k 0+0io 0pf+0w
1665MB/s write lijkt me teveel om waar te zijn.
code:
1
2
3
4
5
file# time dd if=/tank/dd.tst of=/dev/null bs=1024000
20000+0 records in
20000+0 records out
20480000000 bytes transferred in 8.488978 secs (2412540146 bytes/sec)
0.015u 8.474s 0:08.48 100.0%    26+1512k 0+0io 0pf+0w
2300MB/s geld eigenlijk hetzelfde voor.

Om te vergelijken, een cp van 1073741824bytes:
code:
1
2
3
4
file# ls -hal | grep 1gb
-rw-r--r--  1 1000        wheel   1073741824 May 18 10:02 1gb
file# time cp 1gb 1gb_2
0.000u 0.482s 0:11.55 4.1%  19+1349k 0+0io 0pf+0w
11 seconden over 1073741824 bytes is ongeveer 93MB/s, en dit is data van /dev/random. Dit klinkt een stuk aannemelijker

Acties:
  • 0 Henk 'm!
Beste test is een ramdisk aanmaken gevuld met data van /dev/random.
Direct benchen van /dev/random is niet te doen, want dat is veel te langzaam :)

Even niets...


Acties:
  • 0 Henk 'm!

  • dutch_warrior
  • Registratie: Mei 2005
  • Laatst online: 29-05-2023
paul999999 schreef op zondag 22 mei 2011 @ 13:18:
Ik denk niet dat /dev/zero een goede bron is,
Ik krijg alleen hele vreemde waardes wanneer ik minder als 5GB gebruik.
Alles boven de 20 geeft snelheden welke redelijk lijken op de uitkomsten van een 32GB test met bonnie++.
Maar Bonnie is ook geen ideale tool, nogmaals dit zijn puur wat snelle tests.
Ik kan ik elk geval bij een Bench van 25GB prima merken of ashift=12 wel of niet gebruikt is.

[ Voor 49% gewijzigd door dutch_warrior op 22-05-2011 13:39 ]


Acties:
  • 0 Henk 'm!

  • paul999
  • Registratie: November 2005
  • Laatst online: 10-09 19:07
FireDrunk schreef op zondag 22 mei 2011 @ 13:22:
Beste test is een ramdisk aanmaken gevuld met data van /dev/random.
Direct benchen van /dev/random is niet te doen, want dat is veel te langzaam :)
Klopt, daarom gebruikte ik ook al een file welke aangemaakt was (Had nodig voor wat andere dingen) om te CPen. Met dd haal ik een stuk langzamer, maar dat lijkt me heel logische.
dutch_warrior schreef op zondag 22 mei 2011 @ 13:38:
[...]


Ik krijg alleen hele vreemde waardes wanneer ik minder als 5GB gebruik.
Alles boven de 20 geeft snelheden welke redelijk lijken op de uitkomsten van een 32GB test met bonnie++.
Maar Bonnie is ook geen ideale tool, nogmaals dit zijn puur wat snelle tests.
Ik kan ik elk geval bij een Bench van 25GB prima merken of ashift=12 wel of niet gebruikt is.
Ik heb zo'n vermoeden dat het komt hoe ZFS werkt, o.a. met compressie e.d.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Je moet niet testen op een filesystem met compressie ingeschakeld. Compressie moet uitstaan, dan kun je gewoon van /dev/zero plukken. Als je van /dev/random plukt dan is je CPU de bottleneck en is het geen I/O-benchmark meer maar een CPU-benchmark.

Acties:
  • 0 Henk 'm!

  • leuk_he
  • Registratie: Augustus 2000
  • Laatst online: 15-07 15:35

leuk_he

1. Controleer de kabel!

FireDrunk schreef op zondag 22 mei 2011 @ 13:22:

Direct benchen van /dev/random is niet te doen, want dat is veel te langzaam :)
/dev/urandom is snel en pseudorandom (al eerder in deze thread besproken)

Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
/dev/urandom is precies hetzelfde als /dev/random op FreeBSD platforms. Of dat ook geldt voor Solaris durf ik niet te zeggen. Kortom: test met /dev/zero en compressie uitgeschakeld.

zfs create tank/testfilesystem
zfs set compression=off tank/testfilesystem
dd if=/dev/zero of=/tank/testfilesystem/test.dat bs=1m count=20000

[ Voor 5% gewijzigd door Verwijderd op 22-05-2011 17:50 ]


Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
@CiPHER (en andere)

Bedankt voor jullie info op ZFS gebied en opzet.

Ik denk dat ik uiteindelijk het volgende ga doen, 5x 2TB in raidz, 1x SSD (~60Gb) voor het OS (30Gb) met een partitie voor cache (rest ~30Gb) en totaal 16Gb geheugen.

PS, die 30 Gb is omdat mijn databases ook erop moeten draaien, die backuppen vervolgens naar de raid (idem met /etc) dus het OS in raid1 houden is niet echt nodig, plus een reinstall is een eitje als je een backup van /etc hebt.

ik zal later wel testen met dedup in realtime en als cron en kijken wat beter bevalt, gezien 50% van het takenpakket van deze machine race uploads zijn staat er namelijk veel dubbele data op, gemiddeld staat 80% van de series er dubbel op bijvoorbeeld, momenteel word dit handmatig en met scripts opgezocht en vervolgens worden er hardlinks gemaakt, maw, dedup zou hier een uitkomst zijn, maar als de performance extreem omlaag gaat zie ik geen probleem in een handmatige dedup :)

EDIT:
PS een tweede reden waarom ik het OS op een andere disk wil hebben is omdat ik op meerdere plaatsen lees dat ZFS de voorkeur geeft aan raw disks.

PPS, ik neem aan dat het handig is om met gnop de size op 4k te zetten van de disks ?

[ Voor 11% gewijzigd door YaNightmare op 22-05-2011 18:03 . Reden: extra info/vragen ]


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
5x 2TB in RAID-Z is een optimale configuratie (qua 4K sector disks). Maar 6 disks in RAID-Z2 is dat ook en is gelijk een heel stuk veiliger. Tenzij je al andere backups hebt of de data niet heel erg cruciaal is, zou ik zelf voor RAID-Z2 gaan met 6 disks; dat is bijna niet kapot te krijgen! Maar in principe zal 5 disks in RAID-Z ook prima voor je werken; alleen voor echt cruciale data lijkt me dat te weinig bescherming.

Wat betreft SSD: kies een Intel SSD met supercap! Dan kun je hem veiliger als SLOG gebruiken. De Intel 320 serie is best goed, alleen is de write snelheid wel beperkt vooral voor modellen onder de 120GB. Zelf denk ik dat de 120GB versie de 'sweet spot' is, en dan 100GB gebruiken en 20GB als extra spare space overlaten; ongepartitioneerd dus. Althans zo zou ik het doen. :)

Als je Solaris platform gaat gebruiken kun je de SSD niet voor meerdere doeleinden gebruiken; Solaris kan namelijk geen flushes uitvoeren op partities wat de data-integriteit in gevaar brengt. Vandaar dat je gelezen hebt dat 'ZFS' graag ruwe device nodes wilt; maar dit is enkel van toepassing op Solaris platform en nadrukkelijk niet op FreeBSD platform! Onder FreeBSD (en verwante distributies) kun je prima een enkele SSD voor meerdere taken gebruiken:
- OS om van te booten
- primaire storage (ZFS, zoals je databases)
- L2ARC (random read cache)
- SLOG (sync write buffer)

Over dedup: je kunt dedup activeren alleen op filesystems met sterk identieke data, en het uitgeschakeld laten op de overige data waar je weinig winst zult behalen. Als meer dan 50% van de data identiek is, is dedup wel aardig om te gebruiken. Met name als de grootte niet zoveel oploopt en je lekker veel RAM en een L2ARC hebt, is dedup prima te doen. Wel zul je merken dat je CPU het zwaarder krijgt. In sommige gevallen kan dedup voor hogere performance zorgen, maar veel gemakkelijker kan het de performance van je systeem flink verlagen; dus testen en doe wat wijs is!

Over GNOP: dat hoef je niet te doen als je een optimale configuratie gebruikt, zoals RAID-Z met 5 disks of RAID-Z2 met 6 disks. Het kost je ook meer verloren ruimte, dus als het niet nodig is kun je het beter zo laten.

[ Voor 6% gewijzigd door Verwijderd op 22-05-2011 20:20 ]


Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
CiPHER,

Thnx, het is helemaal duidelijk, ik wil zowizo FreeBSD gaan draaien :)

Ik blijf SSD's erg duur vinden, maarja, tis niet anders in dit geval, ik moet zowizo nog even inlezen hoe SLOG werkt en hoe ik dat allemaal moet instellen :)

raidz is voor mij voldoende, ik heb genoeg backup ruimte voor de belangrijke data (ongeveer 4 TB in een andere machine met raid0 welke 1x per week rsynced) tevens, mocht alle data kwijt raken is dat voor mij niet het einde van de wereld (komt nog bij dat mijn mobo 6x SATA heeft, dus 5x 2Tb + 1xSSD is max).

Ben bang dat je me overtuigd hebt met die SSD, ik ga maar voor een Intel 320 120Gb.

Zou je nog willen delen met mij waarom je voor 100Gb zou gaan ipv 120 helemaal volmaken ?
En als je toch bezig bent, wat voor partities zou jij gebruiken (qua grootte van de L2ARC en SLOG ?) ik wil iets van 30 (of misschien 40 Gb) voor OS en databases (en wat web spul, maar das niet echt interessant qua ruimte gebruik.

Ik denk inderdaad dat ik met dedup maar gewoon wat moet gaan testen, ik heb een hexacore van AMD, dus qua proc power zou hij een heel eind moeten komen (of in iedergeval, dat is mijn gevoel).

PS, nogmaals super bedankt ! het is erg fijn wat tips te krijgen van iemand die wat meer weet van ZFS dan ik, tevens is googlen nog niet echt super wat betreft ZFS, er zijn veel verschillende meningen over wat de beste manier is :)

Acties:
  • 0 Henk 'm!

  • u_nix_we_all
  • Registratie: Augustus 2002
  • Niet online
YaNightmare schreef op zondag 22 mei 2011 @ 21:46:
CiPHER,

Thnx, het is helemaal duidelijk, ik wil zowizo FreeBSD gaan draaien :)

Ik blijf SSD's erg duur vinden, maarja, tis niet anders in dit geval, ik moet zowizo nog even inlezen hoe SLOG werkt en hoe ik dat allemaal moet instellen :)

raidz is voor mij voldoende, ik heb genoeg backup ruimte voor de belangrijke data (ongeveer 4 TB in een andere machine met raid0 welke 1x per week rsynced) tevens, mocht alle data kwijt raken is dat voor mij niet het einde van de wereld (komt nog bij dat mijn mobo 6x SATA heeft, dus 5x 2Tb + 1xSSD is max).

Ben bang dat je me overtuigd hebt met die SSD, ik ga maar voor een Intel 320 120Gb.

Zou je nog willen delen met mij waarom je voor 100Gb zou gaan ipv 120 helemaal volmaken ?
En als je toch bezig bent, wat voor partities zou jij gebruiken (qua grootte van de L2ARC en SLOG ?) ik wil iets van 30 (of misschien 40 Gb) voor OS en databases (en wat web spul, maar das niet echt interessant qua ruimte gebruik.

Ik denk inderdaad dat ik met dedup maar gewoon wat moet gaan testen, ik heb een hexacore van AMD, dus qua proc power zou hij een heel eind moeten komen (of in iedergeval, dat is mijn gevoel).

PS, nogmaals super bedankt ! het is erg fijn wat tips te krijgen van iemand die wat meer weet van ZFS dan ik, tevens is googlen nog niet echt super wat betreft ZFS, er zijn veel verschillende meningen over wat de beste manier is :)
Over de grootte van de SLOG: het heeft geen nut die groter te maken dan je RAM, het is namelijk een subset (de writes) van wat er in je ARC terecht komt. Ik denk dat je met een SLOG die half zo groot is als je RAM ruim voldoende hebt, tenzij je workload hoofdzakelijk uit sync writes bestaat.

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
YaNightmare schreef op zondag 22 mei 2011 @ 21:46:
CiPHER,

Thnx, het is helemaal duidelijk, ik wil zowizo FreeBSD gaan draaien :)
Van FreeBSD heb ik de meeste kaas gegeten, dus daar kan ik je het meest bij helpen. Houd ook in je achterhoofd dat veel dingen die je 'op het web' leest over ZFS in feite Solaris-specifieke informatie is of kan zijn, en niet persé voor FreeBSD of andere platforms hoeft te gelden. Solaris blijft voorlopig het de-facto OS voor ZFS platforms, maar zelf zie ik meerdere redenen waarom dat op middel-lange termijn wel eens kan gaan veranderen. Zo hebben IllumOS en FreeBSD developers de handen ineengeslagen om ZFS verder te ontwikkelen. Het blijft natuurlijk afwachten hoe alles gaat, maar FreeBSD en ZFS is een veilige keuze en zal blijven bestaan en verder ontwikkeld worden, ongeacht wat Oracle gaat doen.
Ik blijf SSD's erg duur vinden, maarja, tis niet anders in dit geval, ik moet zowizo nog even inlezen hoe SLOG werkt en hoe ik dat allemaal moet instellen :)
SSDs zijn duur als je naar de prijs per gigabyte kijkt, als je kijkt naar de prestatieverbetering per euro zijn ze eigenlijk heel goedkoop. Ook als je kijkt naar NAND versus DRAM is NAND gewoon stukken goedkoper. In de profi-wereld wordt NAND dan vooral als cheap gezien; wel grappig gezien de consumenten-visie is dat SSDs overpriced zijn. Daarbij mag je wel opmerken dat zakelijke klanten veel meer baat hebben bij Random I/O versnelling dan de doorsnee thuisgebruiker met vooral grote bestanden en een single-user achtig I/O patroon.

ZFS kan SSDs echter voor meerdere functies inzetten, en met weinig ruimte kun je al enorm veel winst boeken. Het gaat dus vooral om de snelheid van de SSD en niet de grootte, alhoewel die twee in de praktijk wel met elkaar verbonden zijn. Zo zie je bij veel SSDs, met name Marvell en Intel, dat grotere capaciteit SSDs ook direct sneller zijn qua writes. Qua reads nauwelijks/niet.

SLOG instellen is vrij makkelijk: zpool add tank log /dev/label/SLOGDISK

Je kunt de SLOG ook direct bij het aanmaken van de pool toevoegen, of later achteraf. Belangrijk is echter het volgende:
  • SLOG is een potentiëel gevaarlijke feature; het zorgt ervoor dat de disks zelf géén ZFS Intent Log meer hebben, maar in feite wordt uitbesteed aan een dedicated log device "SLOG" (separate log device).
  • Het afwezig zijn van SLOG of een gecrashde SLOG disk kan je hele pool onherstelbaar en unrecoverable maken, als je een ZFS pool versie lager dan 19 gebruikt. Vanaf versie 19 kun je SLOG disks verwijderen van de pool en bij afwezigheid een geforceerde import uitvoeren. Bij dit laatste worden enkele 'transaction groups' teruggerolt, wat betekent dat je een stuk terug in 'het verleden' gaat; recent gemaakte wijzigingen/writes ben je dan dus kwijt.
  • Corruptie op je SSD kan dezelfde gevolgen hebben als hierboven vermeld. Dit komt vaak voor als een SSD onverwacht zijn stroom verliest. Daarom dat een SSD met 'supercapacitor' zoals de Intel 310/520 series eigenlijk verplicht is; anders draai je geen echt veilige setup.
Qua performance is het niet zo dat alle writes eerst naar de SLOG geschreven worden. Alleen sync writes worden naar de SLOG geschreven en tegelijkertijd naar je data disks (HDDs). Dit is met name metadata en als applicaties een flush request uitvoeren om de data-integriteit te bewaken, zoals bijvoorbeeld database-apps regelmatig doen. Het grootste gevolg hiervan is dat je hardeschijven gewoon sequentiëel kunnen blijven schrijven en niet hoeven te seeken tussendoor. Dit betekent dat je het maximum kunt halen uit de mechanische techniek door ze te laten doen waar ze goed in zijn: sequential I/O. Seeks op HDDs moet je zoveel mogelijk voorkomen.
Zou je nog willen delen met mij waarom je voor 100Gb zou gaan ipv 120 helemaal volmaken ?
Intel heeft standaard maar 6.8% spare space; het verschil tussen GB en GiB. Een 120GB Intel SSD heeft 120GiB aan NAND en daarvan is 120GB zichtbaar. Zie ook: Wikipedia: Binary prefix

Sommige SSDs zoals Sandforce SSDs hebben veel meer spare space, en dat is eigenlijk wel veel beter om performance-degradatie en een langere levensduur (lagere write amplification) te bewerkstelligen. Dat doe je door simpelweg niet alle plekken van de SSD te beschrijven. En dat doe je weer door een gedeelte niet te partitioneren en nooit te gebruiken voor iets. Je kunt het later weer resetten met een 'secure erase' wat alle door de host geclaimde ruimte weer terug te geven aan de SSD. Een verse schone SSD heeft dus 100% van de zichtbare ruimte als spare space en zodra je er naar gaat schrijven gaat de spare space omlaag. Door naar sommige plekken nooit te schrijven behoud je die ruimte vrij voor gebruik door de SSD; die intern aan remapping doet; een techniek die SSDs enorm veel sneller heeft gemaakt maar ook vatbaar voor performance degradatie.

Simpel gezegd, voor optimaal gebruik reserveer je 10-25% van de ruimte als extra space space; bovenop de vaste onzichtbare spare space die elke moderne SSD heeft. Sommige Sandforce modellen hebben standaard 35% onzichtbare ruimte, Intel heeft met 6.8% dus érg weinig spare space en dat kun je oplossen door bovengenoemde procedure, die ook wel 'overprovisioning' wordt genoemd. Professionele SSDs zoals FusionIO kun je instellen tussen 50 en 90% ofzoiets, naar gelang de afweging performance op lange termijn en levensduur enerzijds en opslagcapaciteit anderzijds.
En als je toch bezig bent, wat voor partities zou jij gebruiken (qua grootte van de L2ARC en SLOG ?) ik wil iets van 30 (of misschien 40 Gb) voor OS en databases (en wat web spul, maar das niet echt interessant qua ruimte gebruik.
4GiB SLOG
20GiB L2ARC
75GiB primary storage (ZFS pool met OS + database meuk)
de rest spare space

Ik zou GPT partities gebruiken, dat werkt netjes en mooi:
/dev/gpt/SLOG
/dev/gpt/SYSTEM
/dev/gpt/L2ARC
u_nix_we_all schreef op zondag 22 mei 2011 @ 22:02:
Over de grootte van de SLOG: het heeft geen nut die groter te maken dan je RAM, het is namelijk een subset (de writes) van wat er in je ARC terecht komt.
Nee SLOG wordt alleen gebruikt voor sync writes en die zijn per definitie niet meer nodig als de huidige transaction group is afgerond en volledig naar disk is gecommit. SLOG en ARC hebben dus niet veel met elkaar te maken. ARC is een caching-mechanisme voor performance-verbetering, SLOG/ZIL is een data-integriteit mechanisme vergelijkbaar journaling bij conventionele filesystems (UFS, Ext3/4, NTFS).
Ik denk dat je met een SLOG die half zo groot is als je RAM ruim voldoende hebt, tenzij je workload hoofdzakelijk uit sync writes bestaat.
Je SLOG moet groot genoeg zijn om twee transactie groups te kunnen huisvesten, in principe kan 1 of 2GB genoeg zijn. Je hebt meer ruimte nodig niet als je meer RAM hebt, maar als je harddisk/pool sneller kan schrijven. Een pool die met 10GB/s kan schrijven (theoretisch) heeft dus een grotere SLOG nodig. Maar met zulke hardware kan ik niet testen. :P

Ik zou 4GiB aanhouden daar heb je zeker genoeg aan. Meer SLOG zal geen performancewinst geven. Het is voor je SSD ook fijn om deze ruimte klein te houden, zodat je SSD niet teveel fragmenteerd omdat de SLOG keer op keer wordt overschreven en hoe kleiner de LBA ruimte is waarop dat gebeurt des te beter. In feite schrijft je SSD vaak naar een andere plek, bijvoorbeeld de ruimte die je ongepartitioneerd hebt gelaten (spare space).

Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
Wow, thnx !!!

Ik heb inmiddels al een aantal blog posts gelezen over ZFS om een beetje in de mood te komen :) en het is altijd handig als je een beetje begrijpt wat er onderwater gebeurt :)

Ik heb een 320 120Gb besteld :) woensdag haal ik hem op en ga ik over op een herinstall naar FreeBSD.

Mocht ik ergens tegenaanlopen laat ik het weten, en achteraf zal ik wat benchmarks draaien voor wie interesse heeft.

Wat betreft FS op de SSD neem ik aan dat UFS gewoon prima is voor de main install ? ik gok dat de ARC en SLOG geen FS nodig hebben.

BTW, no nooit met gpt gewerkt bedenk ik me nu :) ach, mijn arme virtual machine heeft het er zwaar mee met al dit testen hehe :)

Nogmaals bedankt voor de uitleg ! ik ben niet meer zo into hardware en nieuwe software technieken als vroeger, zo een duwtje in de rugt helpt dan wel :)

Acties:
  • 0 Henk 'm!

  • Ravefiend
  • Registratie: September 2002
  • Laatst online: 13:56

Ravefiend

Carpe diem!

YaNightmare schreef op maandag 23 mei 2011 @ 08:15:
Wat betreft FS op de SSD neem ik aan dat UFS gewoon prima is voor de main install ? ik gok dat de ARC en SLOG geen FS nodig hebben.
Als ik het goed begrepen had dan was ZFS in combinatie met UFS geen goed idee omdat ze elkaar nogal in de weg lopen qua geheugen gebruik.

Wat betreft performance tuning van Samba / CIFS met FreeNAS lees ik vaak dat ze TCP_NO_DELAY alvast aanraden. Zijn er nog andere tweaks die jullie aanbevelen om de spikes uit het netwerk verkeer te krijgen? Daar heb ik namelijk wel last van bij het copieren van data naar mijn NAS. Spikes as in heel af en toe interrupts die een second of twee kunnen duren, en tijdens die periode is er geen netwerkverkeer tussen Win7 x64 en FreeNAS.

Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
Ravefiend schreef op maandag 23 mei 2011 @ 12:50:
[...]


Als ik het goed begrepen had dan was ZFS in combinatie met UFS geen goed idee omdat ze elkaar nogal in de weg lopen qua geheugen gebruik.

Wat betreft performance tuning van Samba / CIFS met FreeNAS lees ik vaak dat ze TCP_NO_DELAY alvast aanraden. Zijn er nog andere tweaks die jullie aanbevelen om de spikes uit het netwerk verkeer te krijgen? Daar heb ik namelijk wel last van bij het copieren van data naar mijn NAS. Spikes as in heel af en toe interrupts die een second of twee kunnen duren, en tijdens die periode is er geen netwerkverkeer tussen Win7 x64 en FreeNAS.
Dat probleem herken ik ook met FreeNAS. Ik ben nog steeds aan het stoeien met verschillende distro`s om de distro voor de beste kopieer snelheid te bepalen. Overigens gebruik ik nu alleen nog maar Vmware ESXi zodat ik meer kan met de machine welke ik gebruik/ga gebruiken.

Ik gebruik op dit moment de volgende hardware als test en wil later upgraden naar een i5

Ik ben nu nog bezig met speedtesten maar ik kom nog niet heel ver

ZFS Pool

code:
1
2
3
4
5
6
freenas# rsync --progress /mnt/data/mce/1000mb.bin /mnt/data/mce/test/1000mb.bin
1000mb.bin
  1048576000 100%   19.88MB/s    0:00:50 (xfer#1, to-check=0/1)

sent 1048704071 bytes  received 31 bytes  20766417.86 bytes/sec
total size is 1048576000  speedup is 1.00


Lokaal

code:
1
2
3
4
freenas# rsync --progress /mnt/data/mce/100mb.bin /tmp/100mb.bin
100mb.bin
    56197120  53%   26.78MB/s    0:00:01
/var: write failed, filesystem is full

[ Voor 28% gewijzigd door raymonvdm op 23-05-2011 15:55 ]


Acties:
  • 0 Henk 'm!

  • YaNightmare
  • Registratie: Augustus 2006
  • Laatst online: 15:12
Ravefiend schreef op maandag 23 mei 2011 @ 12:50:
[...]


Als ik het goed begrepen had dan was ZFS in combinatie met UFS geen goed idee omdat ze elkaar nogal in de weg lopen qua geheugen gebruik.
Dat heb ik inderdaad ook gelezen, maar volgens mij moet het niet veel kwaad kunnen voor de OS installatie, ik ben een beetje huiverig om ext4 oid te gaan draaien op FreeBSD.

En "on a sidenote" ik ben een redelijke voorstander van 1 partitie met daar gewoon alles op (geen aparte root, var etc) dus dat was ik van plan te doen, ik hou me namelijk niet altijd aan de regeltjes met welke data ik waar plaats en heb geen zin in partition full errors als ik een 4 gb file naar /tmp schrijf :)

EDIT:

Whoops over CiPHER zijn aanbeveling heen gelezen, ZFS voor OS it is :) ik heb er wel zin in om woensdag hier allemaal aan te beginnen zeg ! waarschijnlijk trek ik na 2 uur mijn haren uit mijn hoofd, maar ik ben erg enthousiast over werken met ZFS en ik denk ook dat meer gebruikers = beter is, hopelijk gaat er daardoor lekker veel development tijd naartoe, ik hoop namelijk nog dit jaar die point rewrite functie in de roadmap te zien :)

[ Voor 23% gewijzigd door YaNightmare op 23-05-2011 17:42 ]


Acties:
  • 0 Henk 'm!

  • Obscurax
  • Registratie: Februari 2008
  • Niet online

Obscurax

carpe noctem

Weet iemand hoe ik de temps van mijn disks kan weergeven onder openindiana?

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
smartmontools?

Acties:
  • 0 Henk 'm!

  • DARKLORD
  • Registratie: December 2000
  • Laatst online: 22-01 21:17
smartmontools are installed but not yet implemented in a menue


dus je moet zelf die instellingen zien te fixen. staat wel een howto bij...maar ik heb me er ook nog niet mee bezig gehouden. zou wel leuk zijn als je een beetje de conditie van je schijven kan volgen wat nu absoluut niet het geval is

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
smartctl -A /dev/....

Althans zo werkt het op BSD platform. Eventueel moet je eerst "smartctl -s on" uitvoeren op de betreffende schijf.

Acties:
  • 0 Henk 'm!

  • DARKLORD
  • Registratie: December 2000
  • Laatst online: 22-01 21:17
maar dat is allemaal commandline en handig om te testen, maar hij moet het allemaal vanzelf gaan doen uiteindelijk

moet de smartdconf file nog even in gaan stellen. staat wel al een voorbeeld en een link naar wiki

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Vanzelf doen? smartd zou ik niet draaien, geeft ook problemen op LSI 1068E controllers. En aan die self-tests heb je geen bal aan. Mijn mening natuurlijk. :P

SMART is handig om zelf de data te interpreteren, ik heb nog nooit goede conclusies gezien van programma's die de interpretatie voor je uit handen nemen. smartd (de background daemon) draai ik dus ook bewust niet, ook vanwege de problemen met LSI controllers.

Acties:
  • 0 Henk 'm!

  • dutch_warrior
  • Registratie: Mei 2005
  • Laatst online: 29-05-2023
CiPHER,

Is een FreeBSD installatie op een ZFS volume met een UFS boot partitie zoveel slechter als een full ZFS installatie waarbij dus echt alles ZFS is ?
Je vertelde een tijdje terug dat UFS alles aan geheugen pakt wat het kan krijgen maar met alleen een UFS boot partitie zal dit op 16GB een verwaarloosbare hoeveelheid geheugen zijn.
Zijn er nog andere nadelen waar ik rekening mee zou moeten houden ?

De PC-BSD installer kan ook worden gebruikt om een Free-BSD installatie te doen met ZFS als root filesystem, ik krijg een aangemaakte raidz pool echter alleen geboot wanneer ik een apparte UFS boot partitie maak.

Opzich is de PC-BSD installer best goed te gebruiken voor een leek, ik hoop dat deze installer of delen hiervan hun weg wel zullen vinden naar Freenas.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Als je UFS filesystem zeg 4 gigabyte groot is, dan heeft ZFS 4 gigabyte minder RAM ter beschikking. Best wel zonde om 4 gig 'weg te gooien' wat nutteloos in gebruik is. Alleen als de UFS filesystem ge-unmount wordt, heb je dit probleem niet. Bij het unmounten wordt al het geheugengebruik vrijgemaakt.

Als je ZFS filesystem écht je root (/) filesystem is, is het vreemd dat je hier niet rechtstreeks van kunt booten. Ik ken PC-BSD niet zo, maar je kunt ook mfsBSD proberen die ook een installscript heeft, of desnoods ZFSguru waarbij het ook vrij makkelijk is. Dan krijg je een echt 100% ZFS only systeem wat gewoon veel beter is dan ouderwets UFS. Dat is nu juist een voordeel van FreeBSD boven Solaris als ZFS NAS. :)

Maar hoe dan ook, als je boot partitie maar 1MB of minder is hoef je er niet moeilijk om te doen. Het gaat om de grootte van de bestanden die tenminste eenmalig worden ingelezen. Die grootte zie je dan als "Inact" geheugengebruik in de output van het "top" commando.

Acties:
  • 0 Henk 'm!

  • dutch_warrior
  • Registratie: Mei 2005
  • Laatst online: 29-05-2023
Ah, bedankt voor de info.

PC-BSD kan wel van een basic ZFS pool met single disk booten maar standaard niet van een raidz.
Hier wordt ook nog aan gewerkt, maar ik vroeg me alleen af of een hele kleine /boot partitie een probleem zou zijn maar dat is het dus niet.

Acties:
  • 0 Henk 'm!

Verwijderd

dutch_warrior schreef op dinsdag 24 mei 2011 @ 10:28:
Ah, bedankt voor de info.

PC-BSD kan wel van een basic ZFS pool met single disk booten maar standaard niet van een raidz.
Hier wordt ook nog aan gewerkt, maar ik vroeg me alleen af of een hele kleine /boot partitie een probleem zou zijn maar dat is het dus niet.
Niet om je aan te vallen, maar waar heb je dit gelezen? Pc bsd lijkt me prima als leek om zo de instap naar freebsd te kunnen maken. Moet tie wel kunnen booten op raidz1 en raidz2 etc.

Acties:
  • 0 Henk 'm!

  • dutch_warrior
  • Registratie: Mei 2005
  • Laatst online: 29-05-2023
Je leest mijn post verkeerd (had het iets duidelijker moeten opschrijven), ik liep tegen een probleem aan waardoor een ZFS raidz pool niet bootable was, als ik een kleine UFS boot partitie aanmaak dan wil het systeem wel booten.
Zie ook:
http://web.archiveorange.com/archive/v/Qmmye1S2Jzrh44f1lRuR

Waarschijnlijk is het een bug in de PC-BSD 9.0 snapshot welke ik even snel heb getest, als ik auto partition doe met ZFS op single disk dan krijg ik wel een volledig ZFS systeem.
In mijn eerdere post geef ik trouwens ook aan dat de PC-BSD installer best een goede optie kan zijn voor een leek om een Full ZFS systeem te installeren. Ik ben het ook met je eens dat PC-BSD zelf ook best een leuke optie is of kan worden voor mensen wie de shell helemaal niet zien zitten.

[ Voor 10% gewijzigd door dutch_warrior op 24-05-2011 21:39 ]


Acties:
  • 0 Henk 'm!

  • Micr0mega
  • Registratie: Februari 2004
  • Laatst online: 09-09 08:07
Weer genoeg leuke en interessante dingen gelezen hierboven, vooral jij lijkt goed in de materie te zitten CiPHER, gebruik je ZFS ook professioneel of is het allemaal hobby?

Ik ben zelf nog niet echt op gang gekomen, wat gedonder gehad met het installeren van OpenIndiana op een USB stick en wat weinig tijd. Wel even een heads-up voor de mensen die OI (willen gaan) gebruiken: vandaag staat build 151 op het programma: http://wiki.openindiana.org/oi/oi_151. Eerder vandaag werd opeens de release date op de wiki aangepast naar vandaag, weet niet of ze het nog gaan redden in 20 minuten, alhoewel, het is pas half 3 in het westen van de US ;)
Er zijn volgens mij nog geen echte release notes volgens mij, dus het is nog een beetje een verrassing :*)

Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
Wat is trouwens het beste aantal disken welke je kunt gebruiken voor een ZFS pool. Ik wilde gaan voor 4 stuks in een RAID5 setup (raidz2) maar wellicht is twee extra beter ?

Ik gebruik overigens Samsung F4 2TB disken

Ga ik voor meer dan 4 disken dan heb ik ook een extra sata controller nodig welke is daarvoor geschikt. Ik gebruikt op dit moment ESXi en wil later met vt-d de 2TB disken aan een VM gegeven door deze op een controller te prikken welke dit ondersteund.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
6 disks in RAID-Z2 is een optimale configuratie, zeker wat betreft 4K sector disks zoals de Samsung F4. Met 4 disks ga je flink lagere performance krijgen.

ESXi maakt het wel heel wat complexer, en veel mensen krijgen erg slechte performance en stappen af van dit idee en gaan terug naar een 'gewone' setup zonder virtualizatie/emulatie. vt-d is nodig om een controller aan de VM te kunnen geven.

Persoonlijk denk ik dat het veel beter is gescheiden systemen te maken, dat scheelt je hardwarekosten, performance, moeilijkheden bij setup en simpelweg een hele hoop gezeik. Maar het kan wel met de juiste setup. Met vt-d kun je een hele controller aan de VM geven en zodoende alle disks die op die controller zitten direct laten besturen door de VM. Uit mijn hoofd was er geloof ik wel een beperking mbt. meerdere controllers. Ik zou dat even goed uitzoeken!

Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
Volgens mijn zijn er tweakers die het wel op die manier doen. Het voordeel hiervan is dat ik maar een kachel in huis heb i.p.v. van twee van die dingen. Volgens mij betekend twee machines namelijk meer hardware kosten i.p.v minder.

Mocht ik toch voor een losse NAS gaan wat is er dan nodig voor een ZFS RAIDZ2/3 met 6 disken qua hardware (mobo/cpu/geheugen) Denk hierbij ook aan hoe groener hoe beter _/-\o_

* Bedenkt dat hij nog ergens een E2180 heeft liggen met een Asus P5***
* Bedenkt dat hij ook nog een SAS3041E heeft liggen maar dan strart ESXi niet meer op

[ Voor 23% gewijzigd door raymonvdm op 25-05-2011 10:43 ]


Acties:
  • 0 Henk 'm!

  • Obscurax
  • Registratie: Februari 2008
  • Niet online

Obscurax

carpe noctem

Ik heb ook 2 afzonderlijke machines, vind het makkelijker op te zetten en scheelt toch in kosten tov een deftige ESXi server. Ik moet nog even het stroomverbruik meten, dat zal nog meevallen denk ik aangezien de onderdelen toch wat energievriendelijk zijn.

Puur NAS:
OpenIndiana 148 + napp-it

Intel Xeon L3406
Supermicro X8SIL-F
Kingston KVR1333D3E9SK2/8G
Hitachi Deskstar 5K3000 2TB x6 (raidz2)
WD Scorpio Blue WD1600BEVT x2 (boot mirror)
Intel SASUC8I
Corsair VX450
en aan het wachten op Norco RPC-3216

DMZ:
Server 2008 R2 Standard
usenet, torrents, webserver, irc, ftp, f@h

Supermicro 1U SuperServer 5015A-H
Intel® Atom™ 330
Kingston ValueRAM KVR800D2N5/2G
Super X7SLA-H
WD Scorpio Blue WD3200BPVT

Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
Obscurax schreef op woensdag 25 mei 2011 @ 10:37:
Ik heb ook 2 afzonderlijke machines, vind het makkelijker op te zetten en scheelt toch in kosten tov een deftige ESXi server. Ik moet nog even het stroomverbruik meten, dat zal nog meevallen denk ik aangezien de onderdelen toch wat energievriendelijk zijn.

Puur NAS:
OpenIndiana 148 + napp-it

Intel Xeon L3406
Supermicro X8SIL-F
Kingston KVR1333D3E9SK2/8G
Hitachi Deskstar 5K3000 2TB x6 (raidz2)
WD Scorpio Blue WD1600BEVT x2 (boot mirror)
Intel SASUC8I
Corsair VX450
en aan het wachten op Norco RPC-3216

DMZ:
Server 2008 R2 Standard
usenet, torrents, webserver, irc, ftp, f@h

Supermicro 1U SuperServer 5015A-H
Intel® Atom™ 330
Kingston ValueRAM KVR800D2N5/2G
Super X7SLA-H
WD Scorpio Blue WD3200BPVT
Je gebruikt dus Server 2008 voor virtualisatie en een beest voor NAS ?

Acties:
  • 0 Henk 'm!

  • DARKLORD
  • Registratie: December 2000
  • Laatst online: 22-01 21:17
Obscurax schreef op woensdag 25 mei 2011 @ 10:37:
Ik heb ook 2 afzonderlijke machines, vind het makkelijker op te zetten en scheelt toch in kosten tov een deftige ESXi server. Ik moet nog even het stroomverbruik meten, dat zal nog meevallen denk ik aangezien de onderdelen toch wat energievriendelijk zijn.

Puur NAS:
OpenIndiana 148 + napp-it

Intel Xeon L3406
Supermicro X8SIL-F
Kingston KVR1333D3E9SK2/8G
Hitachi Deskstar 5K3000 2TB x6 (raidz2)
WD Scorpio Blue WD1600BEVT x2 (boot mirror)
Intel SASUC8I
Corsair VX450
Deze setup had ik zelf ook min of meer in gedachten. :)
Handig om te weten dat het bij jou wel goed werkt. zelf heb ik een supermicro usas kaart ipv intel. maar dat is dezelfde chipset volgens mij. lsi?

maar ik wil wel vt-d met pci passthrough gaan gebruiken icm OI + napp it

Acties:
  • 0 Henk 'm!

  • MadMike261
  • Registratie: Januari 2011
  • Laatst online: 25-11-2021
Ik denk dat Cipher vooral erop doelt dat je voor specifieke taken een veel minder krachtig systeem kan bouwen.
En omdat je voor een storage VM toch vt-d wilt hebben zit er al een redelijke drempel op het gebied van hardware die daarbij hoort.

Persoonlijk heb ik een SB setup voor ESXi voor de vt-d .
Maar de langzaamste processor die je kunt gebruiken is dan een i5-2400. Toch niet echt langzaam. Of goedkoop. Daarnaast zit je voor SB redelijk vast aan Q67 chipset en voorzover ik heb gezien ben je dan ook meteen limited aan 1 16x slot. Dus maar 1 controller.

Voor mij persoonlijk kan ik absoluut niet zonder Virtualisatie vanwege school. En hobbby :) Lekker spelen.
Maar het ligt aan je situatie en wensen wat je het beste / goedkoopste / liefste moet doen.

Hoewel ik niet weet hoe dit op de oudere platformen zit. Maar er is vast wel iemand die daar wat over kan zeggen :)

Acties:
  • 0 Henk 'm!

  • Obscurax
  • Registratie: Februari 2008
  • Niet online

Obscurax

carpe noctem

raymonvdm schreef op woensdag 25 mei 2011 @ 10:45:
[...]


Je gebruikt dus Server 2008 voor virtualisatie en een beest voor NAS ?
Ik gebruik geen virtualisatie, op deze machines.
Wanneer ik virtuele machines nodig heb gebruik ik mijn beest van een desktop :+ .
DARKLORD schreef op woensdag 25 mei 2011 @ 10:59:
[...]


Deze setup had ik zelf ook min of meer in gedachten. :)
Handig om te weten dat het bij jou wel goed werkt. zelf heb ik een supermicro usas kaart ipv intel. maar dat is dezelfde chipset volgens mij. lsi?

maar ik wil wel vt-d met pci passthrough gaan gebruiken icm OI + napp it
Ja deze gebruikt ook een LSI chipset. Ik ben tevreden van de setup :) .

Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
MadMike261 schreef op woensdag 25 mei 2011 @ 11:02:
Ik denk dat Cipher vooral erop doelt dat je voor specifieke taken een veel minder krachtig systeem kan bouwen.
En omdat je voor een storage VM toch vt-d wilt hebben zit er al een redelijke drempel op het gebied van hardware die daarbij hoort.

Persoonlijk heb ik een SB setup voor ESXi voor de vt-d .
Maar de langzaamste processor die je kunt gebruiken is dan een i5-2400. Toch niet echt langzaam. Of goedkoop. Daarnaast zit je voor SB redelijk vast aan Q67 chipset en voorzover ik heb gezien ben je dan ook meteen limited aan 1 16x slot. Dus maar 1 controller.

Voor mij persoonlijk kan ik absoluut niet zonder Virtualisatie vanwege school. En hobbby :) Lekker spelen.
Maar het ligt aan je situatie en wensen wat je het beste / goedkoopste / liefste moet doen.

Hoewel ik niet weet hoe dit op de oudere platformen zit. Maar er is vast wel iemand die daar wat over kan zeggen :)
Dit is ook het gene wat in mijn wishlist staat zodat ik met een machine af kan.

wenslijst: NAS Server

Ik wil alleen in delen opbouwen dus dacht nu alvast aan de disken en de controller en dan laster de rest. Ik heb al 2 x 2TB en wilde 4 x 2TB maar 6x2TB is een betere "best buy" optie dus daar gaan we nu maar voor.

Misschien is een andere moederbord nog een goeie optie maar dan wel met een Q67 chipset i.v.m met vt-d

[ Voor 3% gewijzigd door raymonvdm op 25-05-2011 11:32 ]


Acties:
  • 0 Henk 'm!

  • Obscurax
  • Registratie: Februari 2008
  • Niet online

Obscurax

carpe noctem

Vergeet niet na te gaan of al je gebruikte hardware compatibel is met je gewenste OS.

Acties:
  • 0 Henk 'm!

  • raymonvdm
  • Registratie: December 2001
  • Laatst online: 30-06 16:35
Obscurax schreef op woensdag 25 mei 2011 @ 11:44:
Vergeet niet na te gaan of al je gebruikte hardware compatibel is met je gewenste OS.
Gewenste os is ESXi 4 en er zijn meer mensen met deze setup dacht ik gezien te hebben. >:)
Pagina: 1 ... 6 ... 214 Laatste

Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.