Het grote ZFS topic

[FireDrunk]

Nee, ik heb de fout gevonden, ik had het filetje via Samba gemaakt dus het was in DOS codering gemaakt ipv UNIX codering.

Dat vind FreeBSD niet leuk... Niet dat ze ff een waarschuwing / foutmelding geven...

[nero355]

Ik gok dat ze er vanuit gaan dat je dat zelf ook wel weet en dus iets van een meuk: Notepad++ 6.4.4 achtig programma gebruikt om dat te voorkomen

Er zijn een aantal Editors voor Windows die files in de Unix codering kunnen opslaan namelijk en als het goed is moet Notepad++ een van die editors zijn. Give it a try!

[Jungian]

Kort vraagje: als ik een zpool met een mirror vdev (zpool1) export en één van beide disks inzet (na een labelclear) in een andere zpool (zpool2), kan ik deze zpool (zpool1) dan weer probleemloos (degraded) importen, terwijl zpool2 online is?

Mijn verwachting is dat de disk die in gebruik is door zpool2 UNAVAILABLE is in zpool1 en dat ik zpool1 weer probleemloos degraded kan importeren zonder dat dit effect heeft op zpool2.

Ik ga morgen best funky (zonder complete backup ) over van een 2 disk mirror naar een 3 disk RAIDZ, dus wil ik dit even zeker weten.

[u_nix_we_all]

Jungian schreef op maandag 26 augustus 2013 @ 20:44:
Kort vraagje: als ik een zpool met een mirror vdev (zpool1) export en één van beide disks inzet (na een labelclear) in een andere zpool (zpool2), kan ik deze zpool (zpool1) dan weer probleemloos (degraded) importen, terwijl zpool2 online is?

Mijn verwachting is dat de disk die in gebruik is door zpool2 UNAVAILABLE is in zpool1 en dat ik zpool1 weer probleemloos degraded kan importeren zonder dat dit effect heeft op zpool2.

Ik ga morgen best funky (zonder complete backup ) over van een 2 disk mirror naar een 3 disk RAIDZ, dus wil ik dit even zeker weten.

Ik zou gewoon met zpool detach 1 device uit je mirror-zpool verwijderen ! Dan blijft je zpool1 gewoon online.

Ik ben zelf van een mirror naar een 4 disk raid-z gegeaan, door bij aanmaken 1 disk te "faken" en na kopieren van de data die bij mijn raidz volume te gooien.

Succes !

Edit: zoiets dus.

[ Voor 4% gewijzigd door u_nix_we_all op 26-08-2013 21:16 ]

[syl765]

Het zou moeten werken.
zpool1 kun je degraded weer importeren.
Zorg er wel voor dat er op de oude disk uit zpool1 niets meer aan meta data aanwezig is met info over zpool1
Dan zou het wel eens verkeerd kunnen gaan.

Maar waarom de mirror in een degraded state zetten als je gewoon met het volgende commando de oude disk kan detachen.
zpool detach zpool1 oude-disk

Dan is zpool1 een pool met een vdev van 1disk.
Niets geen degraded states enz.

Gr
Johan

[Jungian]

Beide bedankt; ik had er niet eens bij stilgestaan om de disk simpelweg te detachen. Ik gebruik verder ook nooit een ZFS mirror; alleen RAIDZ-opstellingen.

u_nix_we_all schreef op maandag 26 augustus 2013 @ 20:54:
Ik ben zelf van een mirror naar een 4 disk raid-z gegeaan, door bij aanmaken 1 disk te "faken" en na kopieren van de data die bij mijn raidz volume te gooien.

Succes !

Edit: zoiets dus.

Voor het maken van mijn uiteindelijke pool van drie disks ben ik genoodzaakt om een sparse file te gebruiken; ik heb in totaal drie disks, waarvan één dus de huidige data bevat. Toen ik de huidige mirror aanmaakte moest ik ook deze work-around gebruiken. Ik heb (blijkbaar) altijd net één disk te weinig.

[riwi]

Ik heb eindelijk mijn data overgezet van meerdere raid-0 lvm's naar zfs-on-Linux op Slackware64.

Eerst ZFSguru geprobeerd, maar ik kon niet goed overweg met FreeBSD en ik houd niet zo van GUI's. ZFSguru draaide wel goed en vrij snel 85MB/sec via SMB lezen en schrijven.
Daarna de ZFS Fuse implementatie op Linux gedaan. Dat werkte wel maar was te langzaam.
Daarna nieuw moederbord+cpu gekocht : Asrock Z77Pro4M / i3-3220T / 24GB DDR3 maar ZFS-Fuse bleef langzaam.
Daarna native ZFS ingeinstalleerd en dat is wel vlot. Op SMB lees performance na, daar zoek ik nu een oplossing voor.

zfs-on-linux 0.6.1 met zfs versie 5000 (feature support). Ik zie dat er net 0.6.2 gereleased is eergisteren. Die staat er nog niet op
3 pools : 11x 2TB in RAIDZ2 , 7x3TB in RAIDZ1 en 6x4TB in RAIDZ1, geen L2ARC, geen ZIL. Boot van SSD.

Intern kopieren van pool naar pool onder X gaat met 400MB/sec, dat is goed
Schrijven van windows7 PC naar ZFS pool met SMB gaat met 110-115MB/sec : dat is perfect, Gbit vol
Lezen met windows7 PC van ZFS pool met SMB gaat met 60MB/sec : dat is te laag.
Lezen met windows7 PC van lvm raid0 met SMB ging met 110-115MB/sec : dat was dus wel goed.

Waar zou dit aan kunnen liggen?

Vroeger heb ik in de smb.conf de socket options voor send en receive opgehoogd om samba performance te verbeteren.
socket options = TCP_NODELAY IPTOS_LOWDELAY SO_KEEPALIVE SO_RCVBUF=262144 SO_SNDBUF=262144
Is het zo dat ie daar nu met ZFS niet meer naar kijkt??
Ik heb met zfs set sharesmb=on <pool> de sharing aan gezet. Ook voor nfs.
Tevens in smb.conf en /etc/exports shares gemaakt identiek als voorheen met lvm en raid 0.

Tips?

edit : als ik 2x dezelfde file transfer van ZFS naar windows dan gaat het wel snel de 2de keer. Maar dan komt het uit de cache neem ik aan. Hoewel er maar 24G geheugen is en files meestal 20-40GB zijn.

Ik heb al een nieuwe ssd liggen (Crucial M500 120G), die kan ik nog als cache drive proberen. Maar dat had ik met zfs-fuse al geprobeerd eerder en toen help het niet.

[ Voor 12% gewijzigd door riwi op 27-08-2013 14:34 ]

[FireDrunk]

Misschien even kijken naar asynchronous IO?

[riwi]

FireDrunk schreef op dinsdag 27 augustus 2013 @ 15:30:
Misschien even kijken naar asynchronous IO?

sync staat op default zie ik :
root@riwinas:~# zfs get all | grep sync
raid1 sync standard default
raid3 sync standard default
raid4 sync standard default

Is dat niet alleen voor writes naar zfs toe?
Ik kan wel eens proberen die op disabled te zetten.

[FireDrunk]

Ik bedoel Asynchronous IO in Samba.

https://blogs.oracle.com/...ry/making_samba_go_faster

[Phuncz]

Blijkbaar had NAS4free 9.1.0.1.804 zfs_prefetch_disable=1 als default staan, waardoor RAM niet gebruikt werd om te cachen. Na een upgrade naar 9.1.0.1.847 is dit gefixed en kan je ook deze settings eventueel aanpassen via de webGUI in loader.conf.

[Phasis]

Verwijderd schreef op vrijdag 02 augustus 2013 @ 18:12:
Nou kan L2ARC wel helpen door directorylistings lekker snel te laten verlopen. Als je toch je Intel 320 gaat gebruiken zou ik zeker wel L2ARC gebruiken. Je kunt dan de pool instellen op 'metadata' only. Zoiets als:

zfs set secondarycache=metadata tank

Waarbij tank de naam van de pool is. Alle overige filesystems nemen dit dankzij inheritance over.

Ik heb nu 2 pools:
Raidz0 (zfsguru):
10 gig zfsguru
40gig l2arc
RaidZ2 (tank):
6x4TB

Moet ik dit nu voor beide pools instellen?

[FireDrunk]

De L2ARC hangt maar aan 1 pool (tenzij je meerdere partities gemaakt hebt).

De optie werkt per pool (in het voorbeeld van CiPHER heet de pool "tank")

[Phasis]

Ja ik heb 2 partities gemaakt 10GB en 40GB op de Intel 320 SSD. 1 pool voor zfsguru en die van 40GB voor L2ARC,
en deze via Pools > Cache devices ingesteld voor L2ARC.
Of is dit niet zoals CiPHER het bedoeld?

De namen van de 2 pools:
zfsguru
l2arc

En dan heb ik de 6x 4TB Hitatchi GPT formated en dan 1 pool van gemaakt in RaidZ2. Deze pool heet 'tank'.

Vervolgens probeerde ik deze cmd maar deze werkt niet
zfs set secondarycache=metadata l2arc

[riwi]

FireDrunk schreef op dinsdag 27 augustus 2013 @ 17:32:
Ik bedoel Asynchronous IO in Samba.

https://blogs.oracle.com/...ry/making_samba_go_faster

Ik heb gisteravond getest met de aio read en write op 16k. maar dat helpt niet helaas.

Andere vraag :
Is er ook ergens uitleg over de overhead van ZFS? En waar die voor gebruikt wordt? Is dat voor ZIL en L2ARC? Ik las ook ergens dat het scheelt of je ashift=9 of 12 hebt kwa hoeveelheid overhead. Bij mij is alles op ashift=12 (4k sectoren) gebaseerd. Dat doet ZoL automatisch.

Met 6x4TB in raidz1 zou ik netto 5x4TB verwachten (los van de TB / TiB discussie).
Echter ik merk dat er nog zo'n 5% ruimte verdwijnt aan overhead.

Als ik in df -k kijk :
riwinas:/raid1 16102189056 = (11x2TB in raidz2) je zou 9x2T = 18TB verwachten = 17.1TiB
riwinas:/raid3 16905228288 (7x3TB in raidz1) je zou 6x3 = 18TB verwachten = 17.1 TiB
riwinas:/raid4 18364232704 (6x4TB in raidz1) je zou 5x4 = 20TB verwachten = 19.1 TiB

16.1 / 17.1 = 94%
16.9 / 17.1 = 98%
18.3 / 19.1 = 95.8%

Ik vind het vreemd dat dat varieert per pool, dus afhankelijk van raidz1 / raidz2 en/of van aantallen disks.

[Verwijderd]

@riwi: dat hangt ook af van of je 4K geoptimaliseerd hebt (ashift=12). Als je dan niet optimale configs draait, zul je extra overhead krijgen als 'padding' per 128K. Alle drie de configs die je draait zijn niet optimaal. Die 6x4TB zou je in RAID-Z2 kunnen draaien en 11x2TB kun je misschien 10x2TB van maken. Dat zijn optimale configs. Je hebt dus overal eigenlijk een disk teveel. Dat betekent dat je naast lagere performance ook minder bruikbare opslag hebt percentueel, omdat je overhead groter is.

[riwi]

Ok dat is duidelijk, bedankt. Ik had dat gelezen in de faq maar dacht dat er alleen een performance hit was. De extra ruimte overhead had ik niet bedacht. Alles staat op ashift=12.
De indeling is gekozen aan de hand van wat ik al had liggen en wat ik bij wilde kopen. Ik vond het zonde om nog geld in 2TB disks te steken, of ze op de plank te laten liggen. Ook wilde ik mijn 24 bays vullen.

Ik heb ook nog 8x 1.5TB in raidz1 in een test PC, daar geldt hetzelfde voor.

ik heb momenteel nog ruimte om 1 pool leeg te kopieren en opnieuw in te delen.

edit : zou ik ook de 11x2TB in raidz2 met ashift=9 kunnen draaien?
Dat kost dan wat performance, maar dan win ik met de overhead door de 512 byte sectoren op fs niveau.

[ Voor 13% gewijzigd door riwi op 28-08-2013 13:15 ]

[riwi]

Als ik dit door reken voor niet optimale configs :

ZFS data record van 128kB verdelen over :
3 data schijven = 42.6k, dus 10.67x een 4k sector op iedere schijf, dwz 11 sectoren van 4k per schijf 132kB per ZFS record = 97%
4 data schijven = 32k, dus exact 8x een 4k sector op iedere schijf, dwz 8 sectoren van 4k per schijf 128kB per ZFS record = 100%
5 data schijven = 25.6k, dus 6.4x een 4k sector op iedere schijf, dwz 7 sectoren van 4k per schijf 140kB per ZFS record = 91%
6 data schijven = 21.3k, dus 5.3x een 4k sector op iedere schijf, dwz 6 sectoren van 4k per schijf 144kB per ZFS record = 88%
7 data schijven = 18.2k, dus 4.57x een 4k sector op iedere schijf, dwz 5 sectoren van 4k per schijf 140kB per ZFS record = 91%
8 data schijven = 16k, dus exact 4x een 4k sector op iedere schijf, dwz 4 sectoren van 4k per schijf 128kB per ZFS record = 100%
9 data schijven = 14.2k, dus 3.55x een 4k sector op iedere schijf, dwz 4 sectoren van 4k per schijf 144kB per ZFS record = 88%
10 data schijven = 12.8k, dus 3.2x een 4k sector op iedere schijf, dwz 4 sectoren van 4k per schijf 160kB per ZFS record = 80%
11 data schijven = 11.6k, dus 2.9x een 4k sector op iedere schijf, dwz 3 sectoren van 4k per schijf 132kB per ZFS record = 97%
12 data schijven = 10.6k, dus 2.66x een 4k sector op iedere schijf, dwz 3 sectoren van 4k per schijf 144kB per ZFS record = 89%

edit : percentages toegevoegd

[ Voor 8% gewijzigd door riwi op 28-08-2013 14:14 ]

[FireDrunk]

Ik denk dat dat wel redelijk klopt inderdaad.

[riwi]

FireDrunk schreef op woensdag 28 augustus 2013 @ 14:10:
Ik denk dat dat wel redelijk klopt inderdaad.

Ik kopieer die 11x2TB nu leeg.
Dan test ik de ruimte die ik krijg als ik een pool maak met :
11x2TB in raidz2 met ashift=9
10x2TB in raidz2 met ashift=12
10x2TB in raidz2 met ashift=9

[FireDrunk]

Poeh, jij hebt ruimte over

[Phasis]

Ik kom er niet helemaal uit met spindown. De Hitachi Deskstar 5K4000, 4TB ondersteund geen APM Spindown.
Als ik via Disks > Advanced spindown op 127 zet gaan de schijven uit.
Ik heb een anderhalf uur gewacht maar de schijven gaan niet automatisch in spindown.
Nu heb ik het onderstaande geprobeerd.
Maar weer geen spindown, wacht al 45 min.

# APM or Advanced Power Management controls power saving features of your hard
# drives. To disable the dreaded 'headparking' feature, it is common to enable
# APM to a setting of 254, to disable headparking altogether.
zfsguru_apm_disks="ada0 ada2 ada3 ada4 ada5 ada6"
zfsguru_apm_level="254"
# To enable your disks to spindown whenever inactive for a number of seconds,
# configure both the timer (in seconds) and the disks you want to be spun down.
zfsguru_spindown_enable="YES"
zfsguru_spindown_timer="600"
zfsguru_spindown_disks="ada0 ada2 ada3 ada4 ada5 ada6"
# If you have a pool with L2ARC cache devices present, you might want to warm
# up the L2ARC right after boot with metadata. We can do that by scanning all
# directory layout which will cause metadata to be written to the L2ARC cache.
zfsguru_l2arc_warmup_enable="NO"

[webbier]

Zitten de disks direct op je moederbord of zitten ze op een sata kaart?

[Phasis]

Direct op het moederbord ASRock B75 Pro3-M.

[webbier]

Ik zou alleen de onderste regels in je rc.conf kopieren:

# To enable your disks to spindown whenever inactive for a number of seconds,
# configure both the timer (in seconds) and the disks you want to be spun down.
zfsguru_spindown_enable="YES"
zfsguru_spindown_timer="600"
zfsguru_spindown_disks="ada0 ada2 ada3 ada4 ada5 ada6"

De regels erboven zet je de apm op 254, wat neer komt op geen spindown. Misschien dat daar het probleem zit. Verder zou ik voor te testen de tijd wat lager zetten (bijvoorbeeld 300 seconden) en zorg er in ieder geval ook voor dat de schijven daadwerkelijk idle zijn, anders gaan ze ook niet in spindown.

[Phasis]

Thanks ik ga dat even proberen.

Edit:
Dit maakt geen verschil. Ik heb de spindown timer op 300 gezet. Ze draaien nog steeds.
I/O monitor laat ook geen activiteit zien bij die schijven.

[ Voor 71% gewijzigd door Phasis op 28-08-2013 20:56 ]

[riwi]

FireDrunk schreef op woensdag 28 augustus 2013 @ 17:23:
Poeh, jij hebt ruimte over

Ik had net 6x 4T bij gekocht om deze overstap te kunnen maken

ashift=9 kan ik niet zetten. Na de create klaagt ie niet maar in de zdb printout zie ik gewoon 12 staan ondanks dat ik de create met ashift=9 heb gedaan.
Toch wat create pogingen met vrije ruimte volgens df -k :

11x2T RAIDZ1 18.785.893.632 kB (10 data disks)
11x2T RAIDZ2 16.102.182.144 kB (9 data disks)
10x2T RAIDZ1 17.024.716.160 kB (9 data disks)
10x2T RAIDZ2 14.592.613.504 kB (8 data disks)
9x2T RAIDZ1 15.263.538.580 (8 data disks)
9x2T RAIDZ2 13.083.032.832 (7 data disks)

Dus je kan zien dat RAIDZ2 gewoon extra ruimte nodig heeft. het zit hem niet alleen in de 1,4,8 datadisks en de slack door de 4k sectoren.
RAIDZ2 met 8 datadisks geeft 660GiB minder plek dan RAIDZ1 met 8 datadisks.
RAIDZ2 met 9 datadisks geeft 900GiB minder plek dan RAIDZ1 met 9 datadisks.

Ik ga voor de 11x2T RAIDZ1. Dat levert me 2.7T extra ruimte op tov de RAIDZ2 variant.

[Verwijderd]

Als je ashift=12 hebt hoe kun je dan zeggen dat het daar niet aan ligt?

En wat gebruik je als OS? Kennelijk geen BSD?

[webbier]

Phasis schreef op woensdag 28 augustus 2013 @ 20:13:
Thanks ik ga dat even proberen.

Edit:
Dit maakt geen verschil. Ik heb de spindown timer op 300 gezet. Ze draaien nog steeds.
I/O monitor laat ook geen activiteit zien bij die schijven.

Ik ga er voor het gemak van uit dat je wel opnieuw opgestart hebt, want voor zover ik weet wordt rc.conf alleen aangeroepen tijdens opstarten om een aantal daemons te starten.

Anders zou ik het namelijk ook niet weten, misschien dat CiPHER hier iets meer over kan vertellen.

[riwi]

Verwijderd schreef op woensdag 28 augustus 2013 @ 21:36:
Als je ashift=12 hebt hoe kun je dan zeggen dat het daar niet aan ligt?

En wat gebruik je als OS? Kennelijk geen BSD?

Ik gebruik Slackware64 met 3.2.29 kernel en ZFS-on-Linux. Als ik geen o ashift=.. opgeef neemt ie automatisch 12. Als ik -o ashift=9 opgeef neemt ie toch ashift=12

Ik bedoelde dat als ik 8 datadisks heb er geen slack is tgv de 4k sectoren en dat er toch fors verschil is kwa bruikbare ruimte tussen RAIDZ1 en RAIDZ2 afgezien van de extra redundante disk. Dwz de ZFS overhead is niet alleen te wijten aan de 4k sector slack. Waar het dan wel zit weet ik niet.

[Verwijderd]

ZFS-on-Linux.. tja.

Je kunt pas echt het effect testen van 4K sectoren (ashift=12) als je dezelfde pool met ashift=9 test. Uiteraard is er meer overhead dan alleen slack door 4K sectoren.

@webbier: zfsguru_enable="YES" moet er ook in. APM op 254 hoort geen probleem te zijn in combinatie met de spindown timer, dat zijn afzonderlijke mechanismen. De spindown timer is OS-controlled. Je kunt het ook handmatig uittesten met camcontrol standby -t 30 ada4 bijvoorbeeld.

[webbier]

Dan zou de initiële aanpak van Phasis dus moeten werken, of gaat er daar nog wat mis volgens jou?

[Verwijderd]

Geen idee. Het klopt overigens wel dat de disk gelijk in spindown gaat met die commando's. Dat is iets van FreeBSD. Maar spindown hoort wel te werken. Ik heb hetzelfde moederbord dus zou het vreemd vinden als het bij hem niet werkt.

Laat het hem eens met een kortere timeout proberen. Als hij ZFSguru heeft geïnstalleerd op dezelfde pool dan kan het zijn dan de 10 minuten (600 sec) spindown timer nooit gehaald wordt, natuurlijk.

[Phasis]

Ja ik heb na het wijzigen van de rc.conf het systeem herstart.

zfsguru_apm_disks="ada0 ada2 ada3 ada4 ada5 ada6"
zfsguru_apm_level="255"

Ik heb ook het bovenstaande geprobeerd omdat ik misschien dacht door deze uit de rc.conf te halen deze op 254 bleef staan. Maar ook dit werkt niet.

de regel:
zfsguru_enable="YES"

staat toch al standaard in rc.conf?

[revox862]

riwi schreef op woensdag 28 augustus 2013 @ 21:06:
Ik ga voor de 11x2T RAIDZ1. Dat levert me 2.7T extra ruimte op tov de RAIDZ2 variant.

Gezien de benodigde rebuild tijd van een 2TB schijf en het feit dat je tijdens de rebuild van een RAIDZ1 geen 2e schijf kwijt kan raken, zou ik liever RAIDZ2 gebruiken.

[Habana]

Bij mij werd in ZFSguru APM aan gegeven als unknown (WD20EARX -5X) maar deze heb ik met bv. WDidle3 disabled , daar twee van deze schijven reeds gedisabled waren door eerder gebruik in Synoloy Nas, Is het nu beter om deze disabled te laten of om toch een waarde bv. "254" in te stellen.
ps: ik had deze vraag al min of meer eerder gevraagd aan CiPHER, maar het antwoord in er helaas bij ingeschoten.

[FireDrunk]

APM heeft alleen zin als de schijf het echt goed ondersteund, maar als jij zegt Unkown, klinkt het niet alsof ze hun best doen om zich aan de standaarden te houden.

Spindown is op een andere manier te regelen, dus APM uit is prima (is overigens hetzelfde als APM op 254 zetten). 254 is maximum performance.

[Verwijderd]

APM waarden 254 (max) en 255 (uit) zijn niet hetzelfde! Als je WDIDLE niet hebt gebruikt betekent dat bij 255 hij nog vrolijk gaat headparken, terwijl dat bij 254 is uitgeschakeld.

[FireDrunk]

Oh, ik ben in de war idd, ik bedoelde 255

En ik had even niet door dat het over head parking ging, dat is inderdaad gewoon knudde

[Verwijderd]

Nouja wat ik knudde vind is dat de APM-instelling niet persistent is, en dus verloren raakt na een power cycle. Dat had met patenten te maken van WD, voor zover ik begrepen had. En veel fabrikanten ondersteunen APM nauwelijks behalve voor het uitschakelen van headparking, gemiste kans.

[FireDrunk]

Mja, dan blijft er nog weinig nut over voor APM, het doet dan alleen nog wat voor NCQ geloof ik?

[Phasis]

FireDrunk, CiPHER; enig idee hoe ik de spindown aan de praat krijg met de Hitachi Deskstar schijven?
De schijven zitten rechtstreeks op het moederbord.

CiPHER; Wat betreft L2ARC heb ik nu 2 partities gemaakt op mijn Intel 320 SSD.
Op de ene staat zfsguru. De ander heb ik toegewezen aan L2ARC.

Is dit de manier wat jij bedoelde met:
zfs set secondarycache=metadata l2arc

de pool die toegewezen is aan L2ARC heb ik l2arc genoemd.

[ Voor 6% gewijzigd door Phasis op 29-08-2013 15:22 ]

[FireDrunk]

Wat heb je zelf al geprobeerd? Aataidle, camcontrol, APM?

[Phasis]

FireDrunk schreef op donderdag 29 augustus 2013 @ 15:25:
Wat heb je zelf al geprobeerd? Aataidle, camcontrol, APM?

Als ik via disks > advanced de APM instel op disks APM 127 bijvoorbeeld gebeurd er niets, ik heb zo'n anderhalf a 2 uur gewacht. Als ik op de knop spindown klik en dit vervolgens doe voor alle overige disks dan gaan ze in spindown. Handmatig werkt het dus.

Toen kwam ik CiPHER z'n post tegen (zie mijn eerdere posts):
ee /etc/rc.conf
Verwijderd in "Het grote ZFS topic"
De volgende wijzigingen aangebracht:

zfsguru_apm_disks="ada0 ada2 ada3 ada4 ada5 ada6"
zfsguru_apm_level="254"
zfsguru_spindown_enable="YES"
zfsguru_spindown_timer="300"
zfsguru_spindown_disks="ada0 ada2 ada3 ada4 ada5 ada6"

Ook nu geen spindown.
Dit is wat ik tot nu toe heb geprobeerd.

Edit:

code:

[ssh@zfsguru ~]$ cat /etc/rc.conf
#
## /etc/rc.conf
## Run Control configuration
## for Root-on-ZFS distributions
#

## Network
# feel free to change the hostname, but you need to edit /etc/hosts as well
hostname="zfsguru.bsd"

# add interfaces at your leisure when requiring static configuration
ifconfig_DEFAULT="DHCP"
#ifconfig_em0="inet 10.0.0.100 netmask 255.255.255.0"
#ifconfig_em0="DHCP mtu 7000"

# if you want static IP, you need to specify default gateway here
#defaultrouter="10.0.0.1"
# don't forget to edit /etc/resolv.conf for DNS configuration as well!


## Local Daemons
zfs_enable="YES"
powerd_enable="YES"
ntpdate_enable="YES"
ntpdate_hosts="0.pool.ntp.org 1.pool.ntp.org 2.pool.ntp.org 3.pool.ntp.org"

## Network listening Daemons
lighttpd_enable="YES"
sshd_enable="YES"
samba_enable="YES"

## Firewall
#pf_enable="YES"

## NFS
nfs_server_enable="YES"
mountd_enable="YES"
mountd_flag="-r"
rpcbind_enable="YES"
rpc_lockd_enable="YES"
rpc_statd_enable="YES"
# if you have problems, perhaps you can try the old NFS server:
#oldnfs_server_enable="YES"

## Sendmail
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"
sendmail_clientmqueue_enable="NO"

## Graphics environment
#moused_enable="YES"
#usbd_enable="YES"
# note: you need services installed for the settings below to have any effect
#gnome_enable="YES"
#kdm_enable="YES"
#xfce_enable="YES"

## Misc
# this value needs to be NO for LiveCD/Embedded distribution
# and must be YES (the default) for Root-on-ZFS distributions
root_rw_mount="YES"

## GPU power saving - turns off monitor after 300 sec (5 min)
saver="green"
blanktime="300"

# CPU power saving - enable highest C power state available for your CPU
performance_cx_lowest="Cmax"
economy_cx_lowest="Cmax"

## Synchronous DHCP
# enabling sync. DHCP will cause the system to wait for a DHCP lease before 
# it finishes booting. This should prevent services to not have a working
# network interface when they start at boot time.
# enabling this setting may cause a long wait time during boot if you
# don't have any DHCP functionality.
synchronous_dhclient="YES"

zfsguru_apm_disks="ada0 ada2 ada3 ada4 ada5 ada6"
zfsguru_apm_level="255"

# To enable your disks to spindown whenever inactive for a number of seconds,
# configure both the timer (in seconds) and the disks you want to be spun down.
zfsguru_spindown_enable="YES"
zfsguru_spindown_timer="300"
zfsguru_spindown_disks="ada0 ada2 ada3 ada4 ada5 ada6"

# If you have a pool with L2ARC cache devices present, you might want to warm
# up the L2ARC right after boot with metadata. We can do that by scanning all
# directory layout which will cause metadata to be written to the L2ARC cache.
#zfsguru_l2arc_warmup_enable="NO"

# end

[ Voor 64% gewijzigd door Phasis op 29-08-2013 15:42 ]

[FireDrunk]

Niet alle schijven honoreren APM hetzelfde, je kan beter ataidle gebruiken (hangt samen met atacontrol).

[MdBruin]

Ik heb hier een beetje hetzelfde probleem, alleen bij mij hangen de schijven aan een Intel SASUC8I.
Hiervan ben ik na veel zoeken op het internet dat het komt doordat niet elk camcontrol command wordt geaccepteerd (ata commando's vs. scsi commando's).
Naar aanleiding daarvan ben ik opzoek gegaan naar een script welke de hardeschijven uit kan zetten indien er na een bepaalde tijd nog inactiviteit op de schijven plaats vind, alleen deze gaan er blijkbaar vanuit dat het een camcontrol compatibele schijf is. Want ze werken bij mij niet.

Wat werkt wel: camcontrol stop da0 (of tot en met de laaste schijf 6)
De hardeschijven spinnen dan welk down, maar mijn kennis qua scripten is niet goed genoeg om even een script aan te passen.

Welke scripts heb ik o.a. gevonden:
http://forums.servethehom...lds/36-freebsd-vault.html
En natuurlijk het script wat hierboven staat ben ik ook meerdere keren tegengekomen

Is er een manier welke de hardschijven automatisch uit kan zetten, hetzij door een script hetzij door een aanpassing in rc.conf. Ik ben al een tijdje aan het zoeken, maar het kan best zijn dat ik op verkeerde zoekwoorden zoek.

[Phuncz]

Een tijdje geleden had men het over Load Cycle Count en hoe je het kan beperken. Dit zijn de stats van mijn disks die met wdidle3 via Ultimate Boot CD aangepast zijn naar 300 seconden. Raad eens welke disks jaren in mijn desktop hebben gezeten:

code:

WDC WD20EARS-00MVWB0 Load_Cycle_Count - 53318
WDC WD20EZRX-00DC0B0 Load_Cycle_Count - 172
WDC WD20EZRX-00DC0B0 Load_Cycle_Count - 165
WDC WD20EZRX-00D8PB0 Load_Cycle_Count - 158
WDC WD20EZRX-00D8PB0 Load_Cycle_Count - 174
WDC WD20EARS-00S8B1  Load_Cycle_Count - 297598

De EZRX-drives steken er nu ongeveer 2 weken in.

[Verwijderd]

Ziet er mooi uit! 150-200 cycles voor 2 weken is ook uitstekend. Beter dan helemaal uitschakelen wat mij betreft. Als WD dit nou standaard zo zou instellen. Geen idee waarom hun headparking zo extreem agressief afgesteld moet zijn, helemaal voor 3,5" disks.

[Phasis]

FireDrunk schreef op donderdag 29 augustus 2013 @ 15:43:
Niet alle schijven honoreren APM hetzelfde, je kan beter ataidle gebruiken (hangt samen met atacontrol).

Thanks dat is gelukt.

Zo te zien kan ik via ataidle APM instellen wat raden jullie aan?

root@zfsguru /home/ssh]# ataidle /dev/ada0
Model: Hitachi HDS5C4040ALE630
Serial: PL2331LAG8TZBJ
Firmware Rev: MPAOA3B0
ATA revision: ATA-8
LBA 48: yes
Geometry: 16383 cyls, 16 heads, 63 spt
Capacity: 3726GB
SMART Supported: yes
SMART Enabled: yes
Write Cache Supported: yes
Write Cache Enabled: yes
APM Supported: yes
APM Enabled: no
AAM Supported: no

En mijn laatste vraag wat houd -I in, idle mode. In de manpage staat het volgende maar dat is me nog niet duidelijk wat nu precies het verschil is met -S.

Puts the drive into Idle mode and configures the standby timer
to put the drive into Standby mode after standby_mins minutes of
inactivity.

[Phuncz]

Verwijderd schreef op donderdag 29 augustus 2013 @ 17:43:
Ziet er mooi uit! 150-200 cycles voor 2 weken is ook uitstekend. Beter dan helemaal uitschakelen wat mij betreft. Als WD dit nou standaard zo zou instellen. Geen idee waarom hun headparking zo extreem agressief afgesteld moet zijn, helemaal voor 3,5" disks.

Ik vermoed dat ze gewoon zo laag mogelijke verbruikscijfers willen scoren en ze onderzocht hebben dat de meeste mensen toch niet zoveel last ondervinden van die headparking. Het blijven natuurlijk goedkope Green-drives die ook in goedkope desktop PC's steken.

Persoonlijk vond ik het geen probleem om dit aan te passen aangezien ik (door dit topic te lezen) wist dat dit onder ZFS een issue zou zijn. Het zou wel handiger zijn geweest als ik onmiddellijk erachter was gekomen dat de WDIDLE3 tool gewoon op recente Ultimate Boot CD's staan...

[FireDrunk]

Over ZFSonLinux en automatische ASHIFT instellingen:

In addition, ZFSOnLinux now has an internal database of drives known to misreport sector size information, which should improve the performance of pools made by people unaware of ashift whenever they use hardware listed in the database.

Goede ontwikkelingen dus! ZFSonLinux word een steeds beter alternatief voor BSD

[syl765]

FireDrunk schreef op vrijdag 30 augustus 2013 @ 09:31:
Over ZFSonLinux en automatische ASHIFT instellingen:


[...]


Goede ontwikkelingen dus! ZFSonLinux word een steeds beter alternatief voor BSD

Voor de gemiddelde gebruiker zeker, maar als jij voor je bedrijf ZFS gaat implementeren en je weet niets over een ashift, dan moet je het niet doen!
Zo'n database moet ook maar weer onderhouden worden, en brengt weer een hoop extra code met zich mee.
Ik denk dan ook dat voor de thuisgebruiker Linux zeker een optie is, maar als je serieus aan de gang wilt met ZFS, dan zijn BSD en de illumos afgeleide in mijn ogen toch een veiligere optie.

gr
Johan

[Phasis]

Niemand?

[Xudonax]

Phasis schreef op donderdag 29 augustus 2013 @ 18:07:
En mijn laatste vraag wat houd -I in, idle mode. In de manpage staat het volgende maar dat is me nog niet duidelijk wat nu precies het verschil is met -S.

Als dit een beetje lijkt op hoe het met hdparm onder Linux werkt, dan word je schijf dus meteen in idle of standby modus geplaatst (kop parkeren en schijf stoppen), en word de timer die dit automatisch doet gezet. Dit zorgt ervoor dat in het vervolg de schijf na X seconden inactiviteit zichzelf uitzet.

[sphere]

http://raspberry-python.b...-on-raspberry-pi.html?m=1

Ben benieuwd of je een zfs disk over het Internet kan gebruiken voor back-up. Maar een 11 W asrock systeem is vast handiger

[Dadona]

Dat moet een grap/omdat het kan zijn toch? Zelfs Model B heeft maar 512MB...

[ Voor 10% gewijzigd door Dadona op 31-08-2013 14:13 ]

[jimmy87]

Niet voor niks dat ze er niet meer dan 10MB/s uitkrijgen

[HyperBart]

Dat is omdat het van een SD kaart komt. Heeft niet noodzakelijk te maken met de performantie van de ARM-cpu.

Sowieso ben je gelimiteerd tot de snelheid van USB 2.0. De rPi heeft geen andere interfaces die sneller zijn dan dat. En netwerkgewijs zit je gecapped aan 10MB/s. Ik zeg niet dat voor iedereen haalbaar is. Maar als mini-backup bakje voor documenten en foto's lijkt het mij net te doen.


Even over iets anders, ik heb een pool maxim met daarop X aantal filesystems.

Ik heb een pool titan zonder expliciet andere gedefinieerde FS'en.

De data moet van maxim naar titan komen. Is er een commando waarmee ik het hele zootje aan een stuk door kan laten kopieren? Vorige keer heb ik per FS een snapshot gemaakt en gesend en gereceived. Ik wil het nu in een rits doen...


EDIT:

Voor diegenen die dus ooit van één pool naar een andere pool willen verhuizen, here is how to: (2 pools, "source" en "destination"):

Je maakt de destination pool aan, maar zonder snapshots, geen child FS en alles wat er op staat ben je kwijt!

Ik doe de send en receive in een screen sessie om te voorkomen dat wanneer ik uitlog ik het boeltje kwijt ben. Detachen doe je met Ctrl A en dan Ctrl D . Screen is een aparte binary die je via ports moet installeren.

screen -RD werkertje

zfs snapshot -r source@mijnteverzendensnapshotje

zfs send -vR source@mijnteverzendensnapshotje | zfs recv -vdF destination

Je gaat een summary krijgen van alle data per FS en vervolgens trapt ie onmiddellijk af met het eerste filesystem met per seconde de data die hij al getransfereerd heeft.

[ Voor 34% gewijzigd door HyperBart op 31-08-2013 22:19 ]

[Phasis]

Nat het installeren van Ubuntu 12.04 LTS heb ik de spindown ingesteld in /etc/hdparm.conf door de spindown_time = 120 te enablen.
Dit werkte prima. Tot ik vanmorgen keek, hdparm lijkt niet meer te reageren.
Na het instellen van hdparm heb ik zfsonlinux geïnstalleerd.
Als ik 'hdparm -y /dev/sd[b-g] instel gaan de betreffende disks gelijk in spindown. Handmatig werkt dit dus prima.
APM staat op 255.

Kortom ik snap er helemaal niks van.
Wat ik op google lees is dat er waarschijnlijk een proces is die de timer terug zet op 0 en daardoor de schijven niet in spindown gaan. Als ik de schijven handmatig in spindown zet dan blijven ze wel netjes in spindown.

Ik heb wel deze cmd gebruikt:

code:

update-rc.d -f hdparm remove

Maar of dit er iets mee te maken heeft ben ik nog niet achter.

Andere geinstalleerde packages:
oscam-svn
tvheadend
sundek mediatv pro driver
sabnzbdplus

[ Voor 9% gewijzigd door Phasis op 01-09-2013 20:15 ]

[Xudonax]

Met die update-rc.d heb je hdparm uit de set opstartbestanden gehaald Even opzoeken hoe je 'em er weer in krijgt en dan komt het helemaal goed verwacht ik.

[Phasis]

Xudonax schreef op zondag 01 september 2013 @ 20:58:
Met die update-rc.d heb je hdparm uit de set opstartbestanden gehaald Even opzoeken hoe je 'em er weer in krijgt en dan komt het helemaal goed verwacht ik.

Ok dus toch, ik ga even googlen thx!

Edit:

code:

sudo update-rc.d -f hdparm defaults
update-rc.d: /etc/init.d/hdparm: file does not exist

Krijg ik, heb even op een andere Ubuntu 12.04 LTS server gekeken en daar krijg ik exact dezelfde melding.

Ook als ik het onderstaande doe, gaan de schijven niet in spindown:

code:

sudo hdparm -S60 /dev/sd[b-g]

/dev/sdb:
 setting standby to 60 (5 minutes)

/dev/sdc:
 setting standby to 60 (5 minutes)

/dev/sdd:
 setting standby to 60 (5 minutes)

/dev/sde:
 setting standby to 60 (5 minutes)

/dev/sdf:
 setting standby to 60 (5 minutes)

/dev/sdg:
 setting standby to 60 (5 minutes)

[ Voor 52% gewijzigd door Phasis op 01-09-2013 21:24 ]

[riwi]

FireDrunk schreef op vrijdag 30 augustus 2013 @ 09:31:
Over ZFSonLinux en automatische ASHIFT instellingen:
[...]
Goede ontwikkelingen dus! ZFSonLinux word een steeds beter alternatief voor BSD

Ik ben er momenteel ook wel tevreden over.
De ashift wordt als je hem niet opgeeft automatisch gekozen bij ZoL. Ik denk dat als je ashift=9 opgeeft en je hebt disken met 4k sectoren dat ie toch ashift=12 doet. Op zich niet zo erg misschien, al houd ik er meer van dat commando's doen wat je specificeert.

Ik lees op de google groups zfs user discussie toch ook wel wat problemen die er nog zijn. Ik wil me daar wel verder inlezen nog, ook in het develop gedeelte.
Iedereen zegt dat pools met veel disken en > 2TB per disk minstens raidz2 nodig heeft. Mijn 4 pools zitten nu op raidz1 met 11, 8, 7 en 6 disks. Ik kom van raid-0 LVM dus ik dacht ik heb wel aan redundancy gewonnen. Misschien loop ik met zfs wel meer gevaar en is raidz2 echt nodig. Ik slaap er nog een nachtje over

hardware pagina van de NAS PC bijgewerkt.

[ Voor 4% gewijzigd door riwi op 02-09-2013 01:15 ]

[FireDrunk]

RAIDZ1 voor veel disks is nog steeds beter dan RAID0 inderdaad, en of je echt *perse* RAIDZ2 nodig hebt, valt over te twisten.

Tuurlijk is het veiliger, maar als jij vindt dat je het niet nodig hebt, is het prima hoor. Goede monitoring inschakelen om tijdig een replacement disk in te proppen en ik voorzie niet veel problemen.

[SJB]

Nadat mijn server met ZFSGuru was vastgelopen heb ik een hard reset moeten uitvoeren, lukt het me niet meer om de server op te starten en de data te benaderen.

Stappen ondernomen:
1. Corrupte bestanden via web-interface verwijderen. Tijdens uitvoeren van de commands liep het systeem vast. Opnieuw opstarten zorgde ervoor dat de web-interface niet meer te bereiken was.
2. Via dit forum gevonden dat een scrub zou kunnen helpen. Via shell access scrub aangezet, na ~30% weer vastloper.
3. Via live cd/shell acces geprobeerd pool opnieuw te importeren, niet gelukt.
4. Web-interface is niet toegankelijk, terwijl ik de laatste live-cd heb gedownload. server en pc hangen in hetzelfde netwerk. Server krijgt ook een ip toegewezen, maar is dus niet toegankelijk.

Iemand een tip hoe ik mijn data weer toegankelijk maak? Kan ik via shell access enkele commando's invoeren zodat de installatie zich weer hersteld?

[FireDrunk]

Ik denk dat je iets meer context moet geven, werk je virtueel? Watvoor specs heeft de machine?
Heb je al gekeken naar smart? Zie je foutmeldingen in de kernel logs / console voorbij komen?

[SJB]

Specs:
Intel G2020
ASRock B75 Pro3-M
16GB geheugen
2x 2TB WD20EARX
2x 1TB Samsung ..

2 schijven van 1TB staan in Raid0, zodat ik een RaidZ kon maken van 3x2TB
Niet virtueel

Hoe kan ik smart/logs uitlezen via shell (kom niet meer in de webinterface)?
Als ik de server opstart zonder live cd, blijft deze hangen bij 'mountroot'

[FireDrunk]

Je hebt dus een array gemaakt van 3x2TB waarvan 1 x 2TB die twee 1TB disks zijn.

Hoe heb je die RAID1 gemaakt?

[SJB]

FireDrunk schreef op dinsdag 03 september 2013 @ 12:46:
Je hebt dus een array gemaakt van 3x2TB waarvan 1 x 2TB die twee 1TB disks zijn.

Hoe heb je die RAID1 gemaakt?

Ja, dat klopt. De Raid heb ik ook via de web-interface aangemaakt. Eerst de 2x1 naar 2 en toen de 3x2. DIt heeft een half jaar zonder problemen gedraaid. Dit wil ik ook niet veranderen, maar ik kan het niet meer benaderen

[FireDrunk]

Wat gebeurt er als je de LiveCD start? Krijg je foutmeldingen? krijg je geen console?

[SJB]

ZFSGuru start in de meeste gevallen goed op wanneer ik de live cd start (tot het menu met de tekst 'web-interface is running at 0.0.0.0). het ip adres is hier altijd al 0.0.0.0 (was eerder ook zo), mijn router wijst wel een ip in de 192.168.x.x.-reeks toe. wanneer ik het ip invul in IE dan krijg ik de melding: 'Deze webpagina is niet beschikbaar'

In enkele gevallen start de live-cd niet goed op en blijft deze hangen. Ik zie dan onder andere de fout 'segmentation fault' en blijven er enkel dezelfde regels met 'vreemde tekens' zichtbaar.

[FireDrunk]

segmentation fault betekend heel vaak een volle root partitie of kapot geheugen.
Aangezien een LiveCD met een Root in geheugen werkt, kan ik mij voorstellen dat er iets met je geheugen is.

Draai eens een Memtest met alle reepjes, en als je niets kan vinden, probeer het dan eens met maar 1 reepje.

[ Voor 16% gewijzigd door FireDrunk op 03-09-2013 14:45 ]

[Phasis]

Iemand die weet kan ik kan doen om hdparm te fixen? Het is me nog steeds niet gelukt.

[FireDrunk]

hdparm is default toch helemaal geen service?
Je moet die file zelf maken.

Dus doe:

nano /etc/init.d/hdparm

en stop daar in:

hdparm -S60 /dev/sd[b-g]

CTRL + O, [Enter], CTRL + X
daarna:

chmod +x /etc/init.d/hdparm

Daarna:

update-rc.d hdparm defaults 100

[SJB]

Er was inderdaad een geheugen probleem! Memtest gaf vele fouten aan, met een van de reepjes geheugen startte de server niet op, de andere lijkt wel prima na een korte test (laat deze nog wel een nachtje memtest doorlopen). Bedankt voor de tip FireDrunk!

De web-interface is weer bereikbaar via de live-cd en heb daarmee de pool kunnen terugzetten. Daarna een scrub uitgevoerd die 15Gb heeft hersteld.

Booten vanaf de harde schijf werkt ook weer en ik kan al mijn data weer benaderen via win explorer, maar de web-interface is niet helemaal ok. ik krijg deze foutmelding:

Error

An unexpected exception occurred. When asking for help about this issue, please write down the message below.

ERROR: Required binary "/usr/local/bin/sudo" not found or not executable; aborting

Hoe kan ik dit weer goed krijgen?

[FireDrunk]

Oe lastige... Je kan hem proberen te kopieren van de LiveCD.

[Xudonax]

Kun je niet "gewoon" ZFSGuru opnieuw installeren? Dan zou je MO weer helemaal up-to-date moeten zijn, maar je bent mogelijk wel wat instellingen kwijt... Ik moet er wel bij zeggen dat ik vrijwel geen ervaring heb met ZFSGuru

[SJB]

Kopiëren van de liveCD.. ik weet niet waar ik naar moet zoeken, laat staan waar ik het moet neer zetten..

Opnieuw installeren heb ik ook geprobeerd, maar zit daar vast in een loop Wanneer ik de liveCD opstart, kan ik mijn pool terugzetten. Als ik dan de pool probeer te benaderen of andere versie wil installeren (via liveCD), restart mijn systeem. Daarna is de pool weer weg en ben ik weer bij het begin.

Is het normaal dat het systeem restart wanneer een pool is teruggezet? Anders heb ik wellicht nog ergens een ander probleem..

EDIT: map is niet te vinden op de cd

EDIT2: probleem is nu opgelost! Zolang ik de pool enkel importeer en niet aanklik in de web-interface, geen restart. Zo heb ik ZFS Guru opnieuw geïnstalleerd en werkt alles weer.

[ Voor 16% gewijzigd door SJB op 04-09-2013 20:07 ]

[Xudonax]

Je weet waar het bestand staat op de LiveCD (dezelfde plek als waar 'ie over klaagt waarschijnlijk ), dus als je deze op dezelfde plek terug kunt zetten op je rootpool ben je er lijkt me

EDIT: Even een ander vraagje, ik heb eventjes heel fout een benchmark gedaan vanuit mijn Windows Vista VM (volledig up-to-date, 32 bits). An sich is de leessnelheid best aardig op ~460MByte/s, maar de schrijfsnelheid vind ik enigszins tegenvallen met "maar" ~110MByte/s. De pool bestaat uit 6 2.5" disksjes en een Intel 320 SSD van 120GB (12GB als SLOG en 40GB als L2ARC). Ik heb de snelheden al ver kunnen verhogen door atime uit te zetten, maar is de schrijfperformance nog verder te verhogen?



Ik zal een dezer dagen nog even kijken met bonnie++ of iozone, maar ik moet eerst even uitzoeken hoe ik dat goed doe

[ Voor 64% gewijzigd door Xudonax op 03-09-2013 22:30 ]

[Phasis]

FireDrunk schreef op dinsdag 03 september 2013 @ 18:58:
hdparm is default toch helemaal geen service?
Je moet die file zelf maken.

Dus doe:

nano /etc/init.d/hdparm

en stop daar in:

hdparm -S60 /dev/sd[b-g]

CTRL + O, [Enter], CTRL + X
daarna:

chmod +x /etc/init.d/hdparm

Daarna:

update-rc.d hdparm defaults 100

Bedankt voor je reactie. Ik lees deze nu net.
Heb hiervoor Ubuntu Server 12.04 opnieuw geïnstalleerd. En gelijk na de kale installatie /etc/hdparm.conf spindown_time = 24 aangezet en een reboot gedaan. Weer gebeurd er helemaal niks.
Ik zal dit eens proberen.

[FireDrunk]

Xudonax schreef op dinsdag 03 september 2013 @ 20:18:
Je weet waar het bestand staat op de LiveCD (dezelfde plek als waar 'ie over klaagt waarschijnlijk ), dus als je deze op dezelfde plek terug kunt zetten op je rootpool ben je er lijkt me

EDIT: Even een ander vraagje, ik heb eventjes heel fout een benchmark gedaan vanuit mijn Windows Vista VM (volledig up-to-date, 32 bits). An sich is de leessnelheid best aardig op ~460MByte/s, maar de schrijfsnelheid vind ik enigszins tegenvallen met "maar" ~110MByte/s. De pool bestaat uit 6 2.5" disksjes en een Intel 320 SSD van 120GB (12GB als SLOG en 40GB als L2ARC). Ik heb de snelheden al ver kunnen verhogen door atime uit te zetten, maar is de schrijfperformance nog verder te verhogen?

[afbeelding]

Ik zal een dezer dagen nog even kijken met bonnie++ of iozone, maar ik moet eerst even uitzoeken hoe ik dat goed doe

Sync uitzetten. ZIL uitzetten. (niet aan te raden natuurlijk )

[ItsValium]

Xudonax schreef op dinsdag 03 september 2013 @ 20:18:
Je weet waar het bestand staat op de LiveCD (dezelfde plek als waar 'ie over klaagt waarschijnlijk ), dus als je deze op dezelfde plek terug kunt zetten op je rootpool ben je er lijkt me

EDIT: Even een ander vraagje, ik heb eventjes heel fout een benchmark gedaan vanuit mijn Windows Vista VM (volledig up-to-date, 32 bits). An sich is de leessnelheid best aardig op ~460MByte/s, maar de schrijfsnelheid vind ik enigszins tegenvallen met "maar" ~110MByte/s. De pool bestaat uit 6 2.5" disksjes en een Intel 320 SSD van 120GB (12GB als SLOG en 40GB als L2ARC). Ik heb de snelheden al ver kunnen verhogen door atime uit te zetten, maar is de schrijfperformance nog verder te verhogen?

[afbeelding]

Ik zal een dezer dagen nog even kijken met bonnie++ of iozone, maar ik moet eerst even uitzoeken hoe ik dat goed doe

In de veronderstelling dat je pool een RAIDZ1/2 is zal de schrijfsnelheid nooit echt veel sneller pieken dan een single disk voor sequentiele transfers.

[FireDrunk]

Dat gaat om random IOPS, niet om sequentiele snelheden. Sequentieel kan je prima boven 1 disk uitkomen.

[Phasis]

hdparm vertikt het gewoon om die schijven in standby te zetten lijkt wel. Ik snap er helemaal niks van.

[0xDEADBEEF]

SJB schreef op dinsdag 03 september 2013 @ 20:16:
Kopiëren van de liveCD.. ik weet niet waar ik naar moet zoeken, laat staan waar ik het moet neer zetten..

Opnieuw installeren heb ik ook geprobeerd, maar zit daar vast in een loop Wanneer ik de liveCD opstart, kan ik mijn pool terugzetten. Als ik dan de pool probeer te benaderen of andere versie wil installeren (via liveCD), restart mijn systeem. Daarna is de pool weer weg en ben ik weer bij het begin.

Is het normaal dat het systeem restart wanneer een pool is teruggezet? Anders heb ik wellicht nog ergens een ander probleem..

EDIT: map is niet te vinden op de cd

Als je sudo vanaf de LiveCD kopieërt, vergeet dan de permissie-bits niet:
[code]
$ ls -alo /usr/local/bin/sudo
-rwsr-xr-x 1 root wheel - 112984 Sep 4 03:19 sudo

$ file /usr/local/bin/sudo
/usr/local/bin/sudo: setuid ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked (uses shared libs), for FreeBSD 9.1, stripped[/]

Dus 'chmod 4755 /usr/local/bin/sudo'

http://www.freebsd.org/cgi/man.cgi?mdconfig

code:

# mdconfig -f ZFSguru-LiveCD-0.2-beta8-amd64-normal.iso
md0
# mount -t cd9660 /dev/md0 /mnt

# cp /mnt/system.ufs.uzip /tmp
# umount /mnt

# mdconfig -af /tmp/system.ufs.uzip
md1

# mount -o ro /dev/md1.uzip /mnt
# cp -av /mnt/usr/local/bin/sudo /usr/local/bin/sudo
# umount /mnt
# rm -f /tmp/system.ufs.uzip

[ Voor 63% gewijzigd door 0xDEADBEEF op 04-09-2013 17:26 ]

[DrDoo]

Ondanks dat een hoop al in de begin post staat was dit voor mij een heel informatieve post;
explaining VDev, zpool, ZIL and L2ARC for noobs!

[u_nix_we_all]

FireDrunk schreef op dinsdag 03 september 2013 @ 18:58:
hdparm is default toch helemaal geen service?
Je moet die file zelf maken.

Dus doe:

nano /etc/init.d/hdparm

en stop daar in:

hdparm -S60 /dev/sd[b-g]

CTRL + O, [Enter], CTRL + X
daarna:

chmod +x /etc/init.d/hdparm

Daarna:

update-rc.d hdparm defaults 100

Hdparm is geen service, dus dat hele startscript is vrij onzinnig. (In die directory horen init-scripts, maar aangezien het alleen een process uitvoert wat niet blijft lopen, geen stop/start/status/restart opties herkent noem ik het maar even startscript. Het zou wel kunnen werken maar omdat het default bij starten van het systeem met de parameter start wordt aangeroepen zou het nog een foutmelding moeten geven ook.)

Ik zou gewoon die hdparm in rc.local gooien.

Waarom die hdparm het niet doet is een tweede vraag, maar dat zou ik zo ook niet weten. Wat ik wel wil aanraden is het volledige pad naar hdparm te gebruiken als je het in een script (of /etc/rc.local) gebruikt, dus met /sbin/ ervoor.

[FireDrunk]

rc.local kan ook prima.

Het gebruik van:
update-rc.d hdparm defaults 100

staat gewoon als best-practice voorbeeld op de Ubuntu site...

Ik had het indertijd ook in rc.local zitten, werkte inderdaad ook prima.

[ Voor 21% gewijzigd door FireDrunk op 04-09-2013 17:56 ]

[u_nix_we_all]

FireDrunk schreef op woensdag 04 september 2013 @ 17:55:
staat gewoon als best-practice voorbeeld op de Ubuntu site...

Dat is apart, daar is namelijk rc.local juist voor gemaakt. Hdparm is geen service, en dat wordt het ook niet door er een initscript van te maken.
Zo wordt bijvoorbeeld met dat script in /etc/init.d/hdparm bij het afsluiten van je systeem ook

code:

/etc/init.d/hdparm stop

uitgevoerd. Waarmee je nogmaals die hdparm -S60 uitvoert. Om van de best-practices waar een init-script minimaal aan moet voldoen maar helemaal niet te spreken. Nee, het is gewoon fout IMHO. Kan me niet schelen wat de ubuntu-site er van vind

[FireDrunk]

True, rc.local is netter

Ik poogde hem alleen maar te helpen zijn service werkend te krijgen.

Gelijk bashen met: Ge doet het helemaal verkeerd!!!111!!! vond ik een beetje bot

[u_nix_we_all]

FireDrunk schreef op woensdag 04 september 2013 @ 18:07:
True, rc.local is netter

Ik poogde hem alleen maar te helpen zijn service werkend te krijgen.

Gelijk bashen met: Ge doet het helemaal verkeerd!!!111!!! vond ik een beetje bot

Ach, het was niet als bashen bedoeld hoor (kom ik bot over ?) , zie het meer als eh ... kennisdeling, aanvullende tips, ofzo.

[Xudonax]

FireDrunk schreef op woensdag 04 september 2013 @ 13:20:
[...]


Sync uitzetten. ZIL uitzetten. (niet aan te raden natuurlijk )

Sync uit kan an-sich wel denk ik... Er zit toch een SLOG device voor dus als het goed is komt alles daar eerst op terecht. Toch? Dat ZIL uitzetten niet handig is dat kan ik begrijpen ja

EDIT: Even getest met sync=disabled, dat scheelt praktisch niets. Read word dan krap 510MB/s (duidelijk uit cache, zo snel zijn mijn schijven niet) en write word dan ~125MB/s... Niet echt wat ik zocht dus. Helaas

[ Voor 22% gewijzigd door Xudonax op 04-09-2013 18:42 ]

[MdBruin]

Xudonax schreef op woensdag 04 september 2013 @ 18:24:
[...]


Sync uit kan an-sich wel denk ik... Er zit toch een SLOG device voor dus als het goed is komt alles daar eerst op terecht. Toch? Dat ZIL uitzetten niet handig is dat kan ik begrijpen ja

EDIT: Even getest met sync=disabled, dat scheelt praktisch niets. Read word dan krap 510MB/s (duidelijk uit cache, zo snel zijn mijn schijven niet) en write word dan ~125MB/s... Niet echt wat ik zocht dus. Helaas

Draait je zfs storage ook in een VM?
Wat mij opviel toen in ZFSGuru in een VM (ESXI 5.1) stopte dat de schrijfsnelheid flink naar beneden ging, toen ik een core toevoegde in de configuratie (1 cpu 2 cores) van de VM ging de snelheid weer omhoog. Meer geheugen toekennen had bij nauwelijks tot geen effect

[syl765]

Xudonax schreef op woensdag 04 september 2013 @ 18:24:
[...]


Sync uit kan an-sich wel denk ik... Er zit toch een SLOG device voor dus als het goed is komt alles daar eerst op terecht. Toch? Dat ZIL uitzetten niet handig is dat kan ik begrijpen ja

EDIT: Even getest met sync=disabled, dat scheelt praktisch niets. Read word dan krap 510MB/s (duidelijk uit cache, zo snel zijn mijn schijven niet) en write word dan ~125MB/s... Niet echt wat ik zocht dus. Helaas

sync=diabled, is zeggen dat de SLOG/ZIL niet meer gebruikt hoeft te worden.
Dus een SLOG/ZIL device toevoegen en dan sync op disabled zetten is wel heel erg vreemd.
Heb je geen apparte SLOG/ZIL vdev, dan gebruikt zfs de vdevs van de pool zelf.

gr
johan

[FireDrunk]

Nee dat is niet helemaal waar... Sync=disabled wil niet zeggen dat ZIL niet meer gebruikt word, het word alleen niet meer gebruikt voor user data. ZFS zelf gebruikt ook ZIL. Als je ZIL helemaal uit zet, blijft ZFS nog steeds intact alleen kan je potentieel *veel* meer writes verliezen (ik dacht tot enkele minuten terug).

ZFS Meta updates gebeuren dan namelijk ook async. C.M.I.I.W.

[syl765]

Ik weet het niet helemaal zeker,maar volgens mij hebben wij op de zaak gezien dat als we sync=disabled zetten op de dataset dat er totaal geen activiteit meer was naar de SLOG vdev. (was maar 1 dataset.)

https://blogs.oracle.com/brendan/entry/slog_screenshots

Hier staat ook een mooi plaatje bij.

gr
Johan

[ Voor 56% gewijzigd door syl765 op 04-09-2013 20:20 . Reden: Ik begin nu toch ook een beetje te twijfelen ... ]

[Xudonax]

MdBruin schreef op woensdag 04 september 2013 @ 19:25:
[...]


Draait je zfs storage ook in een VM?
Wat mij opviel toen in ZFSGuru in een VM (ESXI 5.1) stopte dat de schrijfsnelheid flink naar beneden ging, toen ik een core toevoegde in de configuratie (1 cpu 2 cores) van de VM ging de snelheid weer omhoog. Meer geheugen toekennen had bij nauwelijks tot geen effect

Nope, ZFS storage draait (via ZFS on Linux met Fedora 19, kernel 3.10.10) gewoon bare metal. Ik zal zo nog eens even kijken wat dd ervan kan maken bij gebrek aan een fatsoenlijke benchmark tool

EDIT: Scratch that, compressie werkt nu ineens wél mee met dd writes. 3,4GB/s schrijven is toch een beetje teveel van het goede denk ik XD

[ Voor 10% gewijzigd door Xudonax op 04-09-2013 20:27 ]

[ImmortalSoul]

Even een vraagje voor de zekerheid:
Ik heb ZFSguru 9.0-004 lopen met de 0.2.0-beta7 interface, en ik wil graag upgraden naar de nieuwste versie. Ik heb een Root-on-ZFS installatie.

Als ik nu 9.1-006 download en ook als Root-on-zfs installeer dan installeert hij deze op mijn huidige pool naast de huidige installatie en raak ik niet mijn data kwijt. Zodra ik dan een reboot doe pakt hij automatisch de nieuwe versie en hoef ik alleen maar mijn ZFS pool opnieuw te importeren + de samba shares opnieuw aan te maken.

Klopt dit?

[FireDrunk]

Ja, maar je bent wel AL je verdere configuratie kwijt, dus eventuele services en eventuele IP instellingen zijn allemaal weg.

[jacovn]

Waaar download je eigenlijk 9.1-006 ?
Ik zie nog steeds op de zfsguru site een knop staan met link http://bravo.zfsguru.com/....2-beta8-amd64-normal.iso

Ik ben het spoor een beetje kwijt denk ik

[Habana]

jacovn schreef op donderdag 05 september 2013 @ 12:52:
Waaar download je eigenlijk 9.1-006 ?
Ik zie nog steeds op de zfsguru site een knop staan met link http://bravo.zfsguru.com/....2-beta8-amd64-normal.iso

Ik ben het spoor een beetje kwijt denk ik

Eerst de iso installeren waarna je linkt, in ZFSguru ->System-> Install->Install.root-on-ZFS en maak je keuze.