Het grote ZFS topic

[FireDrunk]

Die test pool die jij aangemaakt hebt, zou in alle implementaties van ZFS moeten werken die v5000 ondersteunen. Dat features Enabled zijn, wil niet niet zeggen dat ze daadwerkelijk effect hebben gehad op de pool. (Dat is pas bij Activated)

[ Voor 8% gewijzigd door FireDrunk op 01-06-2014 19:08 ]

[Verwijderd]

Maar ik heb zelf nog niet gecontroleerd of je inderdaad een pool kunt importeren met 'enabled' ZFS features die niet worden ondersteund door het systeem. Bovendien zul je bij sommige features heel snel 'active' krijgen, waardoor netto een v5000 pool helemaal niet zo portabel is als had gekund.

Zelf vind ik dat de gebruiker expliciet per feature moet aangeven dat het systeem die mag gebruiken. En een commando om alle features in te schakelen; maar ik vind dat een pool die v5000 aangemaakt wordt, standaard alle features uit zou moeten hebben tenzij de gebruiker een extra parameter/optie gebruikt om alles snel aan te zetten.

Nu is het gewoon zo dat veel mensen die eventjes FreeBSD 11 proberen, gezeik krijgen met hun pool als ze weer naar 10-STABLE terug willen. Dat vind ik niet erg wenselijk. Het hele idee van die feature flags is toch dat je het kunt managen en zo je pool compatible kunt houden met meerdere ZFS platforms? Of heb ik het verkeerd begrepen?

[CurlyMo]

Het hele idee van die feature flags is toch dat je het kunt managen en zo je pool compatible kunt houden met meerdere ZFS platforms? Of heb ik het verkeerd begrepen?

Dat is precies wat ik probeer uit te vinden. Ik heb een bug report gedaan bij de FreeBSD lists.

[Nedje]

Toch weer wat probleempjes.

Sinds gister kreeg ik bij het benaderen van CouchPotato de volgende melding:

{"success": false, "error": "Failed returning results"} Omdat ik op dat moment relatief weinig zin had om het e.e.a uit te gaan zoeken besloten over te gaan tot een verse ZFSGuru installatie en sabnzbd en toebehoren opnieuw te installeren.

Afijn, alles heeft nu een dag goed gedraaid, zonder dat ik echter enige wijziging heb doorgevoerd op het draaiende systeem is bovenstaande melding weer terug. Nu kan ik weer een nieuwe install gaan doen, maar als het probleem binnen 24 uur weer terug komt zie ik dat eigenlijk niet zitten. Iemand enig idee waar dit probleem in zou kunnen zitten?

[Verwijderd]

Draai je 10.1-001 systeemversie (de nieuwste) ?

Verder zou je denk ik beter bij de auteur kunnen aankloppen. Ik kan echt niet helpen met bugs in dit soort applicaties. Het is echter wel mogelijk dat sommige issues te relateren zijn aan ZFSguru of BSD. Maar de melding die jij geeft heb ik nog niet eerder gehoord van anderen die de ZFSguru 'SABnzbd+' service intensief gebruiken.

[Nedje]

Ik draai 10.1-001 ja. Ik heb al het e.e.a zitten lezen bij de auteur, echter kwam het probleem alleen voor bij mensen die expliciet wijzigingen hebben doorgevoerd. Naast de installatie settings heb ik er letterlijk niets mee gedaan.

Ondertussen heb ik als probeersel ook de 11.001 geïnstalleerd.

[Verwijderd]

Je zou gebruiker 'ikenjij36' kunnen vragen of hij dergelijke meldingen ook heeft gehad. Die gebruikt de SABnzbd+ service van ZFSguru intensief. Ook hij heeft problemen gehad in het verleden. Maar met 10.1-001 zou het goed werken voor zover ik heb vernomen van hem.

[ikkeenjij36]

Verwijderd schreef op zondag 01 juni 2014 @ 21:38:
Je zou gebruiker 'ikenjij36' kunnen vragen of hij dergelijke meldingen ook heeft gehad. Die gebruikt de SABnzbd+ service van ZFSguru intensief. Ook hij heeft problemen gehad in het verleden. Maar met 10.1-001 zou het goed werken voor zover ik heb vernomen van hem.

Ook ik krijg dezelfde melding met couchpotato als ik hem aan wil klikken,geen idee waar het vandaan komt?

[FireDrunk]

Ik gebruik al jaren CouchPotato / SickBeard / SabNZBd en heb die melding nog nooit gehad...

[ikkeenjij36]

FireDrunk schreef op zondag 01 juni 2014 @ 22:53:
Ik gebruik al jaren CouchPotato / SickBeard / SabNZBd en heb die melding nog nooit gehad...

Ik ook niet nuvoir het eerst eprg vreemd ineens

[Verwijderd]

Misschien wel een 5000-uren bug in CouchPotato.

_{Voor de leken: de Crucial M4 SSD had in het begin een firmwaredefect waardoor na 5000 uren de SSD ermee ophield. Dergelijke bugs komen natuurlijk makkelijk door de validatietests heen.}

[CurlyMo]

CurlyMo schreef op zondag 01 juni 2014 @ 19:36:
[...]

Dat is precies wat ik probeer uit te vinden. Ik heb een bug report gedaan bij de FreeBSD lists.

En voor de geïnteresseerden hier een topic geopend:
https://forums.freebsd.or...php?f=48&t=46703&p=261015

[ikkeenjij36]

Hallo als ik kijk bij mijn geheugen gebruik krijg ik dit plaatje te zien,is dit normaal of gaat er iets fout?

[ Voor 6% gewijzigd door ikkeenjij36 op 02-06-2014 15:01 ]

[Paul]

Ja, daar gaat iets fout Niet gecropt, wel verkleind en afgrijslijke JPG-artifacts. Ik kan echt niet lezen wat daar staat Ik gebruik zelf geen ZFS Guru en Google Images lijkt me ook niet verder te helpen

[Verwijderd]

Die kleine plaatjes kan ik ook niet zoveel mee, ikenjij36.

Maar de memory usage werkt alleen als je dmesg goed werkt; bij livecd werkt dat niet altijd. Als dat het niet is, zie ik graag een betere screenshot.

[ikkeenjij36]

Verwijderd schreef op maandag 02 juni 2014 @ 15:38:
Die kleine plaatjes kan ik ook niet zoveel mee, ikenjij36.

Maar de memory usage werkt alleen als je dmesg goed werkt; bij livecd werkt dat niet altijd. Als dat het niet is, zie ik graag een betere screenshot.

Zo beter?

[Paul]

Geeft `top` nog wazige dingen aan?

[ikkeenjij36]

Paul schreef op maandag 02 juni 2014 @ 16:43:
Geeft `top` nog wazige dingen aan?

Nee niks bijzonders

[Verwijderd]

Hier werkt het gewoon normaal. Maar ik draai nu beta10-dev, ik zal als ik tijd heb wat testjes kunnen doen. Welke systeemversie heb je nu in gebruik, ikkeenjij36?

Soms verandert de structuur van de output van 'top'. Dan werkt de interpretatie van ZFSguru niet meer totdat deze is geupdate. Dit is in het verleden al eens gebeurd met de toevoeging van ARC informatie in de top-output.

[ Voor 40% gewijzigd door Verwijderd op 02-06-2014 19:46 ]

[ikkeenjij36]

Ik gebruik nu versie 10.1.0 als ik het goed heb

[CurlyMo]

Is /proc/meminfo daar niet handiger voor? Het uitlezen van top is vrij bloated voor deze toepassingen.

code:

[root@server /home/ssh]# cat /proc/meminfo
             total:    used:    free:  shared: buffers:  cached:
Mem:  8267833344 3545186304 4722647040 11583488 0 14123008
Swap: 19327352832 170991616 19156361216
MemTotal:   8074056 kB
MemFree:    4611960 kB
MemShared:    11312 kB
Buffers:          0 kB
Cached:       13792 kB
SwapTotal: 18874368 kB
SwapFree:  18707384 kB

Of sysctl?

code:

[root@server /home/ssh]# sysctl -a | grep mem
kern.ipc.maxmbufmem: 4010786816
device  mem
vm.kmem_size: 8021573632
vm.kmem_size_min: 0
vm.kmem_size_max: 1319413950874
vm.kmem_size_scale: 1
vm.kmem_map_size: 4950671360
vm.kmem_map_free: 3070902272
vm.lowmem_period: 10
vfs.ufs.dirhash_maxmem: 13078528
vfs.ufs.dirhash_mem: 0
vfs.ufs.dirhash_lowmemcount: 474
hw.physmem: 8267833344
hw.usermem: 479010816
hw.realmem: 8589934592
hw.cbb.start_memory: 2281701376
hw.pci.host_mem_start: 2147483648
p1003_1b.memlock: 0
p1003_1b.memlock_range: 0
p1003_1b.memory_protection: 0
p1003_1b.shared_memory_objects: 200112
compat.ia32.maxvmem: 0
compat.linux32.maxvmem: 0
dev.xen.balloon.low_mem: 0
dev.xen.balloon.high_mem: 0
kstat.zfs.misc.arcstats.l2_abort_lowmem: 70
kstat.zfs.misc.arcstats.memory_throttle_count: 0

[ Voor 97% gewijzigd door CurlyMo op 02-06-2014 21:14 ]

[ikkeenjij36]

Voorlopig kom ik ff niet verder.Heb iets veranderd in /etc/rc.conf
nu en kom ik alleen in dumb terminal als single user en kom niet verder.
Ik wil /etc/rc.conf weer aanpassen naar orgineel maar kom dus niet verder
Edit:opgelost door ff mijn rootfiles te mounten en conf aanpassen.

[ Voor 13% gewijzigd door ikkeenjij36 op 02-06-2014 22:03 ]

[Pixeltje]

Ik weet niet goed of ik deze vraag hier kan stellen of beter in het DIY topic, maar dat hoor ik vanzelf wel;)

Ik heb op dit moment een zelfbouw NAS met FreeNAS, onlangs bijgewerkt naar de laatste versie en eigenlijk best tevreden over de prestaties. Ik heb weinig tijd geinvesteerd in het optimaliseren, vooral omdat de NAS niet veel anders te doen heeft dan (TimeMachine) backups verwerken en fileserver spelen voor een man of 3. Geen enorme datatransfers dus. Binnen het netwerk is alles rap genoeg vooralsnog.

NAS bestaat uit een simpel intel 1155 bordje, intel G630, 8GB DDR3 en 4 schijven (2 keer seagate 2TB en 2 keer WD EARX 2TB) in een Raidz2 opstelling.

Ik maak snapshots en eens-in-de-zoveel-tijd denk ik eraan om de écht belangrijke data nog eens naar een extern schijfje te schrijven. Niet echt een consistente backup aanwezig dus. Omdat ik dat wel graag wil, én wat lebensraum wil (4TB is inmiddels redelijk vol) wil ik een paar schijven bijkopen. Idee is dan om een tweede VDEV te maken. Dan nu wat vragen, omdat ik niet zo goed weet of mijn idee wel werkt;

- Als ik de snapshots van die twee vdevs naar elkaar laat wegschrijven, zit ik redelijk veilig met mijn data toch? De kans dat beide volumes uitvallen is nihil, hoewel nog steeds gestoeld op één systeem.
- Heeft het zin om twee raidz2 te mirroren aan elkaar? levert geen byte extra ruimte op, maar is het wat betreft fail-safe wel goed? Of zie ik dat verkeerd?

Zijn er andere tips die ik kan gebruiken? maw; wat zouden jullie doen? Uitgaande van het volgende;
- Meer opslagruimte
- Veilige data
- Backup beschikbaar
(evt rsync naar een nog niet bestaand apparaat bij mijn ouders)

alvast bedankt

[GioStyle]

Pixeltje schreef op dinsdag 03 juni 2014 @ 09:41:

- Als ik de snapshots van die twee vdevs naar elkaar laat wegschrijven, zit ik redelijk veilig met mijn data toch? De kans dat beide volumes uitvallen is nihil, hoewel nog steeds gestoeld op één systeem.

Niet echt, want je bent je data kwijt als de bliksem inslaat, brand in huis woedt, voeding kapot gaat en je schijven meeneemt, diefstal, genoeg scenario's te bedenken waar jouw idee geen toegevoegde waarde biedt.

Pixeltje schreef op dinsdag 03 juni 2014 @ 09:41:


- Heeft het zin om twee raidz2 te mirroren aan elkaar? levert geen byte extra ruimte op, maar is het wat betreft fail-safe wel goed? Of zie ik dat verkeerd?

Je wilde toch extra opslag? Of extra zekerheid?

Pixeltje schreef op dinsdag 03 juni 2014 @ 09:41:

Zijn er andere tips die ik kan gebruiken? maw; wat zouden jullie doen? Uitgaande van het volgende;
- Meer opslagruimte
- Veilige data
- Backup beschikbaar
(evt rsync naar een nog niet bestaand apparaat bij mijn ouders)

alvast bedankt

Ik zou bijvoorbeeld 4 x 4TB schijven in raidz1 of raidz2 nemen en je oude schijven hier op V&A verpatsen.

[tweedebas]

Pixeltje schreef op dinsdag 03 juni 2014 @ 09:41:

- Als ik de snapshots van die twee vdevs naar elkaar laat wegschrijven, zit ik redelijk veilig met mijn data toch? De kans dat beide volumes uitvallen is nihil, hoewel nog steeds gestoeld op één systeem.
- Heeft het zin om twee raidz2 te mirroren aan elkaar? levert geen byte extra ruimte op, maar is het wat betreft fail-safe wel goed? Of zie ik dat verkeerd?

Zijn er andere tips die ik kan gebruiken? maw; wat zouden jullie doen? Uitgaande van het volgende;
- Meer opslagruimte
- Veilige data
- Backup beschikbaar
(evt rsync naar een nog niet bestaand apparaat bij mijn ouders)

alvast bedankt

https://drive.google.com/...0eldFTHM/edit?usp=sharing
Handige pdf vanuit het Freenas Forum

Een pool bestaat uit 1 of meerdere vdev(s) dus een vdev toevoegen aan een pool kan, maar ZFS gaat het zelf "verdelen", 1 vdev kapot, alle data weg van de gehele zpool.

Je bedoelt dus denk ik een extra zpool (waarin je de nieuwe vdev gebruikt) aanmaken, dat kan natuurlijk, dan zou je die naar elkaar kunnen laten backuppen dan ben je laagje extra bestand tegen HD-Failure.

De nieuwe VDEV zou je raidz1,2,3 kunnen maken afhankelijk van je gewenste veiligheid, die pas echt komt zodra je een externe rsync hebt opgezet.

[jacovn]

Hoe move ik het snelste data in 1 server van pool naar pool met zfsguru ?
Gebruik nu mc en dat loopt met ongeveer 175 MByte/sec

Kan het sneller ?

ZFS send en receive dacht ik maar dat lijkt altijd over snapshots te gaan.
Ik heb 2 pools, elke pool een share en in die share staan directorys met 1 film in elke directory.

Ik zie de link met een snapshot niet echt, maar dat is mijn gebrek aan zfs kennis.

[ikkeenjij36]

Nu wordt mijn memory weer normaal weer gegeven?

[CurlyMo]

Zo moet het dus:

code:

[root@server /home/ssh]# zpool create -f -o version=28 test mirror gpt/test1 gpt/test2
[root@server /home/ssh]# zpool get all test
NAME  PROPERTY                       VALUE                          SOURCE
[...]
test  feature@async_destroy          disabled                       local
test  feature@empty_bpobj            disabled                       local
test  feature@lz4_compress           disabled                       local
test  feature@multi_vdev_crash_dump  disabled                       local
test  feature@spacemap_histogram     disabled                       local
test  feature@enabled_txg            disabled                       local
test  feature@hole_birth             disabled                       local
test  feature@extensible_dataset     disabled                       local
test  feature@bookmarks              disabled                       local
[root@server /home/ssh]# zpool set feature@lz4_compress=enabled test
[root@server /home/ssh]# zpool get all test
NAME  PROPERTY                       VALUE                          SOURCE
[...]
test  feature@async_destroy          disabled                       local
test  feature@empty_bpobj            disabled                       local
test  feature@lz4_compress           enabled                        local
test  feature@multi_vdev_crash_dump  disabled                       local
test  feature@spacemap_histogram     disabled                       local
test  feature@enabled_txg            disabled                       local
test  feature@hole_birth             disabled                       local
test  feature@extensible_dataset     disabled                       local
test  feature@bookmarks              disabled                       local
[root@server /home/ssh]# zpool status test
  pool: test
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
        still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(7) for details.
  scan: none requested
config:

        NAME           STATE     READ WRITE CKSUM
        test           ONLINE       0     0     0
          mirror-0     ONLINE       0     0     0
            gpt/test1  ONLINE       0     0     0
            gpt/test2  ONLINE       0     0     0

errors: No known data errors

Dat maakt nog steeds niet duidelijk waarom de -V parameter van zpool upgrade niet werkt.

---

Zou het ook niet zo moeten zijn dat ZFSGuru een v5000 pool aanmaakt zonder standaard alle feature flags geactiveerd?

[Mezz0]

is er een ook gouden vuistregel om te bepalen wat de snelheid van een pool moet zijn?

Ik heb namelijk 4 7200 rpm/16 mb schijven (sata-II) en heb deze in raidz1 gezet. Nu heb ik aardig wat tooltjes online gevonden om raidsnelheid uit te kunnen rekenen maar niet voor Raidz.
Dus ik test veel en haal waardens van rond de 200 MB/s maar ik heb een gevoel dat het sneller kan. Nu even log en zil buitengelaten.

[GioStyle]

Heb je een lege of volle pool? Hoe snel kan een losse schijf lezen/schrijven?

[Mezz0]

ik heb een lege pool en 4 ST320LT007 schijven erin die rond de 80mb moeten halen. met raidz1 klopt het dan dus wel zo beetje. Maar betekend dit als ik 5 x 80 mb/s schijven ga gebruiken dat dan op 300mb/s kan rekenen?

[FireDrunk]

Voor RAIDZ met 5 schijven, kan je rekenen met 4 schijven, dat is niet veel anders bij ZFS dan bij traditioneel RAID.

[Pixeltje]

GioStyle schreef op dinsdag 03 juni 2014 @ 09:56:
[...]
Niet echt, want je bent je data kwijt als de bliksem inslaat, brand in huis woedt, voeding kapot gaat en je schijven meeneemt, diefstal, genoeg scenario's te bedenken waar jouw idee geen toegevoegde waarde biedt.

[...]
Je wilde toch extra opslag? Of extra zekerheid?
[...]
Ik zou bijvoorbeeld 4 x 4TB schijven in raidz1 of raidz2 nemen en je oude schijven hier op V&A verpatsen.

Bedankt voor je reactie. Ik wil graag extra opslagruimte, maar ik wil ook dat de belangrijkste bestanden (foto's, backup van computers, muziekcollectie, documenten, etc) zo veilig mogelijk zijn. Het één hoeft het ander niet uit te sluiten, maar ik was gewoon benieuwd naar de verschillende mogelijkheden binnen één systeem.

Bij blikseminslag (bijvoorbeeld) is het enige wat helpt een backup op externe locatie, die mogelijk bestaat misschien door een systeem bij mijn ouders neer te zetten die naar elkaar Rsyncen. Dat zou ik overigens alleen willen als ik mijn NAS kan laten syncen met bijvoorbeeld een Synology model, want heb niet zo veel zin om op twee locaties systemen te onderhouden.

tweedebas schreef op dinsdag 03 juni 2014 @ 10:28:
[...]


https://drive.google.com/...0eldFTHM/edit?usp=sharing
Handige pdf vanuit het Freenas Forum

Thanks, die kende ik inderdaad. Terminologie is in deze niet mijn sterkste kant. Ik zal me er even in verdiepen want dat is wel zo handig voor hier, en voor mijn eigen kennis van zaken.

Een pool bestaat uit 1 of meerdere vdev(s) dus een vdev toevoegen aan een pool kan, maar ZFS gaat het zelf "verdelen", 1 vdev kapot, alle data weg van de gehele zpool.

Je bedoelt dus denk ik een extra zpool (waarin je de nieuwe vdev gebruikt) aanmaken, dat kan natuurlijk, dan zou je die naar elkaar kunnen laten backuppen dan ben je laagje extra bestand tegen HD-Failure.

De nieuwe VDEV zou je raidz1,2,3 kunnen maken afhankelijk van je gewenste veiligheid, die pas echt komt zodra je een externe rsync hebt opgezet.

Oke, een nieuwe Vdev voor een nieuwe pool dus voor extra ruimte, en dan kijken naar synchronisatie op afstand voor backup van de meest spannende zaken.

[FireDrunk]

Waarom niet gewoon een tweede pool, en met een simpel backup/rsync achtig programmatje gewoon je foto's synchroniseren tussen twee directories op beide pools?

[CurlyMo]

Of zfs send / receive.

[Pixeltje]

FireDrunk schreef op woensdag 04 juni 2014 @ 09:09:
Waarom niet gewoon een tweede pool, en met een simpel backup/rsync achtig programmatje gewoon je foto's synchroniseren tussen twee directories op beide pools?

Kan ik dat op de NAS zelf regelen, of doel je op een programma op laptop/desktop om data te syncen tussen de pools?

[FireDrunk]

Wat CurlyMo zegt. in principe kan je gewoon een snapshot maken van het filesystem waarin al je foto's en zo staan, en dat via ZFS Send en Receive doorloodsen naar je tweede pool.

Mocht je je foto's in een directory hebben staan welke onderdeel uit maakt van een groot filesystem, is zfs send en receive niet handig, dan is rsync beter.

Dat kan prima via de commandline op je nas zelf. (en zelfs via een cronjob geautomatiseerd).

[Pixeltje]

Thanks,

Op dit moment heb ik 1 vdev (bestaande uit 4 schijven), die gebruikt wordt voor één zpool (Tank). Ik heb drie shares (Home, Data en Backup). Ik laat snapshots maken van die drie afzonderlijk. Ik zou dus de snapshots die belangrijk zijn met send/receive naar een tweede pool kunnen kopieren. Dan staat de echt belangrijke data op twee zpools en heb ik voor die data dus meer bescherming in het geval van diskfailure. Tot slot zou ik dan kunnen kiezen voor een externe backup, maar dat staat hier verder los van.

Correct?

Nog een vraagje.. ik heb 4 SATA poorten op het moederbord, en een HBA met twee SAS --> 4xSata kabels. Maakt het voor risicospreiding of performance nog uit of ik de schijven van één vdvev op 't moederbord aansluit en de ander op de HBA, of beter beiden op de HBA, of willekeurig schijven van verdelen over het moederbord en de HBA?

[Paul]

Waarschijnlijk is die HBA maar één controller met 8 poorten en geen 2 controllers met ieder 4. In dat geval heb je dus maar 2 controllers in totaal en maakt het niet zoveel uit. Daarnaast, hoe vaak nemen controllers je schijven mee als ze stuk gaan? Volgens mij bijna nooit.

[Pixeltje]

Helder, dank.

[FireDrunk]

@Pixeltje, je kan inderdaad die snapshots van die individuele filesystems kopieren naar je 2e pool.

Bedenk wel dat je *alleen* snapshots kan send-en-receiven. Niet individuele directories.

[Pixeltje]

FireDrunk schreef op woensdag 04 juni 2014 @ 14:52:
@Pixeltje, je kan inderdaad die snapshots van die individuele filesystems kopieren naar je 2e pool.

Bedenk wel dat je *alleen* snapshots kan send-en-receiven. Niet individuele directories.

Ik vroeg me af hoe dat zou werken, een snapshot van pool 1 naar pool 2 sturen, om daar in geval van nood pool 1 mee te herstellen, dus ben even gaan zoeken. Op het forum van FreeNas kom ik dit tegen;

2. Since snapshots are metadata, it's really just a list of the files on the system, the specific blocks they use, and a map that prevents those blocks from being used for new or modified files. They're not really files, per se. If you replicate the snapshot to another machine, that's when the metadata is converted into a file stream and ultimately copied into files.

Is dat ook wat er gebeurd als ik binnen dezelfde machine een snapshot verstuur? Met andere woorden; de snapshot van pool 1 neemt daar nauwelijks ruimte in want metadata, maar als ik 'm naar pool 2 send/receive, gaat de bijbehorende data ook mee, met als gevolg een 'echte' backup van mijn data?

Als dat zo is dan klinkt het erg goed in ieder geval.

[FireDrunk]

Ja dat klopt. En ZFS Send en Receive is zo slim, dat alleen de verschillen die nodig zijn om de data blocks compleet te krijgen verzonden worden.

Dus stel je hebt twee pools met elk 1 snapshot gesynchroniseerd.
Je maakt op je eerste pool een paar dagen later nog een snapshot, en zegt tegen ZFS, hej, synchroniseer even dat laatste snapshot naar de tweede pool, dan worden alleen de verschillen tussen snapshot 1 en 2 verstuurt, ipv dat je hele pool overgekopieerd word.

[Pixeltje]

Maar ga je er dan van uit dat op beide pools exact dezelfde data staat, of is het zo dat de éérste send van pool 1 ervoor zorgt dat alle data waar de snapshot naar refereert wordt overgezet naar pool 2, en bij alle daaropvolgende sends alleen de verschillen overgezet worden?

[FireDrunk]

Ja, per filesystem dan wel. Je kan niet een hele pool snapshotten.

Van groot naar klein:

Pool->VDEV(meerdere)->Filesystem(meerdere)->Snapshots(meerdere)->Directories(meerdere, duh ).

Je kan ook meerdere pools hebben natuurlijk, maar dat spreekt voor zich.

_{Voor de miereneukers onder ons, een snapshot is in weze eigenlijk een filesystem, maar dat is misschien te ingewikkeld...}

[ Voor 71% gewijzigd door FireDrunk op 04-06-2014 16:12 ]

[Pixeltje]

Ja, het eerste snapshot senden zet alle relevante data voor dat snapshot over naar een andere plek, of Ja de data moet in eerste instantie al aanwezig zijn op die tweede plek?

Thanks trouwens voor de uitgebreide reacties, helpt me veel.

[DennusB]

Beetje schaamteloze cross-post maar kan iemand misschien advies geven over mijn inrichting :

Hoe moet ik mijn server inrichten?

Wil erg graag ZFS gaan gebruiken maar twijfel nog over hoe of wat!

[CurlyMo]

Een snapshot kan zover incrementeel als initieel zijn. Dus als er al data staat worden alleen de veranderingen gekopieerd.

[jacovn]

Zfsguru vraag.
Ik boot de livecd 10.1.001 en dan kies ik de enige hdd in het systeem, 120 gb ssd m500.
Daarop maak ik een v5000 pool aan, die lijkt goed te gaan, maar de server reboot zelf bij activeren de 1e keer. Dus na de knop finish welcome wizzard.

Bij herbooten kan ik de pool importeren, en enkele keer kom ik door de finsh welcome wizzard heen.
Dan draai ik dus vanaf de cd en kan ik doorinstalleren. Maar er volgt een reboot.

Update: tijdens de memtest86 cyclus reset de PC..
Op zich zou deze Xeon E3-1220V2 wel moeten werken kan met PC3-10600 CL9 ECC geheugen.
Ik heb nog 2 reepsjes van 8 GB liggen, die maar eens proberen..

Update 2: nieuwe 8 gb modules testen ook niet goed.
Zal ram in ander mainbord zetten en daar memtest draaien.

Ligt dus niet aan iets met zfsguru, laat het maar staan, wellicht nog eens iemand die zoiets heeft.
Post mag ook weggehaald worden als niet van toepassing in deze thread.

[ Voor 50% gewijzigd door jacovn op 06-06-2014 12:59 . Reden: Probleem moederbord en/of geheugen ]

[Verwijderd]

Je server hoort niet zomaar te rebooten. Hoe lang heb je memtest gedraaid? Als dat het niet is, heb je de BIOS al geupdate?

RAM in ander bord testen heeft weinig zin; het kan ook de combinatie zijn. Je moet de stabiliteit van het systeem zelf testen; niet enkel de onderdelen apart. Een computer hoort niet spontaan te resetten.

[jacovn]

Dit is een mainbord wat ik rma heb gekregen nadat ik een brakke backplane in een norco had en de boel fout ging (niet duidelijk of het die backplane of een verloopstekker issue was). Ik kreeg na veel gezeur een replacement, maar.. Ik vrees dat ik mijn eigen mainbord weer terug heb gekregen.

Had inmiddels een andere (x9scm-iif) gekocht om verder te kunnen. Die draait in server 2 met 2x8 en 2x4 gb.
Was de bedoeling om een kleinere server 3 te maken met dat x9scm-f bord, en 4 x 4 GB ram.
Die 2x4 zat er in toen de zfsguru install fout liep. Met 2 x 8 (nieuw) ook geprobeerd, idem.
Nu draai ik 1 cyclus in server 2 met memtest86+ en stop dan die 2x4 en 2x 8 erin en draai dan weer een cyclus. Werkt het dan is simpelweg dit mainbord niet goed, en het ram wel.

Dan koop ik maar een nieuwe x9scm-f, geen zin om er heel veel tijd in te steken, en ik heb iets met een c202 of c204 chipset nodig voor de xeon e3-1220v2 die ik gekocht heb.
Ram is goedgekeurd voor dit bord. En de x9scm-f en de x9scm-iif zijn bijna gelijk.

Bios upgrade zou ik nog kunnen proberen, maar het is wel vaag dat de machine na enkele minuten reboot.
Bij memtest+ ook niet altijd op dezelfde fase van de tests. Bij de zfsguru install kon ik soms ook door een paar menus heen, soms niet.

Cpu loopt ook niet heet, memtest86+ heeft temperatuur weergave, die staat dan ergens tussen de 40 en 50 graden. Het andere systeem loopt nu op 53 graden of zoiets te draaien.

Tja shit happens.

Update: ram getest op x9scm-iif bord, geen issues.
Zal nog een andere voeding proberen, dit is een seasonic 2U van 500 watt. Heb nog een passieve 400 watt seasonic liggen, die maar in de luchtstroom zetten en testen.

Update 2: andere voeding getest, precies hetzelfde probleem.

Cunclusie, nieuw mainbord nodig

Update 3:
Nieuw supermicro x9scm-f bord gekocht, en het loopt nu allemaal door.

Tja, het bord met issues kwam van rma terug na wat gezeur, en ik vermoed steeds meer dat ik gewoon mijn eigen mainbord met issues terug gekregen heb. Ik heb die winkel (ik zal de naam niet noemen, maar er zit max in) gemailed dat het vervangende bord niet goed werkt, maar helemaal niets terug gehoord.
Het lag er al weer een jaar, dus zal wel geen garantie meer hebben, maar geen bericht is wel erg slecht.
Moet wellicht maar een shopreview invullen, kan ik andere mensen waarschuwen dat ze wel wat vreemde after service hebben..

[ Voor 45% gewijzigd door jacovn op 13-06-2014 21:28 . Reden: Test resultaat ram ]

[DennusB]

Ik probeer nu ZFSguru te installeren op mijn server maar op de een of andere rare manier ziet hij mijn schijven niet als ik een pool wil maken (wel GPT geformatteerd). Als ik in de free space een freebsd-zfs partitie maak en die toe wil voegen aan de pool (die ziet ie wel) dan zegt ie dat ie niet "echt" bestaat.... iemand enig idee?

[Verwijderd]

Wat is de exacte melding die je krijgt? Heb je via ZFSguru geformatteerd zodat je een naam aan de partitie hebt gegeven? Screenshots e.d. zijn ook welkom.

[DennusB]

Verwijderd schreef op vrijdag 06 juni 2014 @ 19:21:
Wat is de exacte melding die je krijgt? Heb je via ZFSguru geformatteerd zodat je een naam aan de partitie hebt gegeven? Screenshots e.d. zijn ook welkom.

Nadat ik met een Debian live CD mijn disks helemaal heb geformatteerd werkt het gelukkig wel Maar nu is het volgende vage probleem met ZFSGuru er al. Ik wil er op via SSH, maar _nergens_ is het default SSH password te vinden of te vinden waar ik het moet instellen

[Phyt_]

DennusB schreef op vrijdag 06 juni 2014 @ 20:18:
[...]


Nadat ik met een Debian live CD mijn disks helemaal heb geformatteerd werkt het gelukkig wel Maar nu is het volgende vage probleem met ZFSGuru er al. Ik wil er op via SSH, maar _nergens_ is het default SSH password te vinden of te vinden waar ik het moet instellen

Als goed is heb je een PW ingesteld, je moet de user SSH hebben iig om te connecten met SSH niet root.
via de webinterface Access > tabblad SSH en voila kun je pw instellen.

[ Voor 6% gewijzigd door Phyt_ op 06-06-2014 20:28 ]

[DennusB]

Phyt_ schreef op vrijdag 06 juni 2014 @ 20:23:
[...]


Als goed is heb je een PW ingesteld, je moet de user SSH hebben iig om te connecten met SSH niet root.
via de webinterface Access > tabblad SSH en voila kun je pw instellen.

Oei... die had ik gemist inderdaad. Sorry! Thanks!

[B2]

Nedje schreef op zondag 01 juni 2014 @ 20:55:
Toch weer wat probleempjes.

Sinds gister kreeg ik bij het benaderen van CouchPotato de volgende melding:

{"success": false, "error": "Failed returning results"} Omdat ik op dat moment relatief weinig zin had om het e.e.a uit te gaan zoeken besloten over te gaan tot een verse ZFSGuru installatie en sabnzbd en toebehoren opnieuw te installeren.

Afijn, alles heeft nu een dag goed gedraaid, zonder dat ik echter enige wijziging heb doorgevoerd op het draaiende systeem is bovenstaande melding weer terug. Nu kan ik weer een nieuwe install gaan doen, maar als het probleem binnen 24 uur weer terug komt zie ik dat eigenlijk niet zitten. Iemand enig idee waar dit probleem in zou kunnen zitten?

Ik heb genoemd couchpotato probleem ook op 2 vers geïnstalleerde machines.

Deze melding verschijnt er in de logging bij het aanroepen van de url... Misschien kan ik beter in het Couchpotato topic terecht..

code:

06-06 19:15:07 ERROR [              couchpotato] Failed doing web request '': Traceback (most recent call last):
  File "/rootpool/zfsguru/services/10.1-001/sabnzbdplus/data/couchpotato/couchpotato/__init__.py", line 42, in get
    self.write(views[route]())
  File "/rootpool/zfsguru/services/10.1-001/sabnzbdplus/data/couchpotato/couchpotato/__init__.py", line 58, in index
    return template_loader.load('index.html').generate(sep = os.sep, fireEvent = fireEvent, Env = Env)
  File "/services/sabnzbdplus/data/couchpotato/libs/tornado/template.py", line 278, in generate
    return execute()
  File "index_html.generated.py", line 5, in _tt_execute
    for url in fireEvent('clientscript.get_styles', as_html = True, location = 'front', single = True):  # index.html:10
TypeError: 'NoneType' object is not iterable

[ Voor 37% gewijzigd door B2 op 06-06-2014 21:15 . Reden: Zet dan netjes je logging erbij ]

[DennusB]

B2 schreef op vrijdag 06 juni 2014 @ 21:08:
[...]


Ik heb genoemd couchpotato probleem ook op 2 vers geïnstalleerde machines.

Deze melding verschijnt er in de logging bij het aanroepen van de url... Misschien kan ik beter in het Couchpotato topic terecht..

code:

06-06 19:15:07 ERROR [              couchpotato] Failed doing web request '': Traceback (most recent call last):
  File "/rootpool/zfsguru/services/10.1-001/sabnzbdplus/data/couchpotato/couchpotato/__init__.py", line 42, in get
    self.write(views[route]())
  File "/rootpool/zfsguru/services/10.1-001/sabnzbdplus/data/couchpotato/couchpotato/__init__.py", line 58, in index
    return template_loader.load('index.html').generate(sep = os.sep, fireEvent = fireEvent, Env = Env)
  File "/services/sabnzbdplus/data/couchpotato/libs/tornado/template.py", line 278, in generate
    return execute()
  File "index_html.generated.py", line 5, in _tt_execute
    for url in fireEvent('clientscript.get_styles', as_html = True, location = 'front', single = True):  # index.html:10
TypeError: 'NoneType' object is not iterable

Dat is gek, Couchpotato doet het hier wel prima op ZFSGuru out of the box!

Wel heb ik iets anders geks weer, hopen dat jullie weten wat het is... als ik een share met guest-read aan zet kan elke client er gewoon in, logisch.
Als ik dat uitzet en vervolgens mijn user als full-acces er op zet kan ik vanaf mijn Windows Desktop inloggen op de shares... maar op mijn Ubuntu laptop & Raspberry Pi met OpenElec zegt hij constant dat het wachtwoord fout is.... terwijl hetzelfde wachtwoord wel op Windows werkt.... Iemand een idee?
Edit : Blijkbaar werd dit veroorzaakt doordat hij op share level security stond, toen ik dat op user level zette was het opgelost!

[ Voor 3% gewijzigd door DennusB op 07-06-2014 00:37 ]

[Beninho]

Hoi allemaal!

Ik heb al een goed halfjaar een ubuntun 12.04 met een 6*2tb zfs-z2 draaien. Vorige maand was er 1 van de 6 schijven overleden, resilverd, en het draait weer als een zonnetje. Achteraf bleek ook dat die "overleden" schijf de hele array aan het ophouden was, want nu is alles een stuk sneller! Met samba haal k nu 28 MB/s via wifi ipv de 16 van voorheen.


Maar ik heb toch nog een vraag.. hoe komt het dat mijn schijven nooit een spindown nemen wanneer ze niet gebruikt worden? Welk commando kan ik daarvoor gebruiken? Is dat juist specifiek een ZFS commanda of een linux-ubuntun commando?

[Xudonax]

Dat is een Linux commando, maar bedenk wel dat voor alles wat naar ZFS toe gaat alle schijven moeten opspinnen. Dit kan rustig een 30 seconden of langer duren.

code:

#!/bin/bash

# Give all SAS disks a spindown period of 30 minutes
SPINDOWN=241
for disk in /dev/disk/by-path/*-sas-*-lun-0; do
    hdparm -q -S $SPINDOWN  $disk
done

Bij mij hangen alle apparaten aan een SAS controller, waardoor ze dus als SAS devices gezien worden door Linux. De spindown heb ik op 241 gezet, volgens de manpage van hdparm komt dit overeen met 30 minuten. Dit moet je wel iedere boot opnieuw doen, daarom zit dit (met wat toevoegingen voor andere dingen) in mijn rc.local file. De basis van dit alles is eigenlijk heel simpel, gewoon hdparm -q -S <spindown> <device>. De waarde voor <spindown> moet je even in de (gelinkte) manpage van hdparm opzoeken, het device weet je als het goed is zelf

[Borromini]

Afhankelijk van je distro kan je dat ook gewoon in het configuratiebestand van hdparm doen. Debian gebruikt bv. /etc/hdparm.conf, en ik heb hdparm draaien als service. Instellingen worden netjes toegepast bij het opstarten.

[DennusB]

Vraagje aan de ZFS goeroes (hehe):

Ik draai nu ZFSGuru op een HP N54L met 4x 1TB en 8GB RAM. Draait op zich als een zonnetje, maar als ik veel of grote files ga kopiëren zie ik dat de snelheid na een tijdje even instort (een seconde of 3/4) en dan weer terug gaat naar ~90MB/s. Hoe kan dat? Staat er dan iets niet lekker ingesteld?

[FireDrunk]

Dat heet ZFS Breathing, google er maar eens op, er zijn legio topics over.

Heeft vaak te maken met je min en max_pending.

[ikkeenjij36]

Ondertussen al een oplossing voor het couhpotato probleem?
Op het cp forum kom ik ook niet echt verder.

[Beninho]

Is het dan trouwens ook aan te raden om caching en DMA aan te zetten? Want volgens mij staat dit alles "standaard" uitgeschakeld..(in ubuntu).

Krijg ik dan een output als

code:

/dev/sdf1  {
       mult_sect_io = 16  
       write_cache = on  
       dma = on
       hdparm -q -S <240>
}

of juist

/dev/disk/by-path/ {
mult_sect_io = 16
write_cache = on
dma = on
hdparm -q -S <240>

[Extera]

Ik ben bezig met wat performance testjes op een nieuwe pool.
Kan iemand bij vertellen wat ik fout doe?...

De hardware:
24 GB Memory
Intel G2020
Onboard controller
7x 1TB (Samsung F1 / WD Green mixed).

code:

7 Disk stripe

50 GB DD Write @ Claustofobia  BS =1M
[root@claustofobia] /mnt/SAN# dd if=/dev/zero of=testfile bs=1024 count=50000000
50000000+0 records in
50000000+0 records out
51200000000 bytes transferred in 308.432659 secs (166000579 bytes/sec) (166MB/s)

50 GB DD Read @ Claustofobia BS =1M
[root@claustofobia] /mnt/SAN# dd if=testfile of=/dev/zero bs=1024 count=50000000
50000000+0 records in
50000000+0 records out
51200000000 bytes transferred in 740.738107 secs (69120246 bytes/sec) (69MB/s)

312 GB DD Write @ Claustofobia  BS =4M
[root@claustofobia] /mnt/SAN# dd if=/dev/zero of=testfile bs=4M count=80000
80000+0 records in
80000+0 records out
335544320000 bytes transferred in 108.928407 secs (3080411523 bytes/sec) (3080 MiB/s)

312 GB DD Read @ Claustofobia BS =4M
[root@claustofobia] /mnt/SAN# dd if=testfile of=/dev/zero bs=4M count=80000
80000+0 records in
80000+0 records out
335544320000 bytes transferred in 48.195143 secs (6962201982 bytes/sec) (6962 MiB/s)

312 GB gaat toch niet meer uit memory? Is de data niet random genoeg ofzo?

[Verwijderd]

Heb je deduplicatie of compressie ingeschakeld? Verder kun je het beste bs=1M gebruiken dat telt het makkelijkste. En je gebruikt geen /dev/zero om naar te schrijven, maar /dev/null. Omdat je leest naar wat je zojuist hebt geschreven, zul je een deel uit RAM lezen. Als je compressie gebruikt zullen je scores weinig betekenen.

[Extera]

Oeps, compressie stond nog aan

code:

312 GB DD Write @ Claustofobia  BS =4M
[root@claustofobia] /mnt/SAN# dd if=/dev/zero of=testfile bs=4M count=80000
80000+0 records in
80000+0 records out
335544320000 bytes transferred in 608.404155 secs (551515497 bytes/sec) (551MB/s)

80 GB DD Write @ Claustofobia  BS =1M
[root@claustofobia] /mnt/SAN# dd if=/dev/zero of=testfile bs=1M count=80000
80000+0 records in
80000+0 records out
83886080000 bytes transferred in 152.046364 secs (551713818 bytes/sec) (551MB/s)

Held! Ik kreeg maar geen performance uit mn disks.... compressie haalde de performance volgens mij naar beneden! Even verder testen...

[Midas.e]

ikkeenjij36 schreef op zaterdag 07 juni 2014 @ 14:45:
Ondertussen al een oplossing voor het couhpotato probleem?
Op het cp forum kom ik ook niet echt verder.

Waarschijnlijk heb je de developer branch per ongeluk aangezet, haal de folder weg en via git deze opnieuw binnen halen. Zovaak last van gehad. de oude db kan je gewoon laten staan deze leest ie opnieuw in.

[FireDrunk]

Ik had toevallig ook hetzelfde probleem met couchpotato, vanuit de home dir de .db en .ini file gekopieerd, nieuwe install gedaan en files terug gekopieerd, en nu werkt ie weer prima.

[CurlyMo]

Midas.e schreef op zondag 08 juni 2014 @ 21:17:
[...]

Waarschijnlijk heb je de developer branch per ongeluk aangezet, haal de folder weg en via git deze opnieuw binnen halen. Zovaak last van gehad. de oude db kan je gewoon laten staan deze leest ie opnieuw in.

Vierde hit op google door te zoeken op {"success": false, "error": "Failed returning results"}.
Dan kom je hier

Make sure you clean up all the .pyc files. Maybe some old versions of files are leftover.

Advies lijkt me dus duidelijk, maar die zal ik wanneer ik toch bezig ben ook maar voorkauwen

In de couchpotato folder:

code:

find . -name *.pyc | xargs -L 1 rm

[DXaroth]

CurlyMo schreef op zondag 08 juni 2014 @ 21:26:
Advies lijkt me dus duidelijk, maar die zal ik wanneer ik toch bezig ben ook maar voorkauwen

In de couchpotato folder:

code:

find . -name *.pyc | xargs -L 1 rm

code:

find . -name "*.pyc" -delete

als je een redelijk up-to-date find hebt.. dat scheelt processen spawnen.

[CurlyMo]

Mocht dat commando een probleem vormen dan moet je je toch echt zorgen maken over je server configuratie

[ikkeenjij36]

CurlyMo schreef op zondag 08 juni 2014 @ 21:30:
Mocht dat commando een probleem vormen dan moet je je toch echt zorgen maken over je server configuratie

Ik zal morgen eens kijken.
Net de laatste verjaars visite de deur uitgewerkt.
Het bier was op en de bbq gedoofd.
Proost.

[Megalith]

Voor degenen die graag ZFS specifieke gegevens (ARC/L2ARC hits/misses/bandwidth) van hun ZFS server bij zouden willen houden. Ik heb afgelopen weekend mijn ZFS-Stats projectje naar Github gepushed met een aantal clientscripts die dit voor je doet. Het bestaat uit een Ruby on Rails API die metingen ontvangt en uitspuugt, en een AngularJS front-end die alles netjes in grafieken zet. Op je ZFS node(s) clone je de zfsstats-clientscripts, die dan met een opgegeven interval metingen pusht naar de API.

Een online demo is beschikbaar op zfsstats.jeroen92.nl. Er zitten nog een paar schoonheidsfoutjes in, maar ik vond het zeker de moeite waard om dit alvast met de community te delen. Ik ben er mee begonnen omdat ik de behoefte had aan performance informatie van mijn ZFS server, en RoR/Javascript wat beter wou leren. Puur vanuit mijn hobby dus

Links naar Github, met installatie documentatie:
ZFS-Stats server
ZFS-Stats client

Feedback is natuurlijk zeer welkom

[FireDrunk]

Leuk project! Hoewel ik persoonlijk een beetje negatieve smaak in mijn mond krijg bij Ruby (wat vast onterecht is, maar toch), lijkt het mij een leuk projectje!

Hoe heb je het ophalen van data uit ZFS libraries gerealiseerd met Ruby? Zijn daar specifieke Gems voor?

Ah, ik had server en client verkeerd om, de client meet, en de server slaat het op.

Meten gaat via Python door middel van Kstat, ziet er goed uit!

[ Voor 22% gewijzigd door FireDrunk op 09-06-2014 11:29 ]

[EnerQi]

Even bekeken en het ziet er inderdaad mooi uit.

[mbr01]

Ben ook bezig met ZFS, maar weet niet of alles helemaal klopt. Vermoedelijk een 512/4k issue.

Het gaat om een ZRAID1 met 3 x 3TB WD RED schijven op ubuntu 12. Boot disk is een 64GB sandisk ssd. 4GB geheugen, waarvan 2GB voor ZFS. Ik gebruik geen compressie in mijn datasets.

1) Ik formateer de drie raw-disks naar gpt (met disk utility)
2) Maak zpool met volgende commando (waarbij disk pseudo taal is)

code:

zpool create -o ashift=12 -O atime=off poolnaam raidz /dev/disk/1 /dev/disk/2 /dev/disk/3

3) Datasetje

code:

sudo zfs create poolnaam/TEST

4) output met "sudo fdisk -l" levert voor alle drie disks het volgende op:

code:

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.

Disk /dev/sdd: 3000.6 GB, 3000592982016 bytes
256 heads, 63 sectors/track, 363376 cylinders, total 5860533168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1  4294967295  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

5) "sudo parted -l" levert voor alle drie disks:

code:

Model: ATA WDC WD30EFRX-68E (scsi)
Disk /dev/sdd: 3001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  3001GB  3001GB  zfs          zfs
 9      3001GB  3001GB  8389kB

6) "sudo parted /dev/sdb align-check m 1" levert voor alle drie de disks:

code:

1 aligned

Nou vraag ik mij dus af of de pool nu wel of niet goed aligned is op 4k. Want fdisk heeft het over Partition 1 does not start on physical sector boundary, terwijl het parted -l commando aangeeft dat ze 1 algined zijn.

---

Een ander (misschien gerelateerd) probleem gaat over de performance

ZPOOL:
dd if=/dev/zero of=/poolnaam/TEST/test.bin bs=128M count=64
8589934592 bytes (8.6 GB) copied, 34.4053 s, 250 MB/s
dd if=/poolnaam/TEST/test.bin of=/dev/null bs=128M
8589934592 bytes (8.6 GB) copied, 35.4744 s, 242 MB/s

SSD:
dd if=/dev/zero of=/tmp/test.bin bs=128M count=64
8589934592 bytes (8.6 GB) copied, 16.6924 s, 515 MB/s
dd if=/tmp/test.bin of=/dev/null bs=128M
8589934592 bytes (8.6 GB) copied, 23.0986 s, 372 MB/s

Dat lijk allemaal als verwacht, maar onderling kopieren is een beetje gek:
ZPOOL --> SSD
dd if=/poolnaam/TEST/test.bin of=/tmp/test.bin bs=128M
8589934592 bytes (8.6 GB) copied, 31.0286 s, 277 MB/s
SSD --> ZPOOL
dd if=/tmp/test.bin of=/poolnaam/TEST/test.bin bs=128M
8589934592 bytes (8.6 GB) copied, 65.4327 s, 131 MB/s

Zoals je opvalt is het schrijven naar de ssd gelimiteerd door de leessnelheid van de zpool, wat ook logisch is. Het schrijven naar de zpool, blijft echter op ongeveer 130 MB/s hangen. Hoe kan dit?

Hoop dat jullie me in de juiste richting kunnen wijzen. Als er nog meer info nodig is, dan kan ik dat leveren.

[FireDrunk]

Ik vind jouw parted -l output een beetje vaag?
1) Er is geen ZFS filesystem type, alleen een specifiek FreeBSD of Solaris ZFS type voor zover ik weet.
2) Starten op 1049KB lijkt mij niet aligned... Ik zou voor 2MB gaan.
3) Bij elke disk name = ZFS? Dat gaat conflicteren.. Maar als ik jouw ZPOOL commando zie (/dev/disk/1 etc) lijkt het wel weer goed te gaan?

Post je wel 'echte' informatie? of probeer je dingen te obfuscaten Dat mag uiteraard, maar dan wis je wel wat belangrijke data

Overigens kan ik je van harte de tool gdisk / gptfdisk aanraden
The ZFS Storage Blog!: ZFSonLinux - Hoe partitioneer ik nou mijn schijven?

[ Voor 20% gewijzigd door FireDrunk op 09-06-2014 14:32 ]

[mbr01]

Dit zijn daadwerkelijk alle dingen die ik gedaan heb. Verder niets verborgen gehouden alleen de ID's van mijn schijven ingekort voor de leesbaarheid . Mis je informatie? Ik ga je linkje doornemen. Elke disk heet idd zfs. Die naam heb ik echter niet zelf bedacht.. dat ging automatisch bij het zpool create commando.

[FireDrunk]

que? Dat zou betekenen dat ZFSonLinux je schijven gepartitioneerd heeft
Wist niet eens dat dat kon

[ikkeenjij36]

Hallo gisteravond heeft de server een spontane reboot uitgevoerd,geen idee waarom maar draait nu weer bijna zoals het hoort alleen enkele services uit sabnzbd werken weer niet.
Ik heb er niks aan veranderd gedaan de afgelopen dagen maar nu werkt alleen de headphones service niet,ook niet als ik hem via cli opstart dan geeft ie nml wel aan dat ie hem opstart maar zodar ik via de browser wil kijken werkt het niet en kan ik hem weer via de cli starten maar het lijkt wel of ide gelijk automatisch stopt.
Iemand enig idee?

Edit:dit zijn de enigste foutmeldingen die ik kon vinde in de serverlog"

code:

Jun  8 21:00:00 zfsguru newsyslog[1524]: logfile turned over due to size>100K
Jun  8 22:40:23 zfsguru kernel: amdtemp0: <AMD CPU On-Die Thermal Sensors> on hostb4
Jun  9 13:59:09 zfsguru su: ssh to root on /dev/pts/0
Jun  9 14:00:01 zfsguru ssh: /usr/local/etc/rc.d/couchpotato: WARNING: failed to start couchpotato
Jun  9 14:45:22 zfsguru shutdown: reboot by root: 
Jun  9 14:45:27 zfsguru kernel: .
Jun  9 14:46:52 zfsguru rc.shutdown: 90 second watchdog timeout expired. Shutdown terminated.
Jun  9 14:46:52 zfsguru init: /bin/sh on /etc/rc.shutdown terminated abnormally, going to single user mode
Jun  9 14:46:52 zfsguru kernel: 90 second watchdog timeout expired. Shutdown terminated.
Jun  9 14:46:52 zfsguru syslogd: exiting on signal 15
Jun  9 14:50:48 zfsguru syslogd: kernel boot file is /boot/kernel/kernel
Jun  9 14:50:48 zfsguru kernel: Waiting (max 60 seconds) for system process `vnlru' to stop...done
Jun  9 14:50:48 zfsguru kernel: Waiting (max 60 seconds) for system process `bufdaemon' to stop...done
Jun  9 14:50:48 zfsguru kernel: Waiting (max 60 seconds) for system process `syncer' to stop...
Jun  9 14:50:48 zfsguru kernel: Syncing disks, vnodes remaining...0 0 0 0 0 0 0 done
Jun  9 14:50:48 zfsguru kernel: All buffers synced.
Jun  9 14:50:48 zfsguru kernel: Copyright (c) 1992-2014 The FreeBSD Project.
Jun  9 14:50:48 zfsguru kernel: Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
Jun  9 14:50:48 zfsguru kernel: The Regents of the University of California. All rights reserved.
Jun  9 14:50:48 zfsguru kernel: FreeBSD is a registered trademark of The FreeBSD Foundation.
Jun  9 14:50:48 zfsguru kernel: FreeBSD 10.0-STABLE #0: Sun Apr 20 21:20:08 UTC 2014
Jun  9 14:50:48 zfsguru kernel: jason@zfsguru:/usr/obj/tmpfs/2-source/sys/NEWCONS-OFED-POLLING-ALTQ amd64
Jun  9 14:50:48 zfsguru kernel: FreeBSD clang version 3.4 (tags/RELEASE_34/final 197956) 20140216
Jun  9 14:50:48 zfsguru kernel: module vtnet already present!
Jun  9 14:50:48 zfsguru kernel: CPU: AMD Phenom(tm) II X4 955 Processor (3200.31-MHz K8-class CPU)
Jun  9 14:50:48 zfsguru kernel: Origin = "AuthenticAMD"  Id = 0x100f43  Family = 0x10  Model = 0x4  Stepping = 3
Jun  9 14:50:48 zfsguru kernel: Features=0x178bfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,MMX,FXSR,SSE,SSE2,HTT>
Jun  9 14:50:48 zfsguru kernel: Features2=0x802009<SSE3,MON,CX16,POPCNT>
Jun  9 14:50:48 zfsguru kernel: AMD Features=0xee500800<SYSCALL,NX,MMX+,FFXSR,Page1GB,RDTSCP,LM,3DNow!+,3DNow!>
Jun  9 14:50:48 zfsguru kernel: AMD Features2=0x837ff<LAHF,CMP,SVM,ExtAPIC,CR8,ABM,SSE4A,MAS,Prefetch,OSVW,IBS,SKINIT,WDT,NodeId>
Jun  9 14:50:48 zfsguru kernel: TSC: P-state invariant
Jun  9 14:50:48 zfsguru kernel: real memory  = 17179869184 (16384 MB)
Jun  9 14:50:48 zfsguru kernel: avail memory = 16553787392 (15786 MB)
Jun  9 14:50:48 zfsguru kernel: Event timer "LAPIC" quality 400
Jun  9 14:50:48 zfsguru kernel: ACPI APIC Table: <ALASKA A M I>
Jun  9 14:50:48 zfsguru kernel: FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
Jun  9 14:50:48 zfsguru kernel: FreeBSD/SMP: 1 package(s) x 4 core(s)
Jun  9 14:50:48 zfsguru kernel: cpu0 (BSP): APIC ID:  0
Jun  9 14:50:48 zfsguru kernel: cpu1 (AP): APIC ID:  1
Jun  9 14:50:48 zfsguru kernel: cpu2 (AP): APIC ID:  2
Jun  9 14:50:48 zfsguru kernel: cpu3 (AP): APIC ID:  3
Jun  9 14:50:48 zfsguru kernel: ACPI BIOS Warning (bug): Optional FADT field Pm2ControlBlock has zero address or length: 0x0000000000000000/0x1 (20130823/tbfadt-630)
Jun  9 14:50:48 zfsguru kernel: ioapic0 <Version 2.1> irqs 0-23 on motherboard
Jun  9 14:50:48 zfsguru kernel: ioapic1 <Version 2.1> irqs 24-55 on motherboard
Jun  9 14:50:48 zfsguru kernel: kbd1 at kbdmux0

[ Voor 78% gewijzigd door ikkeenjij36 op 09-06-2014 15:20 ]

[mbr01]

mbr01 schreef op maandag 09 juni 2014 @ 14:45:
Dit zijn daadwerkelijk alle dingen die ik gedaan heb. Verder niets verborgen gehouden alleen de ID's van mijn schijven ingekort voor de leesbaarheid . Mis je informatie? Ik ga je linkje doornemen. Elke disk heet idd zfs. Die naam heb ik echter niet zelf bedacht.. dat ging automatisch bij het zpool create commando.

Ik heb de instructie op de site waarne je link gevogld, maar krijg daar ook de melding dat de partities niet goed zitten. Ik gok er eigenlijk op dat fdisk niet goed overweg kan met gtp. Wat betreft die start sector je kunt met "unit s" en "unit compact" wisselen 1049kb (compact) == 2048s (s=sector). Daar komt wellicht een verschil vandaan, wat het inhoud weet ik niet precies.

Nog suggesties over de performance "problemen" bij het schrijven van ssd naar zpool?

[Verwijderd]

Ik gok er eigenlijk op dat fdisk niet goed overweg kan met gtp

Er staat toch heel letterlijk dat dat het geval is? Dus daar is dan toch geen onduidelijkheid over?

fdisk ziet GPT als één ding wat de hele disk omvat; alleen een GPT-aware utility kan de echte partitiestructuur zien.

Enige wat ik vreemd vind is die 1049K offset; dat is niet aligned. Het komt ook niet overeen met 2048 sectoren (van 512B) want dan zou je op 1024K offset komen en dat is de universele offset wat iedereen zou moeten gebruiken. FireDrunk raadt 2048K aan, maar dat raad ik juist af omdat je dan niet meer compatible bent met andere platforms, zoals ZFSguru. 1024K offset is universeel omdat Linux, Windows en BSD dit gebruiken. Behalve voor ouderwetse RAID5 arrays is dit een perfecte offset.

[FireDrunk]

Uh, sinds wanneer is een offset voor de partitie belangrijk? Windows boot toch zelfs als de partitieoffset 10GB is? Zolang je maar de standaard GPT headers (eerste zoveel bytes, en laatste zoveel bytes) hebt, zou het toch goed moeten gaan?

1MB is voor mij ook prima hoor, niet dat het mij wat uitmaakt, ik heb zelf geloof ik nu ook 1MB.
2MB is meer maar een uit de lucht gegrepen getal.

[ Voor 23% gewijzigd door FireDrunk op 09-06-2014 21:39 ]

[Verwijderd]

De offset kan wel degelijk belangrijk zijn:

• Wanneer je 4K sector schijven hebt; vrijwel alle moderne hardeschijven dus. Dan wil je in elk geval dat de offset deelbaar is door 4KiB. Dus 1024K of 2048K is prima; maar 1049K niet. Bij SSDs is het zelfs 8KiB omdat dit tegenwoordig de page-grootte is. Idealiter wil je zelfs tegen een erase block alignen; dus 512K of 1024K of 2048K zijn betere keuzes dan 4K.
• Wanneer je ouderwets RAID draait, zoals RAID5, dan wil wil je dat je partitie op de RAID5 array goed gealigned is. Vervelend is dat 1024K of 2048K niet aligned kan zijn, zoals bij een 4-disk RAID5 met 128K stripe. Dan kom je op 386K full stripe block en je partitie zou daar deelbaar door moeten zijn voor optimale performance. Onder Linux en BSD is het mogelijk om geen partitie te gebruiken; dus een filesystem (of LVM) direct op de RAID container te plaatsen. In dat geval heb je hier geen last van. Maar wel met een hardware RAID5 array en daarop een partitie bijvoorbeeld.
• bij ZFS maakt het uit omdat ZFS een beveiliging heeft tegen het overschrijven van pools die niet expliciet door de gebruiker zijn verwijderd. Dit komt bij 'newbies' vaak voor. Importeren zonder partitietabel levert niets op, maar een nieuwe pool aanmaken faalt omdat zodra de partitietabel er wel is, er opeens wel een ZFS filesystem wordt gevonden op de disk; omdat ZFS nu naar een andere offset kijkt. Om deze reden is het verstandig om altijd 1024K offset aan te houden, omdat je dan bij switchen van platforms geen 'vage issues' krijgt zoals een gebruiker die geen ZFS pool kan aanmaken op de disks vanwege dit issue.

[FireDrunk]

Ik begrijp DAT alignment belangrijk is. En bijvoorbeeld ook binnen virtual machines waar veel mensen denken dat het niet belangrijk is.

Maar buiten dat begrijp ik niet waarom 2MB een probleem zou zijn? GPT verteld toch gewoon in de eerste 512 bytes (ofzo?) waar de partities staan? Het is wat dat betreft toch een prima modern systeem? Ik snap niet zo goed wat het probleem daar mee is...

[Verwijderd]

Puntje 3 gaat in op ZFS en partitie offset. Het is niet cruciaal, zolang je maar door 8K kan delen. Maar er zijn wel degelijk redenen om standaard 1024K aan te houden, zodat tussen platforms onderling er overal 1024K offset wordt gebruikt als impliciete standaard. Windows gebruikt het, Linux gebruikt het, ZFSguru gebruikt het. Dus dan is het goed om je daar aan te houden.

Zeker om newbies allerlei vage issues te besparen die zich kunnen voordoen als je van een ZFS platform migreert naar een ander ZFS platform, waarbij beide niet dezelfde alignment gebruiken. Terwijl als ze beide 1024K offset aanhouden, er zich geen problemen kunnen voordoen.

[ImmortalSoul]

Ik heb een problemen met de services van ZFSguru.

Bij het installeren van services, blijven ze op "Currently installing this service" hangen. Dit is bij Sabnzbd+, GCC en common dependencies nog goed gegaan. Maar bij VirtualBox wou de service niet starten en kreeg ik een simpel wit scherm. Ik heb daarna de ".virtualbox" folder via de shell verwijderd en een reboot gegeven, maar nu ik virtualbox weer opnieuw wil installeren hangt hij nog steeds op "Currently installing this service" en krijg ik hem dus niet geinstalleerd.

Ik heb daarna proberen te updaten naar 10.1-001, maar ik heb per ongeluk tijdens het downloaden van die image een reboot gegeven. En nu is de download blijven hangen op 60,4% en kan ik hem niet verwijderen/herstarten/oid.

Iemand enig idee? Ik heb system image 10.0-002 met versie 0.2.0-beta8.

[ikkeenjij36]

Hallo even een vraagje,heb vandaag een nwe ssd erin gezet fresh install gedaan van zfsguru en de basic dingen geinstaleerd op de ssd,een crucial m550 120gb.
Na het aanmaken van de pool en install gedaan draait alles,maar de laatste keer dat ik dit deed op mijn ouwe ssd en geupdate had naar 5000 kon ik niet meer booten van die ssd omdat de pool updaten allemaal dingen aangezet had die die ssd niet ondersteunde,wat is nu de beste weg te gaan?
Ik heb mijn ouwe data pool gewoon geimporteerd maar die is wel spa 5000.
Moet ik de nwe ssd via de webgui updaten of op de disk zelf de bootcode updaten zodat niet alles geactiveerd wordt en ik daarna de pool ook naar spa 5000 updaten?
Bedankt alvast weer voor jullie hulp.

[CurlyMo]

Ik heb meerdere reacties gegeven en onderzoek gedaan naar de veilige manier van upgraden naar versie 5000. Heb je die gelezen?

[Verwijderd]

@ImmortalSoul: update naar beta9

@ikkeenjij36: dat probleem had je omdat je van 11.x naar 10.1 bent gegaan; 11.x ondersteunt ZFS features die andere versies niet ondersteunen. Je bootcode hoort altijd up to date te zijn, tenzij je beta8 of ouder hebt gebruikt. De SSD dien je te formatteren en in partities op te delen (dus niet één grote partitie!) en daarna maak je een pool aan op de systeem/boot partitie en daar kun je ZFSguru op installeren.

[ikkeenjij36]

Verwijderd schreef op dinsdag 10 juni 2014 @ 16:22:
@ImmortalSoul: update naar beta9

@ikkeenjij36: dat probleem had je omdat je van 11.x naar 10.1 bent gegaan; 11.x ondersteunt ZFS features die andere versies niet ondersteunen. Je bootcode hoort altijd up to date te zijn, tenzij je beta8 of ouder hebt gebruikt. De SSD dien je te formatteren en in partities op te delen (dus niet één grote partitie!) en daarna maak je een pool aan op de systeem/boot partitie en daar kun je ZFSguru op installeren.

Ok en hoevel partities kan ik hem het beste formateren?
2 x 60 0f 3 x 40?
Zeg het maar

[CurlyMo]

ikkeenjij36 schreef op dinsdag 10 juni 2014 @ 16:25:
[...]

Ok en hoevel partities kan ik hem het beste formateren?
2 x 60 0f 3 x 40?
Zeg het maar

http://lmgtfy.com/?q=zfs+partition+ssd

[ikkeenjij36]

CurlyMo schreef op dinsdag 10 juni 2014 @ 16:31:
[...]

http://lmgtfy.com/?q=zfs+partition+ssd

Mmm misschien noob maar daar kan ik niet zoveel mee alhoewel ik het waardeer dat je me probeert te helpen hoor.

[CurlyMo]

Mmm misschien noob maar daar kan ik niet zoveel mee

Je gedraagt je er in ieder geval nogal naar.

Wat is het verschil tussen CiPHER die je vertelt wat je moet doen of dat je deze blog leest: http://blog.ociru.net/2013/04/05/zfs-ssd-usage waarin redelijk letterlijk voor je uitgelegd staat:

To get the most out of my SSD, I created three partitions. One for the OS (in that case FreeBSD) and one for each cache. Resizing the caches is a pain, so be careful to plan the sizes in advance. I choose to use 8GB for the ZIL, 24GB for the L2ARC and spend the remaining 26’ish GBs for the system which is more than sufficient for FreeBSD including my /usr/local and /package.

Hij vertelt je zelfs de exacte commando's die je moet invoeren om het voor elkaar te krijgen. Dat ga je zelfs van CiPHER niet te horen krijgen.

Als ik zo zie wat je allemaal doet ben je (met alle respect en deels compliment) niet zozeer een noob, maar vooral lui.

[ImmortalSoul]

Verwijderd schreef op dinsdag 10 juni 2014 @ 16:22:
@ImmortalSoul: update naar beta9

Gedaan, maar alle problemen zijn er nog steeds.

[Verwijderd]

@ImmortalSoul: Hm; ik moet zo weg. Vanavond terug. Kan je dan verder helpen. Je kunt al wel vast proberen 10.1-001 te installeren. Je hebt een onderbroken download; dan moet je zelf de file even verwijderen. Kan lastig zijn, maar in de command line iets als:

rm /tank/zfsguru/download/ZFSguru-system-*

(vervang 'tank' door de naam van de pool waar op je ZFSguru hebt geïnstalleerd)

Dan opnieuw downloaden en installeren.

[ Voor 10% gewijzigd door Verwijderd op 10-06-2014 16:46 ]

[ikkeenjij36]

CurlyMo schreef op dinsdag 10 juni 2014 @ 16:38:
[...]

Je gedraagt je er in ieder geval nogal naar.

Wat is het verschil tussen CiPHER die je vertelt wat je moet doen of dat je deze blog leest: http://blog.ociru.net/2013/04/05/zfs-ssd-usage waarin redelijk letterlijk voor je uitgelegd staat:

[...]

Hij vertelt je zelfs de exacte commando's die je moet invoeren om het voor elkaar te krijgen. Dat ga je zelfs van CiPHER niet te horen krijgen.

Als ik zo zie wat je allemaal doet ben je (met alle respect en deels compliment) niet zozeer een noob, maar vooral lui.

Ok gedaan 3 partities gemaakt met 1 x 60 gb en 2 x 30gb.
DUs de 60 wordt voor zfsguru gebruikt en de andere 2 partities kan ik gebruiken voor zil en l2arc?
Dus zodra ik een pool gemaakt heb op de 60 gb partitie hoe moet ik dan updaten zodat deze ook op spa 5000 krijg zonder dat alle extra's ingeschakeld worden zodat ik niet meer kan booten ervan?
Eerst alles erop instaleren wat ik wil of eerst de pool updaten via de webgui maar dan ben ik juist zo bang dat al die xtra functies aangezet worden zodat ik niet mee kan booten omdat dat niet ondersteund wordt?

[CurlyMo]

Verder is er nogal veel leesvoer in dit topic te vinden:

Verwijderd schreef op dinsdag 29 maart 2011 @ 20:52:
Hoe groot moet ik de partities dan maken?
Stel je heb twee SSDs van 128GB, dus totaal 256GB. Op je SSD maak je dan partities aan zoals:
- partitie 1 voor systeem/boot pool: 28GiB
- partitie 2 voor L2ARC cache: 60GiB
- partitie 3 voor SLOG: 4GiB
- rest van de ruimte onbenut laten als overprovisioning (let op: de SSD mag niet gebruikt zijn anders gaat deze ruimte verloren! secure erase of TRIM erase gebruikte SSDs alvorens overprovisioning toe te passen).

Doe dit voor beide SSDs en je hebt:
- een systeem/boot pool in mirror configuratie 28GB beschikbare ruimte
- L2ARC caching met twee partities in striping = 2x 60 = 120GB
- SLOG in mirror met twee partities = 4GB

Verwijderd schreef op zondag 22 mei 2011 @ 23:35:
4GiB SLOG
20GiB L2ARC
75GiB primary storage (ZFS pool met OS + database meuk)
de rest spare space

Verwijderd schreef op donderdag 31 januari 2013 @ 21:55:
Die gpart commando's raad ik niet aan, want als die op LBA 34 beginnen dan heb je een misaligned partitie. Je kunt juist heel makkelijk in ZFSguru partitioneren, hoe je wilt. Check de disks pagina en klik op een disk.

Je kunt voor elke SSD dan een schema aanhouden:

partitie1: boot <16GB>
partitie2: l2arc cache voor pool1 <30GB>
partitie3: l2arc cache voor pool2 <30GB>
partitie4: slog voor pool1 <4GB>
partitie5: slog voor pool2 <4GB>

En dan hetzelfde voor je 2e SSD. Kies handige labels zodat je niet in de war raakt.

FireDrunk schreef op donderdag 13 juni 2013 @ 09:24:
ZFSGuru SSD ZIL & L2ARC Tutorial

Partitioneer eerst je SSD's op deze manier:
[afbeelding]

---

ikkeenjij36:
Dus zodra ik een pool gemaakt heb op de 60 gb partitie hoe moet ik dan updaten zodat deze ook op spa 5000 krijg zonder dat alle extra's ingeschakeld worden zodat ik niet meer kan booten ervan?

curlymo:
Ik heb meerdere reacties gegeven en onderzoek gedaan naar de veilige manier van upgraden naar versie 5000. Heb je die gelezen?

[ Voor 8% gewijzigd door CurlyMo op 10-06-2014 16:55 ]