Het grote ZFS topic

[FireDrunk]

ZFS is altijd consistent, dus power failure of niet, je bent nooit ál je data kwijt...

[Goudduif]

FireDrunk schreef op vrijdag 02 november 2012 @ 08:30:
ZFS is altijd consistent, dus power failure of niet, je bent nooit ál je data kwijt...

Dus zelfs als je de cache-, en de log disk verliest, ben je geen data kwijt?

[FireDrunk]

Jawel, je bent wel data kwijt, maar niet al je data.

Het kan oplopen tot een paar minuten (afhankelijk van de snelheid van je array, en de hoeveelheid geheugen).

Als je 96GB geheugen hebt en 64 mirrors ben je allicht wat meer kwijt dan met een RAIDZ van 3 diskjes...

[ Voor 102% gewijzigd door FireDrunk op 02-11-2012 08:38 ]

[DarkFire1985]

Ik zoek nog een ZFS OS die mij ook een desktop aanbiedt voor het draaien van skype en hier en daar wat te browsen. Daar deze server toch altijd aan staat hoef ik mijn desktop dan er niet speciaal voor op te starten.

Voor mijn situatie dacht ik eerst aan PC-BSD RC2 maar tijdens de installatie liep ik tegen de ene naar de andere foutmelding aan bij het installeren op een (zfs) partitie op ada0 ipv de hele disk.
Nu denk ik echter aan FreeBSD RC2 in combinatie met bijv. KDE.

Is ZFSGuru met nu beta8 een keuze geworden of kan het mij niet aanbieden wat ik zoek?

[damouzer]

ZFSGURU vraagje. Gisteren heb ik twee disken vervangen door grotere om de pool te vergroten. Later las ik pas dat de pool daarna nog geexporteerd en geimporteerd moet worden. Dit gaat niet door de root-on-zfs installatie van ZFSGURU (log directory in use melding bij export).

Wat is het handiste om te doen? ZFSGURU cd er in, booten, export>import (of rename?), cd er uit en weer booten van de geinstalleerde ZFSGURU installatie?

[FireDrunk]

Export, import is vooral om je pool te 'refreshen'. Een reboot is meestal ook genoeg.

[Verwijderd]

Als je een pool hebt met 2TB disks en je koopt 3TB disks, kun je deze 3TB disks gebruiken om de bestaande 2TB disks te vervangen in de pool die je al hebt. Dan blijft ZFS nog wel 2TB van de beschikbare 3TB gebruiken. Je moet de 'autoexpand' ZFS property inschakelen:

zpool set autoexpand=on <poolnaam>

Daarna gewoon rebooten en je pool zou de nieuwe ruimte moeten gebruiken. Echter, je moet die 3TB disks eerst wel formatteren met partities die dus 3TB groot zijn. ZFSguru werkt alleen met partities met een door de gebruiker gekozen naam.

Goudduif schreef op vrijdag 02 november 2012 @ 08:33:
Dus zelfs als je de cache-, en de log disk verliest, ben je geen data kwijt?

Daar mag wel bij vermeld worden dat je minimaal pool versie 19 moet draaien. Als dat niet zo is en je hebt een dedicated ZIL/SLOG device in je pool, dan is je pool stuk. Je pool moet dus wel minimaal versie 19 draaien; er zijn denk ik nog genoeg versies van FreeNAS enzo die dat niet ondersteunen.

[enormhi]

Ik geloof dat de huidige (stable) FreeNAS op versie 15 draait, dus kijk daarmee uit!

[damouzer]

Zonet de zpool set autoexpand=on <poolnaam> geprobeerd en deze werkt bij mij niet. Ik heb wel een andere site gevonden waarop wel een werkend commando staat

2012-11-02 17:19:29 zpool offline pool gpt/data2
2012-11-02 17:19:48 zpool online -e pool gpt/data2
2012-11-02 17:19:57 zpool offline pool gpt/data3
2012-11-02 17:20:04 zpool online -e pool gpt/data3

(de 2 disken die ik had vervangen door een grotere)

http://forums.freebsd.org/showthread.php?t=30496

[ Voor 5% gewijzigd door damouzer op 02-11-2012 17:24 ]

[Verwijderd]

Had je wel gereboot na de autoexpand op on in te stellen? Waren je gpt partities al groter gemaakt? Want zo hoort het wel te werken. Maar je moet wel rebooten, meerdere keren voor de zekerheid. Na de partitie vergroot te hebben en na de autoexpand. Als je dan reboot zou hij volgens mij de nieuwe grootte moeten hebben. Maar jouw instructies zijn denk ik makkelijker.

[Goudduif]

Verwijderd schreef op vrijdag 02 november 2012 @ 16:11:

Daar mag wel bij vermeld worden dat je minimaal pool versie 19 moet draaien. Als dat niet zo is en je hebt een dedicated ZIL/SLOG device in je pool, dan is je pool stuk. Je pool moet dus wel minimaal versie 19 draaien; er zijn denk ik nog genoeg versies van FreeNAS enzo die dat niet ondersteunen.

Ik draai momenteel op NEXENTA, hoe kan ik achterhalen welke versie die heeft draaien?
Overigens ben ik nu over de performance wel te spreken, nu ik een 35 GB log vmdk en een 45GB cache vmdk aan mijn volume hebt toegevoegd.

Maar dan moet ik natuurlijk niet ondertussen het risico lopen, om al mijn data te verliezen. Want dan heb ik toch liever geen apparte log disk.

Is het dan mischien toch veiliger om de log disk te verwijderen, en alleen een cache disk te gebruiken? Scheelt dat veel in performance?

[Verwijderd]

# versie van je pools:
zpool get version
# versie van het systeem:
zpool upgrade -v
(laatste versienummer is wat het systeem max ondersteunt)

[damouzer]

Verwijderd schreef op vrijdag 02 november 2012 @ 17:41:
Had je wel gereboot na de autoexpand op on in te stellen? Waren je gpt partities al groter gemaakt? Want zo hoort het wel te werken. Maar je moet wel rebooten, meerdere keren voor de zekerheid. Na de partitie vergroot te hebben en na de autoexpand. Als je dan reboot zou hij volgens mij de nieuwe grootte moeten hebben. Maar jouw instructies zijn denk ik makkelijker.

Jep had hem gereboot en nog een keer =off en =on gedaan + reboot. Geen resultaat.

gpt partities vergroten? Vorige disken verwijderd. Nieuwe disken geplaatst, deze geformatteerd met dezelfde naam als de oude (gpt/data2 en gpt/data3) en een voor een aan de pool toegevoegd met replace.

Ik heb er iedergeval weer ruimte bij

[sphere]

Dit is geen sneaky hardware vraag. Ik wil graag weten wat je nou mag verwachten van het "krachtige" system. Valt het te quantificeren?

Ik heb het systeem van de startpost een beetje aangepast. Socket 1155 is stout dan heb je geen moederborden met 8 dimm slots. En wat is de bedoeling van die 20 disks in het voorbeeld, per 10 in een vdev harken? Of per 20? In ieder geval dacht ik aan RAID2Z, dus 18+2 of 8+2 en 8+2 (48-54TB) en nog wat hotspares.

Ooit hadden we een netapp van een paar ton. Die was heeeeel snel, maar ook heel vaak vol. Toen is er een meting gedaan en een nieuwe geplaatst. Alleen deze blijkt ondergedimensioneerd qua performance.

Wat voor performance mag je verwachten van het spul hieronder? Zijn er sites met hardware + performance rating voor ZFS? Ik begrijp dat Dell rustig 60k wil voor een fatsoenlijk systeem, maar daar krijg je waarschijnlijk ook fijne beheertools bij.

• 50 man (30 ontwikkelaars)
• 100 VMs (vSphere)
• 25 VBox
• SVN server
• Hg server

#	Product	Prijs	Subtotaal
1	Intel Core i7 3820 Boxed	€ 265,20	€ 265,20
1	Asus P9X79	€ 215,-	€ 215,-
24	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 124,90	€ 2.997,60
1	Corsair Vengeance 64GB 1600Mhz CL9	€ 307,-	€ 307,-
2	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 79,99	€ 159,98
1	Intel 320 120GB	€ 171,20	€ 171,20
1	Samsung 830 series 256GB	€ 153,75	€ 153,75
Bekijk collectie Importeer producten		Totaal	€ 4.269,73

[fluppie007]

Ik typ dit bericht nu vanuit een Windows 7 64-bit VM op een FreeBSD/ZFSguru host (9.1-004 beta8). Werkt prima! Enkel full screen YouTube filmpjes gaat nog niet helemaal lekker. Daarvoor is de Intel-KMS build nodig denk ik. Maar al bij al very promising :)!

Ik denk wanneer je een homeserver en een simpele internet/office pc hebt staan thuis, je beide apparaten kan combineren tot 1 en zodus je energieverbruik doen dalen .

Enkel zou ik graag het LaSi script weer zien werken en mijn DNS resolving op orde hebben, dat is sinds het statische IP adres niet meer in orde. Maar dat laatste kan best wel eens aan mij liggen.

[sphere]

fluppie007 schreef op vrijdag 02 november 2012 @ 23:26:
Ik denk wanneer je een homeserver en een simpele internet/office pc hebt staan thuis, je beide apparaten kan combineren tot 1 en zodus je energieverbruik doen dalen .

Inderdaad, zoals ook deze meneer:

Xen op freebsd als Domain 0 (host) + vga,usb,sound
http://youtu.be/feFpdfXcgDM

Zou ik wel proberen om je data te mounten vanaf je client naar een pad in je host, anders profiteer je alsnog niet van ZFS.

[ Voor 9% gewijzigd door sphere op 03-11-2012 09:56 ]

[FireDrunk]

sphere schreef op vrijdag 02 november 2012 @ 22:39:
Dit is geen sneaky hardware vraag. Ik wil graag weten wat je nou mag verwachten van het "krachtige" system. Valt het te quantificeren?

Ik heb het systeem van de startpost een beetje aangepast. Socket 1155 is stout dan heb je geen moederborden met 8 dimm slots. En wat is de bedoeling van die 20 disks in het voorbeeld, per 10 in een vdev harken? Of per 20? In ieder geval dacht ik aan RAID2Z, dus 18+2 of 8+2 en 8+2 (48-54TB) en nog wat hotspares.

Ooit hadden we een netapp van een paar ton. Die was heeeeel snel, maar ook heel vaak vol. Toen is er een meting gedaan en een nieuwe geplaatst. Alleen deze blijkt ondergedimensioneerd qua performance.

Wat voor performance mag je verwachten van het spul hieronder? Zijn er sites met hardware + performance rating voor ZFS? Ik begrijp dat Dell rustig 60k wil voor een fatsoenlijk systeem, maar daar krijg je waarschijnlijk ook fijne beheertools bij.

• 50 man (30 ontwikkelaars)
• 100 VMs (vSphere)
• 25 VBox
• SVN server
• Hg server

#	Product	Prijs	Subtotaal
1	Intel Core i7 3820 Boxed	€ 265,20	€ 265,20
1	Asus P9X79	€ 215,-	€ 215,-
24	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 124,90	€ 2.997,60
1	Corsair Vengeance 64GB 1600Mhz CL9	€ 307,-	€ 307,-
2	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 79,99	€ 159,98
1	Intel 320 120GB	€ 171,20	€ 171,20
1	Samsung 830 series 256GB	€ 153,75	€ 153,75
Bekijk collectie Importeer producten		Totaal	€ 4.269,73

Heel erg lastig te zeggen, omdat de Netwerkkaarten die in dat bord zitten nog steeds een beetje budget zijn (Intel -V series).

2 vdev's is altijd sneller dan 1 in Random IOPS, maar heeft inderdaad wat minder capaciteit, maar daar tegenover iets meer veiligheid (er kunnen 4 disks falen, ipv w, maar ook weer niet 4 willekeurige, dus het zit er ergens tussenin...)

Er zijn geen vuistregels voor IOPS omdat de load op een ZFS bak vanalles kan zijn...

Je zou eens moeten analyseren watvoor load je nu hebt, dus:

10% random read IO, 50% sequential read IO, 30% random write IO, en 10% sequential write IO.

Deze getallen zijn redelijkerwijs uit de lucht gegrepen, maar als ik zie wat voor usage jij zegt te hebben, denk ik dat je hier aardig mee in de buurt zit.

Wel is het belangrijk om pieken te meten, dus max IOPS in een gegeven tijdstip.

Wat je dan kan doen is IOMeter downloaden, en deze patterns eens op 1 disk loslaten. Kijk hoeveel IOPS je scoort en probeer een vermenigvuldiging te doen richting het aantal vdev's en aantal schijven wat je gaat kopen.

Voor random moet je dus vermenigvuldigen met het aantal vdev's, voor sequentieel moet je vermenigvuldigen met het aantal data disks (hoewel je nog een beetje penalty hebt, maar dat is lastig in te schatten).

Ik heb hier een 10*2TB RAIDZ2 device, en kan best een bepaald load pattern een keer testen als je dat graag wilt weten. Dan kan je daarna dat pattern keer 2 doen voor 2 vdev's.

Persoonlijk denk ik dat de 3TB schijven amper sneller zijn dan mijn 2TB schijven (en vooral niet als het gaat om Random IO, sequentieel misschien een beetje.)

[HyperBart]

fluppie007 schreef op vrijdag 02 november 2012 @ 23:26:
Ik typ dit bericht nu vanuit een Windows 7 64-bit VM op een FreeBSD/ZFSguru host (9.1-004 beta8). Werkt prima! Enkel full screen YouTube filmpjes gaat nog niet helemaal lekker. Daarvoor is de Intel-KMS build nodig denk ik. Maar al bij al very promising :)!

Ik denk wanneer je een homeserver en een simpele internet/office pc hebt staan thuis, je beide apparaten kan combineren tot 1 en zodus je energieverbruik doen dalen .

Enkel zou ik graag het LaSi script weer zien werken en mijn DNS resolving op orde hebben, dat is sinds het statische IP adres niet meer in orde. Maar dat laatste kan best wel eens aan mij liggen.

Dat had ik ook aan de hand nadat FireDrunk bij mij dat statisch IP had ingesteld . Kijk eens in dat bestandje waar je je statisch IP hebt ingesteld, even Google'en hoe je een DNS instelt op FreeBSD, ik heb daar een regeltje toegevoegd voor DNS en huppa, alles werkte weer .

Als het niet gaat post ik mijn bestandje wel eens...

[fluppie007]

HyperBart schreef op zaterdag 03 november 2012 @ 10:52:
[...]
Als het niet gaat post ik mijn bestandje wel eens...

Oh please, doen! Ik ben gisteren tot 04:00am bezig geweest . Ik had namelijk ook het probleem dat mijn Windows VM de "SERVERZFS" host niet met een IP-adres associeerde. Dus kon niet via een DNS naam op mijn ZFS shares. Rechtstreeks op het vaste IP wel. Zet ik na uren prutsen in rc.conf, resolv.conf & hosts het voor de grap eens op DHCP. Werkt alles zoals het moet... Dus dat bestandje, bij deze, graag .

[ Voor 19% gewijzigd door fluppie007 op 03-11-2012 11:06 ]

[sphere]

FireDrunk schreef op zaterdag 03 november 2012 @ 10:28:
Wel is het belangrijk om pieken te meten, dus max IOPS in een gegeven tijdstip.

Daar is het dus misgegaan met de tweede netapp, gemeten toen er niemand op kantoor was oid. Of een feestdag, ik weet het niet meer.

Ik heb hier een 10*2TB RAIDZ2 device, en kan best een bepaald load pattern een keer testen als je dat graag wilt weten. Dan kan je daarna dat pattern keer 2 doen voor 2 vdev's.

Hoeveel geheugen heb je voor dat device? Gebruik je ook SSDs? Pattern tests hoeven niet per se voor mij, ik was gewoon geinteresseerd in wat nou precies "krachtig" is en hoe zich dat verhoudt met professioneel verkrijgbare apparaten. Dus even afgezien van de beheeroplossing.

[HyperBart]

fluppie007 schreef op zaterdag 03 november 2012 @ 11:05:
[...]


Oh please, doen! Ik ben gisteren tot 04:00am bezig geweest . Ik had namelijk ook het probleem dat mijn Windows VM de "SERVERZFS" host niet met een IP-adres associeerde. Dus kon niet via een DNS naam op mijn ZFS shares. Rechtstreeks op het vaste IP wel. Zet ik na uren prutsen in rc.conf, resolv.conf & hosts het voor de grap eens op DHCP. Werkt alles zoals het moet... Dus dat bestandje, bij deze, graag .

EDIT: oh maar ik maak me nu ineens de bedenking: waar werkt DNS niet? Kan je niet resolven van op je ZFS machine, of kan je vanop clients niet naar je ZFS machine gaan?

Voor dat tweede maak ik altijd in mijn DNS-server statische entries aan (tenzij het Windows-machines zijn, daar kan ik het allemaal automagisch laten gaan, maar als het Linux is, altijd statisch entries in mijn (Windows) DNS-server)...



Meer is het niet hoor:

[ssh@zfsguru /home/ssh]$ cat /etc/resolv.conf
# Generated by resolvconf
nameserver 192.168.5.1


[ssh@zfsguru /home/ssh]$ cat /etc/hosts
# $FreeBSD: src/etc/hosts,v 1.16.40.1 2011/09/23 00:51:37 kensmith Exp $
#
# Host Database
#
# This file should contain the addresses and aliases for local hosts that
# share this file.  Replace 'my.domain' below with the domainname of your
# machine.
#
# In the presence of the domain name service or NIS, this file may
# not be consulted at all; see /etc/nsswitch.conf for the resolution order.
#
#

::1                     localhost localhost.my.domain
127.0.0.1               localhost localhost.my.domain

# note: edit this if you edit the system hostname
# some services require that the hostname be translatable to an IP address
127.0.0.1               zfsguru.bsd

# you can add custom DNS overrides here, like:
#127.0.0.1              badhostidontwanttocontact.com
# above example will make sue the domain name resolves to local IP
#11.22.33.44            mywebsite.com
# above example will make a DNS exemption and will point to mentioned IP address

[ssh@zfsguru /home/ssh]$ cat /etc/rc.conf
#
## /etc/rc.conf
## Run Control configuration
## for Root-on-ZFS distributions
#

## Network
# feel free to change the hostname, but you need to edit /etc/hosts as well
hostname="zfsguru.bsd"

# add interfaces at your leisure when requiring static configuration
#ifconfig_DEFAULT="DHCP"
ifconfig_bge0="inet 192.168.5.253 netmask 255.255.255.0"
#ifconfig_em0="DHCP mtu 7000"

# if you want static IP, you need to specify default gateway here
defaultrouter="192.168.5.1"
# don't forget to edit /etc/resolv.conf for DNS configuration as well!


## Local Daemons
zfs_enable="YES"
powerd_enable="YES"

ntpdate_enable="YES"
ntpdate_hosts="0.pool.ntp.org 1.pool.ntp.org 2.pool.ntp.org 3.pool.ntp.org"

#powerd_options="-a adaptive -i 60 -r 95 -n adaptive -m 1600 -M 3300 -p 5000


## Network listening Daemons
lighttpd_enable="YES"
sshd_enable="YES"
samba_enable="YES"
rsyncd_enable="YES"

## Firewall
#pf_enable="YES"

## NFS
nfs_server_enable="YES"
mountd_enable="YES"
mountd_flag="-r"
rpcbind_enable="YES"
rpc_lockd_enable="YES"
rpc_statd_enable="YES"
# if you have problems, perhaps you can try the old NFS server:
#oldnfs_server_enable="YES"

## Sendmail
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"

## Graphics environment
#moused_enable="YES"
#usbd_enable="YES"
# note: you need services installed for the settings below to have any effect
#gnome_enable="YES"
#kdm_enable="YES"
#xfce_enable="YES"

## Misc
# this value needs to be NO for LiveCD/Embedded distribution
# and must be YES (the default) for Root-on-ZFS distributions
root_rw_mount="YES"

## Power Saving - turns off monitor after 300 sec (5 min)
saver="green"
blanktime="10"

## Synchronous DHCP
# enabling sync. DHCP will cause the system to wait for a DHCP lease before
# it finishes booting. This should prevent services to not have a working
# network interface when they start at boot time.
# enabling this setting may cause a long wait time during boot if you
# don't have any DHCP functionality.
synchronous_dhclient="YES"

# end

[ Voor 4% gewijzigd door HyperBart op 03-11-2012 13:14 ]

[fluppie007]

Ik kan niet vanop de clients naar de ZFS machine zijn share. Normaal werkt die \\SERVERZFS\SHARE, dit werkt niet met een statisch IP, wel met DHCP. Wat wel werkt \\192.168.2.10\SHARE.

In de FreeBSD terminal: ping serverzfs geeft een time-out, ping 192.168.2.10 werkt prima. Zelfde verhaal vanop een Windows machine, met DNS naam time-out, via IP prima.

Mijn netwerk is een gewone wifi router die de PPPOE connectie naar het internet maakt. Router 192.168.2.1 en de server is 192.168.2.10. De andere clients thuis zijn allemaal via DHCP.

De grap is, op mijn eigen server thuis (9.1-001 en zfsguru beta5) is alles exact hetzelfde geconfigureerd en daar werkt alles wel... Daar is het een Realtek LAN chipset ipv. een Atheros. Al zou dat volgens mij niets mogen uitmaken!

[ Voor 17% gewijzigd door fluppie007 op 03-11-2012 16:20 ]

[MikeVM]

ok, ZFS, ik weet wat het is, nu wil ik starten..
OS: ubuntu Server
Bootdisk: intel 80GB SSD X25M (heb ik nog over)

Data disks: 5x2TB, 1x3TB, 1x1,5TB, 1x1TB, 1x750TB

in de toekomst ga ik de 3 laatstgenoemde gebruiken in mijn synology als backup; als hier een disk van stukgaat is het niet zo erg...

en die wil ik dan vervangen door 2x3TB in de server

dat raid gebeuren lijkt me op dit moment vrij moeilijk te behalen. omdat ik te weinig vrije dataruimte heb?
maar kan ik die 5x 2TB schijven omzetten naar een RaidZ dmv 1 lege 3TB disk?
of moeten alle 5drives volledig leeg zijn om de raid te kunnen aanmaken?

Bootdisk, hoe kan ik die 80GB het beste benutten? 24 voor het OS, 4gb voor Slog, dan heb ik nog 30GB over voor caching, is dit een goede invulling van mijn SSD, of kan ik iets anders doen?

[sphere]

FireDrunk schreef op zaterdag 03 november 2012 @ 10:28:
Heel erg lastig te zeggen, omdat de Netwerkkaarten die in dat bord zitten nog steeds een beetje budget zijn (Intel -V series).

Deze had ik gemist. Misschien kan dat in de TS erbij, het krachtige systeem is nu wel gericht op desktop hardware. Een kaartje erin prikken of over naar een 2011 socket Xeon bord oid.

[FireDrunk]

sphere schreef op zaterdag 03 november 2012 @ 19:50:
[...]

Deze had ik gemist. Misschien kan dat in de TS erbij, het krachtige systeem is nu wel gericht op desktop hardware. Een kaartje erin prikken of over naar een 2011 socket Xeon bord oid.

Nou, het zakelijke systeem wat jij samenstelt is wat meer afhankelijk van de NIC dan een 'krachtige' thuisserver

In een zakelijke omgeving maak je vanuit alle hoeken van je DC verbinding met je server, en moet je kaart een hoop TCP connecties openhouden, dat gaat net ff wat sneller op een enterprise kaartje.

In een thuissituatie heb je hooguit 15-20 connecties open op je ZFS bak... Dan is zo'n Intel (-V) kaartje weer prima.

[Durandal]

Ik heb geen SSD maar wel 2 boot HDDs. Ik boot van MDADM mirror over die 2 disks maar heb nog zat ruimte vrij.
Mijn data zpool is 20TB netto raidz2, linux, 16GB ram en voornamelijk voor dev/download/video/docs voor thuis.
Bij voorkeur laat ik de zpool downspinnen.

Ik vraag me dan ook af of het toch handig is om
- een ZIL te installeren op die boot disk/disks, en hoe groot en wat voor configuratie dan (1 disk, mdadm mirror/zfs mirror, op een eigen partitie, ...)
- heeft een ZIL dezelfde mate van checksumming en redundantie als een ZFS filesystem? (Wat als ik een corrupte sector krijg)
- Ik begrijp dat een ZIL faalt dat ik wat schrijf transacties kwijt ben. Krijg ik daar een melding van en weet ik dan ook wat ik kwijt ben?
- Als ik mijn server afsluit wordt de ZIL dan naar disk geflushed?

Bedankt voor het inzicht alvast

[FireDrunk]

Durandal schreef op zondag 04 november 2012 @ 01:05:
Ik heb geen SSD maar wel 2 boot HDDs. Ik boot van MDADM mirror over die 2 disks maar heb nog zat ruimte vrij.
Mijn data zpool is 20TB netto raidz2, linux, 16GB ram en voornamelijk voor dev/download/video/docs voor thuis.
Bij voorkeur laat ik de zpool downspinnen.

Ik vraag me dan ook af of het toch handig is om
- een ZIL te installeren op die boot disk/disks, en hoe groot en wat voor configuratie dan (1 disk, mdadm mirror/zfs mirror, op een eigen partitie, ...)

MDADM en ZIL kunnen niet samen.

- heeft een ZIL dezelfde mate van checksumming en redundantie als een ZFS filesystem? (Wat als ik een corrupte sector krijg)

Ja

- Ik begrijp dat een ZIL faalt dat ik wat schrijf transacties kwijt ben. Krijg ik daar een melding van en weet ik dan ook wat ik kwijt ben?

Je pool gaat offline, je kan hem weer forced online brengen en dan waarschuwt hij je dat je een paar writes verliest.

- Als ik mijn server afsluit wordt de ZIL dan naar disk geflushed?
Bedankt voor het inzicht alvast

Je ZIL word alleen gebruikt als je systeem zonder stroom komt te zitten. Voor de rest staat je ZIL in memory.

[Durandal]

FireDrunk schreef op zondag 04 november 2012 @ 11:11:
[...]

MDADM en ZIL kunnen niet samen.

Ik zal het wat verduidelijken. Ik heb op beide disks een 30GB partitie gemaakt met daar overheen een mdadm mirror welke als boot/systeem disk dient. Ik wil dit niet afhankelijk hebben van ZFS.
Van diezelfde disks heb ik dan nog zo'n 1.5TB over, elk.

Maar is het handig/voordelig om een ZIL (of een L2ARC voor mijn part) van een 10 disk zpool op een aparte HDD partitie te zetten?
En zo ja, hoe groot en moet ik hem dan op een nieuw aan te maken zpool mirror zetten of..?

[ Voor 26% gewijzigd door Durandal op 04-11-2012 15:42 ]

[FireDrunk]

Ja en nee, het heeft wel zin, maar niet veel... ( misschien dat je random writes met een paar procent omhoog gaan, maar daar is ook alles mee gezegd)

ZIL hoeft doorgaans niet groter te zijn dan een paar GB (4 is meestal voldoende.)
Op mijn 10-disk RAIDZ2 heb ik mijn ZIL tot max een paar 100MB zien groeien.

[fluppie007]

fluppie007 schreef op zaterdag 03 november 2012 @ 15:46:
...
De grap is, op mijn eigen server thuis (9.1-001 en zfsguru beta5) is alles exact hetzelfde geconfigureerd en daar werkt alles wel... Daar is het een Realtek LAN chipset ipv. een Atheros. Al zou dat volgens mij niets mogen uitmaken!

Te belachelijk voor woorden, ik kopieer de config files: rc.conf, resolv.conf, hosts en smb.conf van mijn server en zet ze hier op mijn ouders hun server (rename de originele files naar .orgineel, copy/paste) en rebooten. Werkt gewoon niet... Zelfde probleem, IP ok, maar DNS resolving niet willen werken .
(ik kan dit doen omdat we dezelfde IP range gebruiken en zelfs dezelfde router)

Ik begin nu sterk te vermoeden dat die onboard Atheros chipset er voor iets tussen zit. Of het moet zijn dat in die 9.1-RC3 versie (ouders) van FreeBSD er iets gewijzigd is t.o.v. 9.0-STABLE (ik). Iemand enig idee? Ik ben ten einde raad en heb al belachelijk veel uren verspild met herconfiggen, rebooten, weer veranderen and so on.

[ Voor 4% gewijzigd door fluppie007 op 04-11-2012 17:49 ]

[Verwijderd]

fluppie: bij jou werkt NetBIOS niet naar behoren; dit heeft verder niets met DNS te maken. Je probleem is nmbd onderdeel van Samba, iets heel anders dan DNS. Als verder met DHCP alles werkt is dat heel vreemd, maar welke reden heb je eigenlijk om geen DHCP te gebruiken?

[HyperBart]

Gentlemen and women:

Ik zit hier al een tijdje over te tobben:

Ik ga in mijn nieuwe woonst mijn ESXi-machine gebruiken (via een VM) om mijn ZFS-NAS te hosten (wat nu nog gedaan wordt door mijn HP N40L). De bedoeling is om de N40L te verhuizen naar mijn vader met daarin 2 x 2TB en deze als remote backuplocatie te gebruiken.

Het idee was om hiervoor snapshots te gebruiken icm ZFS send/receive (gaat dit?). Ik had graag enkele filesystems periodiek (iedere dag) laten backuppen naar de N40L en de N40L hier dan telkens snapshots van te laten maken...

Punt is: ik wil een offsite backup waarbij ik:
tot 30 dagen per dag kan terugkeren
tot 1 jaar per week of maand kan terugkeren...

[fluppie007]

Verwijderd schreef op zondag 04 november 2012 @ 17:51:
fluppie: bij jou werkt NetBIOS niet naar behoren; dit heeft verder niets met DNS te maken. Je probleem is nmbd onderdeel van Samba, iets heel anders dan DNS. Als verder met DHCP alles werkt is dat heel vreemd, maar welke reden heb je eigenlijk om geen DHCP te gebruiken?

Tja, ik wil gewoon alle servers (fysieke & virtuele) een vast IP geven om ze van buitenaf te kunnen benaderen (port-forwarding). Enkel clients krijgen een adres via DHCP.
Dat NetBIOS verhaal, is dat een FreeBSD probleem of is dat een netwerkkaart probleem? Heeft iemand hier zfsGURU 9.1-004 beta8 draaien met een vast IP?

[Durandal]

Kun je niet port forwarden op de netbios/domein naam? Ik heb hier 2 routers en 1 van de 2 kan dat.
Misschien is het handige een ander routertje of andere FW te nemen.

[FireDrunk]

[global]
workgroup = CRAVU
server string = NAS
netbios name = NAS

In smb.conf moet voldoende zijn. Let wel op dat je de goede smb.conf wijzigt
/usr/local/etc/smb.conf dus.

@HyperBart, er is (voor zover ik weet) nog geen (goede) automatische snapshot tool die op jou manier werkt. Je zult zelf dus een soort script/webinterface moeten bouwen die die retentie bijhoudt.

[fluppie007]

Mijn smb.conf is volgens mij prima:

code:

#======================= Global Settings =====================================
# Important: feel free to edit this file, but do not remove the lines beginning
# with #===. Doing so will prevent ZFSguru from parsing this file correctly.

[global]
workgroup = MSHOME
server string = SERVERZFS
netbios name = SERVERZFS
security = share
passdb backend = tdbsam
load printers = no
log file = /var/log/samba/log.%m
max log size = 50

[victorb]

Ik heb een ZFSguru video tutorial gemaakt over:

1. Het instaleren van software via het Portstree systeem.
2. LAGG mode Lacp (Het bundelen van netwerkkaarten)
3. Gebruikers aanmaken via de console

[DrFlash]

fluppie007 schreef op zondag 04 november 2012 @ 17:48:
[...]
Ik begin nu sterk te vermoeden dat die onboard Atheros chipset er voor iets tussen zit. Of het moet zijn dat in die 9.1-RC3 versie (ouders) van FreeBSD er iets gewijzigd is t.o.v. 9.0-STABLE (ik). Iemand enig idee? Ik ben ten einde raad en heb al belachelijk veel uren verspild met herconfiggen, rebooten, weer veranderen and so on.

Klopt !

Je moet in rc.conf de naam van de netwerkkaart aanpassen. dat zal voor jou waarschijnlijk rl0 zijn voor de realtec, dat moet voor de andere machine gewijzigd worden naar de naam van de netwerkkaart daar (ath0 ??)

[FireDrunk]

fluppie007 schreef op zondag 04 november 2012 @ 22:25:
Mijn smb.conf is volgens mij prima:

code:

#======================= Global Settings =====================================
# Important: feel free to edit this file, but do not remove the lines beginning
# with #===. Doing so will prevent ZFSguru from parsing this file correctly.

[global]
workgroup = MSHOME
server string = SERVERZFS
netbios name = SERVERZFS
security = share
passdb backend = tdbsam
load printers = no
log file = /var/log/samba/log.%m
max log size = 50

doe je dan ook ping SERVERZFS ipv ping serverzfs
Samba's netbios implementatie is volgens mij hoofdletter gevoelig.

En heb je NetBIOS geforceerd aan staan op je desktop?

[ Voor 3% gewijzigd door FireDrunk op 05-11-2012 10:11 ]

[nwagenaar]

fluppie007 schreef op zondag 04 november 2012 @ 18:24:
[...]
Tja, ik wil gewoon alle servers (fysieke & virtuele) een vast IP geven om ze van buitenaf te kunnen benaderen (port-forwarding). Enkel clients krijgen een adres via DHCP.
Dat NetBIOS verhaal, is dat een FreeBSD probleem of is dat een netwerkkaart probleem? Heeft iemand hier zfsGURU 9.1-004 beta8 draaien met een vast IP?

Niet echt een vast IP, maar mijn DD-WRT router biedt een static IP aan icm het MAC-adres.

Ik heb de nieuwste versies zonder problemen draaien. Mijn NAS is gewoon bereikbaar via zijn NETBIOS naam en via IP vanaf Linux, Windows 8 en Windows 7. Externe DNS resolving vanaf de ZFSGuru configuratie verloopt ook zonder problemen. Dit alles draait op een N40L en mijn DD-WRT router heeft geen interne DNS in gebruik (dus alles verloopt via NETBIOS).

Voor de duidelijkheid, ik heb de NETBIOS hostnaam veranderd naar NAS01. Overigens maakt het niks uit of je nu pingt op hoofdletters of kleine letters. De resolving op Windows systemen zal eerst verlopen via DNS en dan pas via NETBIOS broadcasting.

[ Voor 12% gewijzigd door nwagenaar op 05-11-2012 11:12 ]

[fluppie007]

Dan ga ik er ter wijze van test vanavond mijn eigen server van 9.0-STABLE beta5 naar beta8 updaten en kijken of het netjes blijft werken. Werkt dat, dan ligt het gewoon aan die Atheros onboard chipset!

[FireDrunk]

Ik denk eerder dat het ligt aan je image... Alleen de webinterface updaten naar beta8 heeft geen zin.

Je zult naar 9.1 moeten upgraden denk ik.

[nwagenaar]

fluppie007 schreef op maandag 05 november 2012 @ 11:09:
Dan ga ik er ter wijze van test vanavond mijn eigen server van 9.0-STABLE beta5 naar beta8 updaten en kijken of het netjes blijft werken. Werkt dat, dan ligt het gewoon aan die Atheros onboard chipset!

Die kans lijkt me behoorlijk klein. Ondanks dat een driver-issue mogelijk kan zorgen voor issues, dan zou je dit ook moeten zien met connecties naar je NAS in het algemeen (bijvoorbeeld veel framedrops, tragere verbinding, etc).

Sowieso is NETBIOS broadcasting extreem oud (we praten het oude Windows for Workgroups tijdperk) en het is ook afhankelijk van wie de Master Browser in je netwerk is.

Probeer eens het volgende in /usr/local/etc/smb.conf te plaatsen en/of te vervangen:

code:

[global]
domain master = Yes
local master = Yes
preferred master = Yes
os level = 65

[FireDrunk]

Je kan OS level ook op 99 zetten. Anders heb je kans dat een andere PC met een hoger lvl ook master browser probeert te worden.

[nwagenaar]

FireDrunk schreef op maandag 05 november 2012 @ 11:23:
Je kan OS level ook op 99 zetten. Anders heb je kans dat een andere PC met een hoger lvl ook master browser probeert te worden.

Zolang je gebruik maakt van reguliere werkstation edities van Windows, dan is hoger dan 65 niet nodig. Overigens kan je de OS level op 255 zetten, dan win je het zelfs nog van Windows Server 6145

Even een ander iets, voor de mensen die gebruik willen maken van Sickboard/Coachpotato icm Spotweb als search mechanisme, dan dien je de volgende rewrite te gebruiken in /usr/local/etc/lighthttpd/lighttpd.conf:

code:

url.rewrite = ( "^/interface/spotweb/api\?(.*)$" => "interface/spotweb/index.php?page=newznabapi&$1" )

Verder moet je mod_rewrite enablen in /usr/local/etc/lighthttpd/modules.conf door het # weg te halen. Via http://<IP-adres ZFSGuru>/services.php?internal kan je de lighthttpd service herstarten.

@CiPHER

Geen idee of je dit al wist, maar spotweb (dat met de nieuwe sabnzbd update is toegevoegD) werkt dus niet 1,2,3 zonder het opnieuw compileren van php. Door gebruik te maken van deze howto kreeg ik het werkend. Zonder dit kom je niet door het installatie/configuratie-proces.

[ Voor 52% gewijzigd door nwagenaar op 05-11-2012 11:39 ]

[FireDrunk]

i know, dat bedoelde ik

[fluppie007]

Ik lees dat ik volgende regel moet toevoegen in loader.conf als je een Atheros AR8151 chipset hebt. Zal het straks ook maar eens uitproberen zeker .

[fluppie007]

Oh, ik steek een HP NC364T in m'n systeem. Voor de gein even die statische IP instellingen testen, hopsakee, alles werkt! Die Atheros driver onder FreeBSD is toch nog niet zoals het hoort .

In ieder geval heb ik nu een quad NIC. De bedoeling is dat elke VM zijn eigen NIC toegekend krijgt om zo de netwerk performance te boosten. Alleen nog even uitvissen hoe dat in elkaar zit.

Op gevoel zou ik zeggen dat ik em0 gebruik voor de host, ZFSguru. Dan em1,2,3 disablen in the rc.conf (ifconfig_em1="down" and so on). Daarna in Virtualbox, bridge network, advanded 'em1'.

Iemand hier ervaring met multiple-NIC's en dedicated NIC aan een VM?

[analog_]

Je kan toch beter een trunk bouwen met die quadport en je VMs intern het 'virtualbox' alternatief voor vmware vmxnet3 gebruiken. Ik weet dat er een 10GBe driver is.

[FireDrunk]

Dat heet virtIO, maar de performance daarvan zuigt apenballen...

[fluppie007]

FireDrunk schreef op dinsdag 06 november 2012 @ 22:10:
Dat heet virtIO, maar de performance daarvan zuigt apenballen...

En dat ligt aan Virtualbox? Of aan FreeBSD? Of aan de VirtIO drivers?

[FireDrunk]

VirtualBox icm FreeBSD denk ik. Onder linux doet virtio > 15gb.

[wjn]

wjn schreef op woensdag 03 oktober 2012 @ 10:33:
Memtest moet ik nog doen idd.

Hier de resultaten van de laatste scrub:

[afbeelding]

Met geen smart fouten bedoel ik, dat de error counters zoals "Raw_Read_Error_Rate", "Reallocated_Sector_Ct", "Seek_Error_Rate", "Reallocated_Event_Count" en "UDMA_CRC_Error_Count" allemaal op nul staan.

Voorbeeld van de eerste disk:

[afbeelding]

Voor de overige schijven geldt hetzelfde.

Inmiddels weer wat tijd gevonden om verder te testen en de volgende zaken geprobeert:
1. MEMTEST --> O.K.
2. BIOS Upgrade naar laatste versie (MSI B75MA-P45 BIOS V1.4)
3. M1015 geflashed incl BIOS rom (versie van medio april 2012)
4. Alle disks opnieuw geformatteerd.
5. ZFSGURU (laatste versie, incl. Beta geinstalleerd op SDD partitie.
6. Harddisks op M1015 aangesloten.
- Z1 Pool aangemaakt met 5x 4TB Hitachi + 30GB SDD cache, 1TB data erop gezet, scrub enkele CRC errors (geen read/write errors, geen smart errors) op alle schijven. Nu ook een corrupte file.
7. 3 disks aan de chipset SATA-2 aangesloten (om problemen met de M1015) uit te sluiten.
- Z1 Pool aangemaakt met 3x 4TB Hitachi + 30GB SDD cache, 1TB data erop gezet. Weer enkele CRC errors tijdens scrub (en weer geen andere fouten) op alle schijven. Dito corrupte file.
(Note: Eén schijf heeft nu UDMA_CRC_Error_Count errors, dat kwam door een defecte SATA kabel. Kabel vervangen, probleem weg muv. de CRC errors tijdens scrub in de pool.)
De cache (SSD) geeft geen Read/Write/CRC errors aan.

Ik kan eigenlijk geen andere conclusie meer trekken dan dat de schijven op de één of andere manier defect zijn. Of worden ze niet goed herkend / zijn ze niet compatible? In de system log zie ik wel een verschil tussen schijven aangesloten op de onboard en de M1015:
.

quote: Onboard

ada3 at ahcich3 bus 0 scbus4 target 0 lun 0
ada3: <Hitachi HDS724040ALE640 MJAOA3B0> ATA-8 SATA 3.x device
ada3: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada3: Command Queueing enabled
ada3: 3815447MB (7814037168 512 byte sectors: 16H 63S/T 16383C)

quote: M1015

da0 at mps0 bus 0 scbus0 target 2 lun 0
da0: <ATA Hitachi HDS72404 A3B0> Fixed Direct Access SCSI-6 device
da0: 600.000MB/s transfers
da0: Command Queueing enabled
da0: 3815447MB (7814037168 512 byte sectors: 255H 63S/T 486401C)

Iemand nog opties om te testen?

[ Voor 3% gewijzigd door wjn op 07-11-2012 13:02 ]

[FireDrunk]

Dat van die sectors maakt volgens mij niet uit... Zolang de grootte van de totale disk maar gelijk is.

Is de sata connector van je moederbord toevallig niet kadoek?

[wjn]

Ik krijg na het vervangen van die ene SATA kabel geen foutmeldingen meer die wijzen op de SATA kabels. Dat is het grote probleem, er zijn geen harde of smart foutmeldingen. Gemeenschappelijke factor is dat alle 4TB disks onder ZFS die CRC errors geven, of ik ze nu via onboard of de M1015 aansluit, als ik er 1TB of meer data op zet.

Ik probeer nog een pool met raid0 zonder cache, kijken wat dat voor effect geeft.

[ Voor 4% gewijzigd door wjn op 07-11-2012 13:51 ]

[Verwijderd]

wjn schreef op woensdag 07 november 2012 @ 13:01:
- Z1 Pool aangemaakt met 5x 4TB Hitachi + 30GB SDD cache, 1TB data erop gezet, scrub enkele CRC errors (geen read/write errors, geen smart errors) op alle schijven. Nu ook een corrupte file.
7. 3 disks aan de chipset SATA-2 aangesloten (om problemen met de M1015) uit te sluiten.
- Z1 Pool aangemaakt met 3x 4TB Hitachi + 30GB SDD cache, 1TB data erop gezet. Weer enkele CRC errors tijdens scrub (en weer geen andere fouten) op alle schijven. Dito corrupte file.

Corrupte file? Waar zie je dat? Zpool status output? Wat heb je gedaan, wat is de achtergrond?

(Note: Eén schijf heeft nu UDMA_CRC_Error_Count errors, dat kwam door een defecte SATA kabel. Kabel vervangen, probleem weg muv. de CRC errors tijdens scrub in de pool.)

Ik kan eigenlijk geen andere conclusie meer trekken dan dat de schijven op de één of andere manier defect zijn.

Want, waarom? Uit welke informatie trek je die conclusie? Een foute kabel is in elk geval niet de fout van de hardeschijf zelf. Als dat de enige fout is...

wjn schreef op woensdag 07 november 2012 @ 13:50:
Ik krijg na het vervangen van die ene SATA kabel geen foutmeldingen meer die wijzen op de SATA kabels.

Ook dit snap ik niet helemaal. Dat kan namelijk niet. Je SMART kabelfouten blijven gewoon zoals ze zijn die gaan nooit meer weg. Dus wat bedoel je precies?

Door je beter te begrijpen, hoop ik je ook beter te kunnen adviseren.

[wjn]

Verwijderd schreef op woensdag 07 november 2012 @ 14:22:
[...]

Corrupte file? Waar zie je dat? Zpool status output? Wat heb je gedaan, wat is de achtergrond?

Idd in de zpool status output. Pool status is dus xx errors. En de melding één of meerdere corrupte file(s). Restore van backup of restore de hele pool van backup.
Daaronder bij alle harddisks één of meerdere CRC errors (geen Read/Write errors).
Daaronder gespecificeerd het bestand wat corrupt is en niet gerepareerd kan worden, en een button om het te verwijderen.
.
Wat ik heb gedaan staat in het bericht. Ik ben praktisch opnieuw begonnen met testen, dwz. alle schijven geformatteerd, nieuwste live cd gedownload, zfsguru op sdd geïnstalleerd, geen aanpassingen, overige schijven ook gpt geformatteerd, Z1 pool aangemaakt, (test) data gekopieerd (kleine 1TB) van een externe esata disk en daarna scrub ter controle.
Z1 pool is 2x aangemaakt, 1x met 5 disks aan de M1015, daarna pool verwijderd, 3 disks aan de onboard controller, weer Z1 pool etc. (alles zfs acties middels de webinterface van zfsguru). Pool is met ashift=12 aangemaakt.
Beide keren uitkomst van de scrub die crc errors van de disken in de pool status.

Verwijderd schreef op woensdag 07 november 2012 @ 14:22:(Note: Eén schijf heeft nu UDMA_CRC_Error_Count errors, dat kwam door een defecte SATA kabel. Kabel vervangen, probleem weg muv. de CRC errors tijdens scrub in de pool.)

[...]

Want, waarom? Uit welke informatie trek je die conclusie? Een foute kabel is in elk geval niet de fout van de hardeschijf zelf. Als dat de enige fout is...

Verwijderd schreef op woensdag 07 november 2012 @ 14:22:Ook dit snap ik niet helemaal. Dat kan namelijk niet. Je SMART kabelfouten blijven gewoon zoals ze zijn die gaan nooit meer weg. Dus wat bedoel je precies?

Klopt, die fout ontstond nadat ik de schijven van de M1015 aan de onboard aansluitingen had aangesloten. Direct op de console ata3 crc errors, die terug te voeren waren op de defecte sata kabel. Kabel vervangen, probleem weg. In de smart van de betreffende disk staan uiteraard nog steeds UDMA CRC errors, maar dat was dus van die ene kabel en de errors lopen niet op.


[...]

Verwijderd schreef op woensdag 07 november 2012 @ 14:22:Door je beter te begrijpen, hoop ik je ook beter te kunnen adviseren.

Ik denk dus dat ik alles uitgesloten heb (geheugen, bios, kabels, etc.), alleen de firmware van de M1015 zou nog iets hoger kunnen (LSI heeft nieuwe FW uit), maar aangezien de schijven op test op de onboard controller ook die CRC errors geven, geloof ik niet dat dat wat uitmaakt.

Voorbeeld CRC errors, afhankelijk van hoeveelheid (test) data komt dat op alle harddisks voor:


Wat volgens mij overblijft zijn de processor (zou dan toch al foutmeldingen gegeven hebben op een ander moment, bijv. memory test?), de voeding (is een 380W, zou ruim voldoende moeten zijn voor 5x4TB) en de 4TB schijven zelf.

Vandaar mijn conclusie dat de schijven (Hitachi Deskstar HDS724040ALE640) icm. zfs waarschijnlijk het probleem veroorzaken, anders zou ik het ook niet meer weten.

[Durandal]

wjn schreef op woensdag 07 november 2012 @ 13:01:
[...]
Iemand nog opties om te testen?

Probeer HDAT2 eens om een sector test van je disks mee te doen. Kost ongeveer een dag per disks. Als je fouten vindt dan ook nog even op een andere machine proberen.

[wjn]

Durandal schreef op woensdag 07 november 2012 @ 16:02:
[...]

Probeer HDAT2 eens om een sector test van je disks mee te doen. Kost ongeveer een dag per disks. Als je fouten vindt dan ook nog even op een andere machine proberen.

Dat zal ik van het weekend eens proberen.

Ik heb vanavond, om zaken uit te sluiten, een RAID-0 pool gemaakt met de 5 harddisks. Tot mijn verbazing geen fouten (weer diezelfde 1TB geschreven vanaf esata). Na reboot slechts 1 checksum error op één schijf, daarna geen checksum fouten meer kunnen (re)produceren.
(Met raid-z kreeg ik meerdere checksum errors per harddisk, en reproduceerbaar scrub na scrub.)

Voor de zekerheid heb ik nu een pool van 2 mirrors (4 schijven in 2x2) gemaakt, en ben weer aan het kopieren. Mocht ik ook dan geen of slechts één fout krijgen, denk ik dat ik toch bij het geheugen moet zijn.

Ik heb gezocht (google etc.), maar vermoedt dat met raidz (en z2/z3) het geheugen veel intensiever wordt gebruikt dan met mirror of zelfs stripe. Kan iemand dat bevestigen?

(P.S. Memtest86 gaf dus geen fouten aan...)

[Verwijderd]

Als HDAT2 gewoon een surface read doet; dat kun je ook gewoon onder BSD met een dd commando, zoals:

dd if=/dev/gpt/MIJNDISK of=/dev/null bs=1m &

Met de & op het einde wordt deze op de achtergrond uitgevoerd.

Idd in de zpool status output. Pool status is dus xx errors. En de melding één of meerdere corrupte file(s).

Kun je die output posten? Filenames kun je maskeren.

Daaronder bij alle harddisks één of meerdere CRC errors (geen Read/Write errors).

Dan heb je toch systematische corruptie. Ik neig toch héél erg naar geheugenerrors.

(P.S. Memtest86 gaf dus geen fouten aan...)

Hoeveel heb je getest en hoe vaak? Ik zou nog maar eens gaan testen voor een goede periode. Je wilt zeker weten dat je een stabiel systeem hebt. Met de informatie hierboven zou ik anders vermoeden.

[Durandal]

Ik heb vroeger wel eens een tijd problemen gehad met (redelijk wat) corrupte files op mijn server (raid5). Nergens foutmeldingen. Na lang zoeken ben ik er achter gekomen dat mijn voeding niet goed was. Ik vermoed dat hij het bij zware operaties net niet kon trekken of zoiets. Ondanks dat het een merkvoeding was en boven de max load gespecificeerd was heb ik hem op een dag toch eens vervangen door eenzelfde met 100W meer.
Sindsdien geen problemen meer.

Daar zou je ook eens naar kunnen kijken.


.

Verwijderd schreef op donderdag 08 november 2012 @ 02:10:
Als HDAT2 gewoon een surface read doet; dat kun je ook gewoon onder BSD met een dd commando, zoals:

HDAT2 heeft veel testmethodes, maar de zwaarste is R/W/R/W/Verify. Je kan ook je eigen test samenstellen. En heeft visuele feedback (progress bar) en rapportage natuurlijk.
Doet ook SMART.

Nog belangrijker is dat je effe de disk aan een andere machine kan hangen en daar de test doen (niet in het minst omdat het een dag duurt).


Even iets anders:
Ik heb net een scrub van 8.24TB gestart en hij vertelt me doodleuk dat dat 9 uur gaat duren...
Hoe vaak doen julie je scrubs?

[ Voor 41% gewijzigd door Durandal op 08-11-2012 02:19 ]

[Verwijderd]

Ik heb net een scrub van 8.24TB gestart en hij vertelt me doodleuk dat dat 9 uur gaat duren...

De ETA wordt gebaseerd op de huidige datarate. In het begin valt die tegen omdat vooral random reads veel metadata wordt gelezen. Dus pas na een tijdje is de ETA enigszins nauwkeurig.

Aangezien ik full backup heb doe ik maar eens per maand een scrub, volledig handmatig.

Een simpel cronjob die elke 3 weken een scrub doet, zou voldoende moeten zijn. Maar dan moet je wel in het begin goed getest hebben dat je systeem stabiel is. Ik doe niets minder dan 10 passes memtest en zelfs dat stelt me nog niet voldoende gerust.

[Goudduif]

Momenteel heb ik op mijn NEXENTA NAS een NSF share en enkele ISCSI share's. Dit had ik zo ingericht omdat vSphere dan ook de hardware accerelation support.

Nu blijkt echter de performace van de NSF hoger te liggen dan die van de ISCSI.

Is er een mogelijkheid om de data die ik momenteel op de ISCSI hebt staan als NSF aan te bieden, of wie kan mij vertellen wat de snelste metode is om deze data om te zetten.

[wjn]

@CiPHER
Van die test heb ik geen printscreen gemaakt, zou dan de pool opnieuw als Z1 moeten aanmaken, kopieren etc.
Memtest86 heeft 3 runs gedaan, 16GB, geschat een uurtje of 4.

Ik denk dat ik eerst idd naar het geheugen ga kijken, het mainboard heeft diverse instellingen voor geheugen (staat nu op automatisch, geen overclock uiteraard). Het is 4x4GB, dus kan er makkelijk 8GB van maken (of 4GB, dat moet ik checken of dat ook werkt.)

[FireDrunk]

Goudduif schreef op donderdag 08 november 2012 @ 09:00:
Momenteel heb ik op mijn NEXENTA NAS een NSF share en enkele ISCSI share's. Dit had ik zo ingericht omdat vSphere dan ook de hardware accerelation support.

Nu blijkt echter de performace van de NSF hoger te liggen dan die van de ISCSI.

Is er een mogelijkheid om de data die ik momenteel op de ISCSI hebt staan als NSF aan te bieden, of wie kan mij vertellen wat de snelste metode is om deze data om te zetten.

Even zelf migreren met ESX. Vanuit je os kan het niet.

[Trunksmd]

Als je een SSD voor het OS gebruikt, kun je die dan nog gebruiken voor L2arc caching? Of is dat niet aan te raden. Ook is het mij niet duidelijk of je dan 2 partities moet maken op je SSD of juist niet?

Tweede, hoe is de stand van zaken met ZFS op de Mac? Tis misschien niet produktierijp, maar ik krijg de indruk dat het al verder is dan ZFS op linux. (Jammer dat Apple dat eruitgooide, maar misschien met Oracle kunnen ze weer opnieuw beginnen, hoewel ik het betwijfel).

[FireDrunk]

Ja dat kan prima, je moet inderdaad gebruik maken van partities!
Ook een beetje onderprovisionen (lege ruimte over laten) is zeker aan te raden!

[Durandal]

Verwijderd schreef op donderdag 08 november 2012 @ 02:25:
De ETA wordt gebaseerd op de huidige datarate. In het begin valt die tegen omdat vooral random reads veel metadata wordt gelezen. Dus pas na een tijdje is de ETA enigszins nauwkeurig.

Aangezien ik full backup heb doe ik maar eens per maand een scrub, volledig handmatig.

Een simpel cronjob die elke 3 weken een scrub doet, zou voldoende moeten zijn. Maar dan moet je wel in het begin goed getest hebben dat je systeem stabiel is.

Het kwam neer op bijna exact 1TB per uur, dus dat wordt dan eens per maand een scrub via cron of zo. Mijn belangrijke data heeft copies=2 en backup.

Verwijderd schreef op donderdag 08 november 2012 @ 02:25:
Ik doe niets minder dan 10 passes memtest en zelfs dat stelt me nog niet voldoende gerust.

Ik dacht dat ik wel aardig zat met 2 passes, maar nu wordt ik paranoide..

Ik had vanmorgen trouwens iets vreemds (na de scrub); Samba snelheid van en naar de server daalde tot 1MB/s. Samba service restarten hielp niet. Pas na een server reboot zat ik weer op 90+MB/s.
Ik zag gisteravond tijdens de scrub wel dat mijn geheugen gebruik opliep. Was mijn geheugen volgelopen of zo? (heb het niet gechecked voor de reboot - stom..)

[EnerQi]

Ik dacht dat ik wel aardig zat met 2 passes, maar nu wordt ik paranoide..

Ik zit op 3 passes maar zie die errors van jou niet terug bij mijn NAS (gelukkig)

[fluppie007]

Iemand tips om de netwerkperformance te boosten? Die 12MB/s vind ik toch niet voldoende :-/...

[u_nix_we_all]

Goudduif schreef op donderdag 08 november 2012 @ 09:00:
Momenteel heb ik op mijn NEXENTA NAS een NSF share en enkele ISCSI share's. Dit had ik zo ingericht omdat vSphere dan ook de hardware accerelation support.

Nu blijkt echter de performace van de NSF hoger te liggen dan die van de ISCSI.

Is er een mogelijkheid om de data die ik momenteel op de ISCSI hebt staan als NSF aan te bieden, of wie kan mij vertellen wat de snelste metode is om deze data om te zetten.

Ik denk dat dat lastig wordt. Ik neem aan dat er op die iscsi-target een vmfs filesystem zit. Ik denk niet dat er vmfs-fuse / vmfs-tools beschikbaar is op Nexenta, want dan zou je kunnen proberen de vmfs lokaal te mounten en via nfs te exporteren. Hoewel, dan nog geeft dat je vast geen performancewinst.....

Zit niet veel anders op dan de data uit de iscsi datastore te kopieren naar een nfs share ....

Edit: Wat doet die vSphere hardware-acceleration eigenlijk ?
Edit2: En hoe/waar meet je de snelheid ? Heb je op die NFS ook een ESX datastore en meet je de snelheid op de ESX ? Of meet je in een VM ? Afhankelijk van vanalles kan het dan best appels met peren vergelijken zijn. Dat is sowieso al een beetje het geval bij NFS vs iSCSI

[ Voor 15% gewijzigd door u_nix_we_all op 08-11-2012 19:37 ]

[EnerQi]

fluppie007 schreef op donderdag 08 november 2012 @ 17:16:
Iemand tips om de netwerkperformance te boosten? Die 12MB/s vind ik toch niet voldoende :-/...

Zit er toevallig een cat5 kabel in ipv cat5e? Die 12 MB lijkt op 100mbit netwerk.

[HyperBart]

EnerQi schreef op donderdag 08 november 2012 @ 20:39:
[...]


Zit er toevallig een cat5 kabel in ipv cat5e? Die 12 MB lijkt op 100mbit netwerk.

Een cat5 kabel gaat er niet voor zorgen dat een verbinding automatisch terugschaalt naar 100Mbit, aangezien deze qua connector en connectiviteit niet verschilt, wat betreft de kwaliteit van de aders wel...

[fluppie007]

Kabels zijn goed en kort (minder dan 5m). Windows VM heeft een eigen NIC toegewezen (bridged adapter). Ik gebruik een HP NC364T Quad NIC ism FreeBSD 9.1 RC2 + ZFSguru.

Simpel paint schema:


Toch is de performance om te huilen. Van men ZFS share op een gewone Windows client altijd tussen de 95-115 MB/s... Dus het werkt goed. Enkel tussen guest OS en host OS is de performance zo slecht.

[Verwijderd]

Je praat dus over VM performance; niet over fysieke netwerkperformance. De vraag is natuurlijk: welke adapter gebruik je voor je guest VM. Is dat virtio/paravirtualized networking? Ondersteunt Windows dat?

[matty___]

Wat is eigenlijk de beste methode om de disk in sleep mode te krijgen icm ZFS op een vanila freebsd systeem

met ataidle gaan ze wel in sleep maar dan is het een grote up en downspin en dat is ook niet helemaal wat ik wil

[Verwijderd]

@matty, de juiste manier om spindown te verzorgen is via camcontrol standby of via APM. Dat laatste moet je schijf ondersteunen, en kan niet via alle controllers ingeschakeld worden. Om die reden moest ik mijn schijven eerst op de onboard controller zetten om APM in te kunnen schakelen, alvorens ze op de LSI adapter aan te sluiten.

[Phorze]

er slingert voor freenas een script rond, "sasidle" geloof ik, die camcontrol stop gebruikt in combinatie met een loop die kijkt of er data over je pools heen gaat en dan spindown doet. Dit werkt bij mijn 1068e kaart.

@Cipher:

Ik heb een probleem met networking op zfsguru over KVM. De VIRTIO driver werkt alleen op de "live" cd, zodra ik een rootonzfs heb draaien wil mijn vtnet0 niet opkomen. Ik was in eerste instantie over gegaan op virtio-net omdat ik met een e1000 alleen read acces leek te krijgen op een samba share.. enig idee?

[Verwijderd]

er slingert voor freenas een script rond, "sasidle" geloof ik, die camcontrol stop gebruikt in combinatie met een loop die kijkt of er data over je pools heen gaat en dan spindown doet. Dit werkt bij mijn 1068e kaart.

Mja, toch is dat rommelig waarbij je schijf heel dom in spindown wordt schopt en maar tot God wordt gebeden dat de array niet in gebruik is; iets wat volgens een heel vage manier (zpool iostat) wordt gedetecteerd. Heel omslachtig en je kunt er zeker van zijn dat zoiets nooit in ZFSguru terecht komt.

Aangezien de LSI driver onder FreeBSD geen APM enzo doorstuurt, zul je je disks eenmalig op de onboard controller moeten aansluiten om APM in te schakelen. Daarna kun je ze op welke controller dan ook zetten en zonder OS support zullen de schijven volledig autonoom zichzelf downspinnen zodra er een periode van inactiviteit is. Dit is de juiste manier van downspinnen. Je schijven moeten hiervoor wel APM ondersteunen.

Een andere methode werkt volgens mij alleen onder ATA, via atacontrol spindown <dev> <seconden>. Dat is OS-initiated spindown en moet dus door je OS worden ondersteund.

Ergo: als je schijven APM ondersteunen heb je geen OS support nodig en laat je het de schijven zelf doen. Als je schijven geen APM ondersteunen heb je een probleem en moet je dus of op ATA controller werken of een 'slechte' manier van spindown gebruiken zoals met die scripts.

Virtio
Virtio is niet standaard onderdeel van FreeBSD of ZFSguru. Je moet het als service installeren: vm-virtio-drivers. De LiveCD heeft precies één service, jawel.... vm-virtio-drivers.
Wil je dus op Root-on-ZFS ook die service, dan moet je hem eerst installeren. Dit betekent wel dat je in het begin dus netwerkondersteuning via een andere adapter nodig hebt, maar dat lijkt me geen probleem dat is dus alleen voor de eerste boot nodig, totdat je virtio hebt geinstalleerd.

[krijn1985]

Zo eindelijk mijn NAS in elkaar gezet en ZFSguru hierop geinstalleerd. Echter loop nu toch tegen problemen met samba.

Allereerst de hardware:

#	Product	Prijs	Subtotaal
1	ASRock AMD A50M E350M1	€ 66,19	€ 66,19
3	Seagate Barracuda 7200.14 ST2000DM001, 2TB	€ 84,85	€ 254,55
1	BitFenix Merc Alpha	€ 33,90	€ 33,90
1	Corsair XMS3 CMX16GX3M2A1333C9	€ 64,-	€ 64,-
1	be quiet! Pure Power L7 300W	€ 37,50	€ 37,50
Bekijk collectie Importeer producten		Totaal	€ 456,14

De schijven zijn in een raid-z pool gezet (4k optimalisatie toegepast).

Met DD haal ik 172Megabyte/s schrijven en 247Megabyte/s lezen
Iperf vanaf ubuntu als client naar mijn NAS geeft volgende output:

code:

------------------------------------------------------------
Client connecting to 192.168.1.107, TCP port 5001
TCP window size: 23.5 KByte (default)
------------------------------------------------------------
[  3] local 192.168.1.18 port 51448 connected with 192.168.1.107 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   898 MBytes   753 Mbits/sec

In samba staat het volgende:

code:

use sendfile    no
aio read size   1
aio write size  1
aio write behind    true
socket options  TCP_NODELAY

Echter haal ik zowel vanaf ubuntu naar zfsguru en zfsguru naar ubuntu "maar" ongeveer 30/35megabyte/s

Nu heb ik in dit topic gezocht maar kom dus inderdaad vooral tegen dat aio read size, aio write size, aio write behind and socket options moest aanpassen (zoals ze nu staan).

Waar moet ik nu verder naar kijken om samba verder te tunen? Of ligt het in dit geval aan mijn ubuntu instellingen?

[Verwijderd]

Test iperf nog eens met een window size van 128K. Kun je ook tussen Linux en ZFSguru testen misschien? Ah had je al gedaan. Ik weet niet waarom, maar altijd als ik met Windows test, is de TCP window size veels te laag.

Async I/O is leuk maar dan moet je ook de 'aio' kernel module hebben geladen. Check dit met 'kldstat' en kijk of aio.ko hier tussen staat.

Verder kun je ook Samba performance testen door de 'tmpfs' share te activeren. Hiervoor moet je wel handmatig zelf tmpfs mounten:

mount -t tmpfs tmpfs /tmpfs (ja drie keer tmpfs is geen typo)

Verder kan je CPU overbelast zijn door interrupts. Kijk eens met 'top' wat de interrupt usage is tijdens dat je met Samba dingen aan het kopiëren bent. Als de interrupts hoog zijn en je gebruikt 9.0-004 dan kun je polling activeren met:

ifconfig re0 polling

Na reboot is dat verloren; maar test het eerst eens zo. Dan natuurlijk kijken of je hogere snelheden haalt en hoe je interrupt usage zit vergeleken met daarvoor.

[HyperBart]

Ik heb zonet eens gespeeld met APM, eerst maar eens gekeken of de drives het ondersteunen:

[root@zfsguru /hulk]# camcontrol identify ada0
pass0: <Hitachi HDS723030ALA640 MKAOA800> ATA-8 SATA 3.x device
pass0: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)

protocol              ATA/ATAPI-8 SATA 3.x
device model          Hitachi HDS723030ALA640
firmware revision     MKAOA800
serial number         XXXXXXXXXXXXXX
WWN                   xxxxxxxxxxxxxxx
cylinders             16383
heads                 16
sectors/track         63
sector size           logical 512, physical 512, offset 0
LBA supported         268435455 sectors
LBA48 supported       5860533168 sectors
PIO supported         PIO4
DMA supported         WDMA2 UDMA6
media RPM             7200

Feature                      Support  Enabled   Value           Vendor
read ahead                     yes      yes
write cache                    yes      yes
flush cache                    yes      yes
overlap                        no
Tagged Command Queuing (TCQ)   no       no
Native Command Queuing (NCQ)   yes              32 tags
SMART                          yes      yes
microcode download             yes      yes
security                       yes      no
power management               yes      yes
advanced power management      yes      no     
automatic acoustic management  no       no
media status notification      no       no
power-up in Standby            yes      no
write-read-verify              no       no
unload                         no       no
free-fall                      no       no
data set management (TRIM)     no

Goed, advanced power management is ondersteund.

Dan maar enabled:

camcontrol cmd ada1 -a "EF 05 00 00 00 00 00 00 00 00 01 00"

Maar ik lees ook veel over mensen die met "levels" werken, bv 127 ofzo, maar dat is met hdparm, of hoe?
http://www.howtoeverythin...t-timeout-values-hdparm-s

Ik heb begrepen uit http://www.freebsd.org/cg...uery=camcontrol&sektion=8 dat je een -t parameter kan meegeven waarin je instelt na hoeveel tijd een disk down spinned. Moet dat? Ik heb nu alleen bovenstaande commando's uitgevoerd, dus daarmee heb ik het alleen maar aangezet, maar niet geconfigureerd, of gebruikt hij al een soort default waarde?

Wat is hier nu eigenlijk de problematiek: http://forums.freebsd.org/showthread.php?t=9885 ?


* HyperBart gaat slapen . Ik kan hier nu wel mee zitten gaan spelen, maar testen ga ik toch niet kunnen met een draaiende VM

[Verwijderd]

In ZFSguru kun je dit gewoon instellen op de Disks->Advanced pagina. Selecteer je disk, als hij APM ondersteunt kun je dat daar instellen.

APM levels 127 en daaronder zijn MET spindown, 128 en daarboven is ZONDER spindown. 254 is de 'highest performance, lowest power savings' setting, en schakelt vaak ook head parking enzo uit.

Handmatige spindown commando's:
atacontrol spindown ada0 600
camcontrol standby ada0 -t 600

600 seconden = 10 minuten. Pas aan naar wens. Dit werkt niet via LSI controllers voor zover ik weet.

[HyperBart]

In de webGUI zegt ZFSguru van al mijn disks "unknown" bij APM en AAM. Alhoewel het wel werkt via commando's hoor, want ik heb zonet mijn -t bij camcontrol eens voor alle drives op 10 seconden gezet en dan een dd gestart, en alle disks gingen mooi down 10 seconden na de dd)

Maar met welk commando en waar, of welke omzetting moet je doen van DEC naar HEX moet je dat level instellen? Bij camcontrol kom je dat toch nergens tegen die waarde?

Want:
EF 05 00 00 00 00 00 00 00 00 01 00

Wat is daar dan kleiner als 127? die 05?

Ik zie even niet de parameters en wat wat is...


Ik heb een tijdje geleden gevraagd of iemand een ideetje had om op een redelijk geautomatiseerde manier een backup te kunnen wegschrijven naar een remote systeem met ZFS SEND/RECEIVE. Na wat zoeken kwam ik er op uit dat iemand (een Zweed), een scriptje heeft geschreven wat gebruikers zou moeten toe laten om zo een systeem op te zetten (althans, dat denk ik, ik heb nog niet kunnen kijken welke parameters ik kan meegeven qua retentie en RPO's). Voor diegenen die wat huiverig zijn over het gebruiken van andermans scripts, hier de hele thread van de betreffende user: http://forums.freebsd.org/showthread.php?t=28971 )

@CiPHER: ik weet niet of je hier wat mee bent voor in ZFSguru?

[ Voor 69% gewijzigd door HyperBart op 10-11-2012 00:34 ]

[Verwijderd]

In de webGUI zegt ZFSguru van al mijn disks "unknown" bij APM en AAM.

Klik je dan wel óp de disks? Je moet eerst je disk selecteren, pas dan kijkt hij wat je disk ondersteunt.

En handmatig commando moet je hex waarden gebruiken.
Dus:

EF 05 00 00 00 00 00 00 00 00 01 00 = APM 001 (max power saving)
EF 05 00 00 00 00 00 00 00 00 FE 00 = APM 254 (max performance, lowest power saving)

ZFS send/receive zal onderdeel zijn van Task Manager. In ZFSguru wil Jason dat pas dus in de toekomst implementeren. Je kunt natuurlijk prima zelf met scriptjes bezig gaan. Dat is onderdeel van het experimenteren en scripten kan althans in het begin vrij makkelijk zijn.

[matty___]

Nog een keer terug naar APM:

het programma ataidle (uit ports) zet de APM status voor je disks zie ik net.
dan is een

code:

ataidle -P 127 /dev/ada3

voldoende

[wjn]

Verwijderd schreef op zaterdag 10 november 2012 @ 02:56:
[...]

Klik je dan wel óp de disks? Je moet eerst je disk selecteren, pas dan kijkt hij wat je disk ondersteunt.

Heb ik ook met schijven die op de M1015 (IT-Mode) zijn aangesloten:

It appears that either the controller or the queried disk does not properly support detailed disk information via the camcontrol identify command.

Dezelfde schijven op een onboard controller geven wel de juiste gegevens aan.

"camcontrol inquiry" werkt wel op de disks op de M1015.

En ik heb het probleem dat na een power down de APM settings weer gereset zijn (disabled in mijn geval). Dus eerst op onboard, dan APM instellen, dan weer op de LBA werkt helaas niet.

[ Voor 5% gewijzigd door wjn op 10-11-2012 12:48 ]

[Verwijderd]

@matty: ataidle is superoud en superlegacy; gemaakt voor non-CAM drivers. Ik gebruik dat niet meer en kan het ook niet aanraden. Alles wat je met ataidle kan, kun je ook met atacontrol en camcontrol.

@wjn: "Dezelfde schijven op een onboard controller geven wel de juiste gegevens aan." dan werkt het toch? Dus je kan - zoals ik zei - de APM instelling veranderen voor disks die niet op een LSI controller zijn aangesloten; correct? Zoals ik zei eventjes op de chipset controller, APM inschakelen, dan weer terug op LSI controller.

En ik heb het probleem dat na een power down de APM settings weer gereset zijn

Dat verandert alles; en is behoorlijk klote. Dit betekent in feite dat je geen APM ondersteuning hebt. Erg jammer. Ik heb zelf ook Samsung M8 notebook disks die dit effect hebben. Om headparking uit te schakelen moet ik de APM op 254 zetten, maar wel bij iedere boot/powercycle. Die disks kan ik dus effectief niet gebruiken op een LSI controller, want dan zou headparking altijd agressief ingeschakeld zijn en is de schijf na 6 maanden al door zijn 300.000 cycles heen.

[webbier]

Ik heb hetzelfde probleem met mijn F4's van Samsung. Als ik de APM instel vanaf de chipset en ik reboot dan is de instelling weg. Bovendien, als ik de APM instel lijkt het wel alsof mijn disks direct in slaap vallen, ongeacht welke waarde ik gebruik. Verder lijken de schijven dan moeite hebben om weer uit slaapstand te komen als ik een film wil kijken bijvoorbeeld.

[krijn1985]

Verwijderd schreef op vrijdag 09 november 2012 @ 22:12:
Test iperf nog eens met een window size van 128K. Kun je ook tussen Linux en ZFSguru testen misschien? Ah had je al gedaan. Ik weet niet waarom, maar altijd als ik met Windows test, is de TCP window size veels te laag.

Hierbij paar iperf tests, hierbij is .107 zfsguru en .18 ubuntu. Het rare is dat ubuntu blijkbaar twee keer de windowsize neemt.

code:

krijn@krijn-desktop:~$ iperf -s -w 128KB
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size:  256 KByte (WARNING: requested  128 KByte)
------------------------------------------------------------
[  4] local 192.168.1.18 port 5001 connected with 192.168.1.107 port 24682
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  1006 MBytes   843 Mbits/sec
^Ckrijn@krijn-desktop:~$ iperf -s -w 64KB
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size:  128 KByte (WARNING: requested 64.0 KByte)
------------------------------------------------------------
[  4] local 192.168.1.18 port 5001 connected with 192.168.1.107 port 24545
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec   986 MBytes   826 Mbits/sec
^Ckrijn@krijn-desktop:~$ iperf -c 192.168.1.107 -w 128KB
------------------------------------------------------------
Client connecting to 192.168.1.107, TCP port 5001
TCP window size:  256 KByte (WARNING: requested  128 KByte)
------------------------------------------------------------
[  3] local 192.168.1.18 port 56741 connected with 192.168.1.107 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.05 GBytes   902 Mbits/sec
krijn@krijn-desktop:~$ iperf -c 192.168.1.107 -w 64KB
------------------------------------------------------------
Client connecting to 192.168.1.107, TCP port 5001
TCP window size:  128 KByte (WARNING: requested 64.0 KByte)
------------------------------------------------------------
[  3] local 192.168.1.18 port 56743 connected with 192.168.1.107 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.08 GBytes   924 Mbits/sec

Async I/O is leuk maar dan moet je ook de 'aio' kernel module hebben geladen. Check dit met 'kldstat' en kijk of aio.ko hier tussen staat.

code:

[root@zfsguru /home/ssh]# kldstat
Id Refs Address            Size     Name
 1   22 0xffffffff80200000 140c270  kernel
 2    1 0xffffffff8160d000 2086d8   zfs.ko
 3    2 0xffffffff81816000 5c58     opensolaris.ko
 4    1 0xffffffff8181c000 37a0     geom_uzip.ko
 5    2 0xffffffff81820000 dde0     zlib.ko
 6    1 0xffffffff8182e000 4d9d8    pf.ko
 7    1 0xffffffff8187c000 f4d0     aio.ko
 8    1 0xffffffff81a12000 21d      green_saver.ko
 9    1 0xffffffff81a13000 f8f      amdtemp.ko

Is geladen dus.

Verder kun je ook Samba performance testen door de 'tmpfs' share te activeren. Hiervoor moet je wel handmatig zelf tmpfs mounten:

mount -t tmpfs tmpfs /tmpfs (ja drie keer tmpfs is geen typo)

4,7GB aan muziek bestanden kopieren haalt hierbij ongeveer 29Megabyte/s. HIerbij ook gelijk stukje top output:

code:

last pid:  4801;  load averages:  0.14,  0.08,  0.04    up 0+19:34:10  16:27:25
32 processes:  1 running, 31 sleeping
CPU:  1.6% user,  0.0% nice, 15.7% system, 12.4% interrupt, 70.3% idle
Mem: 1033M Active, 7884K Inact, 1229M Wired, 228K Cache, 13G Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
 4800 root        1  37    0 47812K  5772K select  0   0:09 23.19% smbd
 1913 root        1  20    0 47772K  5756K select  1   0:18  0.00% smbd
 1755 root        1  20    0 12052K  1324K select  0   0:15  0.00% powerd
 1788 www         1  20    0 30852K  3476K kqread  0   0:03  0.00% lighttpd
 1777 root        1  20    0 40976K  3112K select  0   0:02  0.00% nmbd
 1818 www         1  52    0 51824K  7276K accept  0   0:01  0.00% php-cgi
 1713 root        4  20    0  9912K  1284K rpcsvc  1   0:01  0.00% nfsd
 1807 root        1  20    0 14128K  1544K nanslp  0   0:00  0.00% cron
 1779 root        1  20    0 47628K  4888K select  1   0:00  0.00% smbd
 1663 root        1  20    0 12052K  1456K select  0   0:00  0.00% syslogd
 1675 root        1  20    0 14132K  1788K select  0   0:00  0.00% rpcbind
 1719 root        1  52    0 22324K  4784K rpcsvc  1   0:00  0.00% rpc.lockd
 1716 root        1  20    0   280M  4832K select  1   0:00  0.00% rpc.statd
 1712 root        1  52    0 18104K  4728K select  1   0:00  0.00% nfsd
 1790 www         1  52    0 51824K  4716K wait    0   0:00  0.00% php-cgi
 1858 root        1  20    0 17444K  2384K ttyin   1   0:00  0.00% bash
 4790 root        1  22    0 67888K  4340K sbwait  1   0:00  0.00% sshd

CPU usage op ZFSguru webinterface is ongeveer 60% dan. Met een 7.2GB film haal ik ongeveer 32MB/s

Verder kan je CPU overbelast zijn door interrupts. Kijk eens met 'top' wat de interrupt usage is tijdens dat je met Samba dingen aan het kopiëren bent. Als de interrupts hoog zijn en je gebruikt 9.0-004 dan kun je polling activeren met:

ifconfig re0 polling

Nadat ik dit heb aangezet en kopieer krijg ik deze top uitslag (hierbij is kopieren iets langzamer):

code:

ast pid:  6812;  load averages:  1.32,  1.11,  0.73    up 0+19:52:58  16:46:13
32 processes:  1 running, 31 sleeping
CPU:  2.2% user,  0.0% nice, 16.1% system, 10.0% interrupt, 71.7% idle
Mem: 50M Active, 7952K Inact, 3235M Wired, 228K Cache, 12G Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
 1913 root        1  34    0 48212K  6044K select  1   0:44 10.35% smbd
 4800 root        1  20    0 48212K  5988K select  0   1:40  0.00% smbd
 1755 root        1  20    0 12052K  1324K select  1   0:15  0.00% powerd
 1818 www         1  52    0 51824K  7276K accept  0   0:09  0.00% php-cgi
 1788 www         1  20    0 30852K  3484K kqread  1   0:04  0.00% lighttpd
 1777 root        1  20    0 40976K  3112K select  0   0:02  0.00% nmbd
 1713 root        4  20    0  9912K  1284K rpcsvc  0   0:01  0.00% nfsd
 1807 root        1  20    0 14128K  1544K nanslp  1   0:00  0.00% cron
 1779 root        1  20    0 47628K  4888K select  1   0:00  0.00% smbd
 1663 root        1   1    0 12052K  1456K select  1   0:00  0.00% syslogd
 1675 root        1  20    0 14132K  1788K select  1   0:00  0.00% rpcbind
 1719 root        1  52    0 22324K  4784K rpcsvc  1   0:00  0.00% rpc.lockd
 1716 root        1  20    0   280M  4832K select  0   0:00  0.00% rpc.statd
 1712 root        1  52    0 18104K  4728K select  1   0:00  0.00% nfsd
 1790 www         1  52    0 51824K  4716K wait    0   0:00  0.00% php-cgi
 1858 root        1  20    0 17444K  2384K ttyin   1   0:00  0.00% bash
 6805 root        1  21    0 67888K  4400K sbwait  0   0:00  0.00% sshd

Echter geeft de webinterface een gebruik van +/-120% aan. (CPU vol geclockt).

Na reboot is dat verloren; maar test het eerst eens zo. Dan natuurlijk kijken of je hogere snelheden haalt en hoe je interrupt usage zit vergeleken met daarvoor.

Na reboot nog keer getest kopieren naar een share gaat ongeveer met 25megabyte/s, met volgende top:

code:

st pid:  2593;  load averages:  0.89,  0.70,  0.36    up 0+00:04:13  16:54:30
29 processes:  2 running, 27 sleeping
CPU:  1.0% user,  0.0% nice, 12.6% system, 12.0% interrupt, 74.4% idle
Mem: 47M Active, 6808K Inact, 1895M Wired, 276K Cache, 13G Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
 2263 root        1  38    0 47764K  5696K CPU1    1   0:15 26.27% smbd
 1820 www         1  52    0 51824K  6956K accept  1   0:01  0.00% php-cgi
 1787 www         1  20    0 30852K  3548K kqread  0   0:00  0.00% lighttpd
 2271 root        1  20    0 16560K  2100K CPU0    0   0:00  0.00% top
 2264 root        1  24    0 67888K  4188K sbwait  0   0:00  0.00% sshd
 1711 root        1  52    0 18104K  4728K select  0   0:00  0.00% nfsd
 1754 root        1  20    0 12052K  1324K select  1   0:00  0.00% powerd
 1789 www         1  52    0 51824K  4716K wait    1   0:00  0.00% php-cgi
 1850 root        1  52    0 47724K  5332K piperd  1   0:00  0.00% php
 1778 root        1  20    0 47620K  4872K select  1   0:00  0.00% smbd
 2268 ssh         1  21    0 17444K  2448K wait    0   0:00  0.00% bash
 1674 root        1  20    0 14132K  1788K select  0   0:00  0.00% rpcbind
 1662 root        1  20    0 12052K  1456K select  1   0:00  0.00% syslogd
 2269 ssh         1  23    0 41168K  1928K wait    0   0:00  0.00% su
 2267 ssh         1  20    0 67888K  4228K select  1   0:00  0.00% sshd
 1705 root        1  52    0 24336K  4844K select  1   0:00  0.00% mountd
 2270 root        1  22    0 17444K  2416K wait    1   0:00  0.00% bash

En webinterface geeft ongeveer 90% cpu-usage aan. (Dit is zonder polling aan dus)

Waar moet ik nu verder kijken? Of kan het toch netwerk kabel zijn? (alhoewel iperf hoger aangeeft dus).

[FireDrunk]

TCP_NODELAY en SND_BUFFERS al aangepast in Samba?

[Verwijderd]

@krijn.

4,7GB aan muziek bestanden kopieren haalt hierbij ongeveer 29Megabyte/s.

Dit is dus met gebruik van tmpfs? Je gebruikt zowel op de client als server geen (disk) filesystem? Kun je uitleggen hoe je precies test?

Echter geeft de webinterface een gebruik van +/-120% aan. (CPU vol geclockt).

Dat percentage is niet echt; je kunt dat alleen in top zien aan de hand van idle. In werkelijkheid betekent die 120% een load average van 1.20 over de afgelopen minuut. Dit geeft aan hoe lang een proces gemiddeld moet wachten voordat het CPU-tijd krijgt. Echt veel kun je hier niet aan afleiden.

Verder, kun je op ZFSguru naar de System->Tuning pagina gaan. Wat zie je daar in de combo box die je kunt selecteren? Je hoort te zien: "No automatic tuning". Kun je dit bevestigen? Heb je zelf handmatige tuning uitgevoerd of zaken veranderd die iets met je probleem te maken kunnen hebben?

[krijn1985]

FireDrunk schreef op zaterdag 10 november 2012 @ 19:28:
TCP_NODELAY en SND_BUFFERS al aangepast in Samba?

TCP_NODELAY heb ik erbij gezet bij socket options, met SND_BUFFERS heb ik nog niks gedaan.

Verwijderd schreef op zaterdag 10 november 2012 @ 19:33:
@krijn.


[...]

Dit is dus met gebruik van tmpfs? Je gebruikt zowel op de client als server geen (disk) filesystem? Kun je uitleggen hoe je precies test?

Ik heb de eerste tests gedaan naar tmpfs. HIerbij heb ik van mijn ubuntu computer vanaf mijn Samsung HD204UI naar de tmpfs folder. Na de reboot had ik tmpfs niet opnieuw gemount en naar mijn filesystem media (mountpoint /opslag/media, waarbij opslag dus mijn raid-z pool is) gekopieerd. media heeft geen compression, geen deduplication, no additional redundancy aanstaan. Checksum is Fletcher2 en synchronous writes staat op standaard.
Bedoel je met deze vraag dat mijn samsung schijf de bottleneck is/kan zijn? In dat geval moet die schijf volgens mij wel hogere snelheden dan 30/35 Megabyte/s kunnen halen. Maar om dit uit te sluiten is hier een mogelijkheid voor?

[...]

Dat percentage is niet echt; je kunt dat alleen in top zien aan de hand van idle. In werkelijkheid betekent die 120% een load average van 1.20 over de afgelopen minuut. Dit geeft aan hoe lang een proces gemiddeld moet wachten voordat het CPU-tijd krijgt. Echt veel kun je hier niet aan afleiden.

Verder, kun je op ZFSguru naar de System->Tuning pagina gaan. Wat zie je daar in de combo box die je kunt selecteren? Je hoort te zien: "No automatic tuning". Kun je dit bevestigen? Heb je zelf handmatige tuning uitgevoerd of zaken veranderd die iets met je probleem te maken kunnen hebben?

Ik heb hier No automatic Tuning staan. Heb verder bij Tuning geen dingen verandert.

Zal nog een keer bestanden kopieren en hierbij even kijken wat mijn router eventueel aangeeft. Is een linksys WRT320N met dd-wrt, deze moet volgens mij toch wel richting de 100megabyte/s aankunnen. Mijn ubuntu systeem is ook het enige waar ik het mee kan testen aangezien ik verder alleen een laptop ernaast heb met een 100mbit poort.

edit:
Router gekeken met top, cpu gebruik zat daar tussen de 5 tot 15%. Moet denk ik ook niet een bottleneck vormen.

[Verwijderd]

Maar om dit uit te sluiten is hier een mogelijkheid voor?

Door tmpfs te gebruiken en geen disks. Je hebt dus wel een tmpfs share maar je leest in elk geval van de client zijde dus van hardeschijf. Dan test je niet pure Samba performance maar ook disk performance.

Verder, heb je gecontroleerd dat tmpfs gemount is? Dat is standaard niet het geval bij de tmpfs share in ZFSguru. Zie je in de 'mount' output dat tmpfs op /tmpfs is gemount?

Als dat zo is, dus je hebt een Samba share die echt naar tmpfs wijst, dan kun je vanaf je client (Ubuntu) doen als:

dd if=/dev/zero of=/mnt/zerofile.000 bs=1M count=1000

Dus je leest nullen wat met vele gigabytes per seconden moet kunnen naar de samba mount die op /mnt is gemount; pas aan waar nodig.

Verder zou je ook NFS kunnen testen, iets wat sowieso beter is als je geen Windows gebruikt. Maar test nu eerst eens pure protocol performance zonder disk I/O. Problemen vinden doe je voornamelijk door factoren uit te sluiten het probleem zo te isoleren tot een bepaald gebied of bepaalde combinaties van factoren.

[krijn1985]

Verwijderd schreef op zaterdag 10 november 2012 @ 20:03:
[...]

Door tmpfs te gebruiken en geen disks. Je hebt dus wel een tmpfs share maar je leest in elk geval van de client zijde dus van hardeschijf. Dan test je niet pure Samba performance maar ook disk performance.

Verder, heb je gecontroleerd dat tmpfs gemount is? Dat is standaard niet het geval bij de tmpfs share in ZFSguru. Zie je in de 'mount' output dat tmpfs op /tmpfs is gemount?

Onderaan mount output staat: tmpfs on /tmpfs (tmpfs, local)

Als dat zo is, dus je hebt een Samba share die echt naar tmpfs wijst, dan kun je vanaf je client (Ubuntu) doen als:

dd if=/dev/zero of=/mnt/zerofile.000 bs=1M count=1000

Dus je leest nullen wat met vele gigabytes per seconden moet kunnen naar de samba mount die op /mnt is gemount; pas aan waar nodig.

Verder zou je ook NFS kunnen testen, iets wat sowieso beter is als je geen Windows gebruikt. Maar test nu eerst eens pure protocol performance zonder disk I/O. Problemen vinden doe je voornamelijk door factoren uit te sluiten het probleem zo te isoleren tot een bepaald gebied of bepaalde combinaties van factoren.

code:

krijn@krijn-desktop:/media$ dd if=/dev/zero of=/media/tmpfs/zerofile.000 bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 9.34803 s, 112 MB/s
krijn@krijn-desktop:/media$ dd if=/dev/zero of=/media/tmpfs/zerofile.000 bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 9.21841 s, 114 MB/s

Dit lijkt er dus op dat waarschijnlijk dan toch mijn HD de bottleneck is? Had ik eigenlijk niet verwacht.

edit: dit is de output als ik naar mijn samsung dd

code:

krijn@krijn-desktop:/media$ dd if=/dev/zero of=/media/opslag2tb/zerofile.000 bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 3.41955 s, 307 MB/s

Nu weet ik dat dit natuurlijk niet helemaal normale data is, maar het lijkt erop dat mijn hd toch wel "genoeg" snelheid heeft. Of begrijp ik dit verkeerd?

[ Voor 10% gewijzigd door krijn1985 op 10-11-2012 20:54 ]

[Verwijderd]

Even overzichtelijk: je hebt op de server tmpfs gemount op /tmpfs, en die heb je via Samba (en ook NFS?) geshared. Dan heb je een Ubuntu desktop waarmee je die Samba share hebt gemount op /media/tmpfs, is dat correct?

Die eerste twee benchmarks (112/114) kan ik nog begrijpen, dat is de absolute max doorvoer in de praktijk over gigabit (theoretisch 125MB/s ruwe bandbreedte). Maar die laatste benchmark met 307MB/s snap ik niet helemaal. Is dat een enkele hardeschijf? Zo snel kan een Samsung F4EG niet schrijven, max 140MB/s.

Je kunt testjes uitvoeren zoals tmpfs op Ubuntu desktop mounten en daar een bestand op zetten wat nog past in je RAM en dan kopiëren naar je ZFS server mountpoint, ook tmpfs. En dan experimenteren zodat je een lijst krijgt zoals:

server <----> client
-
tmpfs   <--> tmpfs   = x MB/s
zfspool <--> tmpfs   = x MB/s
tmpfs   <--> hdd     = x MB/s
zfspool <--> hdd     = x MB/s

[ Voor 27% gewijzigd door Verwijderd op 10-11-2012 21:24 ]

[krijn1985]

Ja met het mount -t commando uit een van je eerdere posts heb ik dus tmpfs gemount. Daarna heb ik die samba share in ubuntu dus gemount op /media/tmpfs.

Ja dat is een enkele hardeschijf. Dus denk dat daar iets niet helemaal klopt dan. Misschien heeft het te maken met het feit dat ik niet vaak genoeg mijn geheugen heb genomen. Draai hem nu even met 64GB.

edit: @Cipher, moet ik hierbij rekening houden met hoe vol mijn geheugen dus al zit? Ik heb 8GB in mijn ubuntu desktop. Maar daar is denk ik nu ongeveer 2GB van in gebruik. Moet ik dan een 6GB file maken?

edit2:
Kijk dit is een stuk realistischer:

code:

krijn@krijn-desktop:/media$ dd if=/dev/zero of=/media/opslag2tb/zerofile.000 bs=1M count=64000
64000+0 records in
64000+0 records out
67108864000 bytes (67 GB) copied, 729.133 s, 92.0 MB/s

Echter zou dit ook niet de bottleneck op dit moment moeten zijn.

edit3: en lezen:

code:

krijn@krijn-desktop:/media$ dd if=/media/opslag2tb/zerofile.000 of=/dev/null bs=1M
64000+0 records in
64000+0 records out
67108864000 bytes (67 GB) copied, 646.546 s, 104 MB/s

edit4:

server <----> client
-
tmpfs   <--  tmpfs   = +/- 85 MB/s (nautilus als root geopend)
tmpfs   <--  tmpfs   = +/- 37 MB/s (nautilus als user)
tmpfs   --> tmpfs    = +/- 85 MB/s  (nautilus als root geopend)
zfspool <--  tmpfs   = +/- 30 MB/s (nautilus als user)
zfspool <--  tmpfs   = raar gedrag, springt in 1 keer naar 790 mb en gaat dan aflopen van ongeveer 60 MB/s terug naar 40 (nautilus als root)
tmpfs    --> hdd     = +/- 32 MB/s (nautilus als user)
tmpfs    --> hdd     = +/- 75 MB/s (nautilus als root)
zfspool  --> hdd     = +/- 81 MB/s (nautlius als root)
zfspool  --> hdd     = +/- 32 MB/s (nautlius als user)
zfspool <--  hdd     = +/- 30 MB/s (nautilus als user)
zfspool <--  hdd     = +/- 23 MB/s (nautilus als root)

Er vallen twee dingen op:
1. als ik nautilus (dus file explorer) als root gebruik ligt mijn snelheid een stuk hoger.
2. als ik vanaf hdd naar zfspool kopier vanuit root ligt het weer een stuk lager.

Misschien morgen even met een liveusb ubuntu stick kijken wat dan snelheden zijn. Misschien dat er toch iets fout zit in ubuntu.

Voor mijn gevoel bij de vorige tests kon het gebruiken van polling cpu gebruik misschien wel iets verlagen. Dit gevoel morgen ook nog maar een keer testen.

[ Voor 90% gewijzigd door krijn1985 op 11-11-2012 02:06 ]

[wjn]

Nog één keer met 6 250GB schijven uit een oude server getest, met raid0 en raid1 (3x mirror) maar één checksum fout als ik 1TB naar de pool schreef. Met raid-z1 fouten op meerdere schijven.



Vannacht draait memtest86, ik ben benieuwd.

Edit: 13u20 bezig, 5 passes, 0 errors
Edit: 13 passes, 0 errors

[ Voor 8% gewijzigd door wjn op 13-11-2012 10:51 ]

[d1ng]

HyperBart schreef op zaterdag 10 november 2012 @ 00:07:
Ik heb een tijdje geleden gevraagd of iemand een ideetje had om op een redelijk geautomatiseerde manier een backup te kunnen wegschrijven naar een remote systeem met ZFS SEND/RECEIVE. Na wat zoeken kwam ik er op uit dat iemand (een Zweed), een scriptje heeft geschreven wat gebruikers zou moeten toe laten om zo een systeem op te zetten (althans, dat denk ik, ik heb nog niet kunnen kijken welke parameters ik kan meegeven qua retentie en RPO's). Voor diegenen die wat huiverig zijn over het gebruiken van andermans scripts, hier de hele thread van de betreffende user: http://forums.freebsd.org/showthread.php?t=28971 )

Je kan eens kijken naar zxfer icm een automatisch snapshot util voor ZFS, bv. sysutils/zfs-periodic. Snapshot management gebeurt daarmee met de ingebouwd periodic systeem van FreeBSD, en zxfer zorgt ervoor dat je datasets incl. snapshots op een andere disk komen.

Zie ook deze thread van de author van zxfer.

[EnerQi]

Grrr. Rebooting de NAS betekend dat ie sabnzbd niet meer kan opstarten . Er staan 7 processen in het overzicht maar niet het hoofdprogramma (Sabnzbd).

Dan ga ik maar updaten naar sabnzbd v6 (service in ZFSguru).

Overigens moet ik bij iedere update van een package alle instellingen opnieuw invoeren, is dit normaal?

Edit: Hmm updaten naar v6 helpt niet. Sabnzbd blijft dood. Overigens werken de andere programma's (gerelateerd aan Sabnzbd) "wel". Met wel bedoel ik dat ik wat beginschermen zie van het programma of de programma's iets doen weet ik niet want ik gebruik ze (nog) niet.

Edit2: na 2 reboots werkt het weer... (als ik alles ingesteld heb )

[ Voor 34% gewijzigd door EnerQi op 11-11-2012 12:35 ]