• Borromini
  • Registratie: Januari 2003
  • Niet online

Borromini

Mislukt misantroop

Iemand ZFS onder Debian GNU/Linux in gebruik? Importeren van de in FreeBSD gemaakte pools verliep netjes, maar ze koppelen niet automatisch aan tijdens het opstarten. Al kan het ook liggen aan het init script dat niet in elk runlevel ingeschakeld is, dat moet ik deze namiddag nog even checken :P.

Got Leenucks? | Debian Bookworm x86_64 / ARM | OpenWrt: Empower your router | Blogje

ZFS Fuse of ZFS kernel module?
Want ik lees op veel fora dat de ZFS kernel module het automounten voor je zou moeten doen.

Even niets...


  • de echte flush
  • Registratie: September 2007
  • Laatst online: 11-02 10:12
Aha bedankt strandbal, Dan volg ik dat op :)

  • enormhi
  • Registratie: November 2009
  • Laatst online: 03-08-2025
Weet iemand hier toevallig een methode om de ARC en L2ARC statistieken op te vragen in FreeBSD/NAS4Free? Ik heb twee scripts gevonden, arc_summary en arcstat.pl, maar deze doen alleen ARC. Ik heb wel een versie met L2ARC gevonden voor opensolaris, maar daar heb ik op FreeBSD niet zoveel aan(?).
ZFS-stats

/usr/ports/sysutils/zfs-stats
make && make install
zfs-stats -a

------------------------------------------------------------------------

L2 ARC Summary: (HEALTHY)
	Passed Headroom:			22.24m
	Tried Lock Failures:			126.00k
	IO In Progress:				9.35k
	Low Memory Aborts:			0
	Free on Write:				1
	Writes While Full:			0
	R/W Clashes:				0
	Bad Checksums:				0
	IO Errors:				0
	SPA Mismatch:				45.62b

L2 ARC Size: (Adaptive)				431.65	MiB
	Header Size:			0.00%	0

L2 ARC Breakdown:				1.74m
	Hit Ratio:			8.81%	153.60k
	Miss Ratio:			91.19%	1.59m
	Feeds:					1.03m

L2 ARC Buffer:
	Bytes Scanned:				972.49	TiB
	Buffer Iterations:			1.03m
	List Iterations:			66.04m
	NULL List Iterations:			1.43m

L2 ARC Writes:
	Writes Sent:			100.00%	6.95k

------------------------------------------------------------------------

[ Voor 83% gewijzigd door FireDrunk op 04-12-2012 14:01 ]

Even niets...


  • enormhi
  • Registratie: November 2009
  • Laatst online: 03-08-2025
Had toevallig net wat gevonden over ZFS-stats, echter heeft NAS4Free geen /usr/ports. Dus ik heb hem geïnstalleerd via "pkg_add -r zfs-stats". Echter als ik "zfs-stats -a" uitvoer krijg ik:
nas4free:/usr# zfs-stats -a
zfs-stats: Command not found.

EDIT::EDIT::EDIT
Ah, nevermind. Putty opnieuw opgestart (omdat de bovenkant onder mijn taskbar stond...) en nu doet hij het.

[ Voor 20% gewijzigd door enormhi op 04-12-2012 14:28 ]

Komt omdat je environment opnieuw geladen moet worden.

Even niets...


  • enormhi
  • Registratie: November 2009
  • Laatst online: 03-08-2025
Oke, apart. Heb ik nog nooit eerder gehad. Bedankt in ieder geval!

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
enormhi schreef op dinsdag 04 december 2012 @ 14:48:
Oke, apart. Heb ik nog nooit eerder gehad. Bedankt in ieder geval!
even su naar andere user en weer exit en je bent er :z

  • Borromini
  • Registratie: Januari 2003
  • Niet online

Borromini

Mislukt misantroop

FireDrunk schreef op dinsdag 04 december 2012 @ 09:26:
ZFS Fuse of ZFS kernel module?
Want ik lees op veel fora dat de ZFS kernel module het automounten voor je zou moeten doen.
ZFS kernel module.

# update-rc.d zfs defaults
heeft het gefikst :).

Got Leenucks? | Debian Bookworm x86_64 / ARM | OpenWrt: Empower your router | Blogje


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 04-02 13:22
Net (als test) tijdens een scrub het sata kabeltje van 1 van de disks van mijn Raid-Z2 pool getrokken (die in een ZFSguru VM draait met een IBM M1015 in passthrough onder ESXi 5). Pool was degraded maar ik kon nog steeds bij de Samba share en o.a. bewakingscamerabeelden afspelen :). Daarna éénzelfde lege 2TB disk erin gestoken, "replace disk" gedaan en hoppa, hij begon te resilveren. Dit gaat met een snelheid van 115 MB/s en gaat +- 1h15m duren. I like ZFSguru so far :) !!

EDIT:
code:
1
2
3
4
5
Pool status
Pool name   StorageTank1
Status  ONLINE
Scrub   resilvered 83.6G in 1h5m with 0 errors on Tue Dec 4 23:24:21 2012
Ashift  pool is optimized for 512 B sector disks (ashift=9)

[ Voor 18% gewijzigd door fluppie007 op 05-12-2012 08:19 ]


Verwijderd

FireDrunk schreef op maandag 03 december 2012 @ 11:11:
[...]


Dat heet HAST (Highly Available Storage Technology) bij FreeBSD, en werkt samen met CARP (Common Address Redundancy Protocol).

http://www.aisecure.net/2...d-zfs-with-carp-failover/


[...]
Heb ik geprobeerd maar helaas het was te instabiel voor ons. Bij het minste of geringste hadden we problemen met splitbrain en het resyncen van xxTb is geen gein.

Joop
Hmm, vreemd, HAST / CARP word gezien als een van de stabielste en betrouwbaarste Cluster methodes volgens mij...

Even niets...


  • MikeVM
  • Registratie: Mei 2007
  • Laatst online: 04-12-2025

MikeVM

- Baloo -

kan iemand mijn antwoorden kort beantwoorden hieronder?

- Hoe weet ik of mijn Hardware PCI-Passtrough ondersteund?
- is 8GB genoeg als ik onder Ubuntu 3 VM's tegelijkertijd draai.
* Ubuntu voor alle applicaties,
* xp voor Windows-Only programmas (niet continue)
* Freenas oid
- hoe moet ik dan mijn 8Gb geheugen verdelen? als ik het Ram geheugen Reserveer voor een VM, is dat dan volledig gereserveerd voor 1 VM of zal dit dynamisch verdeeld worden? En kan elke VM afwisselend gebruik maken van meer dan 6GB?
- werkt dit efficiënt vanaf 1 SSD? of zijn meerdere SSD's merkbaar sneller?
- mijn moederbord heeft 4 x GBit ethernetpoorten, kan ik dan 2 NIC's toewijzen aan Freenas en de andere 2 verdelen onder het main-OS en de andere 2 VM's?

\\ Baloo \\ Mijn iRacing profiel

- Ligt aan je OS, maar je kan eens beginnen met je hardware hier posten, dan kunnen wij misschien een educated guess doen.

- dat ligt aan de hoeveelheid geheugen die je de VM wil geven.
* Alle applicaties? Wat is alle?
* Wat wil je met FreeNAS doen? ZFS? Veel storage, weinig?
- Dat ligt aan je OS, ESXi kent memory overcommitment, veel andere HyperVisors / Virtualisatiepakketen niet.
- Dat ligt 100% aan je applicaties, als ze niets doen, is een SSD niet sneller. Staan ze miljoenen IOPS te verstoken, dan is meerdere SSD's natuurlijk sneller.
- Dat ligt aan de aansluiting waar ze op zitten. Apparaten die achter de zelfde PCIe switch zitten moeten aan 1 VM gegeven worden, omdat de PCIe switch de passthrough functionaliteiten uitvoerd. Je kan dus de mazzel hebben dat elke netwerkkaart zijn eigen PCIe switch heeft, of juist pech hebben dat ze allemaal op dezelfde PCIe switch zitten.

Even niets...


Verwijderd

FireDrunk schreef op woensdag 05 december 2012 @ 10:59:
Hmm, vreemd, HAST / CARP word gezien als een van de stabielste en betrouwbaarste Cluster methodes volgens mij...
Dachten wij ook vandaar de test. Om wat verder uit te weiden:
- 2 storage bakken met ZFSGuru
- 1 pool als test
- slechts 3 disken
- setup CARP
- setup HAST
- scripts komen van het freebsd forum
- export de zfspool als NFS en koppel dat aan oVirt
Alleen al het testen, kabel uit de netwerk poort, eerst de backup opstarten en dan de master --> leidde tot split brain situaties. :-((

Zijn nu over naar glusterfs en nog geen problemen gezien, zelfde hardware, maar nog geen zfs gebruikt, zijn we wel van plan misschien.

Joop
Alleen al het testen, kabel uit de netwerk poort, eerst de backup opstarten en dan de master --> leidde tot split brain situaties. :-((
Ah, daar heb ik gister toevallig iets over gelezen, en dat zou in FreeBSD 9.1 opgelost moeten zijn, omdat je nou kan zeggen dat een systeem eerst als secondary op moet starten ipv altijd als master starten.

Even niets...


  • victorb
  • Registratie: Februari 2000
  • Laatst online: 28-01 23:31
Wat maakt zfsguru en mijn m1015 een puinhoop van welke disk aan welke kabel zit :o

Nu maar even per disk opstarten en disk label geven zodat ik in het geval van een kapotte disk de goede kan vervangen

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM


  • Durandal
  • Registratie: Juli 2002
  • Laatst online: 13-12-2025
victorb schreef op woensdag 05 december 2012 @ 15:15:
Wat maakt zfsguru en mijn m1015 een puinhoop van welke disk aan welke kabel zit :o

Nu maar even per disk opstarten en disk label geven zodat ik in het geval van een kapotte disk de goede kan vervangen
Een goed idee is even een stickertje op je disks met (het laatste stuk van) je disk serienummer.
Heeft vaak te maken met de volgorde van initialiseren, dus als disk 3 eerder klaar is met opspinnen dan 1, kan het best zijn dat die eerder in je lijst komt.

[ Voor 4% gewijzigd door FireDrunk op 05-12-2012 15:33 ]

Even niets...


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 04-02 13:22
Verwijderd schreef op woensdag 05 december 2012 @ 14:22:
[...]
... nog geen zfs gebruikt, zijn we wel van plan misschien.

Joop
Ik ben erg benieuwd als jullie hiermee verdergaan wat de resultaten & bevindingen zijn!
Ik krijg een NFS gesharede folder maar niet gemount onder ESXi, heb al verschillende mountpaden geprobeerd:

/hulk/virtualmachines/
/hulk/virtualmachines
hulk/virtualmachines/
hulk/virtualmachines
virtualmachines
/virtualmachines/
virtualmachines/


Zonder succes, doe ik iets fout nog op ZFS niveau?

  • victorb
  • Registratie: Februari 2000
  • Laatst online: 28-01 23:31
Onder linux is mijn user ID 1000 en onder ZFSguru 1001. Nu heb ik geen toegang over NFS behalve als ik alles opzet met 777.

Wat kan ik hier beste aan doen?

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM


  • Durandal
  • Registratie: Juli 2002
  • Laatst online: 13-12-2025
Effe in linux je userID veranderen naar 1001 (en chown op alle -relevante- files), maar eerst alle 1001 files een nieuw ID geven.
Misschien is er een NFS optie, maar die ken ik niet.

[ Voor 3% gewijzigd door Durandal op 06-12-2012 00:49 ]

Nfs optie --map-all=1001 gebruiken.

Even niets...


  • Geckx
  • Registratie: November 2008
  • Laatst online: 02-01 00:20
Even een bemerking.

Ik heb 5x3Tb schijven aangekocht voor mijn zelfbouw NAS. De Seagate Barracuda 7200.14. Dus de 3TB versie met 1TB platters. Volgens reviews zou deze moeten gebruik maken van 4k sectors. Echter als ik bij "disks" kijk in ZFSGuru staat er 512. Is dit een fout in het uitlezen of zijn de specs gewoon fout? Of emuleert de schijf gewoon 512 bytes om compatibiliteit met oudere OS' te bewaren?
Op de sticker staat duidelijk ST3000DM001 dusja...

Dus zit ik wat vertwijfeld of ik nu ashift= 9 of 12 moet toepassen...

Verwijderd

Topicstarter
Alle huidige 4K Advanced Format schijven emuleren 512-byte sectoren. Voor het operating system zijn het dus 512-byte sectoren. Dat is ook de bron van alle ellende; als ze écht 4K sectoren zouden presenteren aan de buitenwereld, had je nooit geen problemen gehad van misalignment en 4K optimalisatie.

ZFSguru geeft je ook helder de keuze om te optimaliseren voor 4K sector hardeschijven of niet. Ik zeg: doen. :)

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
Verwijderd schreef op donderdag 06 december 2012 @ 09:51:
Alle huidige 4K Advanced Format schijven emuleren 512-byte sectoren. Voor het operating system zijn het dus 512-byte sectoren. Dat is ook de bron van alle ellende; als ze écht 4K sectoren zouden presenteren aan de buitenwereld, had je nooit geen problemen gehad van misalignment en 4K optimalisatie.

ZFSguru geeft je ook helder de keuze om te optimaliseren voor 4K sector hardeschijven of niet. Ik zeg: doen. :)
het is toch zo dat ook normale oude schijven met 4k alignmet goed werken en alleen nieuwe 4k schijven met 512b alignmet niet?

  • victorb
  • Registratie: Februari 2000
  • Laatst online: 28-01 23:31
Firedrunk op de client side? of op de server?

Ik heb nu de users al op bijde machines zelfde id gegeven heb toch maar 1 user op het netwerk over nfs :)

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM

Verwijderd schreef op donderdag 06 december 2012 @ 09:51:
Alle huidige 4K Advanced Format schijven emuleren 512-byte sectoren. Voor het operating system zijn het dus 512-byte sectoren. Dat is ook de bron van alle ellende; als ze écht 4K sectoren zouden presenteren aan de buitenwereld, had je nooit geen problemen gehad van misalignment en 4K optimalisatie.

ZFSguru geeft je ook helder de keuze om te optimaliseren voor 4K sector hardeschijven of niet. Ik zeg: doen. :)
Ik heb een soort schijf van 3TB die nog "true 512B sectors" gebruikt:

pricewatch: Hitachi Deskstar 7K3000, 3TB

--> http://www.hgst.com/tech/...20A/$file/DS7K3000_ds.pdf
Interface
SATA 6Gb/s
Capacity (TB)1
3 / 2 / 1.5
Sector size (bytes)
512
Max. areal density (Gbits/sq. in.)
411
Ten opzichte van bv een http://www.hgst.com/inter.../deskstar/deskstar-7k4000 , daar staat in de data sheet:
Highlights
>>Enormous 4TB1 capacity
>>Advanced Format
>>512 emulation
>>7200 RPM performance
>>6Gb/s SATA interface
>>Eco-friendly, halogen-free design
Voor diegenen die dus nog echte 512B sector 3TB disken zoeken... :)

  • victorb
  • Registratie: Februari 2000
  • Laatst online: 28-01 23:31
ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool : data (16.2T, 10% full)
Test size : 256 GiB
normal read : 699 MB/s
normal write : 420 MB/s
lzjb read : 972 MB/s
lzjb write : 720 MB/s
gzip read : 951 MB/s
gzip write : 726 MB/s
I/O bandwidth : 3 GB/s

Nice 6x 3tb Seagate 7200rpm Raidz2 op een IBM M1015 :9

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
victorb schreef op donderdag 06 december 2012 @ 11:35:
ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool : data (16.2T, 10% full)
Test size : 256 GiB
normal read : 699 MB/s
normal write : 420 MB/s
lzjb read : 972 MB/s
lzjb write : 720 MB/s
gzip read : 951 MB/s
gzip write : 726 MB/s
I/O bandwidth : 3 GB/s

Nice 6x 3tb Seagate 7200rpm Raidz2 op een IBM M1015 :9
ben benieuwd wat er overblijft als die 75 of 85% gevuld is.
Nu vol schrijven met 15TB geeft ook geen goed beeld omdat er dan geen gaten door verwijderacties tussen staan.

Er is niet iemand die een pool al een jaar in gebruik heeft die redelijk vol is?

  • Bigs
  • Registratie: Mei 2000
  • Niet online
victorb schreef op donderdag 06 december 2012 @ 11:35:
ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool : data (16.2T, 10% full)
Test size : 256 GiB
normal read : 699 MB/s
normal write : 420 MB/s
lzjb read : 972 MB/s
lzjb write : 720 MB/s
gzip read : 951 MB/s
gzip write : 726 MB/s
I/O bandwidth : 3 GB/s

Nice 6x 3tb Seagate 7200rpm Raidz2 op een IBM M1015 :9
Volgens mij is ZFSguru niet open source of wel? Dan zou ik die benchmark op mijn FreeBSD machine kunnen zetten. Ik zou jouw cijfers wel eens willen vergelijken met mijn pool van 5x 3TB (4k disks) raidz2 aangezien de stripe size daar volgens sommige berichten roet in het eten zou moeten gooien. Overigens heb ik wel gnop gebruikt bij het aanmaken van de pool.

[ Voor 6% gewijzigd door Bigs op 06-12-2012 11:57 ]


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
Bigs schreef op donderdag 06 december 2012 @ 11:55:
[...]


Volgens mij is ZFSguru niet open source of wel? Ik zou die benchmark graag eens draaien op mijn pool van 5x 3TB (4k disks) raidz2 aangezien de stripe size daar volgens sommige berichten roet in het eten zou moeten gooien. Overigens heb ik wel gnop gebruikt bij het aanmaken van de pool.
Als je de pool gealignd hebt (anders zou je gnop niet hebben gebruikt) dan zou de performance niet veel slechter moeten zijn
ZFS is wel open source (sowieso kan je gewoon de PHP code bekijken :+ )

Even niets...


  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 11-02 12:18

Pantagruel

Mijn 80486 was snel,....was!

matty___ schreef op donderdag 06 december 2012 @ 11:53:
[...]

ben benieuwd wat er overblijft als die 75 of 85% gevuld is.
Nu vol schrijven met 15TB geeft ook geen goed beeld omdat er dan geen gaten door verwijderacties tussen staan.

Er is niet iemand die een pool al een jaar in gebruik heeft die redelijk vol is?
Sinds oktober 2011 in gebruik (10x 2 TB WD EARS/EARX), niet zo vol als je wellicht graag had gezien maar bij deze de benchmarks:

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 64 GiB
normal read : 487 MB/s
normal write : 399 MB/s
lzjb read : 4 GB/s
lzjb write : 2 GB/s
gzip read : 4 GB/s
gzip write : 2 GB/s
I/O bandwidth : 30 GB/s

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 128 GiB
normal read : 437 MB/s
normal write : 409 MB/s
lzjb read : 5 GB/s
lzjb write : 2 GB/s
gzip read : 5 GB/s
gzip write : 2 GB/s
I/O bandwidth : 31 GB/s

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
Pantagruel schreef op donderdag 06 december 2012 @ 22:55:
[...]


Sinds oktober 2011 in gebruik, niet zo vol als je wellicht graag had gezien maar bij deze de benchmarks:

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 64 GiB
normal read : 487 MB/s
normal write : 399 MB/s
lzjb read : 4 GB/s
lzjb write : 2 GB/s
gzip read : 4 GB/s
gzip write : 2 GB/s
I/O bandwidth : 30 GB/s

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 128 GiB
normal read : 437 MB/s
normal write : 409 MB/s
lzjb read : 5 GB/s
lzjb write : 2 GB/s
gzip read : 5 GB/s
gzip write : 2 GB/s
I/O bandwidth : 31 GB/s
wat voor zpool config en systeem heb je? zijn zeker mooie waardes :)

  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 11-02 12:18

Pantagruel

Mijn 80486 was snel,....was!

matty___ schreef op donderdag 06 december 2012 @ 23:00:
[...]

wat voor zpool config en systeem heb je? zijn zeker mooie waardes :)
De pool is RAID-Z2, spec's van de machine staan hier (pics liggen er ivm een server migratie (real steel to virtual machine) op dit moment uit).

update 07-12-12, Pic's werken weer

[ Voor 5% gewijzigd door Pantagruel op 07-12-2012 09:50 . Reden: update 07-12-12, Pic's werken weer ]

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


  • onox
  • Registratie: Februari 2006
  • Laatst online: 18-05-2025
FireDrunk schreef op donderdag 06 december 2012 @ 12:25:
ZFS is wel open source (sowieso kan je gewoon de PHP code bekijken :+ )
ZFS wel ja, maar ZFSguru toch echt niet :p

  • analog_
  • Registratie: Januari 2004
  • Niet online
Verkeerd gepost, maar mijn storage node draait ZFS op OI dus slightly relevant voor hier. energie verbruik. Heb settings in /etc/power.conf aangepast zodat default always-on en volume op 5 minuten spindown staat.

[ Voor 191% gewijzigd door analog_ op 07-12-2012 02:27 ]


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
onox schreef op vrijdag 07 december 2012 @ 00:16:
[...]


ZFS wel ja, maar ZFSguru toch echt niet :p
Het is niet als opensource project aangemerkt met een licentie oid omdat het een gui op freebsd is.


Maar het is in mijn ogen toch echt geen closed source weliswaar staat niet alles op github maar met een beetje zoeken en je kunt elk script wel bekijken.

[ Voor 6% gewijzigd door matty___ op 07-12-2012 07:21 ]

Om de woorden van CiPHER (en Jason) te quoten, het moet wel open source worden, ze weten alleen nog niet zo goed volgens welke licentie (Apache, CDDL, GPL, GNU, CC, w/e)

Even niets...


Verwijderd

Topicstarter
Het is sowieso open source in de letterlijke betekenis omdat je de broncode kunt zien. Open source betekent echter niet FOSS - dus theoretisch kan open source betekenen dat er een hele restrictieve licentie aan vast zit. In geval van ZFSguru is er maar één de baas: Jason. Die wil rustig zijn tijd nemen om te kijken hoe commerciële activiteiten gecombineerd kunnen worden met het open karakter van ZFSguru. Tot die tijd is het een simpel 'all rights reserved' in de LICENSE file. Dus ik denk dat je van 'freeware' zou kunnen spreken. In elk geval geen GPL enzo, maar dat gaat hem ook niet worden.

  • Bigs
  • Registratie: Mei 2000
  • Niet online
matty___ schreef op donderdag 06 december 2012 @ 11:57:
[...]

Als je de pool gealignd hebt (anders zou je gnop niet hebben gebruikt) dan zou de performance niet veel slechter moeten zijn
Daar ging ik ook een beetje van uit, maar ik zag het nog nergens bevestigd. Ik ben geen expert in het benchmarken van bestandssystemen maar als ik de resultaten goed intepreteert geeft iozone 122MB/s voor random writes en 337 MB/s voor random reads. Dat lijkt me op zich redelijk voor een raidz2 pool met 5 7200rpm schijven. Ik heb echter geen idee van wat haalbaar is.

Volledige resultaten + systeemspecs

Overigens heeft de server geen zware belasting (het is een backup server die 's nachts wat rsyncs doet over WAN), dus de prestaties zijn sowieso voldoende voor mijn doel.
Als je geen SLOG en geen L2ARC (op een SSD) hebt, zijn die waardes restreeks uit memory.

337MB/s random reads hebben de meeste SSD's nog moeite mee, laat staan een setje HDD's ;)

Even niets...


Verwijderd

Hey, beetje hulp nodig...

Heb enkele weken terug een servertje gebouwd met een P8H77-I mITX van Asus en een Intel G840, en 8G RAM. Heb ZFSGuru 9.1-004 als root-on-zfs geïnstalleerd op een mirror van 80GB Seagate's, en voor de rest zitten er nog 2 mirrors in geconfigureerd, één met 2 x 1TB en één met 2 x 2TB (software RAID dus). Ik ben (of was toch) een echte alles-uitgezonderd-Windows- nOOb. Maar het is zeer leuk en interessant om ermee bezig te zijn! :9

Alles werkt mooi en goed, wegschrijven naar server aan 60-80 MB/s en lezen aan 100 MB/s. Héél handig.

Maar nu heb ik 2 vraagjes:

- Er is 1 proces, namelijk gam_server die veel CPU verbruikt. Op zich niet erg, maar normaal gezien idle't CPU van 2800 MHz naar 800-1000, wat hij uiteraard niet doet als gam_server in actie schiet.
Ik heb ook de indruk dat lezen en schrijven naar de server trager verloopt eens gam_server actief is...
Is dit proces nodig, of kan het geconfigureerd/afgesloten worden of dergelijk?

- Graag zou ik de drivers van mn NIC (Realtec 8111f, zucht...) updaten, deze zijn beschikbaar voor FreeBSD op de website van Realtec (!). De bestanden moeten in de map /usr/src/sys komen, maar deze bestaat blijkbaar niet op ZFSGuru... Mag ik deze gewoon aanmaken, of ben ik dan verkeerd bezig aangezien de drivers daar niet thuishoren? Wil de drivers updaten omdat ik graag Wake-on-LAN zou willen gebruiken...

Ter info: Het bijbehorende readme-bestand bij de drivers zegt:

This driver is modified by Realtek Semiconductor corp. and it has been tested OK
on FreeBSD v5.4, FreeBSD v6.4, FreeBSD v7.3, FreeBSD v8.0, and FreeBSD v9.0. To
update the driver, you may use method 1. If method 1 failed, you must use method 2
which is more complex.

Method 1:
1.Copy if_re.ko in "modules" directory to "/modules" directory and overwrite
the existing file.
2.Modify the file "/boot/defaults/loader.conf" and set "if_re_load" in "Network
drivers" section to "Yes"
3.Reboot.

Method 2:
Because the FreeBSD kernel has default drivers to support RTL8139C and RTL8169S. To use the RTL8139C+, RTL8169SB, RTL8169SC, RTL8168B, and RTL8101E, you need to update your NIC driver by recompiling your FreeBSD kernel.

The main steps you have to do:(FreeBSDSrcDir means the directory of FreeBSD source code
and it may be "/usr/src/sys")

1. keep the orginal driver source code:
# cd /usr/src/sys/dev/re
# cp if_re.c if_re.c.org

# cd /usr/src/sys/modules
# cp Makefile Makefile.org

# cd /usr/src/sys/modules/re
# cp Makefile Makefile.org

# cd /usr/src/sys/i386/conf/
# cp GENERIC GENERIC.org

2. recompile your kernel (you must install your FreeBSD source code first !!)
# vim /usr/src/sys/i386/conf/GENERIC and delete re
# vim /usr/src/sys/modules/Makefile and delete re
# cd /usr/src/sys/i386/conf
# /usr/sbin/config GENERIC

(for FreeBSD 5.x/6.x/7.x/8.x/9.x)
# cd ../compile/GENERIC
(for FreeBSD 4.x)
# cd ../../compile/GENERIC

# make cleandepend
# make depend
# make
# make install
# reboot

3. update the driver source code:
Copy the dirver source code( if_re.c and if_rereg.h) into /usr/src/sys/dev/re
Copy the Makefile into /usr/src/sys/modules/re

4. build the driver:
# cd /usr/src/sys/modules/re
# make clean
# make

5. install the driver
# cd /usr/src/sys/modules/re
# kldload ./if_re.ko

6. configurate the static IP address
# ifconfig re0 xxx.xxx.xxx.xxx

7. configurate the IP address by DHCP
# /sbin/dhclient re0

>edit: RealteK dus... :|

[ Voor 0% gewijzigd door Verwijderd op 08-12-2012 21:26 . Reden: schrijffout ]


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
voor 35euro een intel nic kopen? :)


hoe dan ook moet je eerst de freebsd source code binnen halen. Dit kun je gewoon via SVN doen.

[ Voor 96% gewijzigd door matty___ op 08-12-2012 22:13 ]

Verwijderd schreef op zaterdag 08 december 2012 @ 21:24:
Hey, beetje hulp nodig...

Heb enkele weken terug een servertje gebouwd met een P8H77-I mITX van Asus en een Intel G840, en 8G RAM. Heb ZFSGuru 9.1-004 als root-on-zfs geïnstalleerd op een mirror van 80GB Seagate's, en voor de rest zitten er nog 2 mirrors in geconfigureerd, één met 2 x 1TB en één met 2 x 2TB (software RAID dus). Ik ben (of was toch) een echte alles-uitgezonderd-Windows- nOOb. Maar het is zeer leuk en interessant om ermee bezig te zijn! :9

Alles werkt mooi en goed, wegschrijven naar server aan 60-80 MB/s en lezen aan 100 MB/s. Héél handig.

Maar nu heb ik 2 vraagjes:

- Er is 1 proces, namelijk gam_server die veel CPU verbruikt. Op zich niet erg, maar normaal gezien idle't CPU van 2800 MHz naar 800-1000, wat hij uiteraard niet doet als gam_server in actie schiet.
Ik heb ook de indruk dat lezen en schrijven naar de server trager verloopt eens gam_server actief is...
Is dit proces nodig, of kan het geconfigureerd/afgesloten worden of dergelijk?
Eerste hit op google: Wikipedia: Gamin
:+

Of je dit kan oplossen, of herconfigureren, weet ik niet. Ik heb nog nooit gezien dat het asociaal veel CPU vrat. Hoe monitor je dat?
- Graag zou ik de drivers van mn NIC (Realtec 8111f, zucht...) updaten, deze zijn beschikbaar voor FreeBSD op de website van Realtec (!). De bestanden moeten in de map /usr/src/sys komen, maar deze bestaat blijkbaar niet op ZFSGuru... Mag ik deze gewoon aanmaken, of ben ik dan verkeerd bezig aangezien de drivers daar niet thuishoren? Wil de drivers updaten omdat ik graag Wake-on-LAN zou willen gebruiken...

Ter info: Het bijbehorende readme-bestand bij de drivers zegt:

This driver is modified by Realtek Semiconductor corp. and it has been tested OK
on FreeBSD v5.4, FreeBSD v6.4, FreeBSD v7.3, FreeBSD v8.0, and FreeBSD v9.0. To
update the driver, you may use method 1. If method 1 failed, you must use method 2
which is more complex.

Method 1:
1.Copy if_re.ko in "modules" directory to "/modules" directory and overwrite
the existing file.
2.Modify the file "/boot/defaults/loader.conf" and set "if_re_load" in "Network
drivers" section to "Yes"
3.Reboot.

Method 2:
Because the FreeBSD kernel has default drivers to support RTL8139C and RTL8169S. To use the RTL8139C+, RTL8169SB, RTL8169SC, RTL8168B, and RTL8101E, you need to update your NIC driver by recompiling your FreeBSD kernel.

The main steps you have to do:(FreeBSDSrcDir means the directory of FreeBSD source code
and it may be "/usr/src/sys")

1. keep the orginal driver source code:
# cd /usr/src/sys/dev/re
# cp if_re.c if_re.c.org

# cd /usr/src/sys/modules
# cp Makefile Makefile.org

# cd /usr/src/sys/modules/re
# cp Makefile Makefile.org

# cd /usr/src/sys/i386/conf/
# cp GENERIC GENERIC.org

2. recompile your kernel (you must install your FreeBSD source code first !!)
# vim /usr/src/sys/i386/conf/GENERIC and delete re
# vim /usr/src/sys/modules/Makefile and delete re
# cd /usr/src/sys/i386/conf
# /usr/sbin/config GENERIC

(for FreeBSD 5.x/6.x/7.x/8.x/9.x)
# cd ../compile/GENERIC
(for FreeBSD 4.x)
# cd ../../compile/GENERIC

# make cleandepend
# make depend
# make
# make install
# reboot

3. update the driver source code:
Copy the dirver source code( if_re.c and if_rereg.h) into /usr/src/sys/dev/re
Copy the Makefile into /usr/src/sys/modules/re

4. build the driver:
# cd /usr/src/sys/modules/re
# make clean
# make

5. install the driver
# cd /usr/src/sys/modules/re
# kldload ./if_re.ko

6. configurate the static IP address
# ifconfig re0 xxx.xxx.xxx.xxx

7. configurate the IP address by DHCP
# /sbin/dhclient re0

>edit: RealteK dus... :|
Ik denk eerlijk gezegd dat deze drivers al in FreeBSD zitten. Bij Linux en FreeBSD worden de drivers en firmware van kaarten (in tegenstelling tot in Windows) wel bijgehouden. Er kan inderdaad wel eens een paar versies tussen zitten, maar heel erg veel zal het niet zijn.

Het updaten van de bestanden in /usr/src/sys heeft niet tot gevolg dat je drivers gelijk geupgrade worden.
Die directory is namelijk de Kernel source directory. Zodra je die files update, moet je je kernel opnieuw compilen, en dat is niet super makkelijk (maar het kan wel).

De directory bestaat momenteel nog niet omdat je de FreeBSD source tree nog niet gedownload/geinstalleerd hebt. Die kan je installeren via het ZFSGuru Services menu.

Persoonlijk denk ik dat je dat beter niet kan doen, en als je nog nooit een kernel gecopmiled hebt, is het alleen maar ingewikkeld.

OF denk je daadwerkelijk profijt te hebben van de nieuwe driver als het gaat om nieuwe functionaliteiten?

@matty__, klakkeloos roepen dat iemand een Intel NIC moet kopen is onzin, want FreeBSD heeft genoeg problemen gehad met Intel kaarten nog niet zo lang geleden...

De performance van Intel is meestal iets beter, maar de drivers niet altijd.

Even niets...


  • 0xDEADBEEF
  • Registratie: December 2003
  • Niet online
enormhi schreef op dinsdag 04 december 2012 @ 14:27:
Had toevallig net wat gevonden over ZFS-stats, echter heeft NAS4Free geen /usr/ports. Dus ik heb hem geïnstalleerd via "pkg_add -r zfs-stats". Echter als ik "zfs-stats -a" uitvoer krijg ik:
nas4free:/usr# zfs-stats -a
zfs-stats: Command not found.

EDIT::EDIT::EDIT
Ah, nevermind. Putty opnieuw opgestart (omdat de bovenkant onder mijn taskbar stond...) en nu doet hij het.
matty___ schreef op dinsdag 04 december 2012 @ 15:47:
[...]

even su naar andere user en weer exit en je bent er :z
'rehash' :)
Once it's installed type rehash to make FreeBSD reread the files in the path so it knows what's there.

[ Voor 11% gewijzigd door 0xDEADBEEF op 08-12-2012 22:46 ]

"Religion is an insult to human dignity. With or without it you would have good people doing good things and evil people doing evil things. But for good people to do evil things, that takes religion." - Steven Weinberg

Hej, das een handige om te onthouden! Top!

Even niets...


  • 0xDEADBEEF
  • Registratie: December 2003
  • Niet online
FireDrunk schreef op zaterdag 08 december 2012 @ 22:33:
[...]

Eerste hit op google: Wikipedia: Gamin
:+

Of je dit kan oplossen, of herconfigureren, weet ik niet. Ik heb nog nooit gezien dat het asociaal veel CPU vrat. Hoe monitor je dat?


[...]


Ik denk eerlijk gezegd dat deze drivers al in FreeBSD zitten. Bij Linux en FreeBSD worden de drivers en firmware van kaarten (in tegenstelling tot in Windows) wel bijgehouden. Er kan inderdaad wel eens een paar versies tussen zitten, maar heel erg veel zal het niet zijn.

Het updaten van de bestanden in /usr/src/sys heeft niet tot gevolg dat je drivers gelijk geupgrade worden.
Die directory is namelijk de Kernel source directory. Zodra je die files update, moet je je kernel opnieuw compilen, en dat is niet super makkelijk (maar het kan wel).

De directory bestaat momenteel nog niet omdat je de FreeBSD source tree nog niet gedownload/geinstalleerd hebt. Die kan je installeren via het ZFSGuru Services menu.

Persoonlijk denk ik dat je dat beter niet kan doen, en als je nog nooit een kernel gecopmiled hebt, is het alleen maar ingewikkeld.

OF denk je daadwerkelijk profijt te hebben van de nieuwe driver als het gaat om nieuwe functionaliteiten?

@matty__, klakkeloos roepen dat iemand een Intel NIC moet kopen is onzin, want FreeBSD heeft genoeg problemen gehad met Intel kaarten nog niet zo lang geleden...

De performance van Intel is meestal iets beter, maar de drivers niet altijd.
Jup, if_re is ingebouwd sinds FreeBSD 5.2: http://www.freebsd.org/cg...&arch=default&format=html

code:
1
2
$ ls /boot/kernel/if_re.*
/boot/kernel/if_re.ko         /boot/kernel/if_re.ko.symbols

"Religion is an insult to human dignity. With or without it you would have good people doing good things and evil people doing evil things. But for good people to do evil things, that takes religion." - Steven Weinberg

Theamazed had het over 'updaten' :+

Even niets...


Verwijderd

FireDrunk schreef op zaterdag 08 december 2012 @ 22:33:
[...]

Eerste hit op google: Wikipedia: Gamin
:+

Of je dit kan oplossen, of herconfigureren, weet ik niet. Ik heb nog nooit gezien dat het asociaal veel CPU vrat. Hoe monitor je dat?
Ja ik had al eens gezocht, maar vroeg me gewoon af of ik het "gedrag" van het programma enigzins kon aanpassen... Als het werkt, werkt het, maar da's natuurlijk "not the spirit". :)

Ik had in de Gnome UI een CPU-usage van 60-70%, maar kon via CTRL-Alt-Del geen proces vinden dat voor deze CPU-usage zorgde (wat op zich toch raar is dacht ik), dus heb dan gekeken in een terminal via het commando "top". Dit gaf aan dat gam_server de boosdoener was. Er is anders niks gaande op de server, staat gewoon te "idle'n". Ik zit gewoon dvd *.VOB bestanden naar het ding te kopiëren. Nautilus heeft daar blijkbaar iets mee te zien volgens meneer Google? Sorry voor de nOOb vragen...
[b]


[...]


Ik denk eerlijk gezegd dat deze drivers al in FreeBSD zitten. Bij Linux en FreeBSD worden de drivers en firmware van kaarten (in tegenstelling tot in Windows) wel bijgehouden. Er kan inderdaad wel eens een paar versies tussen zitten, maar heel erg veel zal het niet zijn.

Het updaten van de bestanden in /usr/src/sys heeft niet tot gevolg dat je drivers gelijk geupgrade worden.
Die directory is namelijk de Kernel source directory. Zodra je die files update, moet je je kernel opnieuw compilen, en dat is niet super makkelijk (maar het kan wel).

De directory bestaat momenteel nog niet omdat je de FreeBSD source tree nog niet gedownload/geinstalleerd hebt. Die kan je installeren via het ZFSGuru Services menu.

Persoonlijk denk ik dat je dat beter niet kan doen, en als je nog nooit een kernel gecopmiled hebt, is het alleen maar ingewikkeld.

OF denk je daadwerkelijk profijt te hebben van de nieuwe driver als het gaat om nieuwe functionaliteiten?

@matty__, klakkeloos roepen dat iemand een Intel NIC moet kopen is onzin, want FreeBSD heeft genoeg problemen gehad met Intel kaarten nog niet zo lang geleden...

De performance van Intel is meestal iets beter, maar de drivers niet altijd.
Hmmm... Dacht dat de portstree al geïnstalleerd was, aangezien ik al enkele andere dingen geïnstalleerd had zoals ntfs ondersteuning van NTFS via "pkg_add -r fusefs-ntfs"... Zal morgen eens moeten checken, zit op het werk nu. >:)

Doet er me trouwens op denken: NTFS kan mooi gemount worden en is toegankelijk, maar kan niet beschreven worden... Wou enkele dingen op een USB 3.0 WD externe harde schijf zetten, maar lukt dus niet (foutmelding iets in de aard van "error creating directory: no such file or directory", dacht ik toch). Iemand toevallig een "eenvoudig" ideetje?
Net gevonden: http://forums.freebsd.org/showthread.php?t=10720
Sorry! O-)

En betreffende die drivers: er zijn van Realtek zelf nieuwe drivers uitgebracht de laatste week van november. Vrij recent toch? En deze zouden beter overweg kunnen met WOL. Zou gewoon héél graag WOL willen hebben. lol :+
Misschien dom, maar ik ga ervan uit dat FreeBSD niet zelf de drivers bijwerkt, automatisch dan?

Alvast bedankt!

[ Voor 1% gewijzigd door Verwijderd op 09-12-2012 00:12 . Reden: beginnersfout ]


Verwijderd

[b][message=39415377,noline]FireDrunk schreef op zaterdag 08 december 2012 @

Het updaten van de bestanden in /usr/src/sys heeft niet tot gevolg dat je drivers gelijk geupgrade worden.
Die directory is namelijk de Kernel source directory. Zodra je die files update, moet je je kernel opnieuw compilen, en dat is niet super makkelijk (maar het kan wel).

Persoonlijk denk ik dat je dat beter niet kan doen, en als je nog nooit een kernel gecopmiled hebt, is het alleen maar ingewikkeld.

OF denk je daadwerkelijk profijt te hebben van de nieuwe driver als het gaat om nieuwe functionaliteiten?
Trouwens, ging de kernel opnieuw compilen zoals het in de readme stond van de realtek drivers. Of blijkt die manier niet juist te zijn?
No pain, no gain, zou ik zeggen. Anders leer ik het toch nooit. :)

Verwijderd

Topicstarter
Verwijderd schreef op zaterdag 08 december 2012 @ 21:24:
- Er is 1 proces, namelijk gam_server die veel CPU verbruikt.
Super irritant ja. Maar als het goed is, is dat gefixed met een bestandje wat aangeeft dat polling gebruikt moet worden. Gamin is een file alteration monitor dus gaat op zoek naar veranderingen op je filesystem.

Kun je mij de inhoud van het volgende bestand geven?

cat /home/x11/.gaminrc

Kan het zijn dat je zaken onder root draait, zoals VirtualBox geïnstalleerd via ZFSguru? In dat geval even kopiëren naar de root directory:

cp -p /home/x11/.gaminrc /root/
Graag zou ik de drivers van mn NIC (Realtec 8111f, zucht...) updaten
Waarom?
matty___ schreef op zaterdag 08 december 2012 @ 22:11:
hoe dan ook moet je eerst de freebsd source code binnen halen. Dit kun je gewoon via SVN doen.
Zoals FireDrunk ook al heeft gezegd: gebruik de 'FreeBSD Sourcecode' service beschikbaar via de ZFSguru GUI (services->Install->ZFSguru->FreeBSD Sourcecode). Als je zelf sourcecode gaat binnenhalen is deze niet in sync met je systeem en dat kan problemen opleveren!
FireDrunk schreef op zaterdag 08 december 2012 @ 23:04:
Hej, das een handige om te onthouden! Top!
'rehash' is alleen nodig met de standaard 'sh' shell. Als je bash gebruikt en waarschijnlijk ook andere shells zoals csh dan heb je dit niet nodig. ZFSguru gebruikt standaard bash; en waarom zou je wat anders willen? ;)

Verwijderd

Ok, ga morgen eens kijken voor de inhoud van gaminrc. Alvast bedankt voor de hulp!
(en jah sorry, "source code" en "portstree" door elkaar gehaald...) :F

De drivers zijn om reden van een WOL-functionaliteit die ik niet op gang krijg. Misschien ben ik te veel op Windows bezig geweest, maar ik ga er altijd vanuit dat, als je iets (goed) wil laten werken, je best met de meest recente drivers werkt...

Eigenlijk komt het er een beetje op neer dat ik geen flauw idee heb hoe ik tegen ZFSguru (of FreeBSD) moet zeggen dat de NIC niet mag uitgeschakeld worden bij shutdown (of hibernate/sleep) want de BIOS-instellingen blijken toch goed te zijn. Het OS moet er dus wel degelijk voor zorgen dat de NIC onder spanning blijft staan bij shutdown of hibernate/sleep.

Dit is vrij eenvoudig in Windows, via configuratiescherm, apparaatbeheer, eigenschappen, "allow this device to wake the computer", enz..
Dan nog zou het ook aan de drivers kunnen liggen volgens sommige andere fora, en er zijn net nieuwe drivers uitgebracht van Realtek, dusj, ff proberen, niet? :)
Trouwens, via Gnome UI kan ik niet aan de eigenschappen van de NIC (geen permissie...?) en via terminal weet ik echt niet hoe er aan te beginnen....
Ik dacht dat het een commando was als "ifconfig re0 wakeon magic", "ifconfig re0 wol" en nog andere welke ik geprobeerd heb, maar dat is het dus niet... ;(

[ Voor 5% gewijzigd door Verwijderd op 09-12-2012 02:31 ]


Verwijderd

Topicstarter
Dit heb ik kunnen vinden: http://forums.freebsd.org/showthread.php?t=28730

Je moet ook de juiste BIOS instellingen hebben. Bijvoorbeeld, je moet 'EUP' uitgeschakeld hebben, wat inhoudt dat het moederbord niet meer dan 1W mag verbruiken in off/standby mode (EU-directive). Wellicht heet dit anders. Check de laatste post in bovenstaand topic voor verdere suggesties. Maar volgens mij moet die patch er al inzitten. Zo niet, is dat een tip voor de volgende systeemversie van ZFSguru, wanneer 9.1-RELEASE uitkomt.

Verwijderd

Verwijderd schreef op zondag 09 december 2012 @ 00:58:
Super irritant ja. Maar als het goed is, is dat gefixed met een bestandje wat aangeeft dat polling gebruikt moet worden. Gamin is een file alteration monitor dus gaat op zoek naar veranderingen op je filesystem.

Kun je mij de inhoud van het volgende bestand geven?

cat /home/x11/.gaminrc
$ cat /home/x11/.gaminrc
# ~/.gaminrc file

# prevent gamin (gam_server) from taking 100% CPU time by polling filesystems
# instead every 3 seconds. Adjust to your needs accordingly.
fsset cd9660 poll 3
fsset nfs poll 3
fsset smbfs poll 3
fsset tmpfs poll 3
fsset ufs poll 3
fsset xfs poll 3
fsset zfs poll 3
Kan het zijn dat je zaken onder root draait, zoals VirtualBox geïnstalleerd via ZFSguru? In dat geval even kopiëren naar de root directory:

cp -p /home/x11/.gaminrc /root/
Ik had het wel geïnstalleerd, maar gebruik het niet, het gaat mn petje trouwens (voorlopig) te boven. Heb het niet nodig ook. Was gewoon nieuwsgierig. ;)
Zoals FireDrunk ook al heeft gezegd: gebruik de 'FreeBSD Sourcecode' service beschikbaar via de ZFSguru GUI (services->Install->ZFSguru->FreeBSD Sourcecode). Als je zelf sourcecode gaat binnenhalen is deze niet in sync met je systeem en dat kan problemen opleveren!
Wellicht heb ik hier en daar al wat dingen verprutst dan... :/
We gaan eens van nul beginnen en met de huidige opgedane kennis eens alles "goed" proberen doen. In elk geval bedankt, en ik hou jullie op de hoogte! _/-\o_

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
Verwijderd schreef op zondag 09 december 2012 @ 00:58:


Zoals FireDrunk ook al heeft gezegd: gebruik de 'FreeBSD Sourcecode' service beschikbaar via de ZFSguru GUI (services->Install->ZFSguru->FreeBSD Sourcecode). Als je zelf sourcecode gaat binnenhalen is deze niet in sync met je systeem en dat kan problemen opleveren!
ik weet niet zo gek veel van zfsguru, dus van die service wist ik niet. Zfsguru is toch 'alleen' een webgui voor freebsd. dus de echte freebsd src binnen halen zou geen kwaad kunnen, zeker als je alleen de kernel gaat compilen plus het rl module.

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
FireDrunk schreef op zaterdag 08 december 2012 @ 22:33:

@matty__, klakkeloos roepen dat iemand een Intel NIC moet kopen is onzin, want FreeBSD heeft genoeg problemen gehad met Intel kaarten nog niet zo lang geleden...

De performance van Intel is meestal iets beter, maar de drivers niet altijd.
misschien had de :+ erachter gemoeten. Mijn ervaring met de intel nic tegenover de realtek (onboard) is erg positief.
Van die problemen weet ik zo 123 niets.

Verwijderd

Topicstarter
matty___ schreef op zondag 09 december 2012 @ 22:38:
[...]

ik weet niet zo gek veel van zfsguru, dus van die service wist ik niet. Zfsguru is toch 'alleen' een webgui voor freebsd. dus de echte freebsd src binnen halen zou geen kwaad kunnen, zeker als je alleen de kernel gaat compilen plus het rl module.
Geldt ook voor FreeBSD en lijkt mij alle operating systems ter wereld. Je kunt niet zomaar nieuwe sourcecode downloaden en een deel daarvan installeren. Dan is het mogelijk dat je grote problemen krijgt omdat de nieuwe sourcecode die je compileert en installeert code produceert die gebaseerd is op een andere versie van het operating system dan hetgeen je nu draait.

Analoog met Windows kun je dus niet zomaar een driver compileren uit sourcecode van Windows 8 en op Windows 7 installeren. Wellicht werkt dat, maar evengoed kun je problemen krijgen. Het hoort in elk geval niet.

Bij FreeBSD heb je natuurlijk veel meer versies dan bij Windows; maar dat is alleen omdat alle tussenliggende builds niet publiek zijn. Bij FreeBSD en andere open source OS is dat wel zo.

Als jij OS versie 2300487 geïnstalleerd hebt, en je download sourcecode van 2400000 en gaat daar een driver van bakken en installeren, heb je dus een mismatch tussen oude en nieuwe code.

Wat wel kan, is dat je sourcecode downloadt en dat je zowel een nieuwe kernel als world gaat bakken. Maar dat staat gelijk aan het hele operating system updaten naar één nieuwe versie, zonder dat je oude en nieuwe delen gaat combineren. Het lijkt me logisch dat dit voor alle operating systems geldt.

Verwijderd

FireDrunk schreef op zaterdag 08 december 2012 @ 22:33:

Het updaten van de bestanden in /usr/src/sys heeft niet tot gevolg dat je drivers gelijk geupgrade worden.
Die directory is namelijk de Kernel source directory. Zodra je die files update, moet je je kernel opnieuw compilen, en dat is niet super makkelijk (maar het kan wel).

Persoonlijk denk ik dat je dat beter niet kan doen, en als je nog nooit een kernel gecopmiled hebt, is het alleen maar ingewikkeld.
Heb ik aan den lijve ondervonden deze middag... }:|
Ik wou de handleiding volgen en de kernel recompilen dus. Ging wel, tot ik allerlei foutmeldingen kreeg toen ik bij stap 2 "# make cleandepend" kwam. Iets als "value 2: string does not match value 4 - 22". Dacht ik toch... Kan het me nu niet meer zo 123 herinneren. Maar lesje geleerd. |:( (ben me al aan het verdiepen in de materie hoor. :Y )

De experts zullen wel weten wat er fout gegaan is, maar jah. In elk geval zijn we voor de zekerheid nogmaals opnieuw begonnen, en deze keer gaan we kijken of we gewoon de "patch" kunnen doen werken die vermeld staat in de link van CiPHER (waarvoor dank!).

Toch handig als een OS op aparte schijf/schijven staat hoor. Minder hoofdpijn. :)

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
Verwijderd schreef op zondag 09 december 2012 @ 23:23:
[...]

Geldt ook voor FreeBSD en lijkt mij alle operating systems ter wereld. Je kunt niet zomaar nieuwe sourcecode downloaden en een deel daarvan installeren. Dan is het mogelijk dat je grote problemen krijgt omdat de nieuwe sourcecode die je compileert en installeert code produceert die gebaseerd is op een andere versie van het operating system dan hetgeen je nu draait.

Analoog met Windows kun je dus niet zomaar een driver compileren uit sourcecode van Windows 8 en op Windows 7 installeren. Wellicht werkt dat, maar evengoed kun je problemen krijgen. Het hoort in elk geval niet.

Bij FreeBSD heb je natuurlijk veel meer versies dan bij Windows; maar dat is alleen omdat alle tussenliggende builds niet publiek zijn. Bij FreeBSD en andere open source OS is dat wel zo.

Als jij OS versie 2300487 geïnstalleerd hebt, en je download sourcecode van 2400000 en gaat daar een driver van bakken en installeren, heb je dus een mismatch tussen oude en nieuwe code.

Wat wel kan, is dat je sourcecode downloadt en dat je zowel een nieuwe kernel als world gaat bakken. Maar dat staat gelijk aan het hele operating system updaten naar één nieuwe versie, zonder dat je oude en nieuwe delen gaat combineren. Het lijkt me logisch dat dit voor alle operating systems geldt.
eens, misschien iets te kort door de bocht maar waar komt zfsguru hier in terug? Wat voor problemen heeft zfsguru als je een nieuwe world+kernel build? Draait toch ook 9?

Verwijderd

Topicstarter
Ja ZFSguru is gewoon FreeBSD er is wat dat betreft niets anders aan. De 9.1-004 systeemversie die nu de nieuwste is, is gewoon RELENG_9_1 ofwel FreeBSD 9.1-RC3. Maar als je dan sourcecode downloadt, wat download je dan? Als je nu RELENG_9_1 binnenhaalt, is die nieuwer dan ten tijde van de 9.1-004 systeemversie.

Om die reden biedt ZFSguru twee services aan: ZFSguru-sourcecode en ZFSguru-portstree. Dan gebruik je de 'officiële' portstree en sourcecode waar ZFSguru zelf mee gebakken is. Dan krijg je dus geen problemen met conflicten omdat alles perfect overeenkomt. Bouw je dan nieuwe ports, dan gebruiken deze ook de dependencies waar de systeemversie zelf mee gebakken is. Kortom, voor ZFSguru is dat dé manier om het netjes te doen.

Bij FreeBSD heb je dit 'probleem' ook. Als je pre-compiled packages en ports door elkaar gebruikt, kun je problemen verwachten. Dus óf je gebruikt alleen pkg_add -r en dus pre-compiled packages, óf je compileert alles zelf met de portstree. ZFSguru biedt je een mooie middenweg aan: je hebt pre-compiled spul zoals de services enzo, maar als je wilt kun je zelf spul installeren met de portstree die ZFSguru aanbiedt zonder dat je tegen conflicten aanloopt. Dat is dus een 'extra' van ZFSguru die beide werelden moet verenigen. Zo kun je dus het gemak van precompiled packages/services combineren met de flexibiliteit van zelf ports compileren en zelf rommelen. :)

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
Verwijderd schreef op maandag 10 december 2012 @ 07:55:
Ja ZFSguru is gewoon FreeBSD er is wat dat betreft niets anders aan. De 9.1-004 systeemversie die nu de nieuwste is, is gewoon RELENG_9_1 ofwel FreeBSD 9.1-RC3. Maar als je dan sourcecode downloadt, wat download je dan? Als je nu RELENG_9_1 binnenhaalt, is die nieuwer dan ten tijde van de 9.1-004 systeemversie.

Om die reden biedt ZFSguru twee services aan: ZFSguru-sourcecode en ZFSguru-portstree. Dan gebruik je de 'officiële' portstree en sourcecode waar ZFSguru zelf mee gebakken is. Dan krijg je dus geen problemen met conflicten omdat alles perfect overeenkomt. Bouw je dan nieuwe ports, dan gebruiken deze ook de dependencies waar de systeemversie zelf mee gebakken is. Kortom, voor ZFSguru is dat dé manier om het netjes te doen.

Bij FreeBSD heb je dit 'probleem' ook. Als je pre-compiled packages en ports door elkaar gebruikt, kun je problemen verwachten. Dus óf je gebruikt alleen pkg_add -r en dus pre-compiled packages, óf je compileert alles zelf met de portstree. ZFSguru biedt je een mooie middenweg aan: je hebt pre-compiled spul zoals de services enzo, maar als je wilt kun je zelf spul installeren met de portstree die ZFSguru aanbiedt zonder dat je tegen conflicten aanloopt. Dat is dus een 'extra' van ZFSguru die beide werelden moet verenigen. Zo kun je dus het gemak van precompiled packages/services combineren met de flexibiliteit van zelf ports compileren en zelf rommelen. :)
Als je nu naar stable9 gaat zou toch alles moeten blijven werken? De ports staat imo behoorlijk los van het onderliggend systeem want je deel deze met 8,9 en 10.
edit: als die user met zijn realtek patch nu gewoon 9stable binnen haalt of 9_1 en heel de world + kernel + rl module gaat builen dan staat dat toch behoorlijk los van zfsguru. Misschien dat hij zijn module breekt als die zfsguru gaat upgraden maar in eerste instantie zou dat toch moeten werken

vaak zat dat ik subversion en bash binnenhaal via pkg_add -r op een vers systeem en daarna de portstree.
Als er dan een nieuwe versie van subversion in de ports staat wordt dat package netjes via de verschillende portupgrade tools opgepakt en geüpdate.


Misschien wordt het dan te veel shell voor de doelgroep die zfsguru wil gebruiken maar ik kan mij niet voorstellen dat je zo makkelijk heel het systeem om zeep helpt.

[ Voor 6% gewijzigd door matty___ op 10-12-2012 08:22 ]


Verwijderd

Topicstarter
matty___ schreef op maandag 10 december 2012 @ 08:17:
De ports staat imo behoorlijk los van het onderliggend systeem want je deel deze met 8,9 en 10.
Dat laatste klopt, maar dat eerste niet.

Hoewel er maar één portstree is, maakt het wel uit of je die port compileert onder het ene OS versie of de andere. De ports wordt dan anders gecompileerd. Soms mag je de ports alleen compileren bij bepaalde kernel versies, omdat de port bepaalde functionaliteit nodig heeft die in oudere FreeBSD kernel versies afwezig is. Denk hierbij aan nVidia-drivers en andere software die afhankelijk is van kernel functionaliteit. Ook zijn veel ports afhankelijk van de kernel sources in /usr/src. Als je virtualbox-additions wilt installeren, heb je kernel sources nodig. Als de sources in /usr/src niet in-sync zijn met de kernel die je draait, kan dat problemen geven.
edit: als die user met zijn realtek patch nu gewoon 9stable binnen haalt of 9_1 en heel de world + kernel + rl module gaat builen dan staat dat toch behoorlijk los van zfsguru.
Dan update je dus alles; kernel + world en een nieuwe 're' realtek driver. Als je echter systeemversie X draait, je downloadt sourcecode Y en gaat daar de realtek kernel voor bakken, dan heb je een realtek driver voor systeemversie Y. Het is niet gegarandeerd dat deze werkt voor systeemversie X.
vaak zat dat ik subversion en bash binnenhaal via pkg_add -r op een vers systeem en daarna de portstree.
Als er dan een nieuwe versie van subversion in de ports staat wordt dat package netjes via de verschillende portupgrade tools opgepakt en geüpdate.
Bash en subversion zijn normale applicaties die niets met je kernel doen; dus over het algemeen gaat dat goed. Je kunt wel problemen krijgen met dependencies, je krijgt dan berichten als "bash depends on blabla version X but blabla version Y is installed; continuing anyway..." en dan is het 'plug and pray'.

In veel gevallen gaat dat goed, maar het is niet netjes en het is goed te weten dat dat officiëel dus niet zo hoort. Je zult vaak horen dat je óf pkg_add -r óf portstree moet gebruiken, maar dat beide door elkaar gebruiken problemen kan opleveren. Kan, dus niet altijd.
Misschien wordt het dan te veel shell voor de doelgroep die zfsguru wil gebruiken maar ik kan mij niet voorstellen dat je zo makkelijk heel het systeem om zeep helpt.
Om zeep helpen is een groot woord. Maar als je allerlei dependency-conflicten krijgt kan software niet meer werken. Als je kernel modules probeert te activeren die een andere 'kernel binary interface' gebruiken, dan krijg je een rare error zoals 'exec format error'. Zoals:
kldload: can't load ./pnicdrv.ko: Exec format error

ZFSguru is in dit verhaal geen factor van betekenis; dit gaat op voor FreeBSD en eigenlijk alle operating systems ter wereld voor zover ik weet. Een driver voor Windows XP gebruiken onder Windows 7 werkt vaak niet door beschermingen. Zou je die omzeilen dan kun je tegen technische problemen aanlopen maar soms kan het ook gewoon werken. Maar mijn punt is: netjes is anders. Netjes is gewoon kernel + world in-sync houden en het op de aanbevolen manier doen.

Het voordeel met ZFSguru is dat je systeem verprutsen niet zo erg is. Gewoon even opnieuw installeren en je draait als tevoren. Enig punt daarbij is dat je confifguratiebestanden niet automatisch meegenomen worden, zoals smb.conf voor samba shares en ga zo maar door. In de navolgende ZFSguru release (dus ná beta9) zou dit opgelost moeten worden omdat je met de Migration Manager je configuratie kunt meeslepen en backuppen. Dan ben je helemaal flexibel en is het helemaal niet erg als je je systeem vernielt. Dan is het aardig newbie-proof.

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 28-01 10:58
thx voor de goede uitleg... :)

  • Ultraman
  • Registratie: Februari 2002
  • Laatst online: 06:29

Ultraman

Moderator Harde Waren

Boefje

Misschien moeten jullie een apart topic daarover beginnen want het heeft inmiddels weinig meer met ZFS van doen ;-)

Als je stil blijft staan, komt de hoek wel naar jou toe.


Verwijderd

Topicstarter
Dat had ik al eens voorgesteld, alleen volgens sommigen (Firedrunk?) bleef er dan weinig over van dit topic. Maar ik sta open voor suggesties. Sowieso is het tijd voor een nieuw deel, dus wat mij betreft laat maar komen met jullie ideeën. Een speciaal ZFSguru/FreeNAS topic?

Ik heb bijvoorbeeld onderwerpen als het bouwen van een ZFS NAS al verplaatst naar het DIY RAID NAS topic, wat mijns inziens hier beter voor geschikt is.

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 24-01 10:54
matty___ schreef op donderdag 06 december 2012 @ 11:53:ben benieuwd wat er overblijft als die 75 of 85% gevuld is.
Nu vol schrijven met 15TB geeft ook geen goed beeld omdat er dan geen gaten door verwijderacties tussen staan.

Er is niet iemand die een pool al een jaar in gebruik heeft die redelijk vol is?
Mijn pool is al lange tijd in gebruik en begint aardig vol te raken. Pool bestaat uit 6x 2TB Samsung F4 in RAIDZ2. Heb een benchmark gedraaid:

ZFSguru 0.2.0-beta8 (9.1-001) pool benchmark
Pool : tank (10.9T, 85% full)
Test size : 128 GiB
normal read : 305 MB/s
normal write : 274 MB/s
I/O bandwidth : 30 GB/s


Dit is wel een heel groot verschil met onderstaande benchmark :-(
victorb schreef op donderdag 06 december 2012 @ 11:35:
ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool : data (16.2T, 10% full)
Test size : 256 GiB
normal read : 699 MB/s
normal write : 420 MB/s
lzjb read : 972 MB/s
lzjb write : 720 MB/s
gzip read : 951 MB/s
gzip write : 726 MB/s
I/O bandwidth : 3 GB/s

Nice 6x 3tb Seagate 7200rpm Raidz2 op een IBM M1015 :9

  • MdBruin
  • Registratie: Maart 2011
  • Laatst online: 12-05-2024
Kriss1981 schreef op maandag 10 december 2012 @ 13:58:
[...]


Mijn pool is al lange tijd in gebruik en begint aardig vol te raken. Pool bestaat uit 6x 2TB Samsung F4 in RAIDZ2. Heb een benchmark gedraaid:


Dit is wel een heel groot verschil met onderstaande benchmark :-(


[...]
Zit ook wel een verschil in hardeschijf in, de F4 doet 5400rpm en de seagate draait op 7200.
Dit levert ook al een leuke winst op, daarnaast moet je ook nog kijken naar het geheugen. Meer geheugen levert ook performance op ;)
Een volle pool kost ook wel echt een hoop performance. Ik zit hier denk ik op 30-40% minder dan met een lege pool.

10*2TB (F4EG / EADS) RAIDZ2 deed in beginsel iets van 700MB/s en nu iets van 450-500.

Pool is uit mijn hoofd voor 60% vol.

[ Voor 8% gewijzigd door FireDrunk op 10-12-2012 14:19 ]

Even niets...

1000,- wil hij er minimaal voor.. WTF, dat is echt absurd :P

Even niets...


  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 11-02 12:18

Pantagruel

Mijn 80486 was snel,....was!

FireDrunk schreef op maandag 10 december 2012 @ 14:19:
Een volle pool kost ook wel echt een hoop performance. Ik zit hier denk ik op 30-40% minder dan met een lege pool.

10*2TB (F4EG / EADS) RAIDZ2 deed in beginsel iets van 700MB/s en nu iets van 450-500.

Pool is uit mijn hoofd voor 60% vol.
Dat kan wel eens kloppen, uit de eerdere posting:

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 64 GiB
normal read : 487 MB/s
normal write : 399 MB/s
lzjb read : 4 GB/s
lzjb write : 2 GB/s
gzip read : 4 GB/s
gzip write : 2 GB/s
I/O bandwidth : 30 GB/s

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 128 GiB
normal read : 437 MB/s
normal write : 409 MB/s
lzjb read : 5 GB/s
lzjb write : 2 GB/s
gzip read : 5 GB/s
gzip write : 2 GB/s
I/O bandwidth : 31 GB/s

Terwijl de virgin pool destijds:

Pool : Vault
Read throughput : 671.8 MB/s
Read throughput : 640.6 MiB/s
Write throughput: 493.8 MB/s
Write throughput: 470.9 MiB/s

liet zien.

[ Voor 5% gewijzigd door Pantagruel op 10-12-2012 16:49 ]

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


Verwijderd

Topicstarter
Heren, bedenk ook dat als je op 70% van de capaciteit test, je bij hardeschijven sowieso al in het langzamere gedeelte test. Hardeschijven hebben op het eind van hun capaciteit nog maar 45 tot 55% van de performance. Dus op 70% van de capaciteit zit je zo rond de 65-70% van de maximale doorvoersnelheid die een hardeschijf heeft aan het begin van zijn capaciteit.

Daar komt nog bij de fragmentatie van ZFS zelf, doordat ZFS een copy-on-write filesystem is, zal het in prestaties afnemen met weinig vrije ruimte. Voorheen stortte de performance behoorlijk in als de pool meer dan 70% gevuld is. Met de uberblock-patch in ik geloof FreeBSD 8.2 is dat geloof ik wel gefixed en zou de ZFS performance-drop mee moeten vallen. Maar als je een tijd lang boven de 90% capaciteit hebt gewerkt en pas veel later ruimte hebben vrijgemaakt, besef dan dat je wel wat prestaties inlevert.

Maar het punt is wel duidelijk: als je op een lege maagdelijke pool X aan doorvoer haalt, zou ik zelf de helft van X als uitgangspunt nemen wanneer je de pool goed hebt gevuld. Dus wat marge in gedachte nemen kan onaangename verrassingen je bespaard blijven. :)

Verwijderd

Verwijderd schreef op zondag 09 december 2012 @ 02:51:
Dit heb ik kunnen vinden: http://forums.freebsd.org/showthread.php?t=28730

Je moet ook de juiste BIOS instellingen hebben. Bijvoorbeeld, je moet 'EUP' uitgeschakeld hebben, wat inhoudt dat het moederbord niet meer dan 1W mag verbruiken in off/standby mode (EU-directive). Wellicht heet dit anders. Check de laatste post in bovenstaand topic voor verdere suggesties. Maar volgens mij moet die patch er al inzitten. Zo niet, is dat een tip voor de volgende systeemversie van ZFSguru, wanneer 9.1-RELEASE uitkomt.
Toch even laten weten: als ik de tekst uit de patch vergelijk met die in mijn /usr/src/sys/dev/re/if_re.c dan is deze inderdaad identiek. (Er van uitgaande dat ik naar de tekst moet kijken na het '+'-teken?)
Dus bijgevolg is de patch toegepast in ZFSguru 0.2.0-beta8?

Dan kijken we verder voor de wol. Alvast bedankt!

(Btw, EUP zit niet in de UEFI-bios. Wel "power on by PCIE". Gewoon ter info.)

Verwijderd

Topicstarter
EUP is soms een aparte optie. Niet altijd heb je alle opties die je aan of uit kunt zetten. Soms is een aparte optie niet nodig omdat zelfs met Wake On LAN hij onder de 1W eis blijft van de EU. Dan heb je geen EUP nodig, maar dit is een beetje speculatie van mijn kant.

In elk geval als je je server softwarematig uitschakelt (shutdown -p now of via de ZFSguru web-GUI) dan hoor je nog wel lampjes te zien bij je netwerkkabel. Als die uitgaan, dan werkt Wake-On-LAN ook niet ga ik van uit.

  • meraki
  • Registratie: Augustus 2007
  • Laatst online: 18-10-2025
Ik heb zojuist een server gebouwd waarop ik ESXi 5.1 heb geïnstalleerd. Hoofddoel van de server wordt ZFS-opslag. Ik heb mezelf ingelezen in dit topic en had graag advies gevraagd over de toewijzing van de hardware voor de ZFS VM.

De specs zijn als volgt:
  • ESXi 5.1 is geïnstalleerd op een 4 GB USB-stick
  • Intel Xeon CPU E3-1230 V2 @ 3.30GHz, vier cores met hyperthreading
  • 32 GB ECC RAM
  • 256 GB SSD empty
  • ZFS pool verdeeld over een toekomstige 16 harde schijven, een mix van 4 * 3 TB & 4 * 2 TB vdevs in RAID-Z:
De SSD zou ik willen gebruiken om de verschillende VM's op te slaan.

Een aantal concrete vragen:
  • Hoeveel RAM geheugen moet ik toewijzen om een performant systeem te blijven behouden? De stelregel is het aantal GB gedeeld door duizend maar helaas kan ik niet meer dan 32 GB in dit moederbord steken. Bovendien moet ik ook nog wat RAM reserveren voor twee andere VM's: debian voor services en win2k12 als test.
  • Zal ik een ZIL & L2ARC nodig hebben en is het dan verstandig om deze op één gepartitioneerde SSD onder te brengen waarop ook de VM's zijn ondergebracht of moet ik hiervoor een tweede SSD kopen?
  • Ik wil telkens in groepjes van 4 een RAID-Z vdev aanmaken. Ik heb gelezen dat dit in feite geen goed idee is, doch is dit voor mij het meeste praktische. Zal ik met zo'n opstelling mijn GigE nog kunnen verzadigen of moet ik echt af van het idee om 4 HDDs in RAID-Z te zetten?
Alvast bedankt!
a): 6GB minimaal (want dan heb je prefetching.) meer is beter, maar meer dan 8-10GB zal geen zin hebben denk ik. 8GB zal wel voldoende zijn denk ik.
b): JA, om VM's een beetje fatsoenlijk te laten draaien via NFS op ZFS heb je echt een ZIL nodig, L2ARC is ook leuk, maar minder belangrijk. Als je geen ZIL hebt, word ZFS echt heel traag, omdat alle writes van NFS 'synced' zijn.
c): Ja hoor, de penalty die je hierdoor hebt ligt ergens tussen de 5- en 15% afhankelijk van het type disk en rotatiesnelheid enzo. Als je 4 RAIDZ VDEV's maakt, trek je makkelijk meerdere GigE lijnen dicht verwacht ik.

Even niets...


Verwijderd

Topicstarter
8GiB lijkt mij inderdaad een mooie hoeveelheid. Over die NFS sync writes: je kunt ook zonder SLOG / dedicated ZIL als je de sync attribuut op disabled zet. Voor NFS writes is dat helemaal niet zo erg; voor iSCSI images wel iets erger. Ik zou zelf die SSD voor een klein deel als L2ARC gebruiken in elk geval voor metadata zodat alle metadata op de SSD kan wat toch wel lekker is.

Behalve dat niet-optimale RAID-Z vdevs met 4K schijven langzamer zijn, kost het je ook een beetje opslagruimte. Dat kun je ook in je achterhoofd houden. Een mooi alternatief kan zijn 5-disk RAID-Z (vind ik zelf niet super veilig) of beter nog: 6-disk RAID-Z2. Dan heb je nog steeds 33% overhead dus vrij acceptabel; en zeer goede bescherming.

  • meraki
  • Registratie: Augustus 2007
  • Laatst online: 18-10-2025
@ FireDrunk en CiPHER, oké, ik lees veelal hoe meer RAM hoe beter voor ZFS op FreeBSD. Had ik het eerst nagevraagd dan had ik die extra 16 gig ram niet hoeven kopen maar goed, eigen schuld. |:(

Betreft NFS, ik plan dit niet te gebruiken. Ik ga de SSD lokaal gebruiken voor de VM's. Is 256 GB onderverdeeld in drie partities, één voor de VMs, één voor L2ARC en één voor de ZIL dan een goede keuze en hoeveel GB zouden jullie dan toewijzen voor de ZFS caches?

Persoonlijk vind ik 5-disk RAID-Z ook te riskant, 6-disk RAID-Z2 lijkt met het volgende alternatief. Ik ga dit in overweging nemen.
NFS synced writes kan je wel uitzetten voor standaard OSen, maar NIET voor ESXi.

ESXi doet altijd een forced synced write.

Even niets...


  • MikeVM
  • Registratie: Mei 2007
  • Laatst online: 04-12-2025

MikeVM

- Baloo -

YouTube: Windows 8 Storage Spaces Tutorial Featuring WD Green Hard Drives NCIX Tech Tips

kan iemand een opsomming maken van de verschillen tussen ZFS-Windows 8 Storage

- gebruiksgemak: (win8 ziet er wel heel simpel uit)
- mogelijkheiden:
- Prestaties:
- betrouwbaarheid:
- compatibiliteit met grootte disks:
- Kostprijs:

door tijdsgebrek geraak ik niet veel verder vooruit met ZFS, alternatieven als dit lijken mij dan wel aantrekkelijk, hoewel ik weet dat dit minder goed is als ZFS.

\\ Baloo \\ Mijn iRacing profiel

-mogelijkheden: Wat wil je weten?
- Prestaties: hangt 1000% af van de hardware / disks.
- Betrouwbaarheid: ZFS all the way (checksums, atomic writes, intent log, uberblock)
- Compatibiliteit: Heeft niets met ZFS te maken, meer met controller en OS. ZFS kan in theorie enkele Exabytes adresseren geloof ik.
- kostprijs: ZFS wint, is gratis...

Even niets...


  • MikeVM
  • Registratie: Mei 2007
  • Laatst online: 04-12-2025

MikeVM

- Baloo -

compatibiliteit bedoel ik het mengen van verschillende disks, bij zfs moet je je array opbouwen uit allemaal dezelfde grootte, (correct me if im wrong)

ook is er voor elke redundancy een optimaal aantal disks-aantal

mogelijkheden: is met zfs alles mogelijk wat met windows8 mogelijk is, en meer?
zoals een gedeelte van je space instellen als 2/3way-mirror?
dus een gedeelte als 2way mirror zodat dezelfde data 2/3 keer voorkomt op dezelfde of verschillende pools (gebruik ik hier het juiste woord?)

prestaties: windows8 parity met 5 disks (als softRAID5) tov een array van 5disks in RaidZ met dezelfde hardware

\\ Baloo \\ Mijn iRacing profiel

MikeVM schreef op dinsdag 11 december 2012 @ 17:59:
compatibiliteit bedoel ik het mengen van verschillende disks, bij zfs moet je je array opbouwen uit allemaal dezelfde grootte, (correct me if im wrong)
Dat is per vdev, niet voor een hele pool.
ook is er voor elke redundancy een optimaal aantal disks-aantal
Dat geld voor alle RAID engines.
mogelijkheden: is met zfs alles mogelijk wat met windows8 mogelijk is, en meer?
zoals een gedeelte van je space instellen als 2/3way-mirror?
dus een gedeelte als 2way mirror zodat dezelfde data 2/3 keer voorkomt op dezelfde of verschillende pools (gebruik ik hier het juiste woord?)
Jup, door partities en vdev's te combineren kan dat prima ja. Niet zo makkelijk als in Windows 8, maar technisch prima mogelijk. Als iemand dezelfde wizard zou bouwen voor ZFS, werkt het hetzelfde.
prestaties: windows8 parity met 5 disks (als softRAID5) tov een array van 5disks in RaidZ met dezelfde hardware
Ligt aan de load, maar ik verwacht dat ZFS wint vanwege zijn Copy-on-write logica. Sowieso kan je met ZIL/SLOG & L2ARC de performance opkrikken tot het 1000 voudige (als het gaat om random IO) en dat kan weer niet met Storage Spaces.

ZFS zal wel meer geheugen kosten (bij gelijke performance verlangens).

Even niets...


Verwijderd

Topicstarter
FireDrunk schreef op dinsdag 11 december 2012 @ 15:05:
NFS synced writes kan je wel uitzetten voor standaard OSen, maar NIET voor ESXi.
ESXi doet altijd een forced synced write.
Oke, maar juist dan heb je baat bij om ZFS filesystem waar ESXi naar schrijft op sync=disabled te zetten. Dan verwerkt ZFS alle sync writes als async. Nadeel is dat je geen application consistency meer hebt. Dat is eigenlijk alleen een probleem als je iSCSI images hebt zoals ik met Ubuntu gebruik. Als je dan een snapshot maakt terwijl die Ubuntu draait, en je gaat terug naar die snapshot kun je filesystem schade hebben. Ik snapshot dan gewoon als mijn Ubuntu client niet draait, simpel zat.

Dus een dedicated ZIL / SLOG heb je denk ik voor thuisgebruik niet echt nodig. L2ARC is natuurlijk wel heel gaaf.
Verwijderd schreef op dinsdag 11 december 2012 @ 18:37:
[...]

Oke, maar juist dan heb je baat bij om ZFS filesystem waar ESXi naar schrijft op sync=disabled te zetten. Dan verwerkt ZFS alle sync writes als async. Nadeel is dat je geen application consistency meer hebt. Dat is eigenlijk alleen een probleem als je iSCSI images hebt zoals ik met Ubuntu gebruik. Als je dan een snapshot maakt terwijl die Ubuntu draait, en je gaat terug naar die snapshot kun je filesystem schade hebben. Ik snapshot dan gewoon als mijn Ubuntu client niet draait, simpel zat.

Dus een dedicated ZIL / SLOG heb je denk ik voor thuisgebruik niet echt nodig. L2ARC is natuurlijk wel heel gaaf.
Wat denk je dat een VMDK is? Niets anders dan iSCSI. Als je ESXi server dus uitvalt zonder fatsoenlijke syncing, zijn al je VMDK's corrupt.

Maar prima, als jij denkt dat hij zonder kan, moet je dat aanraden. Ik zeg alleen, niet doen, het is takketraag.

Just my two cents..

[ Voor 7% gewijzigd door FireDrunk op 12-12-2012 07:39 ]

Even niets...


  • enormhi
  • Registratie: November 2009
  • Laatst online: 03-08-2025
T0mS schreef op dinsdag 11 december 2012 @ 14:54:
@ FireDrunk en CiPHER, oké, ik lees veelal hoe meer RAM hoe beter voor ZFS op FreeBSD. Had ik het eerst nagevraagd dan had ik die extra 16 gig ram niet hoeven kopen maar goed, eigen schuld. |:(
Dat geld in principe altijd voor ZFS. Hoe meer hoe beter. Hoe meer RAM hoe groter je ARC.

Verwijderd

Topicstarter
FireDrunk schreef op woensdag 12 december 2012 @ 07:39:
Wat denk je dat een VMDK is? Niets anders dan iSCSI. Als je ESXi server dus uitvalt zonder fatsoenlijke syncing, zijn al je VMDK's corrupt.
iSCSI inderdaad, maar ik dacht dat het om NFS toegang ging, wat ook via ESXi ging? Ik moet toegeven, ik heb geen ervaring met ESXi dus wat dat betreft weten jullie daar veel meer van dan ik. Maar als het gaat om NFS toegang, waarbij ZFS de files opslaat en corruptie alleen daar een rol speelt, is sync=disabled zeker het overwegen waard en helemaal niet zo onveilig. Voor iSCSI images waarbij de client het filesystem bepaalt, wil je wel sync writes omdat zoals je zegt als de server plots uitvalt je schade aan je filesystem kunt hebben. Dat wil je niet voor VMDK containers die ESXi beheert.

Als het gaat om pure NFS toegang waarbij ZFS dus de files opslaat en er geen client filesystem is, heb je geen sync writes nodig persé omdat ZFS zeld altijd consistent blijft. Je verliest dan alleen de laatste x writes maar dat is geen probleem; je data zal niet corrupt raken. Als het echter gaat om VMDK containers (die eigenlijk dus een client filesystem en dus files bevat) die worden aangesproken via NFS - misschien is dit waar je op doelt? - dan heb je inderdaad wel gelijk dat je daar niet lukraak de sync eraf kan knallen. In dat geval zit er namelijk een client filesystem tussen en slaat ZFS dus niet de eigenlijke data op, enkel containerfiles. Dat valt goed te vergelijken met containerfiles via iSCSI aanspreken.
Maar prima, als jij denkt dat hij zonder kan, moet je dat aanraden. Ik zeg alleen, niet doen, het is takketraag.
Het kan onveilig en gevaarlijk zijn om sync=disabled te draaien; maar het zou zeker sneller moeten zijn dan sync=standard maar wel met een SSD als dedicated ZIL / SLOG. Met dat laatste heb je echter bijna de snelheid van sync=disabled maar wel de veiligheid van sync=standard dus als je de veiligheid nodig hebt maar ook nog een beetje snelheid wilt, is een dedicated ZIL / SLOG de juiste keuze.

Zie bijvoorbeeld deze thread: http://forums.freebsd.org/showthread.php?t=17980
De mailinglist-discussie waaraan gerefereerd wordt, heb ik helaas niet gebookmarked.
Just my two cents..
Ik wil je niet tegenspreken, ik doe ook maar mijn centen in het zakje. :)

  • meraki
  • Registratie: Augustus 2007
  • Laatst online: 18-10-2025
enormhi schreef op woensdag 12 december 2012 @ 08:49:
[...]

Dat geld in principe altijd voor ZFS. Hoe meer hoe beter. Hoe meer RAM hoe groter je ARC.
Oké, gesteld dat ik geen L2ARC zal gebruiken, dan is meer RAM een vereiste voor de performance? Ik vermoed dat FireDunk en CiPHER er vanuit gingen dat 8 GB RAM voldoende was omdat ik L2ARC plande te gebruiken.

Verwijderd

Topicstarter
L2ARC kost je juist RAM. RAM kost ook geen drol meer, dus je moet altijd zoveel RAM nemen als maar mogelijk is. Low-end Brazos kies je 2x8GiB = 16GiB RAM. Voor een Pentium-chip van 30 euro kies je 4x8GiB = 32GiB RAM. Een high-end chip zoals quadcore 3570 is 32GiB eigenlijk niet in verhouding meer. Dan wil je eigenlijk 64GiB tot 128GiB maar dat is niet mogelijk.

RAM kost nu geen drol, je maakt dus een slechte afweging als je te weinig RAM neemt. 120 euro voor 32 gigabyte RAM is de investering dubbel en dwars waard. Zelfs voor het dubbele bedrag zou ik niet twijfelen. Dus waar maak je je druk om? :)

Je kunt veel beter besparen op de CPU, dan besparen op de kwantiteit RAM geheugen.

  • meraki
  • Registratie: Augustus 2007
  • Laatst online: 18-10-2025
Verwijderd schreef op woensdag 12 december 2012 @ 13:45:
L2ARC kost je juist RAM. RAM kost ook geen drol meer, dus je moet altijd zoveel RAM nemen als maar mogelijk is. Low-end Brazos kies je 2x8GiB = 16GiB RAM. Voor een Pentium-chip van 30 euro kies je 4x8GiB = 32GiB RAM. Een high-end chip zoals quadcore 3570 is 32GiB eigenlijk niet in verhouding meer. Dan wil je eigenlijk 64GiB tot 128GiB maar dat is niet mogelijk.

RAM kost nu geen drol, je maakt dus een slechte afweging als je te weinig RAM neemt. 120 euro voor 32 gigabyte RAM is de investering dubbel en dwars waard. Zelfs voor het dubbele bedrag zou ik niet twijfelen. Dus waar maak je je druk om? :)

Je kunt veel beter besparen op de CPU, dan besparen op de kwantiteit RAM geheugen.
Volledig akkoord. Ik was in de war omdat ik enkele posts hierboven opgaf dat ik 32 GB ECC RAM in mijn machine heb zitten maar jullie adviseerden dat 8 à 10 GB genoeg zou zijn voor de ZFS VM :) .

Verwijderd

Topicstarter
Uitgaande dat je ook nog geheugen wilt hebben voor andere VMs, waarom zou je anders ESXi draaien? Dus ik ging uit van minimaal RAM dat je wilt assignen. 8GiB is best karig als je ook L2ARC gaat gebruiken. Als je andere VMs niet zoveel nodig hebben zou ik 16 tot 24GiB aan RAM assignen aan ZFS.

Je kunt het denk ik beter andersom redeneren: hoeveel hebben je andere VMs nodig, probeer dat zo karig mogelijk te houden en wat er overblijft geef je aan ZFS. Die kan het goed gebruiken. Hoe meer RAM hoe beter, net als hoe meer level1/2/3 cachegeheugen in je processor des te beter.

Je moet het zien als een keten die begint met de processor (Level 1 cache) die heel snel (100GB/s) is maar heel klein (32 kilobyte) en eindigt met het langzaamste onderdeel je mechanische hardeschijf (100MB+/s) maar wel heel groot is (2-32 gigabyte voor een array). De prestaties druk ik hier uit in doorvoersnelheid, maar in feite gaat het altijd om latency. Die verschillen zijn nog veel groter tussen L1 cache en hardeschijf.

De volledige chain:

CPU (Level 1, Level2, Level3 cache) -> RAM geheugen -> ZFS Level 1 ARC (RAM) -> ZFS Level 2 ARC (SSD) -> ZFS vdev cache -> Harddisk cache -> Harddisk mechanisch.

Verder kan ik aanraden HyperThreading uit te schakelen of dat in elk geval uit te testen. Tenzij software hier speciaal voor geoptimaliseerd is, zal dat alleen maar performance kosten. Ik geloof dat ESXi niet zo goed met hyperthreading kan omgaan.

  • meraki
  • Registratie: Augustus 2007
  • Laatst online: 18-10-2025
Aha, het is inderdaad nogal moeilijk mijn eigenlijke gebruiksdoel te achterhalen. Ik had meer moeten benadrukken dat het hoofddoel van de server ZFS-opslag ging zijn. Niettemin, uitgaan van de omgekeerde redenering is inderdaad beter.

Dank voor de heldere uitleg! Ik heb uiteindelijk 24 GB toegewezen en zal hyperthreading nakijken.

  • enormhi
  • Registratie: November 2009
  • Laatst online: 03-08-2025
De server waar ik op het moment mee aan de slag ben staat op het moment een beetje te idle'n. Op het moment wordt 18,5GB van 32GB RAM gebruikt. De L2ARC zit op 109,72GB van 111,8GB. Dus je kunt zien dat er aardig wat RAM gebruikt wordt.

  • MikeVM
  • Registratie: Mei 2007
  • Laatst online: 04-12-2025

MikeVM

- Baloo -

ik zit nu ook te worstelen hoe ik het ga doen in de toekomst, mijn huidige server is nog gebasseerd op een moederbord met DDR2, maar al de rest aan het moederbord is wel goed

-4x Gbit NIc
-8 Sata poorten
- 2 PCI sloten
- 3of4 PCIe sloten

dus als ik meer ram wil, moet ik ofwel overpriced DDR2 geheugen kopen (250 euro voor 16GB), of overstappen op nieuw mobo/cpu/ram. maar mijn huidige server is niet energiezuinig, (Q6600)


khoop eigenlijk dat ik met 8GB nog voldoende heb om nas4free, xp en Ubuntu op één systeem te draaien met degelijke snelheden..

\\ Baloo \\ Mijn iRacing profiel


Verwijderd

Topicstarter
Mijn advies: investeer niet meer in oudere systemen op basis van DDR2. Blijf bij wat je hebt, of koop een nieuw platform met goedkoper spul zoals 32GiB DDR3 voor 120 euro. Je huidige hardware kun je uitstekend gebruiken voor een systeem wat niet 24/7 draait, dan heb je veel minder last van de relatieve onzuinigheid van dit platform. Q6600 is inderdaad ook minder zuinig en uiteindelijk heb je een hoge idle power, veel hoger dan een nieuw platform. Voor een 24/7 systeem valt een nieuw platform dus te overwegen.

Je kunt echter prima wachten tot het nieuwe Intel Haswell platform wat idle nog zuiniger zou zijn. Met name de mobiele Intel Haswell zou idle veel en veel zuiniger moeten zijn door nieuwe energiebesparende technieken. Tot factor 20 lagere idle power is gewoon geweldig. Nog wel afwachten of het daadwerkelijk te koop wordt, of alleen OEM-spul wordt zoals zo vaak bij zuinige hardware.

Quote van Anand:
If you've been following our IDF Live Blog you've already seen this, but for everyone else - Intel gave us a hint at what Haswell will bring next year: 20x lower platform idle power compared to Sandy Bridge
If it sounds to good to be true... It usually is..

Even niets...

Pagina: 1 ... 53 ... 214 Laatste

Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.