Het grote ZFS topic

[FireDrunk]

Precies, ik dacht hetzelfde (omdat er EMC op stond...)

[matty___]

FireDrunk schreef op zaterdag 24 maart 2012 @ 21:28:
Precies, ik dacht hetzelfde (omdat er EMC op stond...)

Enkel Matige Componenten

[FireDrunk]

Mja, dat blijkt wel... Er staat een eeuwenoude versie van Debian op met MDADM 2.5. Dat verklaart waarom alles zo traag gaat... een Chunksize van 64k en een readahead op het hele blockdevice van 512k.

Goh, waarom zou het ding traag zijn...

Maar dat is allemaal offtopic
Hij doet het, en ik zet er geen belangrijke data op, dus hij dient alleen als bak om even te kunnen switchen

[HyperBart]

Zelfs daar vertrouw ik die dingen niet voor

Kan iemand me eens een beetje op de juiste weg zetten om shares wat mooier af te schermen met permissies? Waar moet ik de Unix permissies op zetten, welk volledig pad?

Foolproof hulp met een voorbeeldje zou greatly appreciated zijn, want in de toekomst is dit toch wel een harde eis...

[ Voor 104% gewijzigd door HyperBart op 25-03-2012 13:48 ]

[DARKLORD]

is het met acls nu niet meer gelukt dan? voordat je acls instelt moet je alle mappen eerst 777 chmodden

als je users en groepen in nappit aanmaakt moet je voor iedere user in je console het password opnieuw instellen. hiermee zorg je ervoor dat er een smb password wordt aangemaakt. smb server restarten. en dan moet je in kunnen loggen.

als je er vanuit windows niet uit komt kan je ook de acls instellen vanaf nappit. gratis. ACL on folders
wel zorgen dat je " aclinherit (passthrough)" gebruikt zodat wanneer je mappen aanmaakt deze dezelfde acl meekrijgen.

heb zelf een vm met win7 prof van waaruit ik acls regel. die is standaard met root ingelogd op mijn shares

[ Voor 4% gewijzigd door DARKLORD op 25-03-2012 15:12 ]

[grotius]

matty___ schreef op zaterdag 24 maart 2012 @ 13:40:
[...]

1080P doet nog geen 10mb/s over het netwerk. Dus daar zal het niet aan liggen.
Maar met zo grote en aantal schijven zou ik zeker niet voor z1 gaan maar voor z2.

Dank voor de tips. Zojuist een Raidz2 pool aangemaakt.

De snelheid was met name bedoeld voor het downloaden, unrarren (sickbeard, headphones etc) op de server. Daarnaast is het mooi meegenomen als ik het maximale van mijn gigabyte lijn kan gebruiken.

Ik vroeg me nog af: krijg je met zfs2 ' iops' of is het alleen een extra pariteit? De snelheid valt me momenteel nog wat tegen (zo'n 68 MB per sec).

[ Voor 22% gewijzigd door grotius op 25-03-2012 20:49 ]

[nielsdc]

Ultraman schreef op zaterdag 24 maart 2012 @ 15:51:
Wat willen jullie voor speciale dingen dat je ACLs nodig hebt?
Ik heb het hier thuis altijd nog prima gered met klassieke Unix permissies, en dat doe ik nu nog steeds eigenlijk.

Ieder heeft een eigen home directory die alleen door die persoon betreden kan worden. En dan is er nog een user genaamd share, daarin zit al het gedeelde spul. Die directory heeft de read bit aan staan voor iedereen.
En die directory heeft de write bit op user en group niveau, waardoor je in share kunt schrijven als je het wachtwoord van de user share weet (die weet ik en mogelijk mijn broertje), of als je in de group 'share' zit.
Ik en mijn broertje zitten ook in de group 'share', dus kunnen vanaf onze eigen accounts er naar toe schrijven.
Wil ik iemand schrijftoegang (en dus ook delete) geven, dan voeg ik die persoon toe aan de groep share.

Pas als je binnen share op directory niveau per gebruiker dingen wilt gaan doen worden ACLs denk ik pas een noodzaak. Hangt dus een beetje af van wat je zoal van plan bent...

Ik zou shares altijd via unix rechten controleren, world writeable directories is vragen om security problemen. Overgens support zfs ook acl's (nfsv4 acl's, geen unix acls), howel ik niet weet hoe de implementatie daarvan is op de diverse platformen. Linux support het nog niet, freebsd in de laatste versie geloof ik wel.
Op gesharede directories is het meestal verstandig ook het sticky bit te zetten, zodat users wel kunnen schrijven, maar niet elkaars files kunnen wissen/renamen.

Voor security is het ook verstandig gesharede directories op een apart filesystem te zetten, met exec=off en setuid=off. Maar voor een thuis systeempje zal dat meestal wat overdreven zijn.

[Verwijderd]

Zijn ZFS vdev's uitwisselbaar tussen hosts? Stel dat ik een fysieke vdev (bijvoorbeeld 2 disks, raid1) los haal van zijn host, en bij een andere ZFS machine erbij prik, werkt dit dan zoals verwacht?

Waar laten jullie het OS (bijv zfsguru)? Ik neem aan op een aparte disk, wat raden jullie aan? USB stick, ssd (evt gedeeld met larc2)?

Ik ben bezig met een energiezuinige NAS samen te stellen, heb twee ecogreens en een picopsu liggen. Nu nog een moederbord, processor en geheugen. Zat zelf te denken aan een MSI board met een G620 en 8gb geheugen.

[CurlyMo]

Verwijderd schreef op donderdag 29 maart 2012 @ 13:35:
Zijn ZFS vdev's uitwisselbaar tussen hosts? Stel dat ik een fysieke vdev (bijvoorbeeld 2 disks, raid1) los haal van zijn host, en bij een andere ZFS machine erbij prik, werkt dit dan zoals verwacht?

Ja

Waar laten jullie het OS (bijv zfsguru)? Ik neem aan op een aparte disk, wat raden jullie aan? USB stick, ssd (evt gedeeld met larc2)?

Ik draai het hier vanaf een usb stick.

Ik ben bezig met een energiezuinige NAS samen te stellen, heb twee ecogreens en een picopsu liggen. Nu nog een moederbord, processor en geheugen. Zat zelf te denken aan een MSI board met een G620 en 8gb geheugen.

Lijkt me een goed idee

[FireDrunk]

Uh, als je meerdere vdev's hebt, dan word je data toch gestriped over meerdere vdev's?

Als je er dus 1 vdev uit trekt, word het geheel onbruikbaar. Of mis ik nou iets?

[CurlyMo]

FireDrunk schreef op donderdag 29 maart 2012 @ 13:46:
Uh, als je meerdere vdev's hebt, dan word je data toch gestriped over meerdere vdev's?

Als je er dus 1 vdev uit trekt, word het geheel onbruikbaar. Of mis ik nou iets?

Ik had gelezen dat het ging om een 2 disk ecogreen mirror, dus nam te snel aan dat het om een vdev = zpool ging. Genuanceerd is het volgens mij: uitwisselen specifieke vdevs kan niet (mits het om raid1 gaat), uitwisselen zpool kan wel tussen machines.

[FireDrunk]

Precies, je kan je hele collectie van vdev's (zpool) wel verhuizen. Maar een individuele vdev niet.

[Verwijderd]

Thanks voor de antwoorden. Ik moet een keuze maken tussen processor en moederboard, maar ik weet niet wat wijsheid is, ben er ook niet echt thuis in.

Brazos of toch een intel G620 bijvoorbeeld? Ik wil graag het verbruik zo laag mogelijk houden en ga waarschijnlijk ZFSGuru gebruiken vanwege de (volledige) FreeBSD installatie. Inzet is als NAS, mediaserver, downloadmachine en backup. Het zou wellicht handig zijn als de machine mkv nog kon transcoden voor bijvoorbeeld de ps3 maar dat is minder van belang.

[matty___]

Verwijderd schreef op donderdag 29 maart 2012 @ 14:53:
Thanks voor de antwoorden. Ik moet een keuze maken tussen processor en moederboard, maar ik weet niet wat wijsheid is, ben er ook niet echt thuis in.

Brazos of toch een intel G620 bijvoorbeeld? Ik wil graag het verbruik zo laag mogelijk houden en ga waarschijnlijk ZFSGuru gebruiken vanwege de (volledige) FreeBSD installatie. Inzet is als NAS, mediaserver, downloadmachine en backup. Het zou wellicht handig zijn als de machine mkv nog kon transcoden voor bijvoorbeeld de ps3 maar dat is minder van belang.

ik denk dat je met goed kijken wanneer je de nas nodig hebt meer aan stroom kunt besparen dan met een brazos systeem.

[analog_]

HyperBart schreef op zaterdag 24 maart 2012 @ 17:52:
Ik heb 'm terug geimporteerd en alles was terug...

Had wel de VM afgesloten via de shell, su shutdown now, maar dan gaf ie heel de tijd van die vragen waar ik op dat moment niet aan uit kon:

[afbeelding]

En sinds de install van Napp-it heeft hij ook de naam van mijn host verandert naar die aaaaaa en die tekentjes er tussen met dan mijn hostname die ik hem had gegeven erachter...

Waar kan je nu ergens die UNIX permissies instellen?

bart@²²²ééOpenIndianaVM:/pooltje$ ls -la
total 10
drwxr-xr-x+  5 root root  6 2012-03-24 14:14 .
drwxr-xr-x  25 root root 26 2012-03-24 17:30 ..
-rw-r--r--+  1 root root  0 2012-03-24 14:14 Bonnie.log
drwxrwxrwx+  3 root root  3 2012-03-24 17:43 test1
drwxrwxrwx+  3 root root  3 2012-03-24 17:43 test2
drwxrwxrwx+  4 root root  7 2012-03-24 17:43 test3
bart@²²²ééOpenIndianaVM:/pooltje$

En toch geraak ik niet binnen in die shares met root...

En what the al mijn users zijn ook weg, mijn mail instellingen voor notifications zijn, what the hell is er met die VM gebeurd

shutdown -h now
Ben nu zelf bezig naar OI te migreren van NexentaStor en ga geen napp-it gebruiken. Solaris is best wel leuk om in te verdiepen. Heb inmiddels de netwerk config achter de rug en je merkt direct dat dingen helemaal anders geregeld zijn dan op moderne linuxen. Het voelt deels een beetje ouderwets aan en anderzijds voel je dat dit systeem bijzonder robust is. Enkel die stomme VMXNET3 driver die je hele console onder flood is gruwelijk irritant maar daar wordt aan gewerkt heb ik vernomen op IRC door iemand van Nexenta zelf aangezien VMware er waarschijnlijk geen schijt om geeft (t'is al gemeld een tijd terug).

[ Voor 19% gewijzigd door analog_ op 29-03-2012 19:27 ]

[Verwijderd]

Omdat ik ZFS steeds meer begin te waarderen, maar m'n bestaande systemen allemaal perfect werken (één van de redenen dat ik het zo erg waardeer - en ja, ook de DealExtreme super-cheapo build doet het super) heb ik een nieuwe, kleine, NAS gemaakt waar ik zonet drie 2TB WD SATA schijven in RAID-Z in heb gezet.
(Ik dacht overigens dat het ondertussen wel meeviel, maar moest toch drie computerzaken langs voor die drie disks).

Dit systeem gaat alleen zijn om te testen en rommelen, heb ik mezelf beloofd.

Nu wil ik in deze configuratie een ZIL gaan toevoegen, wat ik nog niet eerder heb gedaan.

Ik begrijp dat een ZIL "non-volatile" moet zijn, dus of geheugen met een BBU of een harde schijf of een SSD.

Ook lijkt het zo te zijn dat de ZIL sneller moet zijn dan de devices die voor de ZFS opslag worden gebruikt, de SATA schijven dus. Maar ik weet niet of het sneller moet zijn dan één enkele hdd, of sneller dan de hele zpool.

De reden dat ik een ZIL zou willen gebruiken is om snelheidswinst te behalen, en niet zo zeer om als veiligheid te dienen bij stroomuitval, daar heb ik een UPS voor - of maak ik dan een denkfout?

Hoe dan ook vind ik een SSD de enige realistische optie, al dan niet twee gemirrorde.

Waar moet ik op letten? Ten eerste bij aanschaf (snelheid, grootte) en ten tweede evt. bij het configureren. Alhoewel dat laatste me eenvoudig genoeg lijkt...

[Ultraman]

Allereerst: Heb je wel een apart Log device nodig voor je ZIL?
Doe je veel synchronous writes? Anders heb je er helemaal niks aan.

Of je moet het doen puur omdat je wilt spelen er mee, dan doe je er goed aan om een goede SSD met supercaps te halen. Welke geschikt zijn voor een Log device is inmiddels al zo vaak in de draad langsgekomen dat je dat wel kunt vinden als je terugleest en de search goed benut.

[CurlyMo]

Of een Zil "non-violate" moet zijn is in deze antwoorden ook al vaak behandeld.

[Verwijderd]

Ultraman schreef op donderdag 29 maart 2012 @ 21:08:
Of je moet het doen puur omdat je wilt spelen er mee, dan doe je er goed aan om een goede SSD met supercaps te halen.

Ja, het voor het spelen. Ik bedoel, research

Een topic met 109 pagina's is altijd intimiderend om te doorzoeken, ik ga m'n best doen!

[FireDrunk]

* FireDrunk heeft 2 * M1015 op het oog, misschien dat het dan lukt om fatsoenlijk met ZFS aan de slag te gaan

[Pantagruel]

FireDrunk schreef op vrijdag 30 maart 2012 @ 12:02:
* FireDrunk heeft 2 * M1015 op het oog, misschien dat het dan lukt om fatsoenlijk met ZFS aan de slag te gaan

Dat zal wel lukken , heb er eentje in gebruik in combi met 8x 2 TB WD en een tweede die klaar ligt voor uitbreidingswensen (als in wachten tot dat de hdd prijzen niet langer zo pijnlijk zijn voor de beurs).

[FireDrunk]

En betaald, nu afwachten tot ze er zijn!

[Ultraman]

Verwijderd schreef op donderdag 29 maart 2012 @ 22:13:
[...]


Ja, het voor het spelen. Ik bedoel, research

Een topic met 109 pagina's is altijd intimiderend om te doorzoeken, ik ga m'n best doen!

Je hebt de zoekfunctie rechtsbovenaan het topic gespot?
Dat scheelt flink namelijk. Je moet hem even leren kennen, maar ik kan je verzekeren: hij werkt prima.

[ Voor 9% gewijzigd door Ultraman op 30-03-2012 14:01 ]

[justice strike]

Ik denk dat ik een systeem bouw rondom een fusion platform... Ik heb nog 4 gb aan sodimm... liefst gebruik ik dat maar ik lees overal dat 8 gb toch wel het minimum is. Iemand die hier een uitspraak over durft te maken? ik zou namelijk dan gewoon voor een elcheapo atom platform kunnen gaan. Ben ik met 50 euro klaar

verder vraag ik mij af of ik bij de keuze van mijn hd's nog rekening moet houden met tler erc of andere ongein. Ik heb nu een 3ware raid kaart waar de hd nog wel eens uitklapt zonder reden. Ik denk sterk dat het aan de erc settings ligt... (de server staat nu uit om deze reden en ik ben de komende maand niet in de buurt, maar de server gaat met pensioen omdat hij teveel stroom vreet)

[FireDrunk]

Als je die 3Ware controller dumpt en overstapt op ZFS, maakt het niet meer uit, zolang je maar een controller (onboard of iets anders) gebruikt die de disk netjes aan ZFS geeft. (AHCI of IT-Mode controllers)

[justice strike]

FireDrunk schreef op zaterdag 31 maart 2012 @ 11:49:
Als je die 3Ware controller dumpt en overstapt op ZFS, maakt het niet meer uit, zolang je maar een controller (onboard of iets anders) gebruikt die de disk netjes aan ZFS geeft. (AHCI of IT-Mode controllers)

Ok, maar hoe bepaald zfs dan of een drive failed? Ik had namelijk begrepen dat zfs vrij hetzelfde algoritme gebruikt als raidkaarten (dus 7 seconden geen reactieis drive fail).

Het wordt dus of een atom of fusion bord afhankelijk van het hoeveelheid geheugen dat ik nodig zal gaan hebben (om 1 gigabit vol te trekken).

[FireDrunk]

Dan moet je je even wat beter verdiepen in ZFS, want die kijkt ook naar bad sectors... En die 7 Seconden is nergens een hard limiet, behalve bij TLER schijven (Daarom het het ook Time Limited Error Recovery).

[justice strike]

nm onnodig

[ Voor 97% gewijzigd door justice strike op 31-03-2012 13:31 ]

[Verwijderd]

Als een hd voor 90 seconden niet reageert [dan] is hij ook niet responsief naar een os toe. Hoe zou zfs dan kunnen weten dat een drive wel of niet offline is?

ZFS telt het aantal lees en schrijffouten. Teveel fouten in korte tijd betekent dat de schijf als 'FAULTED' wordt beschouwd. Apart daarbij is dat ZFS naar de schijf blijft schrijven. Dat is gedrag wat voorkomt uit de self-healing van ZFS, waarmee ook bad sectors gecorrigeerd worden.

Het aantal fouten per device kun je vinden in de zpool status output.

@justice strike: Atom is ongeschikt voor ZFS, vanwege beperkingen als 4GiB RAM, 3Gbps, geen/nauwelijke PCI-express, lage performance en hoog energieverbruik (dat hoor je goed; atom-platform is niet specifiek energiezuinig t.o.v. van moderne veel krachtigere platforms). Brazos is in alle opzichten beter dan Atom dus vervangt de Atom in zijn geheel als veel logischere, superieure keuze. Een low-power core i3/i5/llano build is ook mogelijk en kan zuiniger zijn dan een Atom-platform.

[ Voor 9% gewijzigd door Verwijderd op 31-03-2012 13:34 ]

[justice strike]

Verwijderd schreef op zaterdag 31 maart 2012 @ 13:33:
[...]

ZFS telt het aantal lees en schrijffouten. Teveel fouten in korte tijd betekent dat de schijf als 'FAULTED' wordt beschouwd. Apart daarbij is dat ZFS naar de schijf blijft schrijven. Dat is gedrag wat voorkomt uit de self-healing van ZFS, waarmee ook bad sectors gecorrigeerd worden.

Het aantal fouten per device kun je vinden in de zpool status output.

@justice strike: Atom is ongeschikt voor ZFS, vanwege beperkingen als 4GiB RAM, 3Gbps, geen/nauwelijke PCI-express, lage performance en hoog energieverbruik (dat hoor je goed; atom-platform is niet specifiek energiezuinig t.o.v. van moderne veel krachtigere platforms). Brazos is in alle opzichten beter dan Atom dus vervangt de Atom in zijn geheel als veel logischere, superieure keuze. Een low-power core i3/i5/llano build is ook mogelijk en kan zuiniger zijn dan een Atom-platform.

dan wordt het een fusion e-350 moet volgens mij voldoende zijn... wel jammer van die 4gb an sodimm

maar nog even voor de zekerheid... zfs heeft dus dan ook geen problemen met die green drives die wel problemen geven met raid kaarten (omdat ze heel erg met upspinnen en downspinnen spelen en/of veel doen om energie te besparen zoals alles opslaan in cache totdat de cache geflushed kan wordne)

[ Voor 12% gewijzigd door justice strike op 31-03-2012 13:51 ]

[Verwijderd]

Dat laatste doet elke hardeschijf; de host bepaalt of er geflushed wordt door een FLUSH CACHE commando te sturen; ook wel 'sync' genoemd. Dirty buffers worden dan naar disk geschreven en het commando is pas voltooid als alle buffers zijn weggeschreven.

Ik zou gaan voor een bord met normaal DDR3 SDRAM slots; geen SODIMM dan zit je met incompatible geheugen. Koop geen 1.5v maar moderner 1.35/1.25 geheugen als je lager energieverbruik wilt. Het beste zijn de 8GiB DRAM modules, maar onduidelijk is of Brazos deze ondersteunt. Volgens mij wel, en binnenkort kan ik dit bevestigen omdat ik binnenkort ook nieuw spul ga kopen waaronder 8GiB modules. Kan ik gelijk kijken of deze in mijn Brazos systeem passen.

met die green drives die wel problemen geven met raid kaarten (omdat ze heel erg met upspinnen en downspinnen spelen en/of veel doen om energie te besparen

Wat je nu zegt is volstrekt onbekend bij mij. De TLER problemen hebben niets met het toetental of 'green' te maken. Head parking of spindown zou ik niet tot problemen mogen leiden, binnen 10 seconde (net als TLER) is de schijf beschikbaar te alle tijde.

En sowieso zou ik het omdraaien: als iets een probleem heeft, dan zijn het wel de controllers die volledig over de zeik gaan als moderne schijven recovery uitvoeren. Een situatie die niemand in de industrie graag wil oplossen omdat ze er grof aan verdienen: TLER schijven zijn zowat dubbel zo duur. Leuk voor een software-feature. Stel dat Intel de 'K' unlocked versies voor dubbele prijs zou overkopen; dan waren ze echt niet zo populair, tenzij je die om een vage reden 'nodig' zou hebben, zoals Hardware RAID kaarten ook TLER nodig hebben, omdat ze eigenlijk ontworpen om een slechte error recovery te hebben. Eigenlijk helemaal geen recovery; als de schijf niet precies doet wilt wat de controller verwacht dan gebruikt hij hem helemaal niet meer. De innovatie van 2012! Met deze technologie komen we wel tot Mars hoor....

[ Voor 26% gewijzigd door Verwijderd op 31-03-2012 14:10 ]

[onox]

Verwijderd schreef op zaterdag 31 maart 2012 @ 14:08:
Ik zou gaan voor een bord met normaal DDR3 SDRAM slots; geen SODIMM dan zit je met incompatible geheugen.

Wat is er incompatible aan SODIMM?

[matty___]

onox schreef op maandag 02 april 2012 @ 19:28:
[...]


Wat is er incompatible aan SODIMM?

minder keuze en duurder denk ik

[Verwijderd]

Incompatible met normale DIMM modules bedoel ik. Dus als je SO-DIMM koopt, koop je dat speciaal voor dat moederbord en is vrijwel incompatible met andere systemen. Ik ben iemand die hardware regelmatig omwissel. Zoals mijn zuinige RAM-latjes in een andere server die vaker aanstaat, of een RAM-upgrade van 2x4GiB naar 2x8GiB terwijl de oude sticks nog kan hergebruiken.

Het is dus een pluspunt als je allemaal hetzelfde geheugen hebt, zodat je flexibel bent met hardware. Om die reden ben ik afgestapt van mijn voornemen dure SO-DIMM modules (2x8GiB 1.25v) te kopen. Normale DIMM modules zijn ook prima, zoals deze:
pricewatch: Adata AD3U1333W8G9-B

45 euro voor 8GiB modules is best een goede prijs! Dit betekent dat 1x 8GiB nu dezelfde prijs is als 2x 4GiB. Alleen jammer dat het 1.5v high voltage geheugen is, en niet minimaal 1.35v ofzo.

[Dinh]

Eindelijk heb ik alle spullen binnen

Drie van deze in een Lian Li PC-50



Helaas nog niet alles gevuld. Heb momenteel 6x Seagate 3TB in een RaidZ2 als main storage en 3x oude harddisk als scratch. Verder nog een Crucial M4 64GB als OS en een Intel X25-E 32GB als ZIL.

En zo ziet het dan eruit:



Planning is dat er binnenkort nog een Crucial M4 64GB erbij komt als cache. En later uitbreiden met nog eens 6x Seagate 3TB.

Bench zonder enige tweaks:

qdtc [ ~ ]$ zpool status
  pool: qdtc
 state: ONLINE
 scan: none requested
config:

	NAME            STATE     READ WRITE CKSUM
	qdtc            ONLINE       0     0     0
	  raidz2-0      ONLINE       0     0     0
	    gpt/qdtc0   ONLINE       0     0     0
	    gpt/qdtc1   ONLINE       0     0     0
	    gpt/qdtc2   ONLINE       0     0     0
	    gpt/qdtc3   ONLINE       0     0     0
	    gpt/qdtc4   ONLINE       0     0     0
	    gpt/qdtc5   ONLINE       0     0     0
	logs
	  gpt/zfsslog0  ONLINE       0     0     0

errors: No known data errors

qdtc [ ~ ]$ dd if=/dev/zero of=/zfs/qdtc/movies/downloads/zero.file bs=1m count=40000
40000+0 records in
40000+0 records out
41943040000 bytes transferred in 99.217154 secs (422739802 bytes/sec)

qdtc [ ~ ]$ dd of=/dev/zero if=/zfs/qdtc/movies/downloads/zero.file bs=1m            
40000+0 records in
40000+0 records out
41943040000 bytes transferred in 114.176136 secs (367353822 bytes/sec)

Met deze resultaten trek ik de 1GB Lan met gemak dicht lijkt mij.

[FireDrunk]

Over NFS ja, samba is daar te kak voor

[Dinh]

FireDrunk schreef op dinsdag 03 april 2012 @ 15:08:
Over NFS ja, samba is daar te kak voor

Ik gebruik afp . Vanaf me iMac haal ik zo'n 105-110MB/sec. Dat lijkt mij prima voor 1GB lan

[matty___]

Dinh schreef op dinsdag 03 april 2012 @ 15:18:
[...]


Ik gebruik afp . Vanaf me iMac haal ik zo'n 105-110MB/sec. Dat lijkt mij prima voor 1GB lan

Houdt er rekening mee dat als je voorbij de 80% van je pool zit dat het dan toch iets langzamer wordt.

[FireDrunk]

2x M1015 ontvangen, vanavond maar eens kijken op ik ze naar IT-mode krijg!

[jadjong]

FireDrunk schreef op dinsdag 03 april 2012 @ 17:40:
2x M1015 ontvangen, vanavond maar eens kijken op ik ze naar IT-mode krijg!

In DOS:
1 <enter>
2 <enter>
3 <enter>
reboot
4/5 <enter>
6 <enter>

Als dat niet lukt....

[FireDrunk]

Sssst

Edit: En gelukt! 2x SAS2008 (B2) controllers werkend!

[ Voor 78% gewijzigd door FireDrunk op 04-04-2012 08:54 ]

[Pantagruel]

FireDrunk schreef op dinsdag 03 april 2012 @ 20:59:
Sssst

Edit: En gelukt! 2x SAS2008 (B2) controllers werkend!

Well done lad, now go out and have some fun

[FireDrunk]

Warning, this post may seriously make you doubt about FreeBSD

Zucht. Dat ***** {insert scheldkannonade} **** FreeBSD.

Nieuwe VM -> Passthrough LSI2008 controller + Fysieke Intel 1Gb NIC.

[BOING] mpt_sas errors tot en met... oplossing? -> loader.conf wijzigen na installatie. OK prima, dan halen we die even weg.

VM uit, Device weghalen, VM aan. Booten. ZFSguru.
Detecting IP................................

Shell!!

ifconfig. lo0 + plip0, geen em0. WTF, FreeBSD ondersteund mijn dure Intel NIC niet....?
Dan maar via ESXi. en zonder VMXNET3... E1000 dus.

VM uit, Intel nic weg, VM nic erbij, VM aan, booten.

ZFSguru installeren, reboot.
Eerst maar eens vmware tools installeren, dan kan ik die vm vanuit ESX shutten.

cd /usr/ports/emulators/open-vm-tools-nox11
make && make install

[BOING] Ik heb gmake nodig...
*zucht* prima...

cd /usr/ports/devel/gmake
make && make install

[BOING] gmake is already installed
WTF? hmm
ln -s /usr/bin/gmake /usr/local/bin/gmake

cd /usr/ports/emulators/open-vm-tools-nox11
make && make install

[BOING] Ik heb Python nodig

*ZUCHT*

cd /usr/ports/lang/python27
make && make install

[BOING] Ik heb gmake nodig...


AAAAAAAAAAAAH

[webfreakz.nl]

Uhm weet je zeker dat het systeem goed is geïnstalleerd? Ik heb v/d week voor het eerst eens iets geinstalleerd op FreeBSD 9.0. Het ging om /usr/ports/shells/lshell/ en dat was met

make && make install && make clean

toch echt vrij rap gedaan. Die heeft Python als dependency, en dat vogelde hij toch echt zelf uit.

[matty___]

de afhankelijkheden zou ports gewoon voor je oplossen daarom is het ook zo een mooi systeem.

En welke nic heb je dan? Kan het me haast niet voorstellen dat het niet werkt

[FireDrunk]

Ubuntu slikt hem ook niet merk ik nu. Exacte type: Intel 82574L

[HyperBart]

FireDrunk schreef op woensdag 04 april 2012 @ 20:32:
Ubuntu slikt hem ook niet merk ik nu. Exacte type: Intel 82574L

Dan is het een mottig kaartje, period

[FireDrunk]

Windows 7 slikte hem wel out of the box
When did that became possible

===>  Building for lshell-0.9.14
running build
running build_py
creating build
creating build/lib
copying lshellmodule/lshell.py -> build/lib
running build_scripts
creating build/scripts-2.7
copying and adjusting bin/lshell -> build/scripts-2.7
changing mode of build/scripts-2.7/lshell from 644 to 755
===>  Installing for lshell-0.9.14
===>   lshell-0.9.14 depends on file: /usr/local/bin/python2.7 - found
===>   Generating temporary packing list
===>  Checking if shells/lshell already installed
running install
running build
running build_py
running build_scripts
running install_lib
copying build/lib/lshell.py -> /usr/local/lib/python2.7/site-packages
byte-compiling /usr/local/lib/python2.7/site-packages/lshell.py to lshell.pyc
writing byte-compilation script '/tmp/tmpWSTRW2.py'
/usr/local/bin/python2.7 -O /tmp/tmpWSTRW2.py
removing /tmp/tmpWSTRW2.py
running install_scripts
copying build/scripts-2.7/lshell -> /usr/local/bin
changing mode of /usr/local/bin/lshell to 755
running install_data
copying etc/lshell.conf -> /usr/local/etc
creating /usr/local/etc/logrotate.d
copying etc/logrotate.d/lshell -> /usr/local/etc/logrotate.d
copying man/lshell.1 -> /usr/local/man/man1/
running install_egg_info
Writing /usr/local/lib/python2.7/site-packages/lshell-0.9.14-py2.7.egg-info
/bin/mkdir -p /usr/local/share/doc/lshell
install  -o root -g wheel -m 444 /usr/ports/shells/lshell/work/lshell-0.9.14/CHA                                                                                                                                NGES /usr/local/share/doc/lshell
install  -o root -g wheel -m 444 /usr/ports/shells/lshell/work/lshell-0.9.14/COP                                                                                                                                YING /usr/local/share/doc/lshell
install  -o root -g wheel -m 444 /usr/ports/shells/lshell/work/lshell-0.9.14/REA                                                                                                                                DME /usr/local/share/doc/lshell
Updating /etc/shells
===>   Compressing manual pages for lshell-0.9.14
===>   Registering installation for lshell-0.9.14

Ik zal wel gek worden...

[ Voor 121% gewijzigd door FireDrunk op 04-04-2012 20:38 ]

[HyperBart]

Windows 7 is dan ook in binaries 4 keer zo groot als Ubuntu

[FireDrunk]

Ennu werkt het wel, het ding is GLIB aan het builden. Misschien heeft de powerdown het ding goed gedaan

[onox]

FireDrunk schreef op woensdag 04 april 2012 @ 20:40:
Ennu werkt het wel, het ding is GLIB aan het builden. Misschien heeft de powerdown het ding goed gedaan

Is je 82574L ook weer zichtbaar?

[matty___]

FireDrunk schreef op woensdag 04 april 2012 @ 20:40:
Ennu werkt het wel, het ding is GLIB aan het builden. Misschien heeft de powerdown het ding goed gedaan

is de em driver geladen. Want met deze zou je nic gewoon moeten werken

em0@pci0:1:0:0: class=0x020000 card=0xa01f8086 chip=0x10d38086 rev=0x00 hdr=0x00
vendor = 'Intel Corporation'
device = 'Intel 82574L Gigabit Ethernet Controller (82574L)'
class = network
subclass = ethernet

[Ultraman]

FireDrunk: Jouw probleem klinkt mij bekend in de oren. Even een mobiele reply...

Intel Gigabit kaarten die onder Windows werken, maar niet onder een Unix. Ik heb dat ook gehad met twee Intel 1000 MT kaarten. Ik heb dat probleem kunnen oplossen door de firmware van de kaarten, of het stuk bootcode, te flashen/updaten. Dat kun je doen met de Intel ProBoot software. Volgens mij is dat een DOS utility die dat voor je kan doen.
Stop de kaart daarna niet meer in een Windows machine, want dan loopt je het risico dat die configuratiedata weer de checksum niet netjes zet.

Probleem zit hem in dat de Unix driver een "Checksum error" detecteert in de configuratiedata op de chip. Dit vind je terug in de dmesg. Zoek maar eens in een Linux naar meldingen afkomstig van de e1000 driver in dat kernel log. Als je daar een checksum error oid tegenkomt heb je last van die probleem. De driver weigert dan in te laden, waardoor je dat device dus niet hebt.
Je kunt het probleem oplossen door de firmware te flashen/updaten met Intel ProBoot en daarna de kaart directin te zetten in de Unix machine. Als je hem in een Windows machine stopt heb je kans dat het probleem weer opkomt.
Ook is het mogelijk om de Unix driver een vlag mee te geven waardoor deze de checksum error negeert. Dat zou een workaround kunnen zijn. Ik weet dat dat onder Linux mogelijk is, vermoed dat de FreeBSD driver dezelfde mogelijkheid heeft, maar dat zul je even moeten nakijken.

[FireDrunk]

Hmm, dat klinkt wel bekend ja, dat checksum verhaal. Als ik tijd over heb, zal ik daar eens naar kijken.

em0@pci0:2:1:0: class=0x020000 card=0x075015ad chip=0x100f8086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82545EM Gigabit Ethernet Controller (Copper)'
    class      = network
    subclass   = ethernet
mps0@pci0:3:0:0:        class=0x010700 card=0x30201000 chip=0x00721000 rev=0x03 hdr=0x00
    vendor     = 'LSI Logic / Symbios Logic'
    device     = 'SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]'
    class      = mass storage
    subclass   = SAS
none2@pci0:11:0:0:      class=0x020000 card=0x550210f1 chip=0x10d38086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82574L Gigabit Network Connection'
    class      = network
    subclass   = ethernet

In dmesg:

em1: <Intel(R) PRO/1000 Network Connection 7.2.3> port 0x5000-0x501f mem 0xd2520000-0xd253ffff,0xd2500000-0xd2503fff irq 19 at device 0.0 on pci11
em1: Memory Access and/or Bus Master bits were not set!
em1: MSIX: insufficient vectors, using MSI
em1: No MSI/MSIX using a Legacy IRQ
em1: Setup of Shared code failed
device_attach: em1 attach returned 6

Voor nu:

ZFSguru 0.2.0-beta5 pool benchmark
Pool            : POOLA (10.9T, 0% full)
Test size       : 64 GiB
Data source     : /dev/zero
Read throughput : 367.6 MB/s = 350.5 MiB/s
Write throughput: 300.3 MB/s = 286.4 MiB/s

Als het goed is binnekort 10Gb NIC's, maar ik zag ook dat FreeBSD9 support heeft voor OFED (InfiniBand), dus misschien dat ik daar nog mee ga spelen.

[ Voor 55% gewijzigd door FireDrunk op 05-04-2012 10:57 ]

[wishmaster1986]

Wat zou voor mij de beste optie zijn? Ik heb 4x 1TB en 4x 2TB. Nu had ik gelezen dat je liever geen raidz1 wil ivm de grootte van de schijven en ivm het eventueel uitvallen van een extra disk tijdens het rebuilden van een array. Ook zouden 4 schijven niet het optimaal aantal zijn voor raidz1.

Ik ben nu wat dingen aan het lezen maar het is me nog niet echt duidelijk wat ik nu het beste kan doen. Wil binnen nu en 2 weken me NAS gaan opzetten en dan wil ik het graag vanaf het begin goed doen.

[matty___]

wishmaster1986 schreef op donderdag 05 april 2012 @ 14:10:
Wat zou voor mij de beste optie zijn? Ik heb 4x 1TB en 4x 2TB. Nu had ik gelezen dat je liever geen raidz1 wil ivm de grootte van de schijven en ivm het eventueel uitvallen van een extra disk tijdens het rebuilden van een array. Ook zouden 4 schijven niet het optimaal aantal zijn voor raidz1.

Ik ben nu wat dingen aan het lezen maar het is me nog niet echt duidelijk wat ik nu het beste kan doen. Wil binnen nu en 2 weken me NAS gaan opzetten en dan wil ik het graag vanaf het begin goed doen.

volgens mij maakte het aantal disk toch alleen uit bij 4k schijven.

[wishmaster1986]

Uit me hoofd zijn zo de 2 TB schijven Samsung HD204UI. Die zouden dacht ik 4k moeten zijn.

[FireDrunk]

Speelgoed!

[Brains]

Wat zijn het voor kaarten FireDrunk? De nieuwe Intel 10gbit ethernet kaarten?

[ Voor 36% gewijzigd door Brains op 05-04-2012 20:11 ]

[FireDrunk]

Nee, 'gewone' AF DA kaartjes

http://www.intel.com/cont.../10-gigabit-af-da-dp.html

[ Voor 64% gewijzigd door FireDrunk op 05-04-2012 21:03 ]

[Pixeltje]

Nice zeg! Infiniband beviel toch niet?

[FireDrunk]

Op zich wel, alleen vergt het zoveel config werk, en daar hou ik niet zo van. Ik kwam deze tegen in V&A voor 200,- samen. Dat soort koopjes kan ik natuurlijk niet laten liggen

Morgen op het werk maar eens kijken of ik Twinax kabels kan scoren (die hebben we vast 'over' )

[ Voor 22% gewijzigd door FireDrunk op 05-04-2012 21:58 ]

[Pixeltje]

FireDrunk schreef op donderdag 05 april 2012 @ 21:54:
Op zich wel, alleen vergt het zoveel config werk, en daar hou ik niet zo van. Ik kwam deze tegen in V&A voor 200,- samen. Dat soort koopjes kan ik natuurlijk niet laten liggen

Morgen op het werk maar eens kijken of ik Twinax kabels kan scoren (die hebben we vast 'over' )

Haha, 'over'

Ik heb bij onze IT afdeling ooit eens een ISDN koppelstukje gehaald, hij had een doos staan van die dingen. toen ik vroeg of hij in problemen kwam als ik er eentje "leende" zei hij, nee hoor, het is 1 doos. Kerel haalt er een koppeling uit, kijkt naar de doos en zegt, nu is het nog steeds 1 doos

[FireDrunk]

Hahaha, wij hebben nog wel wat 1M kabels liggen, die worden toch nooit gebruikt, want die passen niet in een kabelarm. Misschien mag ik die wel meenemen van onze Floormanager.

Die kabels zijn pokkeduur , dus ik hoop het wel...

[Pantagruel]

FireDrunk schreef op donderdag 05 april 2012 @ 21:54:
Op zich wel, alleen vergt het zoveel config werk, en daar hou ik niet zo van. Ik kwam deze tegen in V&A voor 200,- samen. Dat soort koopjes kan ik natuurlijk niet laten liggen

Morgen op het werk maar eens kijken of ik Twinax kabels kan scoren (die hebben we vast 'over' )

Aha, dus jij hebt ze gekocht.

IB en FreeBSD gaat niet al te soepeltjes. Ik ben eigenlijk nooit verder gekomen dan een benchrun mbv iperf/hperf. De snelheden waren goed, maar zonder echte real-world implementatie bleef t bij de test runs.

[FireDrunk]

Daar heb ik ook last van. Ik heb momenteel een test ZFS bakje met 6 x 2TB onder ESX.
Maar NFS performt daar als stront-door-een-trechter-tegen-de-helling-op-met-een-panty-erom.
Dat word dus nog even tunen. Anders heeft 10Gb testen geen zin...

Helaas, de kabels zijn niet over Hebben ze nodig voor crosslinks
Dan maar eens op EBay kijken...

[ Voor 17% gewijzigd door FireDrunk op 06-04-2012 09:05 ]

[matty___]

FireDrunk schreef op donderdag 05 april 2012 @ 22:23:
Daar heb ik ook last van. Ik heb momenteel een test ZFS bakje met 6 x 2TB onder ESX.
Maar NFS performt daar als stront-door-een-trechter-tegen-de-helling-op-met-een-panty-erom.
Dat word dus nog even tunen. Anders heeft 10Gb testen geen zin...

Helaas, de kabels zijn niet over Hebben ze nodig voor crosslinks
Dan maar eens op EBay kijken...

Nfs 3 of 4? en wat zijn je mount instelling etc.

http://answerpot.com/show...C+ZFS%2C+10GE+performance

[FireDrunk]

Ik mount op mijn ZFS server een NFS share op mijn 'gewone' server. Ik heb dus (in principe) niets met de interne NFS server van FreeBSD te maken. Alleen met de NFS client.

Mijn huidige mount opties:

192.168.1.3:/mnt/data           /mnt/data       nfs     rw,async,intr,soft,retrans=64,rsize=32384,wsize=32384   0       0

ik heb ook al

zfs set sync=disabled POOLA

gedaan.


Twinax 10Gb is onderweg!

[ Voor 13% gewijzigd door FireDrunk op 06-04-2012 11:30 ]

[HyperBart]

Ik heb zonet OpenIndiana geprobeerd te installeren, dat is wel gelukt, maar booten niet

de 151a maar de text en foutmeldingen springen zo snel voorbij dat ik het niet kan lezen en dan reboot hij gewoon

[ Voor 7% gewijzigd door HyperBart op 06-04-2012 12:31 ]

[FireDrunk]

VM of Fysiek?

[HyperBart]

VM ofcourse

[FireDrunk]

LSI SAS -> LSI Parallel.

[HyperBart]

Ik had 'm idd wel op LSI SAS staan

ff testen

Stond toch op LSI Parallel...

Wel met een vmxnet3 adapter (?)

[ Voor 58% gewijzigd door HyperBart op 06-04-2012 15:54 ]

[Dinh]

Nadat ik mijn pool heb ingesteld op ashift=12

qdtc [ /zfs/qdtc/movies ]$ dd if=/dev/zero of=/zfs/qdtc/movies/zero.file bs=1m count=40000
40000+0 records in
40000+0 records out
41943040000 bytes transferred in 87.853929 secs (477417919 bytes/sec)
qdtc [ /zfs/qdtc/movies ]$ dd of=/dev/zero if=/zfs/qdtc/movies/zero.file bs=1m
40000+0 records in
40000+0 records out
41943040000 bytes transferred in 92.754544 secs (452193911 bytes/sec)

[jadjong]

HyperBart schreef op vrijdag 06 april 2012 @ 14:06:
Wel met een vmxnet3 adapter (?)

Maak daar maar een E1000 van.

[FireDrunk]

Met CiPHER nog even oldnfs als client geprobeerd, maar ook daar zijn de snelheden om te huilen (5MB/s)

[matty___]

FireDrunk schreef op zaterdag 07 april 2012 @ 10:29:
Met CiPHER nog even oldnfs als client geprobeerd, maar ook daar zijn de snelheden om te huilen (5MB/s)

polling op de nic aanzetten mits ondersteund?
heb je ook al een ander protocol probeert? ftp of mij part scftp. zodat je zeker weet dat het aan nfs ligt en niet aan nic oid

[0rbit]

Ben al een tijdje bezig om een nieuw servertje te bouwen (nieuw als in : van alle hardware die ik heb liggen). Freenas 8 had eerst nog een probleem met de SATA controller in de SB700 chip, maar na een BIOS update blijkt alles vlekkeloos te werken. Even mijn data backuppen en dan kan ik een fijne ZFS pool beginnen.

Ook een mooie meevaller is dat staggered spinup werkt met Freenas op de SB700 met Samsung schijven in een Icy dock backplane. Niet dat ik het nodig ga hebben, maar het is toch wel fijn

[HyperBart]

OK? met nappit en openindiana ben ik er al wel in geslaagd om het als volgt voor Samba te doen:

Ik kan gebruikers toevoegen, die kan ik nu netjes toevoegen in Windows, no problem, maar groepen doen wel nog wat moeilijk, die moet ik in nappit toevoegen (kan ze daarna wel niet meer editen want dan begint ie te zeuren over die extension), maar rechten moet ik wel nog netjes zetten in Windows wat mijn gebruiker die lid is van de groep "gezin" geraakt er niet zomaar door en krijgt een access denied...

[FireDrunk]

Wat voor (linux) rechten staat er al op? (ls -la)

[Pixeltje]

Ik heb een "certified repaired" disk teruggekregen van Seagate, dus kan weer verder met mijn NAS inrichten. Ik heb alle instellingen gewist en ook het testvolume verwijderd, begin dus met een "schone lei".

Nu wil ik in de shell (via ssh) een Raidz2 volume maken, FreeNAS ondersteund dat kennelijk niet, want als ik het commando daarvoor geef krijg ik een foutmelding.

code:

[Sjaak@freenas] /# zpool create tank raidz2 ada0 ada1 ada2 ada3
cannot mount '/tank': failed to create mountpoint

Als SU bovenstaand command gegeven, de foutmelding is een beetje raar. Iemand een idee?

[ Voor 32% gewijzigd door Pixeltje op 07-04-2012 18:18 ]

[0rbit]

Pixeltje schreef op zaterdag 07 april 2012 @ 18:07:
Ik heb een "certified repaired" disk teruggekregen van Seagate, dus kan weer verder met mijn NAS inrichten. Ik heb alle instellingen gewist en ook het testvolume verwijderd, begin dus met een "schone lei".

Nu wil ik in de shell (via ssh) een Raidz2 volume maken, FreeNAS ondersteund dat kennelijk niet, want als ik het commando daarvoor geef krijg ik een foutmelding.

code:

[Sjaak@freenas] /# zpool create tank raidz2 ada0 ada1 ada2 ada3
cannot mount '/tank': failed to create mountpoint

Als SU bovenstaand command gegeven, de foutmelding is een beetje raar. Iemand een idee?

Welke versie van FreeNAS draai je? Ik heb dit gister bij wijze van proef via de GUI gedaan. Dat werkte moeiteloos. (Versie 8.0.4)

[vargo]

Pixeltje schreef op zaterdag 07 april 2012 @ 18:07:
Ik heb een "certified repaired" disk teruggekregen van Seagate, dus kan weer verder met mijn NAS inrichten. Ik heb alle instellingen gewist en ook het testvolume verwijderd, begin dus met een "schone lei".

Nu wil ik in de shell (via ssh) een Raidz2 volume maken, FreeNAS ondersteund dat kennelijk niet, want als ik het commando daarvoor geef krijg ik een foutmelding.

code:

[Sjaak@freenas] /# zpool create tank raidz2 ada0 ada1 ada2 ada3
cannot mount '/tank': failed to create mountpoint

Als SU bovenstaand command gegeven, de foutmelding is een beetje raar. Iemand een idee?

Probeer eens handmatig te mounten:

code:

zfs mount tank

Als dat niet lukt kan je een ander mountpoint proberen (tank al bezet?)

code:

zfs set mountpoint=/newmntpnt tank

Kijk ook wat de rechten zijn op tank:

code:

zfs allow tank

[Pixeltje]

Thanks voor de hulp, ik denk dat er iets anders mis is gegaan, GUI password is ook ineens gereset, maar de standaard wachtwoorden pikt hij niet. Mijn users zijn er nog wel (via SSH kan ik inloggen) dus nieuwe superuser gemaakt, dat werkt, kan ik ook mee inloggen via GUI, maar alles is zo traag als dikke ** door een trechter.

Ben nu een nieuwe ISO (van 8.04 Multimedia) aan het downloaden, die maar even op mijn USB stick zetten en kijken of ik daar wel resultaten mee behaal.

Edit:

Wat ik al dacht; er is iets fout gegaan met de FreeNAS installatie die ik had staan, opnieuw geinstalleerd en alles werkt naar behoren

[ Voor 13% gewijzigd door Pixeltje op 08-04-2012 12:31 ]

[FireDrunk]

*zucht*...

Geef je via VT-d een Intel 10Gb AF DA controller aan FreeBSD, boot het ding niet eens meer. Blijft hangen op:
pci3: <ACPI PCI bus> on pcib3

* FireDrunk gaat FreeBSD de deur wijzen met zijn nukken...

[Verwijderd]

FireDrunk: je weet van de ESXi bug in combinatie met FreeBSD9? Of dit aan FreeBSD ligt of aan ESXi weet ik niet, maar die combinatie kan voor bugs zorgen icm met LSI 1068E HBA controller. MSI interrupts zorgen ervoor dat het systeem niet boot; alleen bij gebruik van ESXi+vt-d.

Je kunt dat relatief eenvoudig fixen door msi en msi-x interrupts uit te schakelen. Ik heb daar ergens instructies voor gepost, je kunt dat nog proberen.

Ik heb niet heel veel ervaring met ESXi en vt-d; maar echt probleemloos werkt dat niet. Ik heb het gevoel dat dat vooral goed getest is met linux/solaris, maar dat is maar speculatie van mijn kant. In mijn ervaring werkt open source + open source beter dan proprietary + open source, op heel veel gebieden in de computertechniek. ESXi + Solaris zou een betere match kunnen zijn, omdat die combinatie veel vaker gebruikt wordt dan BSD en dus mogelijk ook meer support/bugfixes voor zijn.

hw.pci.enable_msix: 1
hw.pci.enable_msi: 1

Ik had ergens een post met instructies, maar kan die niet zo snel vinden. Edit, alsnog gevonden. Nog wel wat anders interessants gevonden voor je: http://christopher-techni...s-nfs-on-zfs-for-esx.html

Edit: en ACPI uitschakelen? Dan werkt het wel? Als je zonder ESXi boot heb je geen problemen neem ik aan? ACPI problemen kunnen lastig zijn. Als FreeBSD in jouw situatie probleen geeft zie ik genoeg aanleiding om naar een ander platform over te stappen, zoals Solaris of zelfs Linux. Wel jammer natuurlijk, maar het is natuurlijk wel zo dat ESXi + FreeBSD een 'vreemde' combinatie is die kennelijk slecht getest wordt. ESXi komt misschien beter tot zijn recht met mainstream commerciële systemen, zoals Solaris en Windows.

[ Voor 20% gewijzigd door Verwijderd op 09-04-2012 15:32 ]

[FireDrunk]

Al gedaan. Ik dacht misschien moet ik FreeBSD maar ruw installeren, en alle VM's die ik heb omzetten naar VirtualBox, maar ik ben ook gek ook om alles om te gaan zetten... ESX bevalt me prima...

[ Voor 90% gewijzigd door FireDrunk op 09-04-2012 15:40 ]

[HyperBart]

Maar met OpenIndiana zou dit dus bv allemaal geen probleem zijn? FireDrunk, kan je met VT-d ondertussen wat testen met andere distro's uitproberen? Zou tof zijn voor ik mijn bestelling van mijn M1015 effectief laat doorgaan en tevens ook mijn i3 upgrade naar een i5 voor VT-d te bewerkstelligen...

[ Voor 13% gewijzigd door HyperBart op 10-04-2012 12:50 ]

[FireDrunk]

Net OpenIndiana geinstalleerd. Werkte prima, totdat ik via VT-d een LSI2008 en een 10Gb Netwerkcontroller doorgeef. Dan hangt de VM tijdens boot. Nu even uitzoeken welke van de 2 problemen geeft.

Het is de 10Gb controller die problemen geeft, de LSI2008 doet het prima.

[root@NAS zfsnas]# dd if=/dev/zero of=test.000 bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 95.5187 s, 11.2 MB/s

OpenIndiana, 6 * 2TB RAIDZ2 op een LSI2008 controller. Netwerk is E1000, ZFS sync staat uit.

Op host:

root@CRAVUOI01:~# dd if=/dev/zero of=/POOLA/share/test.002 bs=16M count=1024
1024+0 records in
1024+0 records out
17179869184 bytes (17 GB) copied, 53.2031 s, 323 MB/s

root@CRAVUOI01:~# dd if=/POOLA/share/test.001 of=/dev/null bs=16M
640+0 records in
640+0 records out
10737418240 bytes (11 GB) copied, 26.4726 s, 406 MB/s

Localhost via NFS:

root@CRAVUOI01:/mnt/localzfs# dd if=/dev/zero of=test.003 bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 199.759 s, 108 MB/s

Best vreemd...

[ Voor 84% gewijzigd door FireDrunk op 10-04-2012 14:06 ]

[Verwijderd]

Lijkt toch dat er iets niet lekker gaat als je min of meer hetzelfde probleem ook bij (Open)Solaris krijgt. Het is een long shot, maar bijvoorbeeld een BIOS update al geprobeerd?

En is dit iets wat je bij VMware/ESXi forum/support kunt posten? Als het zich alleen voordoet bij ESXi en niet bij andere VM-oplossingen of bare metal, dan zou het best een issue binnen ESXi kunnen zijn.

[ Voor 36% gewijzigd door Verwijderd op 10-04-2012 14:36 ]

[FireDrunk]

Ik zal (als ik me verveel) het eens Bare-Metal installeren.

Gefeliciteerd trouwens

[ Voor 19% gewijzigd door FireDrunk op 10-04-2012 15:02 ]

[Verwijderd]

post eens

echo ::zfs_params | mdb -k

en doe eens

echo ::interrupts | mdb -k

[Pantagruel]

Verwijderd schreef op dinsdag 10 april 2012 @ 14:22:
Lijkt toch dat er iets niet lekker gaat als je min of meer hetzelfde probleem ook bij (Open)Solaris krijgt. Het is een long shot, maar bijvoorbeeld een BIOS update al geprobeerd?

En is dit iets wat je bij VMware/ESXi forum/support kunt posten? Als het zich alleen voordoet bij ESXi en niet bij andere VM-oplossingen of bare metal, dan zou het best een issue binnen ESXi kunnen zijn.

Van harte

[Verwijderd]

Je kunt ook de opvolger van OI proberen, die hebben vmware "drivers"

[FireDrunk]

Welke bedoel je?

[Verwijderd]

https://www.illumos.org/p...ian/wiki/What_is_illumian

[FireDrunk]

Zucht, waarom zijn al die OS bouwers zo hopelijks 1996 en leveren ze nog ISO's.
Ik wil niks meer met ISO's te maken hebben. Ik wil van USB stick installeren...

[Verwijderd]

FreeBSD heeft memstick images en Ubuntu heeft een USB creator utility die je een .iso bestand geeft en daarmee een USB stick maakt. Beide zijn best goede features, toch? En behalve cdtjes branden zijn .iso bestanden ook handig voor virtual machines.

Oh en is Linux met Xen dom0 niet iets voor je? Dus Linux host met BSD/Solaris XEN domU guest. De guest laat je dan ZFS uitvoeren. Als ik wat tijd heb, hoop ik eens een keer ZFS benchmarks te doen met verschillende virtualisatieplatforms.

@Pantagruel: thanks

[ Voor 34% gewijzigd door Verwijderd op 10-04-2012 20:21 ]

[jadjong]

FireDrunk schreef op dinsdag 10 april 2012 @ 19:59:
Zucht, waarom zijn al die OS bouwers zo hopelijks 1996 en leveren ze nog ISO's.
Ik wil niks meer met ISO's te maken hebben. Ik wil van USB stick installeren...

USB-sticks zijn zo 2004. Gewoon installeren vanaf netwerk of met een browser via IPMI een iso mounten.

[analog_]

OI werkt met VMXnet3, echter wordt je console dan ondergeflood met berichten van de driver maar dit maakt zover ik heb getest nog weinig uit. Er wordt door iemand van Nexenta gewerkt aan een driver/oplossing.