Het grote ZFS topic

[FireDrunk]

Als je maar 100MBit gebruikt heb je ook echt niet persé 10 disks nodig... De performance penalty is helemaal niet aan de orde als je met 100Mbit werkt...

Die penalty is meer iets van 250MB/s doen ipv 350MB/s doen...

[ Voor 3% gewijzigd door FireDrunk op 27-07-2011 11:32 ]

[Anoniem: 77995]

FireDrunk schreef op woensdag 27 juli 2011 @ 11:31:
Als je maar 100MBit gebruikt heb je ook echt niet persé 10 disks nodig... De performance penalty is helemaal niet aan de orde als je met 100Mbit werkt...
Die penalty is meer iets van 250MB/s doen ipv 350MB/s doen...

Hm. Ach, 10 schijven is toch leuker dan 8 En daarbij komt, het beestje moet ook gevuld worden én een beetje toekomstbestendig worden gemaakt. Ik doe het liever in één keer goed dan dat ik over een jaar de array moet gaan uitbreiden, dat heb ik al wel gemerkt uit ervaringen van anderen.

Nu is het volgende deel van de puzzel hoe ik de server kan opstarten zónder die 10 schijven, voor als ik aan het OS wil rommelen of om wat voor reden dan ook. Ik heb wel eens een server/NAS gezien met twee power-switches, één voor het hele systeem inclusief opslag en één voor alleen het "pc" deel.

Maar ik denk dat die vraag beter in een ander topic past.

[FireDrunk]

Mwoh, mag hier ook wel... maar lijkt me wel een vreemde optie, ben je zo bang dat je iets kapot maakt?

[Anoniem: 77995]

Tja, eerlijk is eerlijk, ik wil het voornamelijk uitvogelen omdat ik er zelf nooit aan gedacht, maar het elders werkend heb gezien. Het gaat me meer om het mooi oplossen van de puzzel dan om het uiteindelijke gebruik. Een bekende motivatie van tweakers, vermoed ik, haha!

edit: één van de builds waar dit gescheiden voedings-systeem wordt gebruikt is bij de bekende Black Dwarf: http://www.willudesign.com/BlackDwarfTop.html

[ Voor 22% gewijzigd door Anoniem: 77995 op 27-07-2011 12:08 ]

[magistus]

Een kleine update, hopelijk een toevoeging aan dit zeer leerzame topic

Aangezien zfs-fuse (0.6.9-1, default Debian Squeeze, 64-bit) helaas ERG beroerde write performance gaf, heb ik toch wederom een poging gedaan om zfsonlinux aan de praat te krijgen. Lo and behold, het ging zowaar goed vandaag. Hoewel ik hier eerder niet eens door de 'splat'-test (http://zfsonlinux.org/spl-regression-suite.html) heen kwam, ging dit nu zonder problemen.

Hierbij een verschil qua performance met een ranzige one-liner, op dezelfde doos (4 x Hitachi HDS5C3020ALA632 (2 TB, 5900 RPM op een SATA2 backplane) in raidz1) :

code:

echo 3 > /proc/sys/vm/drop_caches ; echo 0 > /proc/sys/vm/drop_caches; dd if=/dev/zero bs=1M count=8192 of=/zfs/store/0file.dd; sync; sync; echo 3 > /proc/sys/vm/drop_caches ; echo 0 > /proc/sys/vm/drop_caches; dd if=/zfs/store/0file.dd bs=1M of=/dev/null; sync; sync; echo 3 > /proc/sys/vm/drop_caches ; echo 0 > /proc/sys/vm/drop_caches

zfs-fuse 0.6.9-1 (debian stable):

code:

...
8192+0 records in
8192+0 records out
8589934592 bytes (8.6 GB) copied, 97.0459 s, 88.5 MB/s
8192+0 records in
8192+0 records out
8589934592 bytes (8.6 GB) copied, 33.7575 s, 254 MB/s

zfsonlinux 0.6.0-rc5 (www.zfsonlinux.org):

code:

...
8192+0 records in
8192+0 records out
8589934592 bytes (8.6 GB) copied, 29.468 s, 292 MB/s
8192+0 records in
8192+0 records out
8589934592 bytes (8.6 GB) copied, 16.5548 s, 519 MB/s

Hoewel ik mij niet helemaal gelukkig voel bij het gebruik van rc-packages en al helemaal niet als deze via alien van srpm naar deb zijn omgezet, maakt het enorme verschil in write performance en de beschikbaarheid van zvols wel dat ik wat bezwaren laat vallen

[ransbal]

Ik heb een probleem met Nexenta: na een hdd crash moest ik ESX4.1 opnieuw installeren. Na de installatie kon ik alle VM's weer toevoegen aan de inventory. De Windows machines, allen zonder VTd opties, gaven geen problemen. De Nextenta VM wel: deze gaf een fout mbt VTd; de ICH staat/stond als Passthrough device en de 4 aangesloten disks zijn één volume. Na een herconfig van de VM; remove and add PCI device, startte Nexenta weer op, maar het volume bestaande uit 4 disks op de ICH geeft een status 'FAULTED'. De disks zijn wel online.

Google en wiki's helpen met atm niet verder: ik hoop hier de gouden tip te vinden
Onderstaande een overzicht van de config. c1t0d0 (syspool) en c1t1d0 (cache) bevinden zich op een SSD aangesloten op een LSI SAS/SATA controller net als de HDD waar ESX van af boot.

nmc@NEXENTA:~$ show volume
NAME SIZE USED AVAIL CAP DEDUP HEALTH
syspool 7.94G 4.87G 2.22G 61% 1.00x ONLINE
ICHZFS - - - - - FAULTED

nmc@NEXENTA:~$ show lun slotmap
LUN Slot# DeviceId
c1t0d0 - id1,sd@n6000c297a1c775212448b49175c5369f
c1t1d0 - id1,sd@n6000c293c0658a1ec0f807267a21c793
c2t0d0 - id1,sd@SATA_____SAMSUNG_HD154UI_______S1XWJ9AZC00612
c2t1d0 - id1,sd@SATA_____SAMSUNG_HD154UI_______S1XWJ1KSB08160
c2t2d0 - id1,sd@SATA_____SAMSUNG_HD154UI_______S1XWJ1KSB08161
c2t3d0 - id1,sd@SATA_____SAMSUNG_HD154UI_______S1XWJ1BZ105547

[Anoniem: 15758]

zpool status? En heb je alle disks als passthrough aangesloten of sommige disks via VMFS dus geëmuleerde disks?

[ransbal]

Anoniem: 15758 schreef op donderdag 28 juli 2011 @ 12:26:
zpool status? En heb je alle disks als passthrough aangesloten of sommige disks via VMFS dus geëmuleerde disks?

output zpool status:

action: Attach the missing device and online it using 'zpool online'.
see: http://www.sun.com/msg/ZFS-8000-3C
scan: none requested
config:

NAME STATE READ WRITE CKSUM
ICHZFS UNAVAIL 0 0 0 insufficient replicas
raidz1-0 UNAVAIL 0 0 0 insufficient replicas
c2t0d0 UNAVAIL 0 0 0 cannot open
c2t1d0 UNAVAIL 0 0 0 cannot open
c2t2d0 UNAVAIL 0 0 0 cannot open
c2t3d0 UNAVAIL 0 0 0 cannot open

pool: syspool
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Sun Jul 24 03:00:39 2011
config:

NAME STATE READ WRITE CKSUM
syspool ONLINE 0 0 0
c1t0d0s0 ONLINE 0 0 0

errors: No known data errors

nmc@NEXENTA:~$

Alleen de disks voor het zfsvolume staan op passtrough, de syspool en cache staan op een VMFS

[Anoniem: 15758]

Het lijkt erop dat ZFS het beginpunt van de ZFS data niet vindt. Ik neem aan dat je full-disk partities gebruikt op de 4 data disks? Wellicht dat je op een Nexenta forum meer specifieke hulp kan krijgen. Het is namelijk niet zo dat je ZFS volume corrupt is maar dat ZFS je disks niet goed herkent. Zou dat wel het geval zijn dan zou je volume zo weer tevoorschijn komen.

Op FreeBSD platform werkt dit heel anders (met import/export) en ik heb zeer beperkte ervaring met Solaris platforms zoals Nexenta, dus ik kan je niet echt verder helpen ben ik bang. Maar ik denk dat je er met een beetje help van een Solaris/Nexenta kenner snel uit kunt komen. Succes!

[ransbal]

Anoniem: 15758 schreef op donderdag 28 juli 2011 @ 12:37:
Het lijkt erop dat ZFS het beginpunt van de ZFS data niet vindt. Ik neem aan dat je full-disk partities gebruikt op de 4 data disks? Wellicht dat je op een Nexenta forum meer specifieke hulp kan krijgen. Het is namelijk niet zo dat je ZFS volume corrupt is maar dat ZFS je disks niet goed herkent. Zou dat wel het geval zijn dan zou je volume zo weer tevoorschijn komen.

Op FreeBSD platform werkt dit heel anders (met import/export) en ik heb zeer beperkte ervaring met Solaris platforms zoals Nexenta, dus ik kan je niet echt verder helpen ben ik bang. Maar ik denk dat je er met een beetje help van een Solaris/Nexenta kenner snel uit kunt komen. Succes!

Klopt, ik gebruik full-disk partities. Via 'zpool online' kan ik naar het betreffende volume en daar de keuze maken om een LUN online te brengen. Ik krijg daar ook zoals verwacht de 4 LUNS te zien die in het volume horen, maar vanaf loop ik een beetje vast. De data die er op staat is niet kritisch, maar wel een gevalletje heel erg jammer als ik het kwijt ben Hulp is dus zeer welkom

[Anoniem: 15758]

Ook al is de data niet kritisch, is het toch wel interessant om de oorzaak te achterhalen. Anders kan hetzelfde gebeuren op een pool die wel kritieke data opslaat. Mocht je de oorzaak hebben gevonden zou het mooi zijn als je die hier de oplossing kunt posten.

[ransbal]

stapje verder of juist niet

via 'zpool online' kan ik dus een LUN weer online brengen.Hierbij selecteer ik de eerste aangeboden LUN, maar daarna krijg ik de melding SystemCallError: Device 'c2t3d0' is not yet accessible

zucht


nmc@NEXENTA:~$ zpool online
Unexpected option 'online'
Option ? ICHZFS
Option ? online-lun
LUN to online :
c2t3d0 c2t1d0 c2t2d0 c2t0d0
-----------------------------------------------------------------------------
Select existing device to online in the volume ICHZFS. Navigate with arrow
keys (or hjkl), or Ctrl-C to exit.
lun id: c2t3d0, size: 1.4TB, parent: ahci

syspool/swap 1G 1.03G syspool - - -

nmc@NEXENTA:~$ zpool online
Unexpected option 'online'
Option ? ICHZFS
Option ? online-lun
LUN to online : c2t3d0
SystemCallError: Device 'c2t3d0' is not yet accessible

nmc@NEXENTA:~$

edit: Ook een LUN attach stelt mij voor vraagtekens; hij wil dan een mirror maken

nmc@NEXENTA:~$ zpool online
Unexpected option 'online'
Option ? ICHZFS
Option ? attach-lun
Existing LUN : c2t0d0
New LUN to attach : c1t1d0
Attach 'c1t1d0' to form a mirror configuration (or be added into existing mirror
, if it exists) alongside 'c2t0d0' in the volume 'ICHZFS'? No

[ Voor 16% gewijzigd door ransbal op 28-07-2011 12:59 ]

[FireDrunk]

Klinkt alsof de controller een tik heeft gehad... Kan je niet wat meer specifieke info over die c2 controller opvragen?

Als hij zegt not yet accesible, klinkt het alsof de controller hangt ofzo, misschien in een firmware upgrade modus ofzo?

[Anoniem: 15758]

Heb hier wat gevonden m.b.t. dezelfde foutmelding, misschien heb je hier wat aan?
http://www.nexentastor.org/boards/2/topics/951

Ik denk wel dat je het beste hulp kunt vragen van mensen die goed bekend zijn met Solaris/NexentaStor. Ik kan alleen maar voor je googlen. Dit probleem is Solaris-specifiek. FreeBSD kent hele andere methodes om ZFS disks te laten 'proeven'.

[ransbal]

@firedrunk&cipher

Beide opties nagelopen.
ESX reboot
Controller check
VM herconfig: no PCI device passtrough -> disks niet zichtbaar, dus geen cached gegevens
VM herconfig: PCI decive passtrough -> disks zichtbaar net als voorheen: volume is nog steeds faulted

Lunsync -y op de console succesvol, maar nog steeds zijn de LUNS niet online te brengen of te attachen.
Via de GUI van Nexenta krijg ik "Unable to online the device "c2t0d0" from the volume "ICHZFS": Device 'c2t0d0' is not yet accessible"

[FireDrunk]

Kan je niet de status van de controller opvragen of iets dergelijks? (weet niet watvoor controller je hebt, maar iets van LSI software?) misschien is het ding wel gewoon kapot...

[ransbal]

De disks zijn aangesloten op een ICH welke met PCI passtrough wordt aangeboden aan de guest. Deze is online en geeft geen errors. Na het uitvoeren van het lunsync -y commando is mijn volume 'verdwenen' en staan alle disks als configureerbaar voor een nieuw volume: nieuw probleem dus
Import van volume werkt niet, ook niet geforceerd, er is geen 'destroyed' volume te vinden

[Anoniem: 15758]

Wat je wel kunt proberen is even met een FreeBSD livecd booten en kijken of je de pool daar wel kunt importeren, en een scrub uitvoeren om te kijken of het allemaal in orde is. Zo ja, dan is het een Solaris-specifiek probleem. Wellicht kun je dit het beste doen op de host PC, zonder enige virtualizatie. Gewoon even booten met een cd van mfsBSD of ZFSguru. Bijvoorbeeld hier:
http://mfsbsd.vx.sk/

Als je een ZFS pool hoger dan versie 28 gebruikt gaat dit verhaal niet op, overigens. Je gebruikt dan een proprietary non-opensource ZFS versie.

[ransbal]

Anoniem: 15758 schreef op donderdag 28 juli 2011 @ 14:36:
Wat je wel kunt proberen is even met een FreeBSD livecd booten en kijken of je de pool daar wel kunt importeren, en een scrub uitvoeren om te kijken of het allemaal in orde is. Zo ja, dan is het een Solaris-specifiek probleem. Wellicht kun je dit het beste doen op de host PC, zonder enige virtualizatie. Gewoon even booten met een cd van mfsBSD of ZFSguru. Bijvoorbeeld hier:
http://mfsbsd.vx.sk/

Als je een ZFS pool hoger dan versie 28 gebruikt gaat dit verhaal niet op, overigens. Je gebruikt dan een proprietary non-opensource ZFS versie.

omdat nexenta opensolaris is heb ik een opensolaris livecd geprobreerd, maar daar ik kom daar helaas niet verder mee
ESX is nu weer up, als er nog nexenta mensen hier zijn: help!...

[FireDrunk]

Maar ZFS is (redelijk) platform onafhankelijk... Dus je pool zou ook in FreeBSD importeerbaar moeten zijn...
Niet geschoten is altijd mis...

[ransbal]

FireDrunk schreef op donderdag 28 juli 2011 @ 15:43:
Maar ZFS is (redelijk) platform onafhankelijk... Dus je pool zou ook in FreeBSD importeerbaar moeten zijn...
Niet geschoten is altijd mis...

ben nu een freebsd VM aan het maken met de ICH als PCI passtrough device en probeer van daar verder..

[FireDrunk]

Dat zou ook moeten werken, maar zonder ESXi testen zou ik meer vertrouwen in hebben...

[ransbal]

FireDrunk schreef op donderdag 28 juli 2011 @ 15:45:
Dat zou ook moeten werken, maar zonder ESXi testen zou ik meer vertrouwen in hebben...

Dat was ook mijn gedachte, maar als ik FreeBSD up kan krijgen met mijn ZFSvolume, dan blijft het daar op draaien. Daar is meer support voor beschikbaar dan voor Nexenta en heeft meer mogelijkheden welke in de toekomst gebruikt kunnen worden Het gaat ook om bijna 4 TB data welke ik ook niet ergens kan parkeren...

[Anoniem: 15758]

Als je snel bij je data wilt komen (via Samba) zou ik de ZFSguru livecd proberen. Dan kun je proberen je pool te importeren (klik op Pools en dan op de knop "Search for Hidden Pools") en als dat lukt kun je op de Files pagina een Samba-share aanmaken. In dat gele veld een naam zetten zoals "Test" en dan op Share with Samba klikken. Dan kun je via \\192.168.0.33 bijvoorbeeld toegang krijgen tot je data.

Via FreeBSD installatie kan ook, maar dat duurt allemaal wat langer met het opzetten van Samba enzo. Opzich ook wel een leerzame ervaring mocht je meer van FreeBSD willen weten.

Overigens is er pas weer een nieuwe livecd uitgekomen van ZFSguru; gelukkig is het project weer tot leven gekomen. Ben er nu mee aan het spelen en het is best een leuk project. Die nieuwe livecd heeft ook ZFS pool versie 28 dus dat is denk ik wat je wilt. Op deze pagina moet je dan de preview4 versie hebben met ZFS v28.

[Sleepie]

Ik heb de knoop doorgehakt, nu ik mijn data kwijt ben (eigen schuld overigens), ga ik van de 10 disks die ik heb een RAIDZ2 pool maken op OpenIndiana met napp-it.

Nu heb ik voor ik de final versie ga opzetten nog een paar vraagjes (1 keer data kwijt is genoeg ):

- Ik heb Samsung HD154UI schijven, 1.5TB, 512b sectors, dan hoef ik geen partities aan te maken toch (of heeft dat toch nog voordelen) ?

- Ik heb een 120GB OCZ Vertex II SSD liggen, die kan ik prima inzetten voor L2ARC toch? Mocht er bij een stroomstroring of whatever iets misgaan met die SSD wordt de data gewoon van de pool gelezen heb ik begrepen

- Dezelfde disk inzetten voor SLOG is niet zo slim, geen supercapacitor namelijk. Bij een stroomstoring/uitval zou dit grote problemen (weer alles kwijt) kunnen veroorzaken.

- Aangezien de machine nu puur NAS wordt (geen ESXi meer) zal het voornamelijk een "write once, read many times" verhaal worden, dan heb ik sowieso meer voordeel van L2ARC dan van SLOG toch?

Zou iemand bovenstaande punten kunnen checken en verbeteren en/of commentaar toevoegen please?
Een keer mn data kwijt vind ik wel genoeg, dus ik wil het graag allemaal 100% zeker weten deze keer

[CurlyMo]

Sleepie schreef op vrijdag 29 juli 2011 @ 22:32:
Ik heb de knoop doorgehakt, nu ik mijn data kwijt ben (eigen schuld overigens), ga ik van de 10 disks die ik heb een RAIDZ2 pool maken op OpenIndiana met napp-it.

Nu heb ik voor ik de final versie ga opzetten nog een paar vraagjes (1 keer data kwijt is genoeg ):

- Ik heb Samsung HD154UI schijven, 1.5TB, 512b sectors, dan hoef ik geen partities aan te maken toch (of heeft dat toch nog voordelen) ?

Nee, gewoon de hele schijf raw toevoegen aan je pool. Zo heeft ZFS de volledige controle over je schijf.

- Ik heb een 120GB OCZ Vertex II SSD liggen, die kan ik prima inzetten voor L2ARC toch? Mocht er bij een stroomstroring of whatever iets misgaan met die SSD wordt de data gewoon van de pool gelezen heb ik begrepen

Klopt, maar houdt rekening met je OS. Een Solaris afgeleid systeem kan alleen fantsoenlijk met ruwe schijven werken ipv van partities. Je kunt dus je SSD alleen voor L2ARC of ZIL gebruiken. Wanneer je een FreeBSD afgeleide OS gebruikt kan je je SSD indelen in partities en elke partitie voor een apart doel gebruiken. De mogelijkheid tot het verwijderen van een ZIL is alleen mogelijk bij nieuwe ZFS versies (> v19). Bij oudere versies betekent het toevoegen van een aparte ZIL dat je er ook aan vast zit, bij L2ARC maakt dat niet uit.

- Dezelfde disk inzetten voor SLOG is niet zo slim, geen supercapacitor namelijk. Bij een stroomstoring/uitval zou dit grote problemen (weer alles kwijt) kunnen veroorzaken.

Zie hierboven. Volgens mij wordt de aparte log device in ZFS een ZIL genoemd ipv een SLOG (correct me if i'm wrong).

- Aangezien de machine nu puur NAS wordt (geen ESXi meer) zal het voornamelijk een "write once, read many times" verhaal worden, dan heb ik sowieso meer voordeel van L2ARC dan van SLOG toch?

Klopt, maar de vraag is of je überhaupt een aparte L2ARC nodig zult hebben. Zorg gewoon voor voldoende geheugen. Je 10 schijven zullen samen vrijwel zeker je gigabit lijn vol kunnen trekken zonder L2ARC.

Zou iemand bovenstaande punten kunnen checken en verbeteren en/of commentaar toevoegen please?
Een keer mn data kwijt vind ik wel genoeg, dus ik wil het graag allemaal 100% zeker weten deze keer

Zomaar data kwijt gaat je niet meer gebeuren Daarnaast zul je verbaasd staan hoe snel ZFS is, geen geouwehoer met lange initialisaties maar gewoon aanmaken en binnen 5 seconden is je zpool up and running.

[Sleepie]

CurlyMo schreef op vrijdag 29 juli 2011 @ 22:45:
Nee, gewoon de hele schijf raw toevoegen aan je pool. Zo heeft ZFS de volledige controle over je schijf.

Zo had ik het ook begrepen, thanks voor de bevestiging

Klopt, maar houdt rekening met je OS. Een Solaris afgeleid systeem kan alleen fantsoenlijk met ruwe schijven werken ipv van partities. Je kunt dus je SSD alleen voor L2ARC of ZIL gebruiken. Wanneer je een FreeBSD afgeleide OS gebruikt kan je je SSD indelen in partities en elke partitie voor een apart doel gebruiken. De mogelijkheid tot het verwijderen van een ZIL is alleen mogelijk bij nieuwe ZFS versies (> v19). Bij oudere versies betekent het toevoegen van een aparte ZIL dat je er ook aan vast zit, bij L2ARC maakt dat niet uit.

Ok, die beperking neem ik voor lief, ik ga toch alleen L2ARC gebruiken

Zie hierboven. Volgens mij wordt de aparte log device in ZFS een ZIL genoemd ipv een SLOG (correct me if i'm wrong).

ZIL ben ik ook tegengekomen inderdaad, nou ja what's-in-a-name, het was duidelijk wat ik bedoelde toch

Klopt, maar de vraag is of je überhaupt een aparte L2ARC nodig zult hebben. Zorg gewoon voor voldoende geheugen. Je 10 schijven zullen samen vrijwel zeker je gigabit lijn vol kunnen trekken zonder L2ARC.

Zou heel goed kunnen van niet, maar ik heb die SSD voorlopig over, dus ik hang hem er gewoon in en dan kan ik eens testen met en zonder L2ARC, al is het maar voor de fun (je bent tweaker of niet)

Zomaar data kwijt gaat je niet meer gebeuren Daarnaast zul je verbaasd staan hoe snel ZFS is, geen geouwehoer met lange initialisaties maar gewoon aanmaken en binnen 5 seconden is je zpool up and running.

Mag ik daar een paar jaar garantie op
Dat dacht ik na 1.5 jaar probleemloos OpenFiler gedraaid te hebben ook van mdadm namelijk......

Maar inderdaad ZFS biedt wel extra veiligheid en mijn data-loss was uiteindelijk gewoon mijn eigen schuld (al weet ik nog steeds niet precies waar het fout ging, maar goed).

[Kriss1981]

Sleepie schreef op vrijdag 29 juli 2011 @ 23:17:
[...]

Zou heel goed kunnen van niet, maar ik heb die SSD voorlopig over, dus ik hang hem er gewoon in en dan kan ik eens testen met en zonder L2ARC, al is het maar voor de fun (je bent tweaker of niet)

[...]

Zou je hier wat resultaten willen posten? Ik ben wel benieuwd naar het verschil.
Wil zelf misschien ook een SSD toevoegen, maar dan als gecombineerd OS/L2ARC/SLOG(ZIL) onder FreeBSD. Vind voorlopig de prijs nog te hoog en weet dus niet wat het oplevert.

[ransbal]

Anoniem: 15758 schreef op donderdag 28 juli 2011 @ 16:25:
Als je snel bij je data wilt komen (via Samba) zou ik de ZFSguru livecd proberen. Dan kun je proberen je pool te importeren (klik op Pools en dan op de knop "Search for Hidden Pools") en als dat lukt kun je op de Files pagina een Samba-share aanmaken. In dat gele veld een naam zetten zoals "Test" en dan op Share with Samba klikken. Dan kun je via \\192.168.0.33 bijvoorbeeld toegang krijgen tot je data.

Via FreeBSD installatie kan ook, maar dat duurt allemaal wat langer met het opzetten van Samba enzo. Opzich ook wel een leerzame ervaring mocht je meer van FreeBSD willen weten.

Overigens is er pas weer een nieuwe livecd uitgekomen van ZFSguru; gelukkig is het project weer tot leven gekomen. Ben er nu mee aan het spelen en het is best een leuk project. Die nieuwe livecd heeft ook ZFS pool versie 28 dus dat is denk ik wat je wilt. Op deze pagina moet je dan de preview4 versie hebben met ZFS v28.

Helaas, ook dit werkt niet. ZFSguru vindt geen hidden pool nog een deleted pool. Hoe groot is de kans dan nog dat ik mijn pool weer zichtbaar kan krijgen en de data er van af kan trekken? En wat kan ik daar het beste voor doen?

Nexenta was leuk, maar daar blijf ik nu bij weg. Support op fora is minimaal jammer genoeg. Openindiana met Nappit lijkt mij een goede vervolgstap..

[Sleepie]

Ik heb intussen OpenIndiana151 geinstalleerd met napp-it.
Ziet er erg goed uit vind ik, en het aanmaken van de ZFS pool enzo was in een paar minuten gebeurd.

Echter, OI151 weigert de onboard NICs van de SuperMicro XSIL8-F goed te herkennen
Hij ziet die als een 100mbit kaart, waardoor Samba transfers naar Windows natuurlijk traag zijn.

Ik dacht toch dat die Intel kaartjes zowat in elk OS ondersteund werden??
Iemand enig idee of (en hoe) dit op te lossen is?

[CurlyMo]

Sleepie schreef op zaterdag 30 juli 2011 @ 13:34:

Al geprobeerd om handmatig je duplex mode in te stellen?

[Sleepie]

CurlyMo schreef op zaterdag 30 juli 2011 @ 14:01:
Al geprobeerd om handmatig je duplex mode in te stellen?

Dit is wat ik zie in napp-it:


Ziet eruit als full duplex toch? Alleen 100 mbit ipv 1 gbit

Als ik trouwens die tweede NIC activeer, kan ik helemaal niet meer inloggen op de napp-it web GUI

[Anoniem: 187449]

Sleepie schreef op zaterdag 30 juli 2011 @ 14:06:
[...]

Dit is wat ik zie in napp-it:

[afbeelding]
Ziet eruit als full duplex toch? Alleen 100 mbit ipv 1 gbit

Als ik trouwens die tweede NIC activeer, kan ik helemaal niet meer inloggen op de napp-it web GUI

ander ip :81 ?

[Sleepie]

Anoniem: 187449 schreef op zaterdag 30 juli 2011 @ 14:08:
ander ip :81 ?

Nope, op beide IPs geeft het geen antwoord dan

[Anoniem: 187449]

netwerkkabel in andere poort ?

[Sleepie]

Nevermind, we stappen over op FreeNAS

[Anoniem: 77995]

Nu ik zo enthousiast aan de slag ben met het maken van een ZFS NAS, zijn verschillende vrienden van me ook een build begonnen.

Natuurlijk leren we gaandeweg, en het is voor mij altijd een sport om dit soort projectjes met zo veel mogelijk oud materiaal te doen.

Is er voor een 8-disks ZFS (RAID Z1 of Z2) veel bezwaar om een super simpel 4-poorts PCI (!) SATA controllertje van 30 euro te gebruiken in combinatie met 4 SATA poorten op het mobo?

Het gaat om een NAS die films moet gaan streamen, dus snelheid is niet heel belangrijk.
Wordt dit misschien echter dramatisch langzaam?

[Skinkie]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 17:33:
Is er voor een 8-disks ZFS (RAID Z1 of Z2) veel bezwaar om een super simpel 4-poorts PCI (!) SATA controllertje van 30 euro te gebruiken in combinatie met 4 SATA poorten op het mobo?

Het gaat om een NAS die films moet gaan streamen, dus snelheid is niet heel belangrijk.
Wordt dit misschien echter dramatisch langzaam?

Wordt zo traag als de langzaamste schijf dan. Maar in principe is het geen bezwaar... want door PCI haal je ook nog altijd 133MB/s max.

[Anoniem: 77995]

Skinkie schreef op zaterdag 30 juli 2011 @ 17:51:
[...]Wordt zo traag als de langzaamste schijf dan. Maar in principe is het geen bezwaar... want door PCI haal je ook nog altijd 133MB/s max.

Cool. Dan weer de volgende vraag: voor een 8-poorts LSI SAS3081E-R (LSI 1068E) hoeven we geen speciale HBA BIOS te flashen voor gebruik met ZFS-RAID, begrijp ik?

Dan gaat die namelijk besteld worden voor NAS #3

[Skinkie]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 18:02:
Cool. Dan weer de volgende vraag: voor een 8-poorts LSI SAS3081E-R (LSI 1068E) hoeven we geen speciale HBA BIOS te flashen voor gebruik met ZFS-RAID, begrijp ik?

Dan gaat die namelijk besteld worden voor NAS #3

Mijn ervaring met LSI en Areca is dat zolang je het ding in standje 'inividuele schijf' kunt zetten. Er in Solaris zelf even een driver geladen moet worden, maar dat is dan ook gelijk alles.

[Anoniem: 77995]

Skinkie schreef op zaterdag 30 juli 2011 @ 18:04:
[...]Mijn ervaring met LSI en Areca is dat zolang je het ding in standje 'inividuele schijf' kunt zetten. Er in Solaris zelf even een driver geladen moet worden, maar dat is dan ook gelijk alles.

Ik begrijp je niet helemaal... even voor de duidelijkheid, het is de bedoeling FreeNAS in te zetten met ZFS.

Met "individuele schijf" bedoel je hopelijk niet dat er (max.) 8 losse raid-0 arrays moeten worden ingesteld eer je kunt beginnen?

[Skinkie]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 18:07:
Ik begrijp je niet helemaal... even voor de duidelijkheid, het is de bedoeling FreeNAS in te zetten met ZFS.

Als je een kernel module voor FreeBSD hebt voor die LSI kaart geldt dat ook ja

Met "individuele schijf" bedoel je hopelijk niet dat er (max.) 8 losse raid-0 arrays moeten worden ingesteld eer je kunt beginnen?

Ja, precies. Of zoals bij arreca export each disk indiviually.

[Anoniem: 15758]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 17:33:
Is er voor een 8-disks ZFS (RAID Z1 of Z2) veel bezwaar om een super simpel 4-poorts PCI (!) SATA controllertje van 30 euro te gebruiken in combinatie met 4 SATA poorten op het mobo?

Ja. Dat PCI 133MB/s aan bandbreedte geeft is bekend, wat minder bekend is dat je met kleine requests die bandbreedte nooit haalt, en met meerdere disks op dezelfde PCI controller vooral in ZFS RAID-Z een enorme penalty krijgt. Dat komt omdat RAID-Z enorm latency-gevoelig is.

Zo'n setup moet je vermijden tenzij je echt niet anders kunt. Er zijn genoeg PCI-express x1 controllers die al vele malen beter zijn en ik zie dan ook geen reden om anno 2011 nog met PCI controllers te werken.

Daarnaast zijn die vrijwel altijd FakeRAID Silicon Image / Promise controllers die de laatste sector van elke disk overschrijven; ook dat kan problemen geven. Mijn advies is: niet doen.

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 18:02:
Cool. Dan weer de volgende vraag: voor een 8-poorts LSI SAS3081E-R (LSI 1068E) hoeven we geen speciale HBA BIOS te flashen voor gebruik met ZFS-RAID, begrijp ik?

Zo'n 1068E controller wil je in IT-firmware gebruiken; dus kies bij voorkeur een Intel SASUC8i en flashen met IT-firmware of een SuperMicro USAS-L8i of SuperMicro USAS2-L8e controller. Die laatste is 6Gbps en PCI-express 2.0 en werkt alleen op de nieuwste FreeBSD versies (niet stock 8.2).

Skinkie schreef op zaterdag 30 juli 2011 @ 18:04:
Mijn ervaring met LSI en Areca is dat zolang je het ding in standje 'inividuele schijf' kunt zetten.

Dat wil je dus ook niet, want bij bad sectors zal de hele disk gedisconnect worden en onzichtbaar worden voor je OS. Althans mijn Areca ARC-1220 deed dat; in losse RAID0 arrays, met passthrough en in JBOD mode; alle drie hetzelfde probleem. Je wilt bij ZFS een NON RAID controller.

Overigens kan het zijn dat LSI RAID (IR) een stuk minder slecht is, omdat je hierbij de timeout kan aanpassen. Althans met mijn controller kan dat. Dan zou je geen disconnects moeten krijgen.

[ Voor 4% gewijzigd door Anoniem: 15758 op 30-07-2011 18:23 ]

[Anoniem: 77995]

Anoniem: 15758 schreef op zaterdag 30 juli 2011 @ 18:23:
[...]Zo'n 1068E controller wil je in IT-firmware gebruiken; dus kies bij voorkeur een Intel SASUC8i en flashen met IT-firmware of een SuperMicro USAS-L8i of SuperMicro USAS2-L8e controller. Die laatste is 6Gbps en PCI-express 2.0 en werkt alleen op de nieuwste FreeBSD versies (niet stock 8.2).

Een LSI-branded versie is dan toch ook gewoon prima? Die zijn redelijk voordelig te vinden.
Ik hoop dat deze dan wel op een regulier MSI moederbordje (met AMD chipset) wil gaan werken.

Bracket om netjes te plaatsen heb ik al, maar er schijnen compatibiliteits problemen te kunnen zijn, alhoewel met name met Intel chipsets meen ik.

Advies over de PCI/FakeRAID kaartjes is duidelijk. Lekker goedkoop is één ding, het moet niet zooierig of erger worden. Doen we niet dus!

[Anoniem: 15758]

Voor 15-20 euro heb je ook een PCI-express x1 JMicron JMB363 of Silicon Image SiI-3132 controller; die zijn nog vrij redelijk! Maar het beste is wel zo'n echte LSI SAS controller; zelf zou ik kijken naar USAS2-L8e dan heb je de meest moderne controller voor erg weinig geld. Nadelen zijn de vreemde bracket die je moet aanpassen of verwijderen voor normale kasten en dat hij niet op alle FreeBSD werkt; werkt wel in Solaris en moderne FreeBSD met mps driver. Weet niet helemaal zeker of het in FreeNAS zit maar in elk geval in ZFSguru. Mocht hij niet in FreeNAS zitten kun je vast een kernel driver bakken.

De l8e versie is de non-RAID versie. Anders zou ik gewoon een Intel SASUC8i nemen dat is zo'n universeel ding en is ook te flashen met IT firmware. In normale moederbordjes zou het gewoon moeten werken.

[Anoniem: 77995]

Anoniem: 15758 schreef op zaterdag 30 juli 2011 @ 19:05:
Maar het beste is wel zo'n echte LSI SAS controller; zelf zou ik kijken naar USAS2-L8e dan heb je de meest moderne controller voor erg weinig geld.. Mocht hij niet in FreeNAS zitten kun je vast een kernel driver bakken.

Ehm, ... nee

De l8e versie is de non-RAID versie. Anders zou ik gewoon een Intel SASUC8i nemen dat is zo'n universeel ding en is ook te flashen met IT firmware. In normale moederbordjes zou het gewoon moeten werken.

Is dit LSI ding (voorloper van de USAS2-L8e vermoed ik) niet al HBA of eenvoudig te maken? pricewatch: LSI LSI SAS3081E-R-KIT
Deze kan ik namelijk makkelijk krijgen.

Of zijn er te veel problemen met het "pauzeren" van ZFS systemen die via een 1068E worden gedraaid?

Vragen vragen vragen

[ Voor 7% gewijzigd door Anoniem: 77995 op 30-07-2011 20:13 ]

[Anoniem: 187449]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 19:20:
[...]


Ehm, ... nee


[...]


Is dit LSI ding (voorloper van de USAS2-L8e vermoed ik) niet al HBA of eenvoudig te maken? pricewatch: LSI LSI SAS3081E-R-KIT
Deze kan ik namelijk makkelijk krijgen.

Of zijn er te veel problemen met het "pauzeren" van ZFS systemen die via een 1068E worden gedraaid?

Vragen vragen vragen

ik heb vandaag FreeNAS 8 onder ESXi met gebruik van een geflashte LSI controller (8 x 2 TB RZ2) in elkaar gezet.
win7 naar nas ca.88 mb/s

[Anoniem: 77995]

Anoniem: 187449 schreef op zaterdag 30 juli 2011 @ 20:26:
[...]ik heb vandaag FreeNAS 8 onder ESXi met gebruik van een geflashte LSI controller (8 x 2 TB) in elkaar gezet. win7 naar nas ca.88 mb/s

Lijkt me alleszins acceptabel! Volgens mijn snelle berekening kost dat je dan een uur of 50 om te vullen, zonder rekening te houden met evt redundantie die je hopelijk wel hebt. Leuke klus

[Anoniem: 77995]

Anoniem: 15758 schreef op zaterdag 30 juli 2011 @ 18:23:
[...]
Daarnaast zijn die vrijwel altijd FakeRAID Silicon Image / Promise controllers die de laatste sector van elke disk overschrijven; ook dat kan problemen geven. Mijn advies is: niet doen.

Gebeurt dat overschrijven van de laatste sector nog steeds als je de Silicon Image (bijv de SI3132, kost een euro of 15 voor 2 poorten) flasht met een non-RAID BIOS zoals hier op de SI website te vinden?
http://www.siliconimage.c...s.aspx?pid=32&cat=15&os=0

[Anoniem: 15758]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 19:20:
Ehm, ... nee

Waarom niet? Ik heb het al eerder gedaan voor iemand anders; stuur ik je gewoon een file op die je naar je BSD machine kopieert en dan in je /boot/loader.conf activeert; werkt prima. Waarschijnlijk is het met recente FreeNAS ook niet nodig.

Is dit LSI ding (voorloper van de USAS2-L8e vermoed ik) niet al HBA of eenvoudig te maken? pricewatch: LSI LSI SAS3081E-R-KIT
Deze kan ik namelijk makkelijk krijgen.

Als ik het goed heb is dat dezelfde controller als Intel SASUC8i; zou je ook met IT firmware moeten kunnen flashen. Zie: http://www.servethehome.c...d-raid-controller-review/

Of zijn er te veel problemen met het "pauzeren" van ZFS systemen die via een 1068E worden gedraaid?

Ik weet niet wat je bedoelt. Ik ken alleen problemen met smartd met de LSI 1068E wat geen groot probleem is: gewoon geen smartd draaien maar zelf handmatig smartctl gebruiken voor het opvragen van SMART gegevens.

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 20:53:
Gebeurt dat overschrijven van de laatste sector nog steeds als je de Silicon Image (bijv de SI3132, kost een euro of 15 voor 2 poorten) flasht met een non-RAID BIOS zoals hier op de SI website te vinden?
http://www.siliconimage.c...s.aspx?pid=32&cat=15&os=0

Nee met non-RAID firmware heb je dat probleem niet meer. Overigens werkt dat flashen niet op alle controllers! Althans dat staat me bij met mijn eigen SiI-3132 kaartjes (ik had er meerdere). Hoe het precies zat weet ik niet meer; gebruik ze al een lange tijd niet meer. In principe zijn het prima dingen. Lekker goedkoop en werkt in principe goed onder FreeBSD. Mijn oplossing was om met partities te zorgen dat ik nooit de laatste sector nodig had binnen BSD.

[ Voor 26% gewijzigd door Anoniem: 15758 op 30-07-2011 20:57 ]

[Anoniem: 77995]

Anoniem: 15758 schreef op zaterdag 30 juli 2011 @ 20:55:
Waarom niet? Ik heb het al eerder gedaan voor iemand anders;

Ik dacht even dat je bedoelde dat ik zelf drivers in elkaar moest gaan draaien, dat lukt me echt niet hoor Bedankt voor het aanbod in ieder geval

Ik weet niet wat je bedoelt.

Ik doelde inderdaad op dat smart probleem; heb vandaag veel, heeeeel veel, gelezen over deze LSI controller en dacht even dat er nog andere I/O problemen mee waren - gelukkig niet dus.

Nee met non-RAID firmware heb je dat probleem niet meer. Overigens werkt dat flashen niet op alle controllers! Mijn oplossing was om met partities te zorgen dat ik nooit de laatste sector nodig had binnen BSD.

Duidelijk. Inmiddels heb ik gezien dat FreeNAS een checkbox heeft bij hun "add volume" waarmee je dat laatste-sector probleem kan omzeilen. Wordt de laatste megabyte niet aangeroerd.

Denk dat het nu duidelijk is welke richting m'n twee mede-NAS bouwers op gaan:
Eén gaat voor de LSI met 1068e, wat natuurlijk iets duurder uitpakt zeker met de SFF-8087 kabels erbij. (Hij heeft ergens een pakket gevonden voor €110,-)

De andere gaat het proberen met 2 x een SiI3132 in combinatie met 4 on-board SATA aansluitingen.
Dat is ongeveer €50 euro voor twee kaartjes en een aantal standaard kabeltjes.

Beide moeten in principe 8 x 2TB in RAIDZ2 gaan draaien. Wordt interessant om te vergelijken!

[Sleepie]

Kriss27 schreef op zaterdag 30 juli 2011 @ 10:45:
[...]

Zou je hier wat resultaten willen posten? Ik ben wel benieuwd naar het verschil.
Wil zelf misschien ook een SSD toevoegen, maar dan als gecombineerd OS/L2ARC/SLOG(ZIL) onder FreeBSD. Vind voorlopig de prijs nog te hoog en weet dus niet wat het oplevert.

Ja hoor dat ga ik zeker nog doen.
Maar voorlopig nog allerlei problemen waardoor een en ander nog steeds niet draait zoals het zou moeten

Morgen verder, testresultaten volgen nog

[Nielson]

Anoniem: 77995 schreef op zaterdag 30 juli 2011 @ 21:26:
De andere gaat het proberen met 2 x een SiI3132 in combinatie met 4 on-board SATA aansluitingen.
Dat is ongeveer €50 euro voor twee kaartjes en een aantal standaard kabeltjes.

Mocht je het geduld er voor hebben, die kaartjes zijn bij dealextreme en ebay voor een tientje of minder te krijgen:

Sil 3132 2xS-ATA PCI-e 1x: http://www.dealextreme.co...ress-expansion-card-15351
JMB363 2xS-ATA PCI-e 1x: http://www.dealextreme.co...a-cable-software-cd-52232

[Anoniem: 187449]

Nielson schreef op zondag 31 juli 2011 @ 10:17:
[...]
Mocht je het geduld er voor hebben, die kaartjes zijn bij dealextreme en ebay voor een tientje of minder te krijgen:

Sil 3132 2xS-ATA PCI-e 1x: http://www.dealextreme.co...ress-expansion-card-15351
JMB363 2xS-ATA PCI-e 1x: http://www.dealextreme.co...a-cable-software-cd-52232

ook nog sata 1 zeker ?
lijken een beetje op van die goedkope sweexkaartjes.. die heb ik hier liggen en getest en dat werkte niet.

* even met een vergrootglas naar de chip gekeken.. SIL3112ACT144

[ Voor 14% gewijzigd door Anoniem: 187449 op 31-07-2011 10:26 ]

[Nielson]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 10:20:
[...]


ook nog sata 1 zeker ?

Nee hoor, allebei S-ATA 3Gbps, hoezo?

[Anoniem: 187449]

Nielson schreef op zondag 31 juli 2011 @ 10:22:
[...]
Nee hoor, allebei S-ATA 3Gbps, hoezo?

prijs

[Nielson]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 10:23:
[...]


prijs

Ah zo. Ja, die chippies worden echt massaal geproduceerd (zitten ook vaak op moederborden voor de extra e-sata/pata aansluiting) en kosten geen drol, en verder zitten er niet zoveel extra componenten op 't kaartje. Altijd grappig om te zien dat exact dezelfde kaartjes door stickerplak fabrikanten hier voor 't dubbele of nog meer verkocht worden.

[Anoniem: 187449]

Nielson schreef op zondag 31 juli 2011 @ 10:27:
[...]
Ah zo. Ja, die chippies worden echt massaal geproduceerd (zitten ook vaak op moederborden voor de extra e-sata/pata aansluiting) en kosten geen drol, en verder zitten er niet zoveel extra componenten op 't kaartje. Altijd grappig om te zien dat exact dezelfde kaartjes door stickerplak fabrikanten hier voor 't dubbele of nog meer verkocht worden.

maar als we een weddenschap aan moeten gaan zet ik mijn geld op

[ ] werkt
[x] werkt niet

die andere met die sasuc8i gaat werken (niet op ieder mobo.. meestal NIET op moderne)

[ Voor 3% gewijzigd door Anoniem: 187449 op 31-07-2011 11:56 ]

[Kriss1981]

Ik was ook eigenwijs en heb twee kaarten met 2x SATA en een Marvell controller geprobeerd.

Asrock SATA3 Card
Highpoint Rocket 620

Op de site van de Highpoint kaart staat zelfs dat de kaart onder FreeBSD werkt. Geloof mij, het werkt niet.

Bij FreeBSD 8 werden de HDD's niet eens herkend. Dit was bij FreeBSD 9 wel het geval, maar zodra ik de schijven ging belasten, crashed het systeem. Dus zeer instabiel.

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 10:29:
maar als we een weddenschap aan moeten gaan zet ik mijn geld op

[ ] werkt
[x] werkt niet

die andere met die sasuc8i gaat werken.

Ik doe mee:

[ ] werkt
[x] werkt niet

Voor mij is een Intel SASUC8I onderweg.

[Anoniem: 187449]

1 - 'zuinige' server met de E35M1-M PRO .. sasuc8i werd niet herkend.



2 - in de MSI H55M-ED55 werkte die wel.



maar toen bedacht ik me 'he..ik wil een 2e sasuc8i erbij plaatsen' .. dat werkte weer niet.

3 - uiteindelijk die 2 kaarten aan de gang op een super micro X8sil-F





mijn oorspronkelijke budget is daardoor wel iets overschreden

[ Voor 3% gewijzigd door Anoniem: 187449 op 31-07-2011 11:22 ]

[Anoniem: 77995]

Nielson schreef op zondag 31 juli 2011 @ 10:17:
[...]
Mocht je het geduld er voor hebben, die kaartjes zijn bij dealextreme en ebay voor een tientje of minder te krijgen:

Sil 3132 2xS-ATA PCI-e 1x: http://www.dealextreme.co...ress-expansion-card-15351

Ik gok ook:

[x] werkt
[ ] werkt niet

En heb dat met m'n credit card onderbouwd.

Dus óf ik heb voor 20 euro zooi óf ik heb ongeveer 100 euro uitgespaard voor deze NAS (in vergelijk met SAS kaart plus kabels). We gaan het meemaken!

[Anoniem: 187449]

Anoniem: 77995 schreef op zondag 31 juli 2011 @ 11:55:
[...]


Ik gok ook:

[x] werkt
[ ] werkt niet

En heb dat met m'n credit card onderbouwd.

Dus óf ik heb voor 20 euro zooi óf ik heb ongeveer 100 euro uitgespaard voor deze NAS (in vergelijk met SAS kaart plus kabels). We gaan het meemaken!

been there

*zet ze maar vast in V & A .. doe ik ook regelmatig als iets weer niet werkt zoals bedacht

[ Voor 12% gewijzigd door Anoniem: 187449 op 31-07-2011 11:58 ]

[Nielson]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 11:57:
*zet ze maar vast in V & A .. doe ik ook regelmatig als iets weer niet werkt zoals bedacht

Niks mis met dat kaartje (iig onder linux), gebruik 'm zelf ook.

[ Voor 5% gewijzigd door Nielson op 31-07-2011 12:03 ]

[Anoniem: 77995]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 11:57:
*zet ze maar vast in V & A .. doe ik ook regelmatig als iets weer niet werkt zoals bedacht

Jaja, ik heb je door - je wilt deze krachtige hardware gewoon zelf graag hebben

edit: voor ik m'n bestelling heb verstuurd, heb ik toch zeker zes minuten gegoogled en er zijn genoeg mensen te vinden die FreeNAS+ZFS+SiI3132 gebruiken. Ook veel waarbij het *niet* lukt, maar die verhalen negeer ik.

[ Voor 26% gewijzigd door Anoniem: 77995 op 31-07-2011 12:05 ]

[Skinkie]

Kriss27 schreef op zondag 31 juli 2011 @ 10:57:
Bij FreeBSD 8 werden de HDD's niet eens herkend. Dit was bij FreeBSD 9 wel het geval, maar zodra ik de schijven ging belasten, crashed het systeem. Dus zeer instabiel.

Ben je nou een tweaker of niet? Dan fix je die drivers toch gewoon?

[Anoniem: 187449]

Nielson schreef op zondag 31 juli 2011 @ 12:03:
[...]
Niks mis met dat kaartje, iig onder linux, gebruik 'm zelf ook.

maar onder freenas ? nou ben benieuwd, zou heel mooi zijn als het lukt natuurlijk

' edit: voor ik m'n bestelling heb verstuurd, heb ik toch zeker zes minuten gegoogled en er zijn genoeg mensen te vinden die FreeNAS+ZFS+SiI3132 gebruiken. Ook veel waarbij het *niet* lukt, maar die verhalen negeer ik. '

that's the spirit

[ Voor 34% gewijzigd door Anoniem: 187449 op 31-07-2011 12:31 ]

[FiXeL]

Mn NAS is bijna af!



Specs:

Mobo: Asus P5Q Pro
CPU: Intel E8400 Core 2 Duo @ 3Ghz
RAM: 4x 2GB Kingston DDR2
VGA: Cheapass pci-e kaartje
HDD: 6x 2TB Hitachi in Raid-Z2
OS: Freenas 8.0

Draait super! Totaal 7.8TB opslag, en ik haal gemiddeld iets van 70MB/Sec. met uploaden naar de nas, tot pieken van 100MB/Sec. Alleen heb ik een vraag over de swap file... Er wordt bij het samenvoegen van een Raid-Z2 array per schijf 2GB gereserveerd voor een swap file.. Maar die wordt nauwelijks gebruikt omdat het geheugengebruik niet boven de 6,5GB uitkomt. Is dit normaal, of gaat het OS meer Ram gebruiken zodra de HDD's voller raken? Volgens de GUI van Freenas wordt er maar een paar MB van gebruikt zo nu en dan.

[Phorze]

Is ZFS gevirtualiseerd te gebruiken? Welke implementatie is dan aan te raden? (zfs+samba serving).
Wordt je VM dan zo groot als OS + alle storage of kan dit anders? De VM wil ik dan los backuppen.

[Anoniem: 187449]

Phorze schreef op zondag 31 juli 2011 @ 15:14:
Is ZFS gevirtualiseerd te gebruiken? Welke implementatie is dan aan te raden? (zfs+samba serving).
Wordt je VM dan zo groot als OS + alle storage of kan dit anders? De VM wil ik dan los backuppen.

http://www.napp-it.org/doc/downloads/all-in-one.pdf

[Anoniem: 77995]

FiXeL schreef op zondag 31 juli 2011 @ 14:24:
Mn NAS is bijna af!
Er wordt bij het samenvoegen van een Raid-Z2 array per schijf 2GB gereserveerd voor een swap file..

Ziet er goed uit! Maar is 6 schijven in Z2 niet wat zonde? Als je er nu twee bij zet, heb je 4TB pure winst.

Je swap-vraag kan ik helaas (nog) niet beantwoorden, maar die 2GB per schijf kan je wel missen toch

[Phorze]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 16:58:
[...]


http://www.napp-it.org/doc/downloads/all-in-one.pdf

ESXI is geen optie, de zelfde bak wordt ook gebruikt als mediacenter, en een gevitualiseerde mediacenter (windows dan wel linux) werkt volgens mij niet?

[ransbal]

Phorze schreef op zondag 31 juli 2011 @ 17:10:
[...]


ESXI is geen optie, de zelfde bak wordt ook gebruikt als mediacenter, en een gevitualiseerde mediacenter (windows dan wel linux) werkt volgens mij niet?

Dan gebruik je als hypervisor toch VMware Server/Workstation of VirtualPC...

[Phorze]

ransbal schreef op zondag 31 juli 2011 @ 17:14:
[...]

Dan gebruik je als hypervisor toch VMware Server/Workstation of VirtualPC...

VMWARE server draait er al op, maar volgens mij kun je daar mee geen rauwe disks toevoegen?

[Anoniem: 187449]

Phorze schreef op zondag 31 juli 2011 @ 17:10:
[...]


ESXI is geen optie, de zelfde bak wordt ook gebruikt als mediacenter, en een gevitualiseerde mediacenter (windows dan wel linux) werkt volgens mij niet?

zowieso vreemde combi dan

[Phorze]

Ja , combinatie is misschien niet heel gebruikelijk, maar is het teveel gevraagd om 1 bak te kunnen gebruiken voor reliable storage (ik wil zfs!) en media center in 1 ?

edit:
Andere optie zou nog zijn linux (ubuntu natty server?) en daar ZFS op installeren?

[ Voor 21% gewijzigd door Phorze op 31-07-2011 17:58 ]

[Anoniem: 187449]

Phorze schreef op zondag 31 juli 2011 @ 17:56:
Ja , combinatie is misschien niet heel gebruikelijk, maar is het teveel gevraagd om 1 bak te kunnen gebruiken voor reliable storage (ik wil zfs!) en media center in 1 ?

in een mediacenter is je videokaart belangrijk.. die moet je dus ook kunnen virtualiseren, en daar heb je behoorlijke hardware voor nodig (VT-d)
verstandiger is een aparte NAS bouwen denk ik dan voorkom je veel ellende.

[Anoniem: 187449]

Phorze schreef op zondag 31 juli 2011 @ 17:56:
Ja , combinatie is misschien niet heel gebruikelijk, maar is het teveel gevraagd om 1 bak te kunnen gebruiken voor reliable storage (ik wil zfs!) en media center in 1 ?

edit:
Andere optie zou nog zijn linux (ubuntu natty server?) en daar ZFS op installeren?

ZFS op ubuntu werkt nog voor geen meter, wat heb je nu voor hardware dan ?

[ Voor 4% gewijzigd door Anoniem: 187449 op 31-07-2011 18:01 ]

[Phorze]

amd x3 415e
8gb mem
gigabyte mobo (8x sata)
3tb aan data (moet rond de 10 worden)
SIL 3114 controller (4port)

Idee is dan om de onboard sata te gebruiken voor ZFS pool

[Kriss1981]

Skinkie schreef op zondag 31 juli 2011 @ 12:04:
Ben je nou een tweaker of niet? Dan fix je die drivers toch gewoon?

Ik ben maar een gebruiker en geen dev. Dus ik ben niet in staat drivers te fixen.
Daar komt bij dat 2x SATA, in de toekomst, toch weer te weinig is.

[Anoniem: 187449]

Phorze schreef op zondag 31 juli 2011 @ 18:18:
amd x3 415e
8gb mem
gigabyte mobo (8x sata)
3tb aan data (moet rond de 10 worden)
SIL 3114 controller (4port)

Idee is dan om de onboard sata te gebruiken voor ZFS pool

'answer from Gigabyte technical support: VT-d is indeed supported by the GA-P55A-UD4P. It is enabled along with VT-x under the common "Virtualization" BIOS setting.'
maar werkt het met je videokaart.

erg tricky om alles werkend te krijgen.

[ Voor 25% gewijzigd door Anoniem: 187449 op 31-07-2011 18:45 ]

[Phorze]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 18:35:
[...]


'answer from Gigabyte technical support: VT-d is indeed supported by the GA-P55A-UD4P. It is enabled along with VT-x under the common "Virtualization" BIOS setting.'
maar werkt het met je videokaart.

erg tricky om alles werkend te krijgen.

Het is een AMD setup, dus geen VT-D lijkt me. In het bios staat "virtualisation" aan. Dit is AMD-V volgens mij. (hardware assisted virtualization)

[Anoniem: 187449]

Phorze schreef op zondag 31 juli 2011 @ 20:39:
[...]

Het is een AMD setup, dus geen VT-D lijkt me. In het bios staat "virtualisation" aan. Dit is AMD-V volgens mij. (hardware assisted virtualization)

klopt.. gaat dan ook niet werken als gevirtualiseerd mediacenter/zfs nas ( denk ik hoor )

[ Voor 3% gewijzigd door Anoniem: 187449 op 31-07-2011 20:47 ]

[Phorze]

Anoniem: 187449 schreef op zondag 31 juli 2011 @ 20:46:
[...]


klopt.. gaat dan ook niet werken als gevirtualiseerd mediacenter/zfs nas ( denk ik hoor )

Volgens mij is dit wel te doen:
http://blogs.oracle.com/m...pid_virtualbox_zfs_tricks
Ik heb alleen geen idee of de performance er erg onder zal leiden

[FireDrunk]

Heb je ook de voetnoot gelezen over disk flushes? Best belangrijk...

[Phorze]

FireDrunk schreef op maandag 01 augustus 2011 @ 08:02:
Heb je ook de voetnoot gelezen over disk flushes? Best belangrijk...

Heb ik gezien. "IgnoreFlush" moet uitgezet worden (flushrequests doorgeven dus) en
"FlushInterval" moet worden geoptimaliseerd. Iemand die met dat laatste raad weet (sata ahci op windows host)

[FireDrunk]

Wat bedoel je met "Dat laatste"?

[Phorze]

flushinterval, welke instelling is optimaal

[Anoniem: 187449]

solaris 11 & napp-it 10 x 2 TB rz2 - seq-write 682 MB/s seq-read 726 MB/s
open indiana 151 & napp-it 10 x 2 TB rz2 - seq-write 810 MB/s seq-read 651 MB/s

[ Voor 51% gewijzigd door Anoniem: 187449 op 08-08-2011 22:23 ]

[Kriss1981]

Zeer nette resultaten. Wat zijn de specs van je systeem?
Ben zelf ook ff een benchmark aan het draaien.

EDIT
Mijn resultaten:
FreeBSD 8.2 (ZFSguru) 8GB ram > 6 x 2TB RZ2 => Read: 379.9 MB/s Write: 289.8 MB/s

[ Voor 34% gewijzigd door Kriss1981 op 09-08-2011 14:12 ]

[FireDrunk]

Phorze schreef op maandag 01 augustus 2011 @ 14:45:
[...]

Heb ik gezien. "IgnoreFlush" moet uitgezet worden (flushrequests doorgeven dus) en
"FlushInterval" moet worden geoptimaliseerd. Iemand die met dat laatste raad weet (sata ahci op windows host)

Denk dat je dat gewoon uit kunt zetten, dat gaat vooral over periodieke flushes, en die wil je juist niet bij ZFS. ZFS geeft toch wel een flush commando als het 'echt' nodig is. Enige wat je forceert is dat er tussentijds geforceerd geflushed word door VirtualBox. Die optie is handig om applicaties die non-flushed writes doen, toch nog een beetje veilig te houden.

[Anoniem: 187449]

Kriss1981 schreef op dinsdag 09 augustus 2011 @ 14:03:

Mijn resultaten:
FreeBSD 8.2 (ZFSguru) 8GB ram > 6 x 2TB RZ2 => Read: 379.9 MB/s Write: 289.8 MB/s

is dat met je Intel SASUC8I controller ?
ik post binnenkort een overzichtje hoe het hier zit.. ben nog aan het sleutelen maar basis is xeon3440/16gb/sasuc8i

[Sleepie]

Anoniem: 187449 schreef op dinsdag 02 augustus 2011 @ 22:57:
solaris 11 & napp-it 10 x 2 TB rz2 - seq-write 682 MB/s seq-read 726 MB/s
open indiana 151 & napp-it 10 x 2 TB rz2 - seq-write 810 MB/s seq-read 651 MB/s

Dat komt aardig overeen wat ik onder OI/napp-it haalde met 10 x 1.5TB Samsungs.
Welke ZFS version is je pool trouwens?

Nu FreeBSD/ZFSguru (ZFS v15) en dat is ietsje trager.

[Kriss1981]

Anoniem: 187449 schreef op woensdag 10 augustus 2011 @ 09:57:
is dat met je Intel SASUC8I controller ?
ik post binnenkort een overzichtje hoe het hier zit.. ben nog aan het sleutelen maar basis is xeon3440/16gb/sasuc8i

Ja, dat klopt. De 6 x 2Tb zit op de intel controller.

Sleepie schreef op woensdag 10 augustus 2011 @ 11:28:
Nu FreeBSD/ZFSguru (ZFS v15) en dat is ietsje trager.

Je hebt bij ZFSguru/FreeBSD nu ook de keuze uit ZFS v28. Daarvoor moet je wel de laatste systeemversie hebben geinstalleerd. Dan kun je via de webinterface je pools updaten.

[Sleepie]

Kriss1981 schreef op woensdag 10 augustus 2011 @ 11:55:
Je hebt bij ZFSguru/FreeBSD nu ook de keuze uit ZFS v28. Daarvoor moet je wel de laatste systeemversie hebben geinstalleerd. Dan kun je via de webinterface je pools updaten.

Ik heb 0.1.8 draaien met v28 support.
Maar ik hou het voorlopig nog even op de aanbevolen v15 versie, die is bewezen stabiel.
Ik had ergens een (weliswaar al wat oudere) post van Jason gelezen dat v28 nog niet als 100% stable wordt aangemerkt.

En één keer m'n data kwijt vind ik wel genoeg eigenlijk, dus geen enkel risico meer wat dat betreft
_{Bekende nick trouwens}

[Kriss1981]

Sleepie schreef op woensdag 10 augustus 2011 @ 12:06:
En één keer m'n data kwijt vind ik wel genoeg eigenlijk, dus geen enkel risico meer wat dat betreft
_{Bekende nick trouwens}

Daar heb je gelijk in. Ik wil ook niet al mijn data kwijtraken, maar ik dacht dat ZFS v28 intussen stable is

_{Klopt, had die van jou ook al herkend}

[Sleepie]

Kriss1981 schreef op woensdag 10 augustus 2011 @ 17:09:
[...]
Daar heb je gelijk in. Ik wil ook niet al mijn data kwijtraken, maar ik dacht dat ZFS v28 intussen stable is

Dat is dus de vraag, ik kwam ergens een post van Jason tegen, waarin hij het had over een "tweede patchset" voor v28 die intussen implemented is. Maar hij gaf ook aan dat het nog niet 100% stable is.
Die post was overigens al wel wat ouder (nog van voor Jason's MIA tijd)

Dus ik weet het gewoon niet zeker en ben voor de veiligheid dan maar voor v15 gegaan.
Upgraden kan immers altijd nog, downgraden niet...

Misschien dat iemand hier het verlossende woord kan spreken of ZFS v28 stable is op een FreeBSD/AFSguru install?

[Phorze]

kan dit?

• zpool create pool1 disk1 disk2 disk3 disk4 disk5 disk6
• van disk 7 en 8 de bestaande data overpompen naar de pool(NTFS)
• disk 7 en disk 8 partities verwijderen
• zpool pool1 attach disk7 disk 8 (of iets dergelijks voor een raidz2)

[Sleepie]

Nee dat kan niet, je kunt geen disks aan een pool toevoegen bij ZFS (itt mdadm dus).

Wat wel kan met 8 disks is het volgende:
- Maak een RAIDZ1 pool van 4 disks
- Pomp de data over naar die pool
- Maak nog een vdev van 4 disks RAIDZ1
- Voeg deze vdev toe aan de pool
- En je hebt 1 grote pool van 8 disks in een soort RAID5/0

[ Voor 6% gewijzigd door Sleepie op 11-08-2011 00:11 ]

[Anoniem: 187449]

Sleepie schreef op donderdag 11 augustus 2011 @ 00:10:
Nee dat kan niet, je kunt geen disks aan een pool toevoegen bij ZFS (itt mdadm dus).

ah vandaar .. en ik maar denken dat het aan mijn hardware ligt ..

[Phorze]

Sleepie schreef op donderdag 11 augustus 2011 @ 00:10:
Nee dat kan niet, je kunt geen disks aan een pool toevoegen bij ZFS (itt mdadm dus).

Wat wel kan met 8 disks is het volgende:
- Maak een RAIDZ1 pool van 4 disks
- Pomp de data over naar die pool
- Maak nog een vdev van 4 disks RAIDZ1
- Voeg deze vdev toe aan de pool
- En je hebt 1 grote pool van 8 disks in een soort RAID5/0

Ok, dezelfde beschikbare ruimte, maar sneller vanwege de striping? En de redundantie, iets veiliger dan een 8 disk raidz1? omdat als er 2 disks sneuvelen je dan je data behoud, tenzij er 2 in dezelfde vdev sneuvelen. Correct?