Het grote ZFS topic

[BackBones]

Hey, ik probeer zfs te instaleren en daarvoor moet ik dus de harde schijven formateren naar GPT. Heb er op het moment 4 in zitten. De eerste 2 doen het gewoon en de laatste 2 doen het niet (zelfde type harde schijf). Als ik die laatste 2 individueel doe krijg ik de onderstaande error (wat me dus niet zoveel zegt). Is er iemand die hier een oplossing voor weet?

ERROR: Formatting disk ada3 failed, got return value 1. Command output:

Formatting disk ada3...dd: /dev/ada3: Operation not permitted

[ilovebrewski]

Kan iemand mij vertellen hoe ik een vast ip adres instel op zfsguru?

[FireDrunk]

/etc/rc.conf wijzigen.

ifconfig_em0="" regel. Staat een voorbeeld gecommentarieerd. Die geld alleen als je een intel kaart hebt.
Als je een realteak netwerkkaart hebt, moet je dat _em0 even veranderen in _re0.

[ Voor 42% gewijzigd door FireDrunk op 06-04-2013 15:50 ]

[ilovebrewski]

FireDrunk schreef op zaterdag 06 april 2013 @ 15:49:
/etc/rc.conf wijzigen.

ifconfig_em0="" regel. Staat een voorbeeld gecommentarieerd. Die geld alleen als je een intel kaart hebt.
Als je een realteak netwerkkaart hebt, moet je dat _em0 even veranderen in _re0.

ok thnx voor de hulp!

Voor de duidelijkheid en voordat ik iets vergal (ben redelijk nieuw hierin )
Welke regel?

# add interfaces at your leisure when requiring static configuration
ifconfig_DEFAULT="DHCP"
#ifconfig_em0="inet 10.0.0.100 netmask 255.255.255.0"
#ifconfig_em0="DHCP mtu 7000"

# if you want static IP, you need to specify default gateway here
#defaultrouter="10.0.0.100"
# don't forget to edit /etc/resolv.conf for DNS configuration as well!

[ Voor 39% gewijzigd door ilovebrewski op 06-04-2013 16:36 ]

[duiveltje666]

FireDrunk schreef op vrijdag 05 april 2013 @ 15:22:
Iemand al Virtualbox 4.2 draaien op ZFSguru (met werkende VNC server?)

Ja hier

[FireDrunk]

@Duiveltje666

Hoe?

ilovebrewski schreef op zaterdag 06 april 2013 @ 15:51:
[...]


ok thnx voor de hulp!

Voor de duidelijkheid en voordat ik iets vergal (ben redelijk nieuw hierin )
Welke regel?

# add interfaces at your leisure when requiring static configuration
ifconfig_DEFAULT="DHCP"
#ifconfig_em0="inet 10.0.0.100 netmask 255.255.255.0"
#ifconfig_em0="DHCP mtu 7000"

# if you want static IP, you need to specify default gateway here
#defaultrouter="10.0.0.100"
# don't forget to edit /etc/resolv.conf for DNS configuration as well!

De eerste ifconfig_DEFAULT kan je eventueel commenten, maar is niet verplicht.
Die regel daarna maak je van wat je wil, dus bijvoorbeeld:

ifconfig_em0="inet 192.168.1.2 netmask 255.255.255.0"

Als je het ding wil kunnen laten internetten (en dat willen de meeste), moet je ook de defaultrouter regel instellen:

defaultrouter="192.168.1.1"

Even aanpassen naar jou lokale LAN waarden natuurlijk...

[ Voor 99% gewijzigd door FireDrunk op 06-04-2013 17:04 ]

[Compizfox]

FireDrunk schreef op vrijdag 05 april 2013 @ 15:22:
Iemand al Virtualbox 4.2 draaien op ZFSguru (met werkende VNC server?)

Niet meer, maar werkte prima toen. Zie oudere posts van mij daarover in dit topic

FireDrunk schreef op zaterdag 06 april 2013 @ 17:02:
@Duiveltje666

Hoe?

Hoe wat?

Installeren en het werkt gewoon. VNC werkt ook gewoon icm phpvirtualbox (tabje Display of zo, kun je het gewoon instellen)

Enige beperking is dat je geen VNC password kunt instellen, wat problematisch is icm UltraVNC, die weigert te connecten zonder password. Met TightVNC werkt het wel

[ Voor 45% gewijzigd door Compizfox op 06-04-2013 18:43 ]

[FireDrunk]

Ik heb heel libvncserver en virtualbox via ports gerecompiled. Maar het beeld blijft zwart...

---

Toch leuk om even 32TB aan storage in je machine te hebben
Mijn 10*2TB gaat eruit, en heb 4 * Seagate HDD.15 4TB aangeschaft. Deze zitten nu in RAIDZ1 en er loopt een zfs send/receive van elk filesystem naar de nieuwe pool.

Schijven zijn heerlijk snel Halen ~120MB/s schrijven per stuk, dus de totale pool doet ~350MB/s (1 parity).
Verbruik moet ik nog meten, nog geen aandacht aan besteedt

[ Voor 69% gewijzigd door FireDrunk op 06-04-2013 21:24 ]

[Bachatero]

Even een vraagje over de ideale RAID-Z2 setup:

Ik heb dit hele topic inmiddels doorgelezen en er wordt veel uitgelegd over optimale RAID-Z configuraties.
Bij de huidige 4K sector schijven is dit voor een RAID-Z2 set-up met 6 schijven:

128K / (6-2) = 32K. Dit is een veelvoud van 4K, dus ideaal. Dit snap ik.

Geldt deze zelfde benadering ook voor niet 4K schijven. Dus voor 512 byte per sector schijven. Ik las ergens in dit topic dat het voor 512 b schijven niet z'n probleem is.
Ik wil namelijk mijn huidige 8x HD501LJ (Samsung Spinpoint F1 500MB) in Raid-Z2 gebruiken in een RAID-Z2 set-up. Dit zijn 512 byte per sector schijven.


Als ik dan de bovenstaande formule hanteer kom ik op het volgende uit:

128K / (8-2) = 21.33K. Dit is dus geen veelvoud van 4K, en dus niet ideaal. Is deze veronderstelling juist?

Is het verstandiger om twee schijven uit deze set te halen of is het performance verschil nauwelijks merkbaar?

[ Voor 4% gewijzigd door Bachatero op 07-04-2013 00:25 ]

[Verwijderd]

Je hebt geen 4K schijven toch? 8 keer 500GB wat gewone 512-byte sector schijven zijn. Dat betekent normale ashift=9 dus je hoeft niets speciaals te doen. En je hoeft je ook niet te houden aan de optimale RAID-Z configuraties - die zijn voor 4K schijven interessant.

Wat je echter niet moet doen is je 512B schijven optimaliseren voor 4K. Dan krijg je een ashift=12 pool wat optimaal is voor 4K sector schijven (advanced format).

Bij jouw voorbeeld van 21.33K heb je dan dat soms het 21.00K en soms 21.50K worden (alignment op 512B sectoren). Dat betekent een heel klein beetje 'slack' dus verloren ruimte. 0.17K per 21.50K. Reken maar uit.

[Bachatero]

Bedankt voor de snelle reaktie CiPHER,

Het is me duidelijk.
Nog een laatste vraagje:

Ik ben nog niet zo thuis in ZFS, maar ik ben lekker aan het lezen in diverse topics hier.

Ik gebruik nu FreeNAS 8.3.0. Maar hoe kan ik achteraf controleren met welke ashift de pool is geinitialiseerd. Kan ik dit met een commando in de bsd terminal controleren ???

Dank,

Johan

[Bachatero]

Ahhh,

Ik heb het al gevonden:

zdb | grep ashift

Johan

[ilovebrewski]

@FireDrunk

Gedaan wat je zei, maar werkt niet.

Ik zie bij het opstarten wel de volgende meldingen voorbij schieten
failed to start dhclient
re0 link state changed to DOWN

output ifconfig
[root@zfsguru /home/ssh]# ifconfig
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=8209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,LINKSTATE>
ether bc:5f:f4:81:b8:6c
inet 192.168.1.16 netmask 0xffffff00 broadcast 192.168.1.255
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
inet 127.0.0.1 netmask 0xff000000
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

Weet iemand wat er niet goed gaat?

[FireDrunk]

DHCLIENT hoort dus ook niet te starten, want je wil toch een Static IP?

In jouw ifconfig output staat dat je server op 192.168.1.16 draait?

[ilovebrewski]

FireDrunk schreef op zondag 07 april 2013 @ 11:38:
DHCLIENT hoort dus ook niet te starten, want je wil toch een Static IP?

In jouw ifconfig output staat dat je server op 192.168.1.16 draait?

klopt maar heb alles ingevoerd als 192.168.1.12.

# add interfaces at your leisure when requiring static configuration
ifconfig_DEFAULT="DHCP"
#ifconfig_re0="inet 192.168.1.12 netmask 255.255.255.0"
#ifconfig_re0="DHCP mtu 7000"

# if you want static IP, you need to specify default gateway here
#defaultrouter="192.168.1.1"
# don't forget to edit /etc/resolv.conf for DNS configuration as well!

[FireDrunk]

Je moet even de haakjes weghalen voor de regels
Dat betekend dat het commentaar is
Dus voor de ifconfig_re0 regel en voor de defaultrouter="" regel.

[ Voor 27% gewijzigd door FireDrunk op 07-04-2013 11:45 ]

[ilovebrewski]

damn!

Bedankt!

[HyperBart]

HyperBart schreef op dinsdag 02 april 2013 @ 00:27:
[...]

CiPHER, heb je hier nog wat feedback over? Lijkt mij HEEL sterk dat nu virtualisatie (ESXi) in de weg zou zitten aangezien de disks aan een M1015 hangen die ge-VT-d'ed is...

Als FreeBSD daar niet tegen kan zou het heel nefast zijn als er gewoon een disk besluit te overlijden of de PCB doodgaat van een disk, het falen van één disk heeft dan tot gevolg dat je complete storage er onderuit gaat .

Grmbl grrmbble

Net even mijn hele server native van een live CD'tje van ZFSguru laten booten, en dan kan ik dus zonder problemen mijn sata disks hot removen... Vraag me nu alleen af: als ik mijn VM nu ook van een Live CD zou laten booten, zou ik dan wel kunnen hot removen... (?)

[FireDrunk]

Ik denk het niet, zal wel ergens anders aan liggen...

[HyperBart]

Vind het echt gaar. Gooit wel wat roet in het eten wat betreft mijn "easy peasy backup" strategie...

[ Voor 240% gewijzigd door HyperBart op 07-04-2013 22:58 ]

[Verwijderd]

HyperBart schreef op zondag 07 april 2013 @ 22:22:
Grmbl grrmbble

Net even mijn hele server native van een live CD'tje van ZFSguru laten booten, en dan kan ik dus zonder problemen mijn sata disks hot removen... Vraag me nu alleen af: als ik mijn VM nu ook van een Live CD zou laten booten, zou ik dan wel kunnen hot removen... (?)

Ik heb maar heel beperkte ervaring met virtualisatie. Zoals je misschien weet geef ik - in principe - de voorkeur aan om ZFS OS als hoofd OS zonder hypervisor te gebruiken, en alle andere meuk virtualiseren onder ZFS. Dus ik zou het liefst ZFSguru als host gebruiken en daarin Virtualbox/qemu/Xen/BHyVe ander spul virtualiseren. Dat voorkomt gewoon veel potentiële problemen.

Als je hot wilt removen zou dat met bovengenoemde opstelling ook geen probleem moeten zijn; je guest VMs ondervinden dan geen hinder als je met ZFS een disk eruit knalt ofzo. FreeBSD is de baas over timeouts. Hoe het precies werkt met vt-d en RDM enzo blijft toch een beetje gissen. In het verleden wel wat testjes gedaan geloof ik, maar toch heb ik het gevoel dat 'we' er toch iets te weinig van afweten om hier echt iets over te kunnen zeggen.

In veel gevallen is het: uitproberen en uitproberen. Als het goed werkt dan vooral zo laten draaien. Als alternatief kun je ook nadenken om je ZFS NAS en ESXi virtualisatiebak fysiek te scheiden. Het nadeel hiervan is dat je gebonden bent aan gigabit snelheden terwijl je met ESXi anders via VMXNET3 enzo wel veel hogere snelheden kunt halen, zelfs hoger dan 10 gigabit theoretisch.

[FireDrunk]

Virtualbox = traag, en slechte netwerk IO.
Qemu = niet maintained, en ligt hopeloos achter op de master.
Xen = nog heel erg beta
BHyVe = alleen freebsd.

Nog meer suggesties? Want je profeteert nogal voor applicaties die het probleem niet oplossen...

[Verwijderd]

Ik zeg ook niet dat de genoemde opties zaligmakend zijn, maar ESXi + ZFS gevirtualiseerd heeft ook zo zijn nadelen. Dat is ook de reden dat ik over het algemeen vrij negatief of in elk geval terughoudend ben over ZFS + virtualisatie. Een aparte ESXi doos voor je VMs en aparte ZFS NAS heeft dan nog mijn grootste voorkeur. Maar dan zit je ook met netwerk throughput en hogere aanschafkosten/energie.

Maar Xen en BHyVe zijn wel veelbelovend voor BSD. BHyVe kan nu enkel nog BSD VMs booten, maar in de PDFs kun je lezen dat andere guest VMs ook wel op de planning staan, maar BHyVe op dit moment nog heel erg in ontwikkeling is en dat dus nog wel even kan duren (jaar of twee). Xen in FreeBSD 10 is dan nog het meest veelbelovend. Dom0 ondersteuning zou dan eindelijk mogelijk moeten zijn, en kun je Windows/Linux domU guests onder FreeBSD 10 kunnen draaien. Dat lijkt mij persoonlijk wel heel erg gaaf. Xen gebruikt ook virtio en dat zit al in BSD dus qua netwerkprestaties zou dat gelijkwaardig kunnen zijn aan VMXNET3.

[FireDrunk]

VirtIO is veel sneller van VMXNET3, dus Xen is inderdaad een leuk alternatief.

[Compizfox]

Verwijderd schreef op maandag 08 april 2013 @ 11:17:
Ik zeg ook niet dat de genoemde opties zaligmakend zijn, maar ESXi + ZFS gevirtualiseerd heeft ook zo zijn nadelen. Dat is ook de reden dat ik over het algemeen vrij negatief of in elk geval terughoudend ben over ZFS + virtualisatie. Een aparte ESXi doos voor je VMs en aparte ZFS NAS heeft dan nog mijn grootste voorkeur. Maar dan zit je ook met netwerk throughput en hogere aanschafkosten/energie.

Ja, ESXi is niet ideaal, maar in mijn ogen wel de beste oplossing. De enige echte andere kansmaker is ZFSGuru als host met Virtualbox als hypervisor, maar dat is zoals gezegd niet heel stabiel en relatief traag.

[FireDrunk]

Vandaag weer een leuk VirtualBox bugje... Ik was aan het benchmarken, VirtualBox vond dat zo leuk, dat mijn Linux VM ineens een read only filesystem had.

Terwijl ik aan het benchen was op mijn pool, en de Ubuntu VM op SSD's staat...

[analog_]

Als je writes worden geblokkeerd gedurende een bepaalde periode om wat voor reden dan ook, remount linux het filesystem in RO mode, het is wel mogelijk om dit te ontdoen zonder reboot als de boel wilt reageren (ik dacht zoiets als mount -o rw /). Ik herken het als mijn iscsi connectie eruit knalt doen al mijn VMs dat (en dan is het toch eenvoudiger om te rebooten).

[FireDrunk]

Mja, ik snap het principe, maar dan nog... Het feit dat VirtualBox IO's vergalt naar een ander filesystem vind ik een beetje onacceptabel...

[HyperBart]

FireDrunk schreef op maandag 08 april 2013 @ 17:14:
Mja, ik snap het principe, maar dan nog... Het feit dat VirtualBox IO's vergalt naar een ander filesystem vind ik een beetje onacceptabel...

Zou jij nu eens niet gewoon 2 systemen zetten jaaaa . Eentje als NAS en een ander als zuinig ESXi-bakje? Wat jij allemaal meemaakt aan bugs, niet normaal, en dan doe je het er nog niet eens om

[FireDrunk]

Zojuist freebsd geupgrade naar 10-CURRENT eens kijken of dat helpt.

Of toch niet... heb svn checkout gedaan en een hoop gebuild (volgens de guide)

Zelfs naar single user geboot en installworld gedaan, maar nog steeds draai ik FreeBSD-9.1

[ Voor 57% gewijzigd door FireDrunk op 08-04-2013 20:07 ]

[BackBones]

Uit de ZFSguru kernel log (enigzins aangepast om het voor mijzelf iig meer begrijpelijk te maken):

SMP: AP CPU #1 Launched!
Running ipoib_init_module (0xffffffff80b212d0)
GEOM_RAID: NVIDIA-1: Array NVIDIA-1 created.
GEOM_RAID: NVIDIA-2: Array NVIDIA-2 created.
Root mount waiting for: GRAID-NVIDIA GRAID-NVIDIA (x30)

GEOM_RAID: NVIDIA-1: Force array start due to timeout.
GEOM_RAID: NVIDIA-1: Disk ada2 state changed from NONE to ACTIVE.
GEOM_RAID: NVIDIA-1: Subdisk RAID 0+1 1.81T:0-ada2 state changed from NONE to ACTIVE.
GEOM_RAID: NVIDIA-1: Array started.
GEOM_RAID: NVIDIA-1: Volume RAID 0+1 1.81T state changed from STARTING to BROKEN.

GEOM_RAID: NVIDIA-2: Force array start due to timeout.
GEOM_RAID: NVIDIA-2: Disk ada3 state changed from NONE to ACTIVE.
GEOM_RAID: NVIDIA-2: Subdisk RAID 0+1 1.81T:2-ada3 state changed from NONE to ACTIVE.
GEOM_RAID: NVIDIA-2: Array started.
GEOM_RAID: NVIDIA-2: Volume RAID 0+1 1.81T state changed from STARTING to BROKEN.

Trying to mount root from ufs:/dev/md0 []...
md1.uzip: 11406 x 65536 blocks
md1.uzip: 35483 requests, 18925 cached
amdtemp0: <AMD CPU On-Die Thermal Sensors> on hostb3

Zoals ik dit begrijp probeert ZFS een array te starten waar deze disken (schijnbaar) voor gebruikt zijn in het verleden. Dat lukt niet en dus 'array broken'. Vervolgens, om de array/data proberen te behouden, laat het mij natuurlijk niet toe om de disken te formateren naar GPT (wat nou juist datgene is wat ik probeer te doen zodat ik kan ZFSguru kan instaleren)

Verwijderd schreef op zaterdag 06 april 2013 @ 22:56:
Heb je de disks al als NTFS-schijf gebruikt? Zo ja probeer een zero-write te doen.

Ja ze zijn als NTFS-schijven gebruikt maar zijn nu 'unallocated'. Excuse my ignorance maar hoe doe ik een zero-write (in ZFSguru bij voorkeur)?

Verwijderd schreef op zaterdag 06 april 2013 @ 22:56:
Andere mogelijkheid is dat je de schijf in gebruik hebt, bijvoorbeeld door ZFS. Dus probeer wat meer info te geven (via DM graag; dit gaat trouwens ook vooral over ZFS).

Uit het bovenstaande begrijp ik iig dat ZFS vind dat de schijven in gebruik zijn. Gaat dit gefixed worden door een zero-write? Zo niet, wat doe ik dan? Wederom bedankt voor alle hulp en geduld met mijn onwetendheid.

[FireDrunk]

Hmm, heb je in je BIOS NVIDIA RAID niet toevallig aangezet? Anders moet je inderdaad een dd doen.
Dat kan waarschijnlijk alleen als GEOM niet draait, en ik kan zo even snel niet vinden hoe je dat bij boot uitzet. Je kan het in principe in /boot/loader.conf uitzetten, maar dat werkt natuurlijk niet voor de live-cd.

Als GEOM niet draait kun je het volgende commando gebruiken:

dd if=/dev/zero of=[/dev/disk-naam] bs=1M count=16

LET OP: Dit overschrijft de eerste 16MB (vaak genoeg om RAID drives en partities niet meer te laten herkennen, maar is geen volledige zero write van je schijf.)

Verwijder ALLE schijven waar je de data van wil behouden, want anders kan je potentieel een hoop stuk maken.

Dit commando werkt trouwens ook onder Linux, dus je zou ook een Linux live-cd kunnen gebruiken, mits die niet hetzelfde probleem heeft.

[ Voor 8% gewijzigd door FireDrunk op 09-04-2013 10:55 ]

[BackBones]

Ik heb het nog even gecontroleerd. De raid optie staat echt uit. Wat data op deze schijven betreft. Ze zijn allemaal 'leeg' (geen data die behouden hoeft te blijven).

Linux heb ik ook echt 0 ervaring mee. (moet daar toch ook eens aan beginnen ) Dus daar zou ik me dan ook eerst enigzins in moeten verdiepen enzo.

Eerst even lunchen en dan kijk ik of ik dit voor elkaar krijg. Bedankt voor nu.

[IceTeaGX]

Compizfox schreef op maandag 08 april 2013 @ 16:49:
[...]
Ja, ESXi is niet ideaal, maar in mijn ogen wel de beste oplossing. De enige echte andere kansmaker is ZFSGuru als host met Virtualbox als hypervisor, maar dat is zoals gezegd niet heel stabiel en relatief traag.

Iemand eigenlijk ervaring met proxmox?
Zou ik binnenkort eens willen testen als mijn servertje in elkaar steekt.

[iRReeL]

FireDrunk schreef op maandag 08 april 2013 @ 10:44:
Virtualbox = traag, en slechte netwerk IO.
Qemu = niet maintained, en ligt hopeloos achter op de master.
Xen = nog heel erg beta
BHyVe = alleen freebsd.

Nog meer suggesties? Want je profeteert nogal voor applicaties die het probleem niet oplossen...

Ik ben helemaal niet thuis in virtualisatie maar ik had gelezen dat SmartOS ook een hypervisor is met native ZFS? Is dat nog een optie?

[DutchNutcase]

IceTeaGX schreef op dinsdag 09 april 2013 @ 11:25:
[...]

Iemand eigenlijk ervaring met proxmox?
Zou ik binnenkort eens willen testen als mijn servertje in elkaar steekt.

Voor zover ik weet is proxmox niets meer als een debian met QEMU/KVM. En het grootste nadeel eraan is dat VT-d/AMD-Vi erg lastig wordt, omdat de kernel stokoud (< 3.0) is, terwijl je voor fatsoenlijke VT-d/AMD-Vi eigenlijk minstens kernel 3.5 wilt draaien.

[Zer0CooL]

iRReeL schreef op dinsdag 09 april 2013 @ 11:46:
[...]


Ik ben helemaal niet thuis in virtualisatie maar ik had gelezen dat SmartOS ook een hypervisor is met native ZFS? Is dat nog een optie?

Hey die kende ik nog niet - precies toch eens testen...
misschien iets voor m'n NAS eXtreme ;-)

thx voor de tip!!!

[Verwijderd]

BackBones schreef op dinsdag 09 april 2013 @ 10:39:
Uit de ZFSguru kernel log (enigzins aangepast om het voor mijzelf iig meer begrijpelijk te maken):

GEOM_RAID: NVIDIA-1: Array NVIDIA-1 created.
GEOM_RAID: NVIDIA-2: Array NVIDIA-2 created.

Je hebt nVidia MediaShield 'FakeRAID' op je schijven geactiveerd. Linux en BSD kunnen FakeRAIDs uitlezen omdat ze het formaat begrijpen wat nVidia/AMD/Intel/Promise/Silicon Image/JMicron/Adaptec/Marvell gebruiken. Deze gegevens staan op de disks zelf, en wel in de laatste sector van elke schijf.

Het commando wat FireDrunk gaf gaat om laatstgenoemde reden niet werken; je moet juist het einde van je schijven wissen.

Kun je eens proberen:

graid status
graid remove NVIDIA-1 ada2
graid remove NVIDIA-2 ada3

Kan zijn dat de namen anders zijn, maar volgens mij zou dit moeten lukken.

[ Voor 48% gewijzigd door Verwijderd op 09-04-2013 12:29 ]

[BackBones]

Verwijderd schreef op dinsdag 09 april 2013 @ 12:29:
Kun je eens proberen:

graid status
graid remove NVIDIA-1 ada2
graid remove NVIDIA-2 ada3

zfsguru.bsd$ graid remove NVIDIA-1 ada2
graid: Array 'NVIDIA-1' not found.

zelfde voor NVIDIA-2 ada3

[Verwijderd]

Kun je (liefst in een DM) even graid status output geven? Daar zou de naam in moeten terug te vinden zijn.

[BackBones]

wat is een DM?

Apr 9 10:55:55 zfsguru kernel: GEOM_RAID: NVIDIA-2: Array NVIDIA-2 destroyed.
Dus voor die is het wel gelukt. Heb hem ook geformateerd nu naar GPT. Geen problemen daar.

als ik 'graid status' in de command line invoer gebeurt er niks. Maar vanuit de log na een reboot:
(Heb even dikgedrukt waar het volgens mij om gaat...)

Apr 9 12:32:30 zfsguru kernel: ada0 at ata2 bus 0 scbus2 target 0 lun 0
Apr 9 12:32:30 zfsguru kernel: ada0: <Hitachi HDT721010SLA360 ST6OA31B> ATA-8 SATA 2.x device
Apr 9 12:32:30 zfsguru kernel: ada0: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
Apr 9 12:32:30 zfsguru kernel: ada0: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C)
Apr 9 12:32:30 zfsguru kernel: ada1 at ata3 bus 0 scbus3 target 0 lun 0
Apr 9 12:32:30 zfsguru kernel: ada1: <SAMSUNG HD103UJ 1AA01113> ATA-7 SATA 2.x device
Apr 9 12:32:30 zfsguru kernel: ada1: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
Apr 9 12:32:30 zfsguru kernel: ada1: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C)
Apr 9 12:32:30 zfsguru kernel: ada2 at ata4 bus 0 scbus4 target 0 lun 0
Apr 9 12:32:30 zfsguru kernel: ada2: <SAMSUNG HD103UJ 1AA01110> ATA-7 SATA 2.x device
Apr 9 12:32:30 zfsguru kernel: ada2: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
Apr 9 12:32:30 zfsguru kernel: ada2: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C)
Apr 9 12:32:30 zfsguru kernel: ada3 at ata5 bus 0 scbus5 target 0 lun 0
Apr 9 12:32:30 zfsguru kernel: ada3: <SAMSUNG HD103UJ 1AA01110> ATA-7 SATA 2.x device
Apr 9 12:32:30 zfsguru kernel: ada3: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
Apr 9 12:32:30 zfsguru kernel: ada3: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C)
Apr 9 12:32:30 zfsguru kernel: cd0 at ata0 bus 0 scbus0 target 0 lun 0
Apr 9 12:32:30 zfsguru kernel: cd0: <ASUS DRW-0402P/D 1.05> Removable CD-ROM SCSI-0 device
Apr 9 12:32:30 zfsguru kernel: cd0: 33.300MB/s transfers (UDMA2, ATAPI 12bytes, PIO 65534bytes)
Apr 9 12:32:30 zfsguru kernel: cd0: cd present [2295104 x 2048 byte records]
Apr 9 12:32:30 zfsguru kernel: SMP: AP CPU #1 Launched!
Apr 9 12:32:30 zfsguru kernel: Running ipoib_init_module (0xffffffff80b212d0)
Apr 9 12:32:30 zfsguru kernel: GEOM_RAID: NVIDIA-1: Array NVIDIA-1 created.
Apr 9 12:32:30 zfsguru kernel: Root mount waiting for: GRAID-NVIDIA
Apr 9 12:32:30 zfsguru last message repeated 29 times
Apr 9 12:32:30 zfsguru kernel: GEOM_RAID: NVIDIA-1: Force array start due to timeout.
Apr 9 12:32:30 zfsguru kernel: GEOM_RAID: NVIDIA-1: Disk ada2 state changed from NONE to ACTIVE.
Apr 9 12:32:30 zfsguru kernel: GEOM_RAID: NVIDIA-1: Subdisk RAID 0+1 1.81T:0-ada2 state changed from NONE to ACTIVE.
Apr 9 12:32:30 zfsguru kernel: GEOM_RAID: NVIDIA-1: Array started.
Apr 9 12:32:30 zfsguru kernel: GEOM_RAID: NVIDIA-1: Volume RAID 0+1 1.81T state changed from STARTING to BROKEN.
Apr 9 12:32:30 zfsguru kernel: Trying to mount root from ufs:/dev/md0 []...

[syl765]

Als je er zeker van wilt zijn dat alle raid data van je schijven verdwijnt kun je dban eens los laten op de disks

http://www.dban.org/

Let wel dat je alleen die schijven die je schoon wilt hebben in de kast laat.
Een foutje is snel gemaakt.
bij het opsterten autonuke ingeven en je disks worden van begin tot eind gewist. (Kan even duren)!

gr
johan

[Mafketel]

smartos, is op illumos gebaseerd en zit je met dezelfde nadelen, tenminste voor mij dan. <2tb bootdrive en een voor mij steeds discutabeler worden van de continuïteit van het oorspronkelijke opensolaris idee.

Als dat van graid niet lukt, de eerste sectoren wissen niet helpt had ik willen voorstellen om de laatste sectoren te wissen van desbetreffende schijven, maar dat was ook al door cipher gezegd.

Maar nu een intermezzo.
Ik loop nu weer tegen iets leuks aan....
Na al die jaren zfs gebruiken heb ik nog steeds af en toe mot met de toegang oftewel acl smb irritaties.
Vanochtend definitief over naar freebsd van opensolaris hoopte ik.
Alle bestanden met zfs send receive over gezet, onderliggende shares waren al correct. Ik had van de week al een klein testje gedraaid.

alle shares in smb.conf
browsable = yes
writable = yes
public = no

in zfs filesystem
aclmode en aclinherit op passthrough

uiteindelijk 2 gebruikers wel toegang ander twee mochten niet schrijven.
find /data -type f -exec chmod 666 '{}' \;
en
find /data -type d -exec chmod 777 '{}' \;
Maakte hier geen verandering in
find /data -type d -exec setfacl -b '{}' \;
find /data -type f -exec setfacl -b '{}' \;
hielp ook niet.

Bij het veranderen van de user en group liep de boel "vast"
chown -R gebruiker:groep /data/directory
Omdat ik het na een uur gehad had, commando kill -s 9 hielp niet... na een kwartier server netjes een reboot gegeven. dat liep spaak. acpi powerknop liep ook weer spaak.
En toen had ik echt gehad en de resetknop ingedrukt.

Sindsdien kan /data/directory niet meer mounten. Eerst natuurlijk niet meer booten, dat verholpen door in de single user mode het commando zfs set canmount=noauto data/directory te geven.
Maar wat nu?
zfs mount data/directory geeft geen brandend harddisk lampje, geen cpu belasting in top alleen een zfs met als state tx>tx

code:

1894 root          1  20    0 33424K  2272K tx->tx   0:00  0.00% zfs

ctrl+t geeft geen uitvoer op de eerste shell, misschien wel onder de alt+F2 shell maar daar draait top wat beter.

zpool export data
zpool import data
gaat goed maar lost het probleem van het niet kunnen mounten van data/directory niet op.

Dit doet mij geen goed om een volledige zfs filesystem "kwijt te raken"
Geen dedup zoals een aantal andere mensen hadden alleen compressie op dit zfs filesysteem
Het is een 4gb geheugen amd64 systeem met een 3tb en 4tb in een mirror zpool
zfs get all data/directory geeft normale waarden terug, En geen fouten op de zpool zelf.


p.s. de oude opensolaris staat weer te draaien met alle data dus het is niet een hoe haal ik mijn data terug verhaal, maar een vertrouw ik mijn data toe aan dit geheel.

[ Voor 3% gewijzigd door Mafketel op 09-04-2013 15:48 ]

[Mafketel]

Om even daad bij woord te voegen het nullen van de laatste 69Mb van ada2

dd if=/dev/zero of=/dev/ada2 bs=1M skip=953800M

[FireDrunk]

Mafketel schreef op dinsdag 09 april 2013 @ 15:38:
smartos, is op illumos gebaseerd en zit je met dezelfde nadelen, tenminste voor mij dan. <2tb bootdrive en een voor mij steeds discutabeler worden van de continuïteit van het oorspronkelijke opensolaris idee.

Als dat van graid niet lukt, de eerste sectoren wissen niet helpt had ik willen voorstellen om de laatste sectoren te wissen van desbetreffende schijven, maar dat was ook al door cipher gezegd.

Maar nu een intermezzo.
Ik loop nu weer tegen iets leuks aan....
Na al die jaren zfs gebruiken heb ik nog steeds af en toe mot met de toegang oftewel acl smb irritaties.
Vanochtend definitief over naar freebsd van opensolaris hoopte ik.
Alle bestanden met zfs send receive over gezet, onderliggende shares waren al correct. Ik had van de week al een klein testje gedraaid.

alle shares in smb.conf
browsable = yes
writable = yes
public = no

in zfs filesystem
aclmode en aclinherit op passthrough

uiteindelijk 2 gebruikers wel toegang ander twee mochten niet schrijven.
find /data -type f -exec chmod 666 '{}' \;
en
find /data -type d -exec chmod 777 '{}' \;
Maakte hier geen verandering in
find /data -type d -exec setfacl -b '{}' \;
find /data -type f -exec setfacl -b '{}' \;
hielp ook niet.

Bij het veranderen van de user en group liep de boel "vast"
chown -R gebruiker:groep /data/directory
Omdat ik het na een uur gehad had, commando kill -s 9 hielp niet... na een kwartier server netjes een reboot gegeven. dat liep spaak. acpi powerknop liep ook weer spaak.
En toen had ik echt gehad en de resetknop ingedrukt.

Sindsdien kan /data/directory niet meer mounten. Eerst natuurlijk niet meer booten, dat verholpen door in de single user mode het commando zfs set canmount=noauto data/directory te geven.
Maar wat nu?
zfs mount data/directory geeft geen brandend harddisk lampje, geen cpu belasting in top alleen een zfs met als state tx>tx

code:

1894 root          1  20    0 33424K  2272K tx->tx   0:00  0.00% zfs

ctrl+t geeft geen uitvoer op de eerste shell, misschien wel onder de alt+F2 shell maar daar draait top wat beter.

zpool export data
zpool import data
gaat goed maar lost het probleem van het niet kunnen mounten van data/directory niet op.

Dit doet mij geen goed om een volledige zfs filesystem "kwijt te raken"
Geen dedup zoals een aantal andere mensen hadden alleen compressie op dit zfs filesysteem
Het is een 4gb geheugen amd64 systeem met een 3tb en 4tb in een mirror zpool
zfs get all data/directory geeft normale waarden terug, En geen fouten op de zpool zelf.


p.s. de oude opensolaris staat weer te draaien met alle data dus het is niet een hoe haal ik mijn data terug verhaal, maar een vertrouw ik mijn data toe aan dit geheel.

Waarom van die vage chmods? Heb je echt meerdere (samba) users waardoor die rechten echt iets betekenen?

chown -R user:user /data/filesystemA
chown -R user:user /data/filesystemB

Ik zou het mountpoint zelf niet veranderen van rechten (dus /data), misschien dat ZFS dat niet zo leuk vond...

Oh enne, volgens mij doet FreeBSD helemaal geen Unix ACL's op ZFS

Alleen ZFS ACL's...

---

Geen idee waarom, maar VNC werkt ineens weer bij VirtualBox 4.2... Zal wel komen omdat ik heel world heb gerecompiled...

[ Voor 3% gewijzigd door FireDrunk op 09-04-2013 16:06 ]

[jacovn]

Zfsguru is geweldig goed voor mij.
Alles overgezet naar een norco case. Paar keer geboot zonder discs, pools waren er uiteraard niet.
Na disc install was er 1 hdd niet aanwezig, shutdown en die disc eruit en er weer in, en hopla alles is weer ok.
Toen ik nog unraid draaide was zoiets niet mogelijk, alles ge-degrade en dan moest de missende disc gerebuild worden. Blij dat ik daar vanaf ben..

Status pool2 met de missende disc na de herstel:
Scrub resilvered 8K in 0h0m with 0 errors on Tue Apr 9 17:24:26 2013


Een volle scrub gaat ook wel redelijk snel zo te zien (pool1 = 10x3tb in raidz2)

Scrub scrub in progress since Tue Apr 9 17:25:49 2013
278G scanned out of 26.3T at 846M/s, 8h57m to go
0 repaired, 1.03% done

[ Voor 29% gewijzigd door jacovn op 09-04-2013 17:34 ]

[Mafketel]

FireDrunk schreef op dinsdag 09 april 2013 @ 16:04:
[...]
Waarom van die vage chmods?

is niet vaag files 666 en dirs 777 kan volgens mij niet makkelijker, X zal bij een bestand met ergens x set, alles x maken. En als een dir geen x heeft dan maakt X daar ook niet x van, als ik het mij goed herinner.

Heb je echt meerdere (samba) users waardoor die rechten echt iets betekenen?

Yep anders had ik mij de moeite wel bespaard

chown -R user:user /data/filesystemA
chown -R user:user /data/filesystemB

precies wat ik gedaan had

Ik zou het mountpoint zelf niet veranderen van rechten (dus /data), misschien dat ZFS dat niet zo leuk vond...

Heb je hier ook een link/onderbouwing voor? ikzelf kan geen geldige reden bedenken waarom dit zou uitmaken. Overigens de lege directory(dat bedoel je toch met mountpoint) veranderd niet van rechten bij een gemount bestandssysteem.

Oh enne, volgens mij doet FreeBSD helemaal geen Unix ACL's op ZFS
Alleen ZFS ACL's...

Geen posix acl , wel nfs4acl.
onder solaris te veranderen met de niet gnu chmod onder freebsd te veranderen met setfacl

Ik had trouwens een scrub gestart en die was lekker bezig totdat ik de niet welwillende filesysteem weer probeerde te mounten .... volgens mij is er daarna niets meer gebeurd op de schijf.

Overigens kom uiteindelijk wel weer uit de rechten kwestie, het gaat mij nu meer eigenlijk om hoe kan dit nu voor een niet mountbaar bestandsysteem zorgen en wat kan ik daar aan doen.

[BackBones]

Mafketel schreef op dinsdag 09 april 2013 @ 15:42:
Om even daad bij woord te voegen het nullen van de laatste 69Mb van ada2

dd if=/dev/zero of=/dev/ada2 bs=1M skip=953800M

Resultaat:

zfsguru.bsd$ dd if=/dev/zero of=/dev/ada2 bs=1M skip=953800M
dd: /dev/ada2: Operation not permitted

[Mafketel]

BackBones schreef op dinsdag 09 april 2013 @ 19:16:
[...]

Resultaat:

zfsguru.bsd$ dd if=/dev/zero of=/dev/ada2 bs=1M skip=953800M
dd: /dev/ada2: Operation not permitted

.... root ?

sudo?

als gewone user mag je dat natuurlijk niet, block device direct beschrijven.
En doe je dit in de buurt van data die wil bewaren? zou ik persoonlijk niet doen zie eerdere waarschuwingen daaromtrent.

Omdat ik zelf de zfsguru user heb verwijdert durf ik even niet te zeggen of je "su -" moet doen of dat sudo dd etc ook voldoet. Overigens werkt su - niet als je geen root password hebt aangemaakt.

dus
su -
dd if=/dev/zero of=/dev/ada2 bs=1M skip=953800M

of

sudo dd if=/dev/zero of=/dev/ada2 bs=1M skip=953800M

Neem niet alles aan van het internet als je onder root rechten werkt.

[ Voor 4% gewijzigd door Mafketel op 09-04-2013 19:41 ]

[BackBones]

ja had het in root geprobeerd en nee ik doe dit niet in de buurt van data die ik wil bewaren. Alle data die ik wil bewaren staat momenteel ergens anders en dus alle data op dit bakkie mag weg of stuk ow wat dan ook.
Bedankt voor de tips ik probeer ze later even. (ga nu ff bezig met een ander projectje --> lees geliefde )

[beodepeo]

Misschien al eerder beantwoord, maar ik kan het antwoord niet makkelijk vinden:
Is het mogelijk om een RAID-Z (bijvoorbeeld 5 disks) op een later moment door het toevoegen van een extra disk uit te breiden naar RAID-Z2 (6 disks, dan)?

[FireDrunk]

Nope.

[webbier]

Je zou een degraded raidz2 kunnen draaien, maar ideaal is dat niet.

[Mafketel]

Even een updatje over niet te mounten filesystem.
De scrub is klaar, was snel en heeft geen fouten gevonden.
inmiddels het zfs mount commando maar weer gegeven.

zfs mount data/weirdfilesystem

meerdere malen ctrl+t geeft dit

code:

load: 0.00  cmd: zfs 2512 [tx->tx_sync_done_cv)] 10.23r 0.00u 0.02s 0% 2284k
load: 0.00  cmd: zfs 2512 [tx->tx_sync_done_cv)] 37.63r 0.00u 0.02s 0% 2284k
load: 0.00  cmd: zfs 2512 [tx->tx_sync_done_cv)] 713.50r 0.00u 0.02s 0% 2284k
load: 0.00  cmd: zfs 2512 [tx->tx_sync_done_cv)] 1784.81r 0.00u 0.02s 0% 2284k

na plusminus 10 minuten

code:

load: 0.00  cmd: zfs 2512 [tx->tx_sync_done_cv)] 2427.17r 0.00u 0.02s 0% 2284k

top geeft

code:

last pid:  2565;  load averages:  0.00,  0.00,  0.00        up 0+05:56:48  15:49:47
29 processes:  1 running, 28 sleeping
CPU:  0.0% user,  0.0% nice,  0.4% system,  0.0% interrupt, 99.6% idle
Mem: 113M Active, 8072K Inact, 1536M Wired, 376K Cache, 2023M Free
Swap: 2048M Total, 2048M Free

 2512 root          1  21    0 33424K  2300K tx->tx   0:00  0.00% zfs

zpool iostat 10

code:

               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
rpool        26.2G   774G      0      0    337     38
boot         11.0G  8.86G      0      1  2.64K  7.13K
data         1.08T  1.62T    310     24  28.2M   670K
----------  -----  -----  -----  -----  -----  -----
rpool        26.2G   774G      0      0      0      0
boot         11.0G  8.86G      0      0      0      0
data         1.08T  1.62T      0      0      0      0
----------  -----  -----  -----  -----  -----  -----
rpool        26.2G   774G      0      0      0      0
boot         11.0G  8.86G      0      0      0      0
data         1.08T  1.62T      0      0      0      0
----------  -----  -----  -----  -----  -----  -----

rpool is de data van opensolaris wordt niet gebruikt
boot is de boot pool van zfsguru
data is de pool waar de niet welwillende filesysteem zich op bevind
Ik heb inmiddels het filesysteem van het origineel weer erop gezet en de niet welwillende van naam veranderd, vandaar de hoeveelheid data in het eerste overzicht

[Lima]

Is het mogelijk om meerdere pc's naar dezelfde storage pool te laten verbinden adhv isci? Dus dat zowel mijn laptop als desktop hiernaar tegelijk kunnen verbinden en dezelfde data beschikbaar hebben?

[FireDrunk]

@Mafketel, is het ZFS level van die rpool niet te hoog voor ZFSguru?
Hoe kan je reads/writes zien op die pool als die niet gebruikt wordt?

[Mafketel]

FireDrunk schreef op woensdag 10 april 2013 @ 16:30:
@Mafketel, is het ZFS level van die rpool niet te hoog voor ZFSguru?

van een 2 jaar oude opensolaris, nee eerder te oud. pool is overigens op zfsguru aangemaakt en data daarna met zfs send receive gedupliceerd

Hoe kan je reads/writes zien op die pool als die niet gebruikt wordt?

Waarschijnlijk van het mounten? geen idee maar het is ook verschrikkelijk weinig.

Het probleem zit niet op de rpool maar op data.

Overigens geeft ctrl+t inmiddels

code:

load: 0.00  cmd: zfs 2512 [tx->tx_sync_done_cv)] 17480.56r 0.00u 0.02s 0% 2284k

[jacovn]

Even een vraag over de installatie van portstree, en shell utilitys.
De installatie duurt nog steeds (sinds 2 maanden) als ik kijk onder: services - manage - freebsd portstree - installation page. Dan kom ik uit onder services - install -categories -miscaelanious- freebsd portstree, en daar is nog een animatie te zien dat het geinstallleerd wordt.

Nu gaat de server af en toe maar aan, maar heeft wel vaak dagen aangestaan.

Ik vermoed dat het niet goed gaat met services installeren..

Ik draai:

Powered by ZFSguru version 0.2.0-beta8
Running official system image 9.1-005 featuring FreeBSD 9.1-RELEASE with ZFS v28.
Running Root-on-ZFS distribution.


Kan ik dit stoppen en opnieuw proberen ? Nog langer wachten lijkt me onzinnig.

[duiveltje666]

FireDrunk schreef op zaterdag 06 april 2013 @ 19:11:
Ik heb heel libvncserver en virtualbox via ports gerecompiled. Maar het beeld blijft zwart...

---

Toch leuk om even 32TB aan storage in je machine te hebben
Mijn 10*2TB gaat eruit, en heb 4 * Seagate HDD.15 4TB aangeschaft. Deze zitten nu in RAIDZ1 en er loopt een zfs send/receive van elk filesystem naar de nieuwe pool.

Schijven zijn heerlijk snel Halen ~120MB/s schrijven per stuk, dus de totale pool doet ~350MB/s (1 parity).
Verbruik moet ik nog meten, nog geen aandacht aan besteedt

DM me anders es? alles werkt hier met de laatste ports

[Kompaan]

Lima schreef op woensdag 10 april 2013 @ 16:10:
Is het mogelijk om meerdere pc's naar dezelfde storage pool te laten verbinden adhv isci? Dus dat zowel mijn laptop als desktop hiernaar tegelijk kunnen verbinden en dezelfde data beschikbaar hebben?

Niet met iSCSI, iSCSI moet je zien als een (virtuele) HDD, een HDD kan je ook niet tegelijk aan 2 PCs hangen. Beter zou zijn een CIFS/SMB/NFS share.

webbier schreef op woensdag 10 april 2013 @ 16:00:
Je zou een degraded raidz2 kunnen draaien, maar ideaal is dat niet.

Waarom niet eigenlijk?

[FireDrunk]

duiveltje666 schreef op woensdag 10 april 2013 @ 21:44:
[...]

DM me anders es? alles werkt hier met de laatste ports

Het werkt inderdaad al, ik heb heel world gerecompiled, en toen werkte ineens alles

[Remcor2000]

Ik heb een test systeem gebouwd op basis van een Intel moederbord S3200SH met een Intel Q6600.
2 schijven van 250gb samengevoegd door raid 0 naar 1 schijf van 500gb en daarnaast nog 2 schijven van 500gb. De bedoeling is om de pool te migreren naar een ander systeem en daar alle schijven te upgraden naar 1tb schijven.

Hier draai ik nu ZFSGuru op, waar ik als extra een Ubuntu installatie draai in een Virtualbox, ik had de virtualbox 4.1 met VNC support genomen. Maar iedere keer als ik een shutdown deed in de ubuntu omgeving, resette het hele systeem dus inclusief de ZFSGuru host. Ik had de Guest additions in Ubuntu geinstalleerd als mogelijke oplossing volgens diverse bronnen op internet, maar dit loste niets op.

Dit probleem kon ik niet traceren en heb uiteindelijk de nieuwste versie van virtualbox 4.2 geinstalleerd om te kijken of dat wel werkt. Via TinyVNC kon ik gewoon de server bereiken en bij het afsluiten gaat het nu goed.

Toch blijf ik me afvragen of ik hier iets vergeten was of iets fout gedaan heb. Enig idee?

[ Voor 4% gewijzigd door Remcor2000 op 11-04-2013 13:55 ]

[FireDrunk]

Hoeveel geheugen heeft je server?

[Remcor2000]

Op dit moment maar 2gb, in het nieuwe systeem word dit 8gb.

[FireDrunk]

En hoeveel geheugen heb je de VM gegeven?

[Remcor2000]

Uit mn hoofd 512mb

[FireDrunk]

Ik had zelf een probleem in die trend, omdat VirtualBox zijn geheugen niet forceerd over dat van ZFS heen, het kan dus zijn dat je ZFS geheugen je VM geheugen wegdrukt. Dit kan je oplossen door je ARC te limieteren tot een grootte waar die VM nog bij past, dus bijvoorbeeld 1.4GB ofzo.

Geen idee of het helpt, maar het kan.

[Remcor2000]

FireDrunk schreef op donderdag 11 april 2013 @ 15:07:
Ik had zelf een probleem in die trend, omdat VirtualBox zijn geheugen niet forceerd over dat van ZFS heen, het kan dus zijn dat je ZFS geheugen je VM geheugen wegdrukt. Dit kan je oplossen door je ARC te limieteren tot een grootte waar die VM nog bij past, dus bijvoorbeeld 1.4GB ofzo.

Geen idee of het helpt, maar het kan.

Ah top, thnx! Ik zal het in het achterhoofd houden voor toekomstige problemen. Deze info was ik ook nog niet eerder tegengekomen.

[Dadona]

Ik heb hetzelfde probleem, maar ik kan je alleen niet volgen FireDrunk. Als ZFS een VM weg zou drukken dan zou die VM moord en brand moeten uitschreeuwen, maar dat de host onderuit gaat?
Ik zou mij hooguit het omgekeerde kunnen voorstellen. Een VM die geheugen toegewezen heeft gekregen en dat er bij het teruggeven iets raars gebeurt bij de ZFS. Nog altijd zou het niet mogen gebeuren.
In mijn geval gebeurde het met een VM die 512MB aan geheugen kreeg terwijl de machine zelf 32GB aan boord heeft en slechts één 320GB hdd had. Schiet mij maar lek...

[FireDrunk]

Ik heb het hier veelvuldig getest. De kernel klapt gewoon keihard onderuit...
Waarom? Geen idee, ik denk dat het aan virtualbox ligt, en dat die kernel module een panic veroorzaakt.

Maar zeker weten doe ik het niet.

[Dadona]

Het is inderdaad een kernel panic. Binnenkort eens kijken of de zaak ook omvalt als je bijna alle versnellende functies hebt uitgeschakeld (te beginnen bij de CPU).

[jacovn]

niemand met een antwoord op de mislukte install van services onder ZFSguru ?

[Verwijderd]

@jacovn: zoiets heb ik niet eerder meegemaakt. Heb je al eens geprobeerd te rebooten en het opnieuw te proberen?

@Dadona: vbox heeft kernel modules en die zijn niet bugvrij. Sterker nog, de enige manier hoe ik tegenwoordig mijn server plat krijg is het draaien van virtualbox VMs. Helaas is de nieuwste 4.2.x versie nog niet geport naar FreeBSD.

[Dadona]

Is het vooral de hoop dat 4.2.x dat probleem niet heeft (recenter en mogelijk opgelost) of is er ook echt iets dat maakt dat je denkt dat het probleem daarmee opgelost zou zijn?

[Compizfox]

Verwijderd schreef op vrijdag 12 april 2013 @ 07:03:
Helaas is de nieuwste 4.2.x versie nog niet geport naar FreeBSD.

Echt wel. ZFSGuru heeft er zelfs een service van

[Verwijderd]

De nieuwste is 4.2.10 4.2.12, FreeBSD en ZFSguru hebben 4.2.6.

[ Voor 10% gewijzigd door Verwijderd op 12-04-2013 15:36 ]

[StygMa]

Ik heb FreeNAS 8.3.1 nu draaiend vanaf een usb-stick, maar omdat ik nog een kleine ssd heb liggen en ik liever de usb stick voor wat anders gebruik wil ik FreeNAS op de ssd zetten.

Hoe kom ik bij dit onderstaande menu? Of moet ik de usb stick niet bootable maken? Als ik nu boot dan loopt hij gelijk vanaf de usb stick (en hij is ook via web bereikbaar)



Ook lijkt hij continu alles opnieuw in te stellen/installeren (?) als ik hem opnieuw opstart. Is dat normaal dat hij elke keer al die stappen doorloopt of wordt het vlotter als je hem ergens op installeert?

[ Voor 4% gewijzigd door StygMa op 13-04-2013 18:20 ]

[nero355]

Ehh... is dat deze : http://www.freebsd.org/do...ook/using-sysinstall.html maar dan heel mini en simpel omdat het FreeNAS is ??

[jacovn]

Kan ik bij ZFSguru de L2arc zo maar verwijderen ?
Ik wil van mijn 2 drives terug naar 1 drive omdat ik toch geen slog wil doen. Dus ik moet de SDD her partitioneren.

[Verwijderd]

Jazeker. L2ARC kun je verwijderen, dan herpartitioneren (wel even TRIMen!) en daarna weer als L2ARC toevoegen.

[Waking_The_Dead]

Voor de mensen die zich misschien nog de problemen herinneren die ik had om Blu Ray ISO's af te spelen: het is me eindelijk gelukt. Ik heb een Intel netwerk kaartje in mijn server geplaatst ipv de onboard Realtek controller en nu werkt alles perfect. Hat probleem had dus niets met ZFS zelf te maken.

[FireDrunk]

Mooi! scheelt weer!

[Waking_The_Dead]

Zeg dat wel. Tot vorige week had ik hier voor €1100 aan hardware staan die ik niet kon gebruiken waarvoor ik het gekocht had.

[syl765]

Verwijderd schreef op zondag 14 april 2013 @ 07:46:
Jazeker. L2ARC kun je verwijderen, dan herpartitioneren (wel even TRIMen!) en daarna weer als L2ARC toevoegen.

Hoe bedoel je dit (wel even TRIMen) ?

gr
johan

[ Voor 7% gewijzigd door syl765 op 15-04-2013 16:07 ]

[Verwijderd]

TRIM is een instructie voor je SSD die een gedeelte van de SSD wist en 'teruggeeft' aan de SSD die het gebruikt als spare space. Dit is belangrijk voor het op peil houden van de prestaties. Als je dit niet doet en de ruimte ongebruikt laat, ziet de SSD deze ruimte nog steeds in gebruik en kan het deze ruimte niet gebruiken als spare space. Je SSD slijt hier onnodig sneller van.

Om je SSD te TRIMen kun je in ZFSguru tijdens het partitie bij het maken van de partitie een checkbox aanvinken dat de ruimte geTRIMed wordt. Alle opgeslagen gegevens in die partitie gaan dan verloren. Je hele SSD trimen doe je door één grote partitie aan te maken en dan te verwijderen, daarna een kleine partitie aanmaken naar wens.

[Ijstheefles]

Ben vandaag begonnen met een migratie van ubuntu + raid5 (5x2tb) + 2x 1tb los.

Wil hier 1x raidz mee gaan draaien, en 1x RAID1 voor de 2x 1tb.

Ben nu bezig om al mijn belangrijkste data te backuppen.

Als systeem heb ik 8GB geheugen, een intel g530 en.... een Highpoint 640L

Mijn vragen:
- Nog tips? =p
- Zijn er behalve met hdparm -I (op ubuntu) het serial nummer uitlezen en dat mappen tussen de /dev's en de fysieke hardeschijven, nog manieren om deze mapping te doen voor 't geval er een schijf uitvalt?
- Gaat 't hierboven gelinkte kaartje goed overweg kunnen met FreeNas?
- Storage zal ongetwijfeld lukken, ik heb nu alleen de volgende services draaien waarbij ik me afvraag of dit ook in FreeNAS kan;

- Torrents (al dacht ik dat op het forum al te zien)
- Crashplan daemon
- (Zou leuk zijn; Virtualbox. Performance boeit weinig)
- Ssh server
- ( Zou leuk zijn; Nagios, Puppet)
- ( Zou leuk zijn; Boinc )
- Ngix /Apache (liefst beide)
- ( Zou leuk zijn; Tomcat)
- (Zou leuk zijn; git / git servertje )

[u_nix_we_all]

Verwijderd schreef op maandag 15 april 2013 @ 16:10:
TRIM is een instructie voor je SSD die een gedeelte van de SSD wist en 'teruggeeft' aan de SSD die het gebruikt als spare space. Dit is belangrijk voor het op peil houden van de prestaties. Als je dit niet doet en de ruimte ongebruikt laat, ziet de SSD deze ruimte nog steeds in gebruik en kan het deze ruimte niet gebruiken als spare space. Je SSD slijt hier onnodig sneller van.
[....]

Dat laatste wist ik niet. Snap ik ook niet helemaal, je totale aantal writes blijft hetzelfde, en de SSD-controller doet toch sowieso al hotspots moven / reallocation etc ?

Wat ik wel weet is dat zonder TRIM je SSD bij een schrijfactie eerst de cel moet erasen voordat er geschreven kan worden, en je daardoor flink performance verliest.

[GrooV]

Is het slim om met 3x3TB RAIDZ te beginnen, data kopieren en dan 2x2TB in mirror nog toe te voegen?

Wat zou anders een slimme redundante setup voor 3x3 + 2x2 zijn? Of kan ik beter die 2x2 verkopen en een extra 3T halen?

[Verwijderd]

u_nix_we_all schreef op maandag 15 april 2013 @ 19:33:
Dat laatste wist ik niet. Snap ik ook niet helemaal, je totale aantal writes blijft hetzelfde, en de SSD-controller doet toch sowieso al hotspots moven / reallocation etc ?

SSDs bepalen zelf waar ze hun data naartoe schrijven. Deze write redirection of write remapping wordt bijgehouden in de mapping tables. Een soort inhoudsopgave die het verschil bijhoudt tussen hoe de host denkt dat data is opgeslagen en waar de SSD deze écht heeft opgeslagen. Als je een TRIM-commando stuurt naar de SSD dan zal de SSD simpelweg de mapping table bijwerken en de betreffende plek uit de mapping tables halen. Je begint dus met een nieuwe SSD met een lege mapping table, alles waar je naartoe schrijft dat 'claim' je als het ware.

Als je je SSD een tijd als L2ARC hebt gebruikt, zit die tabel best vol. Vooral omdat je allemaal kleine writes doet en de mapping table dus best wel complex is geworden met heel veel kleine verwijzingen. Als je reboot dan begint ZFS vrolijk met de SSD/L2ARC alsof hij nieuw toegevoegd is. Maar de SSD moet nog een heleboel dingen onthouden. De SSD kan alle in het verleden geclaimde data niet zomaar afschrijven; weet die veel dat de host deze nooit meer zal gebruiken. Daar is dus TRIM voor. Dan zeg je tegen de SSD 'maakt me niet uit wat je met deze data doet'. De SSD past daarbij dus de mapping tables aan.

Nu de crux, als de SSD zonder lege erase blocks komt te zitten, moet het extra werk gaan doen om wat data te kunnen schrijven. Hoe meer ruimte je geclaimed hebt, des te minder erase blocks vrij, grofweg. Dit heeft invloed op write amplification. Je host schrijft 4K maar je SSD moet 512K+512K = 1MiB aan erase+write doen. In dit geval is de WAf dus factor 1:256. De SSD moet 256 keer extra werk doen om dat ene 4K blokje te kunnen schrijven. WAf drukken we altijd uit in gemiddelden over een hele workload, dan kom je tussen de 1.02 en 10.0 uit ofzo, afhankelijk van hoe lastig de workload en hoe leeg de SSD is.

Nu komen we op wat je zegt:

Wat ik wel weet is dat zonder TRIM je SSD bij een schrijfactie eerst de cel moet erasen voordat er geschreven kan worden, en je daardoor flink performance verliest.

Het probleem is dat wat jij 'cel' noemt, eigenlijk een erase block is van 512K (tussen 128K en 1024K). Het probleem is dus dat de sector size die de host krijgt te horen, namelijk 512 bytes (0.5K) veel kleiner is dan de échte sector size van 512K die dus duizend keer groter is. Dit verschil in sector size versus erase block size zorgt eigenlijk voor veel problemen. In feite wordt het nut van sector size hier verspild; het idee was juist dat de host rekening kan houden met het opslagapparaat. Dat lukt op deze manier niet en kost de SSD dus veel werk.

Write amplification zorgt niet enkel voor tragere prestaties, maar ook extra wear; immers je moet meer werk doen dan de host stuurt. Je kunt zeggen per 100GB host writes moet de SSD 150GB aan werk doen. Dan is de WAf dus 1.50 wat nog steeds heel laag is. Met L2ARC kan het veel hoger zijn. Prestatieverlies en extra slijtage gaan dus hand in hand. Als je SSD traag is, betekent dit ook dat hij sneller slijt. Samsung houdt bijvoorbeeld een WAf aan van factor 3 in zijn berekeningen qua levensduur. Dat is nog optimistisch, want Samsung heeft een hogere WAf dan andere SSDs.

Wat jij misschien weet is wear leveling. Dat is iets heel anders. Dat voorkomt dat de ene block meer wear krijgt dan andere blocks. Grofweg zorgt wear leveling ervoor dat de minst en meest beschreven block binnen een marge van 1% ligt (waarbij 100% de totaal aantal writes is dat gegarandeerd is). Wear leveling en write remapping zijn dus twee verschillende dingen. Beide verhogen de write amplification.

Met TRIM geef je dus een hele lap aan blocks terug aan de SSD, waardoor de write amplification omlaag gaat. De SSD heeft zo meer blocks ter beschikking zodat het minder vaak hoeft te erasen en data te verplaatsen. Als je je SSD maar voor 50% gebruikt (dus ook partitioneert zodat je nooit naar de overige 50% schrijft) dan heb je geen TRIM meer nodig. Zakelijke gebruikers doen dit veel, omdat TRIM in zulke situaties juist heel veel performance kost. De SSD gebruikt wel degelijk 100% van de NAND pages, maar bij elke remap komt de originele locatie van die logische blok weer vrij. Kortom, je claimed nieuwe plekken maar de SSD krijgt de oude plek weer retour. Als je poel maar groot genoeg is, zal deze nooit opdrogen. Dan heb je de laagste Write Amplification en dus ook de beste prestaties en zorgt het voor de minste wear.

GrooV schreef op maandag 15 april 2013 @ 22:38:
Is het slim om met 3x3TB RAIDZ te beginnen, data kopieren en dan 2x2TB in mirror nog toe te voegen?

Heel veilig is zo'n setup niet. Je hebt wel veel overhead, maar je kunt maar max 1 disk gegarandeerd kwijtraken. Ook heb je na een disk verlies al geen volledige bescherming meer tegen bad sectors.

Beter is 10 disks in RAID-Z2. Dan heb je maar 2 disks (20%) overhead, maar wel betere bescherming en na een disk verlies en dus tijdens rebuild nog wel volledige bescherming tegen bad sectors.

[GrooV]

Verwijderd schreef op dinsdag 16 april 2013 @ 07:42:
[...]

Heel veilig is zo'n setup niet. Je hebt wel veel overhead, maar je kunt maar max 1 disk gegarandeerd kwijtraken. Ook heb je na een disk verlies al geen volledige bescherming meer tegen bad sectors.

Beter is 10 disks in RAID-Z2. Dan heb je maar 2 disks (20%) overhead, maar wel betere bescherming en na een disk verlies en dus tijdens rebuild nog wel volledige bescherming tegen bad sectors.

Is er geen goedkopere oplossing

Het gaat hier overigens niet over kritische data maar over data die ik in de jaren verzameld heb en toch wel zonde vind als het weg is.

Documenten, foto's, source code staat allemaal al redundant

[ Voor 15% gewijzigd door GrooV op 16-04-2013 09:15 ]

[Verwijderd]

Goedkoper? Jouw oplossing is duurder toch. Jij bent 4 disks kwijt aan overhead, terwijl je maar max 1 schijf veilig kwijt kan zijn - terwijl je dan ook bescherming verliest tegen bad sectors. Mijn oplossing betekent dat je 2 disks kwijt bent aan overhead, terwijl je max 2 schijven kwijt kan zijn, en 1 schijf kwijt heb je nog bescherming tegen bad sectors. Dus in alle opzichten beter.

Misschien moet je iets meer uitleggen wat je wilt kopen, wat je al hebt en kortom, iets meer over je situatie? Je hebt het namelijk over data kopiëren, leg eens precies uit wat je wilt?

[Waking_The_Dead]

Verwijderd schreef op dinsdag 16 april 2013 @ 10:02:
Goedkoper? Jouw oplossing is duurder toch. Jij bent 4 disks kwijt aan overhead, terwijl je maar max 1 schijf veilig kwijt kan zijn - terwijl je dan ook bescherming verliest tegen bad sectors. Mijn oplossing betekent dat je 2 disks kwijt bent aan overhead, terwijl je max 2 schijven kwijt kan zijn, en 1 schijf kwijt heb je nog bescherming tegen bad sectors. Dus in alle opzichten beter.

Misschien moet je iets meer uitleggen wat je wilt kopen, wat je al hebt en kortom, iets meer over je situatie? Je hebt het namelijk over data kopiëren, leg eens precies uit wat je wilt?

Jij spreekt over 10 schijven en hij heeft er maar 5. Jouw oplossing is dus duurder :-)
En volgens mij is hij ook maar 2 schijven kwijt aan redundantie nu, geen 4.

3x3TB in RAIDZ1 --> 1 redundante schijf
2x2TB in mirror --> 1 redundante schijf

[GrooV]

Ik heb nu een Windows Server / Mediacenter draaien met:
2x2TB
1X1.5TB
2x1TB

7.5TB totaal in niet RAID. Nu zijn de 1t's sowieso aan vervanging toe dus die wil ik in principe niet meer gebruiken. Omdat de data gekopieerd moet worden wil ik eerst een pool(?) op zetten om het meeste te kunnen kopiëren om zo de 2TB's vrij te spelen. Maar omdat de pool niet uitgebreid kan worden wilde ik er een bijzetten

Alle hardware hiervoor moet gekocht worden, ik zit nu rond de 300euro voor HW zonder de schijven en het zou fijn zijn als er niet voor het dubbele nog aan schijven geïnvesteerd hoeft te worden

Ik wil trouwens ZFSGuru gaan draaien met rond de 8TB aan netto storage en het mediacenter gedeelte komt dan op een andere machine (Raspberry Pi oid) gaan draaien.

[ Voor 7% gewijzigd door GrooV op 16-04-2013 10:14 ]

[FireDrunk]

@CiPHER, al die verhalen over trim doen mij denken: is het niet handig om een cron job te maken met een trim van zil en l2arc?

[Waking_The_Dead]

GrooV schreef op dinsdag 16 april 2013 @ 10:13:
Ik heb nu een Windows Server / Mediacenter draaien met:
2x2TB
1X1.5TB
2x1TB

7.5TB totaal in niet RAID. Nu zijn de 1t's sowieso aan vervanging toe dus die wil ik in principe niet meer gebruiken. Omdat de data gekopieerd moet worden wil ik eerst een pool(?) op zetten om het meeste te kunnen kopiëren om zo de 2TB's vrij te spelen. Maar omdat de pool niet uitgebreid kan worden wilde ik er een bijzetten

Alle hardware hiervoor moet gekocht worden, ik zit nu rond de 300euro voor HW zonder de schijven en het zou fijn zijn als er niet voor het dubbele nog aan schijven geïnvesteerd hoeft te worden

Ik wil trouwens ZFSGuru gaan draaien met rond de 8TB aan netto storage en het mediacenter gedeelte komt dan op een andere machine (Raspberry Pi oid) gaan draaien.

Ik veronderstel dat je die 3x3TB nieuw gaat kopen en die 2x2TB zult hergebruiken?
Als je nu een extra 3TB koopt en van die die 2TB en 1TB schijven virtuele 3TB schijven maakt, kan je 6x3TB in RAID-Z2 zetten. Dan heb je uiteraard wel een conroller nodig waar je 8 schijven aan kan hangen.
Of, in plaats van 3x3TB nieuw te kopen, koop je 4x2TB om dan een 6x2TB RAID-Z2 te maken.

Maar dan heb je ook nog het probleem dat je tijdelijke storage nodig hebt om je huidige data over te sluizen.
Daarvoor kan je aanvankelijk een degraded RAID-Z2 draaien met 4 schijven. Dan je oude data kopiëren en van zodra er een schijf vrijkomt, die aan de degraded vdev hangen.

[ Voor 6% gewijzigd door Waking_The_Dead op 16-04-2013 11:03 ]

[Verwijderd]

@GrooV: excuus ik las jouw bericht als 3 keer een RAID-Z van elk 3 disks.

Dan is één RAID-Z met 3 disks en een mirror inderdaad het max haalbare. Je hebt erg verschillende groottes dat maakt het lastiger.

FireDrunk schreef op dinsdag 16 april 2013 @ 10:51:
@CiPHER, al die verhalen over trim doen mij denken: is het niet handig om een cron job te maken met een trim van zil en l2arc?

Absoluut niet, that defeats the whole purpose.

Wat wel kan, is tijdens de boot de L2ARC detachen, TRIMen en weer toevoegen. Dat kan eventueel geautomatiseerd worden.

SLOG TRIMen is onzinnig, bovendien gaat dat om weinig ruimte. L2ARC TRIMen terwijl hij in gebruik is vernietigt juist je caches, dat wil je niet dan kun je beter helemaal geen L2ARC gebruiken. Maar tijdens de boot zou dat wel kunnen. Zelf denk ik dat je met overprovisioning niet zoveel last hebt hiervan.

[GrooV]

Waking_The_Dead schreef op dinsdag 16 april 2013 @ 11:00:
[...]


Ik veronderstel dat je die 3x3TB nieuw gaat kopen en die 2x2TB zult hergebruiken?
Als je nu een extra 3TB koopt en van die die 2TB en 1TB schijven virtuele 3TB schijven maakt, kan je 6x3TB in RAID-Z2 zetten. Dan heb je uiteraard wel een conroller nodig waar je 8 schijven aan kan hangen.
Of, in plaats van 3x3TB nieuw te kopen, koop je 4x2TB om dan een 6x2TB RAID-Z2 te maken.

Maar dan heb je ook nog het probleem dat je tijdelijke storage nodig hebt om je huidige data over te sluizen.
Daarvoor kan je aanvankelijk een degraded RAID-Z2 draaien met 4 schijven. Dan je oude data kopiëren en van zodra er een schijf vrijkomt, die aan de degraded vdev hangen.

Klinkt interessant, even financieel narekenen

Verwijderd schreef op dinsdag 16 april 2013 @ 11:03:
@GrooV: excuus ik las jouw bericht als 3 keer een RAID-Z van elk 3 disks.

Dan is één RAID-Z met 3 disks en een mirror inderdaad het max haalbare. Je hebt erg verschillende groottes dat maakt het lastiger.

Even een dubbel check, kan het verhaal van Walking_The_Dead ook?

[Verwijderd]

2TB schijven kopen voor een 6-disk RAID-Z2 met 2TB disks lijkt mij dan nog het meest economisch. Dan heb je effectief 4*2=8TB ter beschikking. En 33% overhead wat redelijk is. Ook is deze configuratie gunstig voor nieuwe 4K sector schijven.

En ja, je kunt inderdaad een double-degraded RAID-Z2 maken van 6 disks waarvan er maar 4 disks aanwezig zijn. Dan kopiëer je data van je oude disks naar de degraded pool. Daarna voeg je de schijven toe aan de pool en is deze complete. Dit kan in ZFSguru. Je maakt dan twee memory disks aan en gebruikt 4 echte schijven die leeg moeten zijn/geformatteerd worden. Na het rebooten zijn de memory disks weg en heb je dus een degraded pool van 6 disks waarvan er maar 4 aanwezig zijn. Die is dan bruikbaar en kun je data naar kopiëren. Daarna voeg je de resterende 2 schijven toe aan de pool. Dit is niet erg moeilijk, beetje hulp via DM bied ik je graag.

[u_nix_we_all]

CIPHER,

Dank voor je uitgebreide uitleg over SSD en TRIM, zeer verhelderend !

[DaCoTa]

GrooV schreef op dinsdag 16 april 2013 @ 10:13:
Ik heb nu een Windows Server / Mediacenter draaien met:
2x2TB
1X1.5TB
2x1TB

Zijn al die schijven vol? Ik zt nml. met een dergelijk overgangsdilemma. Wat ik gedaan heb ik op de nieuwe schijven die ik gekocht had een Raidz1 partite te maken die niet de hele ruimte besloeg. Hiermee kon ik genoeg andere disks vrij maken zodat ik een raidz2 partitie single degraded te maken, waarna ik alle data daarop ging zetten. Op die manier heb ik nooit helemaal degraded gedraait. Maar dan moet je goed rekenen en puzzelen om zeker te weten dat alles past. En op ZFS nam het allemaal net iets meer in beslag dan op NTFS, dus ben bijna vastgelopen in mijn overzet-strategie.

Ik ben uiteindelijk uitgekomen op een 6 disk RaidZ2 array met 3x2TB en 3x3TB. Alle 2TB's waren al redelijk oud, dus die ga ik op een bepaald moment wel vervangen door 3TB's en zo de array van 8TB naar 12TB vergroten zonder de hele array opnieuw op te hoeven bouwen. Of er dan 3TB's of 4TB's naast komen laat ik afhangen van de prijs/GB op dat moment.

[ Voor 18% gewijzigd door DaCoTa op 16-04-2013 14:29 ]