Het grote ZFS topic

[FireDrunk]

Is dbus standaard wel geinstalleerd?

@Phorze, juist daarom baal ik zo van de slechte implementatie van VirtIO in de FreeBSD kernel icm VirtualBox, want daar haal ik nog niet eens 3Gb, en dat terwijl je makkelijk > 10Gb moet kunnen halen.

[ Voor 73% gewijzigd door FireDrunk op 22-11-2012 07:56 ]

[B2]

Verwijderd schreef op donderdag 22 november 2012 @ 00:09:
[...]

Zet dit eens in je /etc/rc.conf vlakbij de info die er al staat:
netatalk_enable="YES"
afpd_enable="YES"
avahi_daemon_enable="YES"
# Without this, browsing in the Mac Finder seems to work in some folders, but will spin for ages in larger folders
cnid_metad_enable="YES"
# Without this the Avahi Zeroconf registrations don't work
dbus_enable="YES"

werkt het dan?

Jup, dat werkt.

[HyperBart]

Ik denk dat ik met een defecte SAS naar SATA kabel zit .

Ik heb zonet mijn 5 x 3TB Hitachi's overgebouwd van mijn N40L naar mijn ESXi-bak. So far so good, netjes wat aan cable mgmt gedaan. Ik gebruik nu een gepasstroughede M1015 in IT mode voor een ZFSguru VM met 16GB aan RAM en 2 vCPU's.

Als ik de M1015 van bovenuit bekijk en ik zie de twee SAS-poorten (diegene het dichtst tegen de bracket en diegene het verst er vanaf, om ze maar even identificeerbaar te maken).

Daar zitten twee SAS naar SATA breakout kabels in, diegene die het dichtst bij de bracket zit gaat op P3 naar mijn Crucal M4 en op P0 naar de bovenste van mijn 5 Hitachi's. De tweede SAS naar SATA wordt gebruikt voor de 4 volgende disks...

De 1ste Hitachi (die dus op die problematische kabel (of poort? ) hangt) werd eerst niet gedetecteerd en nu wel maar ik zie nergens type nummer zoals bij mijn andere disks. Ik heb toen wat "gewikkeld" aan de SAS kabel en toen zag ik op mijn M1015 de LED wat flikkeren, toch maar even een refresh gedaan en toen was ie er weer...

Gek genoeg komt de M4 wel nog steeds niet online...

Wat denken jullie? Ga nu de poorten eens verwisselen, zien wat dat geeft...

[Verwijderd]

Ik denk gelijk: kijk naar de UDMA CRC Error Count SMART-attribuut van de aangesloten schijven. Dan hoor je direct te zien welke schijf kabelproblemen had. Je kunt ook problemen met stroomverdeelstekkers hebben. Dus kijk naar de Power Cycle Count of die misschien heel hoog is - onverklaarbaar hoger dan de overige disks op dezelfde controller of andere disks die je ongeveer gelijk hebt gebruikt. In dat geval is een stroomverdeelstekkertje die soms geen soms wel contact maakt mogelijk de oorzaak.

Dus: SMART is je vriend. In elk geval lijkt me dat een goede eerste stap.

[analog_]

HyperBart schreef op zaterdag 24 november 2012 @ 18:55:
[...]

Ik heb ook problemen gehad met een m1015 naar LSI9211-IT (nieuwste firmware) en een Crucial m4 (nieuwste fw). Bij mij manifesteert het zich ook als kabel problemen. Ik heb er echter vier m4's aan gehangen en er werkt er eentje altijd brak (alsof kabel probleem). Die 'brakke' SSD werkt echter op een intel desktop chipset controller prima Het kan toeval zijn of niet... ik gebruik dezelfde kabels nu met harde schijven zonder problemen

[Verwijderd]

Nieuwste firmware van Crucial M4 heeft ook problemen, probeer de voorgaande versie. Wel een afgang voor Crucial, want tot dusver was hun firmware vrij stabiel.

[EnerQi]

Hmm kan iemand me even helpen?

Ik probeer de complete sabnzbd map te kopieren naar downloads doormiddel van deze commando:

code:

cp -p /BootZFS/zfsguru/services/9.1-004 /BootZFS/Downloads

Helaas krijg ik als output:

code:

zfsguru.bsd$ cp -p /BootZFS/zfsguru/services/9.1-004 /BootZFS/Downloads
cp: /BootZFS/zfsguru/services/9.1-004 is a directory (not copied).

Dit is overigens correct . Maar mijn vraag is nu hoe ik die directory nu gekopierd krijg.

Hmmm googlen is nog altijd sneller. Gebruik de "r" . Dus "cp -pr"
bron: http://www.us-webmasters....ursively-in-unix-FreeBSD/

Heeft iemand een overzicht met de meestgebruikte commando's in Freebsd?

[FireDrunk]

http://www.us-webmasters....-Cheat-Sheet/Commands.txt

Keywords om bij dat soort dingen op te zoeken is "Cheat Sheet".

[HyperBart]

analog_ schreef op zaterdag 24 november 2012 @ 21:04:
[...]

Ik heb ook problemen gehad met een m1015 naar LSI9211-IT (nieuwste firmware) en een Crucial m4 (nieuwste fw). Bij mij manifesteert het zich ook als kabel problemen. Ik heb er echter vier m4's aan gehangen en er werkt er eentje altijd brak (alsof kabel probleem). Die 'brakke' SSD werkt echter op een intel desktop chipset controller prima Het kan toeval zijn of niet... ik gebruik dezelfde kabels nu met harde schijven zonder problemen

Bij mij wordt de M4 gewoon tout court niet gedetecteerd... Maar dat is van secundair belang, eerst moet ik mijn data veilig stellen...

Verwijderd schreef op zaterdag 24 november 2012 @ 19:18:
Ik denk gelijk: kijk naar de UDMA CRC Error Count SMART-attribuut van de aangesloten schijven. Dan hoor je direct te zien welke schijf kabelproblemen had. Je kunt ook problemen met stroomverdeelstekkers hebben. Dus kijk naar de Power Cycle Count of die misschien heel hoog is - onverklaarbaar hoger dan de overige disks op dezelfde controller of andere disks die je ongeveer gelijk hebt gebruikt. In dat geval is een stroomverdeelstekkertje die soms geen soms wel contact maakt mogelijk de oorzaak.

Dus: SMART is je vriend. In elk geval lijkt me dat een goede eerste stap.

code:

199     UDMA_CRC_Error_Count    0x000a  200     200     000     -   21

Power Cycle Count ligt niet abnormaal hoger... 70 terwijl op 2 andere disks het op 68 staat...

Ik begin dus echt te denken aan die breakout kabel...

CiPHER, je hebt het vaak gezegd in dit topic, en daarom heb ik er ook op gelet: Ik gebruik geen MOLEX-stroomsplitters, ik gebruik WEL SATA-splitters, maar op de problematische disk gebruik ik een rechtstreekse SATA connector van mijn voeding...

Ik heb 4 disks op één kabel hangen, en die problematische disk samen met de M4 op de andere...

Hoe zouden jullie testen? Ik wil geen verlies van data en ik wou het volgende doen:

Om de connectors van de M1015 te testen wou ik de kabels gewoon even verwisselen, als dan de 4 disken plots problemen hebben, dan weet ik dat de connector defect is. Als de andere disk dan nog steeds problemen heeft weet ik dat het de kabel is...

Maar ik had graag even afgecheckt of dat wel zo een goed idee is, qua dataveiligheid? De pool wordt nu niet gebruikt (was toch nog in overbouwfase)...


En het wordt ook tijd voor dubbele intake-fan... Temperatuur van de disken ging richting de 46 graden, de server ligt nu volledig open, front-panel er ook vanaf gedaan en nu zitten ze rond de 37-40.

[Verwijderd]

Ik zie het gevaar niet zo? ZFS is niet zo gevoelig. Schrijven naar degraded pool is wel een klein risico, maar alleen als je schijven nooit meer terugkomen.

Je verdenkt dus zo'n Mini-SAS kabel, en je hebt inderdaad kabelfouten op in elk geval één schijf. Dus probeer een andere mini-SAS kabel eens. Je kunt een read-only disk benchmark doen om de kabel te testen; gewoon veel data door de kabel duwen en kijken of je UDMA CRC Error Count hetzelfde blijft. Zo niet, dan heb je een brakke kabel of zijn er andere rare dingen aan de hand.

[FireDrunk]

Bah, ik word naar van dat VirtualBox op FreeBSD, krijg nu gezever met de uid/gid instellingen die ik heb op mijn Ubuntu VM. Die permissies blijven kut.

Iemand die umask en dmask gebruikt onder VirtualBox icm FreeBSD?

[Verwijderd]

Wat heeft uid/gid met VirtualBox te maken? Wat werkt er niet? Ik snap het niet zo? Kun je niet bij de .vhd/.vdi files komen ofzo?

[HyperBart]

Echt rare problemen hier...

Heb (online/hotswap) de SAS connectors verwisseld, en allereerst leek het mijn vermoeden te bevestigen: die kabel is brak want die ene disk kwam niet terug, pool degraded... OK... Maar toen merkte ik op dat ineens wel mijn Crucial M4 gedetecteerd werd (terwijl die ene disk die op dezelfde breakout kabel zit neit gedetecteerd werd). Vreemd... Ondertussen probeerde ik mijn pool nog wat te analyseren, evt wat tests te doen en toen reageerde de ZFSGuru webif helemaal niet meer (ik zag nog net dat mijn pool "unavailable" was geworden". Toen maar even gereset in de VM op ESXi om dan weer de msi en msix enable="0" uit te voeren (ja ik moet 'm eens in configfile zetten).

Gereboot, buiten het degraded niks aan de hand... En die ene disk kwam niet meer te voorschijn... Prima dacht ik, als die toch niet mee doet in het verhaal, kan ik die zowieso met een gerust hart afkoppelen en dan hang ik 'm even aan een ander SATA kabeltje van dezelfde "breakout". Op dat moment merk ik dat weer mijn hele pool unavailable is...

Bizar, ik begin nu (godvernondegloeiende ) mijn M1015 te verdenken...

EDIT: Het vasthangen van ZFSguru heb ik al teruggekoppeld op het feit dat wanneer de pool unavailable is en je klikt er op dat ZFSguru (de webif) dan precies helemaal lijkt vast te hangen...


EDIT2: Ok, even de feiten:

Na het overbouwen constateerde ik problemen met een van mijn disks... Aangezien mijn SSD ook niet werd gedetecteerd nam ik aan dat de defecte disk te zoeken was op dezelfde breakout cable. Ik stond toen nog niet te fel te kijken naar mijn Labels van mijn disks, omdat ik dacht dat ik bij het overbouwen toch ergens een foutje had gemaakt qua volgorde in de case. Nu ben ik eens wat nader aan het inspecteren en nu merk ik op dat sinds ik de SAS connectors verwisseld heb, het device op P0 van de kabel met 4 disken er aan(wat mijn 5de en "onderste disk in de case" is) problemen geeft... Exact hetzelfde symptoom als wat ik had toen de breakoutcable met SSD en HDD er op hing (SSD hangt op de P3 en de HDD op de P0). Het enige wat ik niet kan verklaren is waarom bij de ene poort de SSD wel netjes gedetecteerd wordt, en bij de andere niet...

Wat denken jullie? Defecte poort(en) op de controller of brakke controller tout court?


Ik heb dit nooit aan de hand gehad toen ik 4 x 80GB er aan had hangen... Ik ga dat nu eens terug testen...

[ Voor 38% gewijzigd door HyperBart op 26-11-2012 00:33 ]

[Durandal]

Ga eens met 1 disk testen en ga alle poorten af. Laat de kabels op de M1015 zitten hoe ze zitten.
Dan een andere disk enz. tot je alle combo's hebt gehad.
Het duurt even maar dan weet je waarschijnlijk wat meer.

HyperBart schreef op zondag 25 november 2012 @ 23:33:
Ik heb dit nooit aan de hand gehad toen ik 4 x 80GB er aan had hangen... Ik ga dat nu eens terug testen...

Heb je trouwens al aan je voeding gedacht?

[ Voor 29% gewijzigd door Durandal op 26-11-2012 02:53 ]

[Durandal]

Ik heb 2 disks over en zit er over te denken die te gebruiken (met een microatx atom bordje dat ik ook over heb) om een backup NASje te maken met een tijdschakelaar oid ergens anders in huis.

ZFS mirror, en dit keer op ZFSGuru.
Draait ZFSGuru al goed op een USB stick? En ik wil bij voorkeur geen onderhoud, dus zit er toevallig ook auto-scrub op?

[Verwijderd]

@HyperBart: wellicht dat je even van LiveCD of USB stick met ZFSguru wilt booten en dan een 'dd' commando starten per disk. En dan de SMART informatie bijhouden of UDMA CRC Error Count verandert. Dat geeft namelijk de kabelfouten aan. Als je ZFSguru vanaf USB stick of LiveCD draait, zou deze geen of minder last moeten hebben van timeouts/kabelproblemen op je datadisks. Ook kun je dit trucje doen zonder je pool te importeren dus ZFS is dan helemaal niet actief met jouw disks.

Je mag me ook DMen. Ik sta altijd klaar voor jullie.

@Durandal: ZFSguru doet geen automatische scrub. Je kunt naturlijk wel vrij eenvoudig een cronjob laten draaien die elke week een scrub doet. USB stick gaat ook niet eeuwig mee met ZFSguru omdat er writes naartoe gaan. Of je daar problemen mee krijgt weet ik niet. Als straks de embedded functionaliteit werkt, denk ik dat je het beste een nieuwe install kunt doen op een nieuwe USB stick. Daarna ben je inderdaad zo goed als klaar met onderhoud en kun je het jarenlang laten draaien zonder omkijken. Dat is namelijk wel de potentie van ZFS!

[FireDrunk]

Atom is toch geen 64bit? Dus sowieso niet aan te raden?

[Verwijderd]

Alleen de oudere Atoms chips doen geen 64-bit, maar zelfs een DDR2 Atom D510 draait ZFSguru.

Sommige 'N' en 'Z' atoms doen inderdaad geen 64-bit. De Intel ark is onze vriend.

[FireDrunk]

Ok, dat valt dan wel weer mee, maar alle Atoms hadden nog steeds een 4GiB limiet?

[u_nix_we_all]

HyperBart schreef op zondag 25 november 2012 @ 23:33:

Wat denken jullie? Defecte poort(en) op de controller of brakke controller tout court?

Ik heb zelf gemerkt dat die mini-sas connector (die dus op je controller inplugt) ook best vaak problemen geven. Soms zitten die niet helemaal 100% erin, en dat geeft ellende.

[strandbal]

OK, even kijken of ik het nou goed snap. Ik heb een WD 1.0TB Green harddisk op de kop getikt, om mijn "bad sector" drive uit m'n RAIDZ te gaan vervangen. Ik vertrouw 'm toch niet helemaal.

Mijn oude disks zijn allemaal Samsung 512-byte 1.0TB HDD's. Bij het aanmaken van de pool is de ashift op 9 gekomen.

De WD Green is een "advanced format" kreng. Dit gaat dus niet werken als ik 'm 1-op-1 vervang heb ik begrepen?

Ik moet dus de pool destroyen en opnieuw aanmaken met ashift=12. Kan ik gewoon een RAIDZ aanmaken met twee oude Samsungs en een nieuwe WD Green? Ik snap dat de oude HDD's de performance bepalen, maar ik voel er niets voor om nog twee 4kb drives te gaan zoeken...

Overigens is dit wel knap irritant lijkt me, als je een flink ZFS nasje hebt van een jaar of twee en er beginnen schijven uit te vallen. Er wordt niet veel meer verkocht wat geen 4kb drive is.

[FireDrunk]

Werkt wel, je WD Green is alleen wat trager omdat hij intern voor elke 512 byte write een 4k write moet doen (meer geheugen in gebruik, meer nadenken enzo). En hij gaat dus je pool wat vertragen.

Je kan hem er prima tussen zetten.

Pool destroyen en opnieuw opbouwen levert je maar een paar procent meer performance over.
Die andere schijven worden namelijk niet sneller van 4k writes...

[Verwijderd]

Ik heb een WD 1.0TB Green harddisk op de kop getikt, om mijn "bad sector" drive uit m'n RAIDZ te gaan vervangen. Ik vertrouw 'm toch niet helemaal.

Wat is exact je probleem met die 'bad sector drive' dan? Want ZFS is juist erg tolerant versus bad sectors, doe worden automatisch gefixed.

De WD Green is een "advanced format" kreng. Dit gaat dus niet werken als ik 'm 1-op-1 vervang heb ik begrepen?

Advanced Format schijven emuleren een 512-byte sectorsize. Dus dat gaat gewoon werken. Wel trager, je oudere schijven kunnen hierdoor worden afgeremd door de nieuwe 4K schijf als deze sectorsize emulatie moet uitvoeren. Dat laatste gebeurt als slechts een deel van de sector wordt beschreven, zoals 2 kilobyte van een 4K sector. Dan moet eerst de hele 4K sector worden gelezen, en dan weer 4K geschreven met zowel oude als nieuwe data. Vooral dat moeten lezen remt de zaak af.

Of je er veel van zult merken is de vraag; de schijf is van nature ook weer sneller. Maar echt optimaal is dit natuurlijk niet. Maar je alternatieven zijn niet zo goed. Als je kan zou je de pool inderdaad opnieuw kunnen aanmaken met 4K sector optimalisatie. Maar als je geen zin/mogelijkheden ziet om je data tijdelijk ergens te stallen, zou ik het lekker zo laten.

[strandbal]

Verwijderd schreef op maandag 26 november 2012 @ 19:27:
[...]

Wat is exact je probleem met die 'bad sector drive' dan? Want ZFS is juist erg tolerant versus bad sectors, doe worden automatisch gefixed.

Bij elke scrub actie wordt het aantal current_pending_sectors weer aardig verhoogd, ik zit nu al op 160. Ik zie steeds meer foutmeldingen ook in dmesg, plus dat ik deze schijf redelijk voordelig op de kop kon tikken.

Of je er veel van zult merken is de vraag; de schijf is van nature ook weer sneller.

Ik kan het dus wel gewoon proberen? Ik had dacht ik ergens gelezen dat het niet eens zou gaan. Ik kan de data wel even opschuiven, maar dat kost me wel een paar uurtjes. Dan probeer ik het gewoon, en als de performance redelijk OK is laat ik het zo nog even doordraaien.

[Verwijderd]

Wat je kunt doen is: alle data op één schijf opslaan. Dan je RAID-Z pool destroyen, opnieuw aanmaken maar met één memory disk. Daarna rebooten zodat je een degraded RAID-Z draait die helemaal leeg is, en een losse schijf met je data erop. Dan die data kopiëren naar je degraded RAID-Z. Als dat voltooid is, gebruik je de losse schijf om de RAID-Z weer compleet/redundant te maken.

Als je dit soort trucjes doet, wel je tijd er voor nemen en voorzichtig met je data omgaan. Foutjes liggen namelijk op de loer bij dit soort acties, wat zomaar kan betekenen dat je alles kwijt bent. Dus neem de tijd.

En een hardeschijf die continu nieuwe bad sectors aanmaakt (current pending sector) is inderdaad onbetrouwbaar geworden. Daar wil ik wel over opmerken dat als na een scrub je nog steeds pending sectoren hebt, deze zich bevinden op plekken waar ZFS niets heeft opgeslagen. Wat je kunt doen: schijf je hele pool vol of bijna vol met onzin data. Dan zou je geen bad sectors mogen zien. Het kan zijn dat je namelijk 500 onleesbare sectoren hebt simpelweg omdat die 500 sectoren maanden/jarenlang niet zijn beschreven. In dat geval kan zelfs een hoog aantal bad sectors nog betekenen dat je schijf prima in orde is. Voorwaarde is wel dat na het overschrijven de pending sector 0 is, en dat ook zo blijft.

Een alternatief is dd gebruiken:
dd if=/dev/ada0 of=/dev/null conv=noerror,sync

Je leest dan het hele oppervlak. Dan zouden alle pending sectoren zich moeten laten zien. Wel is het mogelijk dat je OS dit niet fijn vindt. Problemen met één schijf kunnen ook schijven op dezelfde controller beïnvloeden is mijn ervaring.

[Chrisiesmit93]

Ik ben momenteel nog wat aan het proberen met ZFS en OpenInidiana + Napp-It, en vroeg mij af of ik mijn hdd's beter op 4k sectors kan laten staan of deze optie uitzetten, ik heb de volgende opstelling:
- 4x HD204UI (Samsung Spinpoint F4 2TB) in Raid-Z
- 2x HD502HJ (Samsung Spinpoint F3 500GB) in Mirror

Ik wil liever geen Raid-Z2 voor de 4x 2tb schijven, dit omdat er dan weer 1,8TB verloren gaat, tenzij jullie mij weten te overtuigen natuurlijk om wel voor Raid-Z2 te gaan
(staat momenteel nog geen data op deze schijven, dus kan ze zo omzetten )

[Verwijderd]

F3 zijn normale schijven, dus gewoon zonder optimalisatie aanmaken. De pool met je Samsung F4EG schijven zijn wel 4K dus daar zou ik wel optimalisatie op toepassen.

Als je optimale compatibiliteit wilt met andere platforms, raad ik aan dat je GPT partitions gebruikt. Je kunt dat het gemakkelijkst doen in ZFSguru, waarbij je de disks als GPT formatteert. Vervolgens verander je het partitietype van freebsd-zfs naar solaris. Dan je pool aanmaken met 4K optimalisatie en terugbooten naar (open)solaris/indiana. Dan heb je een pool die je altijd kunt meenemen en alles mee kunt doen op andere platforms.

[strandbal]

Verwijderd schreef op maandag 26 november 2012 @ 19:53:

En een hardeschijf die continu nieuwe bad sectors aanmaakt (current pending sector) is inderdaad onbetrouwbaar geworden. Daar wil ik wel over opmerken dat als na een scrub je nog steeds pending sectoren hebt, deze zich bevinden op plekken waar ZFS niets heeft opgeslagen. Wat je kunt doen: schijf je hele pool vol of bijna vol met onzin data. Dan zou je geen bad sectors mogen zien. Het kan zijn dat je namelijk 500 onleesbare sectoren hebt simpelweg omdat die 500 sectoren maanden/jarenlang niet zijn beschreven. In dat geval kan zelfs een hoog aantal bad sectors nog betekenen dat je schijf prima in orde is. Voorwaarde is wel dat na het overschrijven de pending sector 0 is, en dat ook zo blijft.

Bedankt voor al je info! Ik heb 'm net gewisseld, ik ga deze disk eens in m'n Linux mediacenter erbij hangen oid en volschrijven met dd. Dan hou ik 'm een tijdje in de gaten, of 'ie zich weer gezond gaat voelen

Als je optimale compatibiliteit wilt met andere platforms, raad ik aan dat je GPT partitions gebruikt.

Is dat de reden dat je eerst partities op je disk aanmaakt? Behalve dan voor root on ZFS? Ik voer gewoon m'n hele disk aan zfs, zonder verdere voorbereiding.

[Chrisiesmit93]

Maar als ik 4K toe pas op de F4EG schijven dan klopt het tog niet meer helemaal kwa grootte? (42.7KB per schijf) of maakt dit verder niets uit voor de schijven / snelheid?

EDIT:
Probeer net nog wat data van de schijven af te halen, maar dit lukt niet
ik had de schijven eerst aan FreeNAS hangen, hieruit ging ie met iSCSI naar mijn pc toen, nu probeer ik via OpenIndiana + Napp-It en iSCSI mijn data weer terug te halen, maar op mijn pc zie ik niets, alleen 2 lege partities via partition manager (van Windows). Ik had laatst de ZFS versie geupgrade in OI en nu kan FreeNAS er niets meer mee

Jullie een idee hoe ik nog bij de data kan komen?

[ Voor 58% gewijzigd door Chrisiesmit93 op 26-11-2012 20:28 ]

[Verwijderd]

Bij 4K optimalisatie zal een 128KiB / 3 = 42.66K worden opgehoogd tot 44KiB. Zonder die optimalisatie (512B / ashift=9) wordt dat opgehoogd tot 43.00K.

Die ruimte gaat verloren als slack. Dus bij niet-optimale configuraties met 4K optimalisatie ben je een beetje opslagruimte kwijt. 3% in dit voorbeeld, terwijl zonder optimalisatie je 0,77% kwijt bent aan slack. Bij optimale configuraties is de slack vrijwel nul, bij sequential I/O in elk geval.

[Chrisiesmit93]

@CiPHER weet jij misschien ook hoe ik mijn data weer kan "zien" ? (zie bericht hierboven van mij)

[Verwijderd]

iSCSI wil zeggen dat ZFS gewoon een lap LBA ter beschikking stelt, waarbij ZFS zelf niet weet wat daarin is opgeslagen. iSCSI is dus héél anders dan Samba (SMB/CIFS) of NFS waarbij het tegenovergestelde het geval is.

iSCSI is dus ZFS -> virtuele hardeschijf (ZVOL/file) -> iSCSI-target daemon -> netwerk -> Windows desktop computer -> NTFS -> drive letter Z:\

Met andere woorden, iSCSI wordt vaak een ander filesystem op opgeslagen, wat alleen de client kent. Ik zal veel meer informatie moeten hebben hoe je iSCSI is geconfigureerd en wat je precies te zien krijgt als je met iSCSI verbindt, om jouw vraag te kunnen beantwoorden.

[Durandal]

FireDrunk schreef op maandag 26 november 2012 @ 13:55:
Ok, dat valt dan wel weer mee, maar alle Atoms hadden nog steeds een 4GiB limiet?

Ja geloof ik wel. Sterker nog, ik ga 2GB gebruiken. Snelheid interesseert me niet. Hij is enkel om backups naartoe te sturen, eens per week of zo of hooguit elke nacht.

Geen flauw idee eigenlijk of die atom 32 of 64 bit is. Het is zo'n Zotac bordje met externe voeding. Hij staat hier te verstoffen dus ik dacht hem te gebruiken. Ik ga er wel achter komen.

[Verwijderd]

Als hij 32-bit is en je probeert ZFSguru of een ander 64-bit OS te booten krijg je de melding: CPU doesn't support long mode. Long mode = 64-bit extensies.

[Durandal]

Ja, dat is wat ik verwacht. Ik ga het niet uitzoeken; ik krijg vanzelf een foutmelding. Of niet.
Morgen maar eens proberen. Bedankt.
Ik heb nog een ZFSguru CDtje van een maand geleden. Kan ik die gebruiken of moet ik een nieuwe branden?

[Verwijderd]

Kun je wel gebruiken. Maar voor de nieuwste services wil je de nieuwste systeemversie hebben. Je kunt wel de huidige livecd gebruiken om van te booten, dan updaten naar beta8 web-interface en de nieuwe 9.1-004 systeemversie downloaden bij System->Install step2. Dan maakt het verder weinig uit welke LiveCD versie je gebruikt.

[Jurgen]

Ik ben nieuw met zfs, en ben op dit moment bezig mijn server opnieuw in te richten met zfs. Ik ben op dit moment nog druk aan het inlezen, maar nu is er een ding waar ik niet helemaal uitkomt. Ik wil een aantal nieuwe schijven aan gaan schaffen, maar ook wil ik een aantal schijven welke ik nu gebruik hergebruiken. Echter kan ik niet terugvinden hoe zfs om gaat met schijven van verschillende groottes in een vdev, als raidz of raidz2.

hebben jullie hier ervaringen mee ?

[Verwijderd]

Kort gezegd: je kunt meerdere RAID-Z arrays/vdevs in één pool hebben, maar binnen een RAID-Z / vdev moeten alle schijven gelijke grootte zijn (de kleinste schijf bepaalt de grootte).

Dus wat kan:
vdev1: RAID-Z met 3 disks van 1TB
vdev2: RAID-Z met 5 disks van 2TB
vdev3: RAID-Z met 9 disks van 3TB

Wat wel kan maar je niet wilt:
vdev1: RAID-Z met schijven 1.5TB, 2TB, 3TB (effectief geldt: 1.5TB + 1.5TB + 1.5TB)

Wat wel kan is dat je twee 1TB schijven samenvoegt tot één 2TB schijf, middels RAID0. Dit moet dan wel met traditioneel software RAID gebeuren. Onder BSD werkt dit prima en heb ik veelvuldig gebruikt op deze manier. Wel geldt dat nieuwe schijven gewoon zuiniger zijn dan oudere schijven. Reken de watt per terabyte eens uit dan krijg je een idee van hoeveel zuiniger nieuwere schijven zijn.

Een uitzondering geldt als je ZFS striping gebruikt. RAID0 zeg maar. Dan heb je per vdev slechts één hardeschijf, zonder redundantie. Dan heb je dus bijvoorbeeld:
vdev1: single disk 1.5TB
vdev2: single disk 2TB
vdev3: single disk 3TB

Dan geldt wel dat je 1.5+2+3 = 6.5TB netto beschikbaar hebt. Maar dan heb je geen bescherming tegen diskuitval (RAID0).

[ Voor 18% gewijzigd door Verwijderd op 27-11-2012 07:40 ]

[Jurgen]

Verwijderd schreef op dinsdag 27 november 2012 @ 07:37:
...

tnx! dat verklaart waarom er weinig info over te vinden is

Ik had wel gezien dat het idd met verschillende vdev's kan, RAID0 gebruiken om 2x1tb zich voor te laten doen als 1x2tb is een optie welke ik nog even in mijn achterhoofd hou.

Redundantie is de reden dat ik nu van ZFS gebruik wil gaan maken, door raidz kan dit zonder dat je elke tb dubbel uit dient te voeren, dit maakt het economisch wel interresant

[analog_]

Is het nog zinvol om Intel x25-e SSDs te halen om te gebruiken als slog/arc? Of kan ik beter intel 313 nieuw kopen want als je de vergelijker in intel ark gebruikt komt er weinig verschil uit (geen dipm voor de x25-e).

[FireDrunk]

Als je de X25-E al hebt, kan je die gebruiken, anders kun je veel beter voor een Intel 320 80 / 120GB gaan en die onderpartitioneren.

25GB SLC gaat net zo lang mee als 120GB MLC als je maar een paar honder MB tot enkele GB's gebruikt (zoals bij ZIL/SLOG).

Bovendien heeft de 320 Advanced Power Protection, en die twee andere niet.


http://ark.intel.com/compare/56563,66291,56596

[ Voor 26% gewijzigd door FireDrunk op 27-11-2012 13:01 ]

[analog_]

FireDrunk schreef op dinsdag 27 november 2012 @ 12:59:
Als je de X25-E al hebt, kan je die gebruiken, anders kun je veel beter voor een Intel 320 80 / 120GB gaan en die onderpartitioneren.

25GB SLC gaat net zo lang mee als 120GB MLC als je maar een paar honder MB tot enkele GB's gebruikt (zoals bij ZIL/SLOG).

Bovendien heeft de 320 Advanced Power Protection, en die twee andere niet.


http://ark.intel.com/compare/56563,66291,56596

APP of super-cap is niet zo relevant door UPS en je standaard antwoord is dan kapotte voeding. Dat klopt maar geen enkele hardeschijf heeft APP dus dit is een luxe oplossing voor een probleem dat traditioneel altijd al heeft bestaan. +mux project.

Ik heb nog geen schijven hiervoor dus ik vergelijk tweedehands prijzen. De x25-e hangt ergens bij de 50 euro en de 320 bij de 100 euro. Of deze prijzen redelijk zijn is een andere discussie maar in dit licht lijken mij eerlijk gezegd de x25-e schijfjes intressanter.

Een jaar of twee geleden stond ik voor min of meer dezelfde keus: vier SAS disks in hardware raid 10 (redundantie) vs 1 SSD. Ik heb toen voor SAS disks gekozen. Ik ben zelf nog altijd niet zeker of dit de beste keus was, ik heb nu wel 4 extra test disks ter referentie. Met name omdat er geen enkele disk is overleden met hetzelfde 'geluk' was de SSD nu ook nog steeds levend.

Ik wou er eigenlijk ook een aantal kopen als bootdisk, wat vind je daarvan?

[FireDrunk]

Als je toch een UPS hebt, pak dan gewoon een 64GB Samsung 830... Sneller en net zo zuinig. En qua prijs bijna even duur, en je hebt nog garantie dan.

SLC Bootdrives is in mijn ogen zonde van je geld, booten van ZFS is op FreeBSD (4-8G zat) of Solaris (ook iets van 8-10GB?) niet echt veel, dus elke goedkope drive volstaat. Bovendien zijn SLC drives vooral leuk vanwege hoge durability, en laat je bootpartitie nou net amper veranderen... Die paar pakketjes die je per week installeert wegen niet op tegen zeg: het draaien van een transactionele database van 200G met 1000 concurrent users.

En het is een server (toch?), dus het ding staat toch altijd aan...
Ik zou voor een zo goedkoop mogelijke oplossing gaan (stroomverbruik wel meenemen in de vergelijking...)

Wil je het veilig, pak gewoon 2 Samsung 830's en zet ze in een mirror, en maak backups naar je main data array, en offsite. Veiliger kan haast niet.

[ Voor 32% gewijzigd door FireDrunk op 27-11-2012 13:41 ]

[wjn]

Na 2 weken buitenland weer eens wat aan de zfsguru server kunnen doen. Nu rigoreus de schijven & M1015 in een oude Dell PE1800 gezet. Slechts 4GB en trage processor, dus werkt allemaal wel merkbaar trager (ik krijg de GB NIC niet meer vol).
Maar iig geen checksum errors meer in de pool als er 1TB of meer op staat.
.
Mijn probleem ligt dus ergens aan de hardware van het "servertje" wat ik samengesteld heb. Het enige wat ik probleemloos nog kan uitproberen, is het geheugen minimaliseren van 16 naar 4GB. Voeding/processor wordt problematischer, omdat ik geen andere ter beschikking heb.

Wordt vervolgd.

P.S. Eigenlijk wil ik toch wel naar ECC geheugen, wat zijn betaalbare opties daarvoor?

[krijn1985]

Wat ik mijn zoektocht was tegenkomen (uiteindelijk voor NAS zonder ECC op basis van Brazos gegaan) is de HP Microserver N40L of een systeem op basis van AM3+ (sommige mobo's) een betaalbare optie. Vooral de AM3+ boards van ASUS hebben beschikking over ECC schijnt, zoals bijvoorbeeld deze. Met AM3+ kan je een systeem voor ongeveer 200E/250E (ligt een beetje aan wat je precies wilt natuurlijk) wel in elkaar zetten.

[HyperBart]

Ligt het nu aan mij, maar ik dacht dat je cable errors (en bijgevolg de smart waarde?) kon resetten in ZFSguru?

Ik heb (als ik de disk eens loskoppel) vaak dat de betreffende disk in "removed" staat, als ik die dan wil replacen met zichzelf, dan zegt hij dat die al in gebruik is en dat ik -f moet gebruiken, dat heb ik als volgt al eens geprobeerd maar hij wil dan nog niet meedoen in de pool:

/sbin/zpool replace -f hulk 7025196763625297002 gpt/bay5

[ Voor 61% gewijzigd door HyperBart op 27-11-2012 21:41 ]

[FireDrunk]

Als je je server reboot (of je pool import/export) komt de schijf dan niet automatisch terug?

[IceTeaGX]

Ik wou eens even iets vragen: Ik heb een tijdje geleden 2 8-poorts SAS kaartjes op de kop kunnen tikken, in de hoop dat deze ondersteund worden door een ZFS compatible OS. Ik heb er niet veel info over, enkel de model nummers die ik op de kaarten kan vinden en vergelijkingen online.

Het betreft een LSI SAS9220-8i, wat volgens google de IBM M1015 of gelijkaardig zou zijn
en een SAS3082E-R wat dan weer de IBM BR10i zou moeten zijn.

Voglens google zouden beide een IT-mode firmware hebben, en compatibel zijn met een ZFS implementatie, maar ik wou het toch even hier vragen om zeker te zijn.

[FireDrunk]

Klopt, de 9220 / M1015 is een van de beste controllers voor ZFS momenteel, mits je er de IT-mode firmware op flasht. Meestal worden ze met IR-mode firmware geleverd.

* FireDrunk was altijd in de veronderstelling dat een M1015 een 9211-8i was, maar dat schijnt toch inderdaad een 9220-8i te zijn.

Niet dat het veel boeit, want het is allemaal gebaseerd op de LSI2008 chip volgens mij

[ Voor 41% gewijzigd door FireDrunk op 27-11-2012 23:34 ]

[HyperBart]

FireDrunk schreef op dinsdag 27 november 2012 @ 22:27:
Als je je server reboot (of je pool import/export) komt de schijf dan niet automatisch terug?

Jawel, dat deed ik dan ook al een tijdje en dan komt komt ie terug, gelukkig...

[ Voor 7% gewijzigd door HyperBart op 28-11-2012 09:17 ]

[FireDrunk]

Dat lijkt me de normale manier

[Pantagruel]

FireDrunk schreef op dinsdag 27 november 2012 @ 23:33:
Klopt, de 9220 / M1015 is een van de beste controllers voor ZFS momenteel, mits je er de IT-mode firmware op flasht. Meestal worden ze met IR-mode firmware geleverd.

* FireDrunk was altijd in de veronderstelling dat een M1015 een 9211-8i was, maar dat schijnt toch inderdaad een 9220-8i te zijn.

Niet dat het veel boeit, want het is allemaal gebaseerd op de LSI2008 chip volgens mij

Boeit inderdaad weinig, afhankelijk van de firmware versie die je flasht meldt de controller zich als een 9240-8i (een van de oudere IT firmware's) / 9220-8i voor de recentere versies. Windows maakt hem onafhankelijk van de firmware uit voor een SAS2008 controller.

Belangrijkste is dat de controller vlekkeloos werkt en met de ondersteuning zit het wel goed.

[B2]

Ik merk trouwens met ZFSGuru dat AFP soms erg sloom is, of gewoon niet werkt. Dit zowel vanaf mijn Mac workstation als vanaf AppleTV's die via XBMC streamen. Bij AFP moeten beide enorm bufferen en hapert de stream vaak, bij NFS gaat het prima.

Ook importeren van foto's naar mijn iPhoto-bibliotheek welke op een ZFSGuru share staat loopt vast...

[FireDrunk]

Ligt gewoon aan je Mac

[matty___]

mijn ervaringen met AFP op ZFS zijn ook erg goed. Gaat echt snel (115mb/s).

[B2]

FireDrunk schreef op donderdag 29 november 2012 @ 09:39:
Ligt gewoon aan je Mac

Nou ja, dat had ik graag geloofd als het aan 1 device had gelegen, maar ik merk het op allemaal. En inderdaad lezen gaat hier ook wel met 110MB/s, maar soms hangt het dus. Misschien een herstart van de afpd.

[ Voor 18% gewijzigd door B2 op 29-11-2012 10:08 ]

[de echte flush]

Na mijn aankoop advies steekt mijn ZFS nasje v2 in elkaar (ineens ook van freenas 0.7.x naar freenas 8.3).

Hierop draait momenteel enkel een ZFS mirror van 2 WD EARS disk van 1,5TB. Ik heb nu het probleem dat één disk de hele tijd uit de mirror vliegt. (al 6 keer gebeurt). Na een reboot komt ie wel terug. Maar het probleem gaat mij als zfs beginner het petje te boven dus even jullie hulp inroepen.

hardware (in hoeverre relevant):

#	Product	Prijs	Subtotaal
1	Intel Celeron G550 Boxed	€ 38,95	€ 38,95
1	Asrock B75 Pro3-M	€ 57,90	€ 57,90
2	Western Digita Green WD15EARS, 1.5TB	€ 130,47	€ 260,94
1	Intel Gigabit CT Desktop Adapter	€ 24,93	€ 24,93
1	Kingston KVR1333D3N9/8G	€ 33,16	€ 33,16
1	be quiet! Pure Power L7 300W	€ 37,45	€ 37,45
Bekijk collectie Importeer producten		Totaal	€ 527,43

(In de bios het ik de "Sata Aggressive link power management" al uitgeschakeld).

Maar ik krijg dus een mailtje en waarschuwing:
"
The volume zfsMirror1T5 (ZFS) status is UNKNOWN: One or more devices has experienced an unrecoverable error. An attempt was made to correct the error. Applications are unaffected.Determine if the device needs to be replaced, and clear the errors using 'zpool clear' or replace the device with 'zpool replace'.
"

in messages vind ik soms het volgende terug:
"Nov 27 14:08:47 freenas kernel: (ada0:ahcich3:0:0:0): lost device"

zfs scrub:

de disk met de checksum errors, is ook de disk die eruit vliegt. Kabels heb ik al nagekeken. (al had ik geen kabel errors in de smart data).

SMART data van de disk:


Wat zijn de volgende stappen, de hele disk is een keertje dd-en of?

Performance valt eigenlijk ook tegen, misschien hier ook iets mee te maken. (jep die EARS zijn niet de snelste, maar meer dan 45MB/s (SMB) wil ik ertoch proberen uit te halen ) maar dat is voor later dan doorloop ik eerst de tuning tips.

[Verwijderd]

Checksum errors simpelweg als gevolg van writes nadat de pool degraded is. Maar kun je wat meer context geven in je kernel logs? Je ziet daar staan "lost device" maar wat gebeurt daar precies vóór?

Je schijf lijkt namelijk in orde. Je hebt hem op de Intel controller aangesloten?

Heb je 4K optimalisatie toegepast? Wat krijg je te zien met:

gpart show ada0
zdb -e zfsMirror1T5

(vreemde poolnaam trouwens, lower case en iets simpels als zfsboot lijkt mij netter )

[de echte flush]

thanks voor de reply.
De inspiratie was op, maar idd zfsmirror ofzo was wat simpeler

code:

 gpart show ada0
=>        34  2930277101  ada0  GPT  (1.4T)
          34          94        - free -  (47k)
         128     4194304     1  freebsd-swap  (2.0G)
     4194432  2926082696     2  freebsd-zfs  (1.4T)
  2930277128           7        - free -  (3.5k)

(4194432 deelbaar door 8 dus oké of ? )
ashift is ook 12.

Hij zit inderdaad op de intel controller. één disk op SATA1 de andere op SATA2. (SATA0 is nog vrij voor een eventuele SSD)

De logs zijn verder vrij leeg. (ik moet eens instellen dat ze opgeslagen worden op de datastore, nu zijn ze na elke reboot weg).

code:

.. opstart proces 
Nov 27 12:31:13 freenas kernel: umass0: <PNY USB 2.0 FD, class 0/0, rev 2.00/0.00, addr 3> on usbus1
Nov 27 12:31:13 freenas kernel: ada0 at ahcich3 bus 0 scbus3 target 0 lun 0
Nov 27 12:31:13 freenas kernel: ada0: <WDC WD15EARS-00J2GB0 80.00A80> ATA-8 SATA 2.x device
Nov 27 12:31:13 freenas kernel: ada0: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
Nov 27 12:31:13 freenas kernel: ada0: Command Queueing enabled
Nov 27 12:31:13 freenas kernel: ada0: 1430799MB (2930277168 512 byte sectors: 16H 63S/T 16383C)
Nov 27 12:31:13 freenas kernel: ada1 at ahcich4 bus 0 scbus4 target 0 lun 0
Nov 27 12:31:13 freenas kernel: ada1: <WDC WD15EARS-00MVWB0 51.0AB51> ATA-8 SATA 2.x device
Nov 27 12:31:13 freenas kernel: ada1: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
Nov 27 12:31:13 freenas kernel: ada1: Command Queueing enabled
Nov 27 12:31:13 freenas kernel: ada1: 1430799MB (2930277168 512 byte sectors: 16H 63S/T 16383C)
Nov 27 12:31:13 freenas kernel: da0 at umass-sim0 bus 0 scbus8 target 0 lun 0SMP: AP CPU #1 Launched!
Nov 27 12:31:13 freenas kernel: da0: 
Nov 27 12:31:13 freenas kernel: <pny USB 2.0 FD 1.00> Removable Direct Access SCSI-4 device 
Nov 27 12:31:13 freenas kernel: da0: 40.000MB/s transfers
Nov 27 12:31:13 freenas kernel: da0: 7650MB (15667200 512 byte sectors: 255H 63S/T 975C)
Nov 27 12:31:13 freenas kernel: GEOM: da0s1: geometry does not match label (16h,63s != 255h,63s).
Nov 27 12:31:13 freenas kernel: Trying to mount root from ufs:/dev/ufs/FreeNASs1a
Nov 27 12:31:13 freenas kernel: ZFS filesystem version 5
Nov 27 12:31:13 freenas kernel: ZFS storage pool version 28
Nov 27 12:31:13 freenas root: /etc/rc: WARNING: failed precmd routine for vmware_guestd
Nov 27 12:31:13 freenas ntpd[1641]: ntpd 4.2.4p5-a (1)
Nov 27 12:31:22 freenas ntpd[1642]: time reset -0.545382 s
Nov 27 12:31:25 freenas avahi-daemon[2047]: WARNING: No NSS support for mDNS detected, consider installing nss-mdns!
Nov 27 12:31:25 freenas istgt[2115]: istgt version 0.4 (20111008)
Nov 27 12:31:25 freenas istgt[2115]: normal mode #(klaar met opstarten) 
Nov 27 12:47:07 freenas ntpd[1642]: kernel time sync status change 2001 
Nov 27 14:08:47 freenas kernel: (ada0:ahcich3:0:0:0): lost device #disk eruit in minder dan 2h uptime)

[Verwijderd]

Kun je dit probleem reproduceren? Heb je het vaker? Zo ja, dan zou ik zeggen boot eens in ZFSguru, importeer je pool en doe een benchmark (zodat ZFS I/O doet op de schijven). Als je in ZFSguru hetzelfde probleem hebt, zou ik eerder hardware verdenken of een probleem in FreeBSD zelf. Als je in ZFSguru het probleem niet kunt reproduceren, kan het een configuratieprobleem zijn van FreeNAS. Welke BSD versie draai je in FreeNAS? Kun je controleren met 'uname -a'.

[de echte flush]

code:

[root@freenas] ~# uname -a
FreeBSD freenas.local 8.3-RELEASE-p4 FreeBSD 8.3-RELEASE-p4 #0 r241984M: Wed Oct 24 00:57:10 PDT 2012     [e-mail]:/usr/home/jpaetzel/8.3.0-RELEASE/os-base/amd64/usr/home/jpaetzel/8.3.0-RELEASE/FreeBSD/src/sys/FREENAS.amd64  amd64

Ik zal morgen zfsGuru eens booten (0.1.8). Download is nog 2h resterend Heb ookal gezocht naar hoe ik het probleem kon reproduceren maar niet gevonden, dacht eerst door scrubs uit te voeren maar dat lijkt het toch niet te zijn. Tot nu toe 6 keer gebeurd met het bakje nog geen week in dienst.

[Verwijderd]

Na een reboot werkte alle services binnen SABnzbd+ behalve SABnzbd niet meer. Om dit te verhelpen heb ik SABnzbd+ geuninstalleerd en vervolgens weer geinstalleerd. Vervolgens werkte alle services behalve SABnzbd. Na een reboot werkte helemaal niks meer. Bij elke nieuwe install en uninstall blijft hetzelfde probleem optreden.

[de echte flush]

Onder ZFSguru vind ik maar één disk. (ook de goede van FreeNAS). Is er dan toch iets mis met de disk?

code:

[ssh@zfsguru /dev]$ gpart show
=>      63  15667092  da0  MBR  (7.5G)
        63   1930257    1  freebsd  [active]  (942M)
   1930320        63       - free -  (31k)
   1930383   1930257    2  freebsd  (942M)
   3860640      3024    3  freebsd  (1.5M)
   3863664     41328    4  freebsd  (20M)
   3904992  11762163       - free -  (5.6G)

=>      0  1930257  da0s1  BSD  (942M)
        0       16         - free -  (8.0k)
       16  1930241      1  !0  (942M)

=>        34  2930277101  ada0  GPT  (1.4T)
          34          94        - free -  (47k)
         128     4194304     1  freebsd-swap  (2.0G)
     4194432  2926082696     2  freebsd-zfs  (1.4T)
  2930277128           7        - free -  (3.5k)

(ga nu even een back-up maken van men vm's, dus terug in Freenas.) Zal daarna de disk eens scannen met de WD tool.

[matty___]

de echte flush schreef op vrijdag 30 november 2012 @ 12:23:
Onder ZFSguru vind ik maar één disk. (ook de goede van FreeNAS). Is er dan toch iets mis met de disk?

code:

[ssh@zfsguru /dev]$ gpart show
=>      63  15667092  da0  MBR  (7.5G)
        63   1930257    1  freebsd  [active]  (942M)
   1930320        63       - free -  (31k)
   1930383   1930257    2  freebsd  (942M)
   3860640      3024    3  freebsd  (1.5M)
   3863664     41328    4  freebsd  (20M)
   3904992  11762163       - free -  (5.6G)

=>      0  1930257  da0s1  BSD  (942M)
        0       16         - free -  (8.0k)
       16  1930241      1  !0  (942M)

=>        34  2930277101  ada0  GPT  (1.4T)
          34          94        - free -  (47k)
         128     4194304     1  freebsd-swap  (2.0G)
     4194432  2926082696     2  freebsd-zfs  (1.4T)
  2930277128           7        - free -  (3.5k)

(ga nu even een back-up maken van men vm's, dus terug in Freenas.) Zal daarna de disk eens scannen met de WD tool.

dit is wel bijzonder

[EnerQi]

Verwijderd schreef op vrijdag 30 november 2012 @ 11:45:
Na een reboot werkte alle services binnen SABnzbd+ behalve SABnzbd niet meer. Om dit te verhelpen heb ik SABnzbd+ geuninstalleerd en vervolgens weer geinstalleerd. Vervolgens werkte alle services behalve SABnzbd. Na een reboot werkte helemaal niks meer. Bij elke nieuwe install en uninstall blijft hetzelfde probleem optreden.

Hmm een soortgelijk probleem heb ik. Welke versie van ZFSguru draai je en hoe zit het met de rechten voor sabnzbd.

Bij mij overleeft Sabnzbd het ook niet bij een reboot. Het installeren gaat wel maar zodra er gereboot wordt, komt het process niet meer online.

[Verwijderd]

EnerQi schreef op vrijdag 30 november 2012 @ 13:06:
[...]


Hmm een soortgelijk probleem heb ik. Welke versie van ZFSguru draai je en hoe zit het met de rechten voor sabnzbd.

Bij mij overleeft Sabnzbd het ook niet bij een reboot. Het installeren gaat wel maar zodra er gereboot wordt, komt het process niet meer online.

Ik draai de 9.1-004, 0.2.0-beta8 gewoon de nieuwste versie en waar kan ik de rechten zien voor SABnzbd?

[matty___]

Er is vandaag een behoorlijk grote ZFS patchset van head naar stable/9 gecommit:

http://svnweb.freebsd.org...=revision&revision=243674

[de echte flush]

matty___ schreef op vrijdag 30 november 2012 @ 12:58:
[...]

dit is wel bijzonder

Het is wel wat ingewikkelder dan dat, lezen
ZFSguru ziet de disk niet, en de eerste veronderstelling was dat de disk OK was. Maar ik hang hem nu aan de pc om de tool te runnen. En daar wordt ie toch al herkend...

[matty___]

de echte flush schreef op vrijdag 30 november 2012 @ 13:52:
[...]


Het is wel wat ingewikkelder dan dat, lezen
ZFSguru ziet de disk niet, en de eerste veronderstelling was dat de disk OK was. Maar ik hang hem nu aan de pc om de tool te runnen. En daar wordt ie toch al herkend...

ik bedoelde de disk layout omdat je mbr en gpt naast elkaar gebruikt en ik altijd dacht dat het een of-of keuze was

[de echte flush]

matty___ schreef op vrijdag 30 november 2012 @ 13:53:
[...]

ik bedoelde de disk layout omdat je mbr en gpt naast elkaar gebruikt en ik altijd dacht dat het een of-of keuze was

ow haha mijn excuses, die da0 is de installatie stick van freenas (daar heb ik niks mee geknoeid).
En ada0 is slecht één van de disks.

[matty___]

de echte flush schreef op vrijdag 30 november 2012 @ 14:01:
[...]


ow haha mijn excuses, die da0 is de installatie stick van freenas (daar heb ik niks mee geknoeid).
En ada0 is slecht één van de disks.

Ik moet beter kijken. ada0 is je disk en da0 is je usbstick snapte er al geen reet van

[fluppie007]

Heb onder ESXi 5.0 update1 een ZFSguru VM draaien met 12GB RAM, 2 vCPU's en via VT-D een passthrough van de IBM M1015 (crossflashed naar LSI 9211-8i) naar de ZFSguru VM.

Met een 6-disk RAID-Z2 pool geeft dat volgende resultaten:

code:

ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool            : StorageTank1 (10.9T, 4% full)
Test size       : 128 GiB
normal read : 340 MB/s
normal write    : 248 MB/s
I/O bandwidth   : 30 GB/s

Dat is best goed te noemen denk ik. Enkel is de netwerkperformance niet goed. Ik haal slechts 25MB/s over een gigabit LAN.
Ik denk dat dit te wijten is aan de "interrupt storm detected on IRQ 18, throttling interrupt source" meldingen in het console scherm van ESXi. Had ergens gelezen dat je zoveel mogelijk devices in de VM zijn BIOS moet uitschakelen, com poort, parallel poort, etc. Maar helaas werkt dit niet voor mij. Iemand een idee?

[terror538]

matty___ schreef op vrijdag 30 november 2012 @ 13:50:
Er is vandaag een behoorlijk grote ZFS patchset van head naar stable/9 gecommit:

http://svnweb.freebsd.org...=revision&revision=243674

Dit betekend dat we de komende tijd weer nieuwe features kunnen gaan verwachten Ik hoop zelf behoorlijk op encryptie De huidige oplossingen zijn toch niet zo heel mooi.

Wordt dit ook meegenomen voor 9.1 ?

[fluppie007]

fluppie007 schreef op zondag 02 december 2012 @ 16:00:
...
Ik denk dat dit te wijten is aan de "interrupt storm detected on IRQ 18, throttling interrupt source" meldingen in het console scherm van ESXi. Had ergens gelezen dat je zoveel mogelijk devices in de VM zijn BIOS moet uitschakelen, com poort, parallel poort, etc. Maar helaas werkt dit niet voor mij. Iemand een idee?

Opgelost door een extra virtuele netwerkkaart toe te voegen en de eerste te verwijderen. IRQ interrupt weg en Samba performance prima, 95-120MB/s op een Gigabit LAN. Inter-VM haal ik tussen de 140-185MB/s :-).
So far so good!

_{Wel leuk dat het 'echte' pass-through is. Had eerst FreeBSD als host draaien en een RAID-Z2 pool aangemaakt. Daarna ESXi 5 update 1 op een SSD geïnstalleerd en toen de IBM M1015 doorgelinked aan de ZFSguru VM. Met de search hidden pools gelijk de oude pool teruggevonden en actief gezet.}

Iemand een idee of er een DFS/DFS-R achtige tool bestaat onder FreeBSD? De bedoeling is om 2 identieke ZFS servers elkaars StoragePool te laten syncen. Met DFS/DFS-R is dit vrijwel live. Ook worden bestanden gelocked als deze op de andere locatie geopend zijn (bv. Word of Excel document).
Wat zijn de mogelijkheden hier? Had Rsync al een paar keer zien opduiken. Is dat geschikt?

[Verwijderd]

man zfs, zie send/recv.

[matty___]

terror538 schreef op zondag 02 december 2012 @ 19:30:
[...]


Dit betekend dat we de komende tijd weer nieuwe features kunnen gaan verwachten Ik hoop zelf behoorlijk op encryptie De huidige oplossingen zijn toch niet zo heel mooi.

Wordt dit ook meegenomen voor 9.1 ?

9.1 is vandaag gereleased maar deze commit zit daar niet in.

[terror538]

matty___ schreef op maandag 03 december 2012 @ 07:36:
[...]

9.1 is vandaag gereleased maar deze commit zit daar niet in.

Hmmmmm jammer

Nou zal die waarschijnlijk wel geport worden naar de CVS zegt mijn gevoel dus dan maar ff iets langer wachten voor ik ga upgraden, kan geen kwaad

[fluppie007]

Verwijderd schreef op maandag 03 december 2012 @ 00:20:
man zfs, zie send/recv.

Denk niet dat dit echt is wat ik zoek. Is geen 'live' syncing. DFS is zo goed als 'live'. Ik denk dan dat mirroren via Rsync nog een betere oplossing is.

[Geckx]

Even een snelle vraag.

Wat zou de beste alignment zijn voor de L2ARC partitie op een SSD (40GB)? sector, 4K of megabytes boundaries. De schijven voor opslag zijn 5x Seagate 7200.14 3TB en SSD is een oude Corsair Nova series V64.

[FireDrunk]

fluppie007 schreef op maandag 03 december 2012 @ 00:17:
[...]


Opgelost door een extra virtuele netwerkkaart toe te voegen en de eerste te verwijderen. IRQ interrupt weg en Samba performance prima, 95-120MB/s op een Gigabit LAN. Inter-VM haal ik tussen de 140-185MB/s :-).
So far so good!

_{Wel leuk dat het 'echte' pass-through is. Had eerst FreeBSD als host draaien en een RAID-Z2 pool aangemaakt. Daarna ESXi 5 update 1 op een SSD geïnstalleerd en toen de IBM M1015 doorgelinked aan de ZFSguru VM. Met de search hidden pools gelijk de oude pool teruggevonden en actief gezet.}

Iemand een idee of er een DFS/DFS-R achtige tool bestaat onder FreeBSD? De bedoeling is om 2 identieke ZFS servers elkaars StoragePool te laten syncen. Met DFS/DFS-R is dit vrijwel live. Ook worden bestanden gelocked als deze op de andere locatie geopend zijn (bv. Word of Excel document).
Wat zijn de mogelijkheden hier? Had Rsync al een paar keer zien opduiken. Is dat geschikt?

Dat heet HAST (Highly Available Storage Technology) bij FreeBSD, en werkt samen met CARP (Common Address Redundancy Protocol).

http://www.aisecure.net/2...d-zfs-with-carp-failover/

Geckx schreef op maandag 03 december 2012 @ 11:05:
Even een snelle vraag.

Wat zou de beste alignment zijn voor de L2ARC partitie op een SSD (40GB)? sector, 4K of megabytes boundaries. De schijven voor opslag zijn 5x Seagate 7200.14 3TB en SSD is een oude Corsair Nova series V64.

1MB is ook een veelvoud van 4K, dus ook altijd goed.

[ Voor 13% gewijzigd door FireDrunk op 03-12-2012 11:16 ]

[matty___]

terror538 schreef op maandag 03 december 2012 @ 10:58:
[...]

Hmmmmm jammer

Nou zal die waarschijnlijk wel geport worden naar de CVS zegt mijn gevoel dus dan maar ff iets langer wachten voor ik ga upgraden, kan geen kwaad

geport naar CVS?

je kunt gewoon via SVN een stable/9 snapshot binnen halen waar die patch inzit.

[FireDrunk]

Maar dan moet je zelf je kernel compilen

[terror538]

matty___ schreef op maandag 03 december 2012 @ 11:16:
[...]

geport naar CVS?

je kunt gewoon via SVN een stable/9 snapshot binnen halen waar die patch inzit.

Ik dacht dat 9.1 een aparte tree zou zijn Zit in de stable 9 branch ook alles van 9.1 verwerkt ? Dan ga ik straks maar is aan de slag namelijk

[FireDrunk]

Bij FreeBSD werken ze niet met individuele versie branches... Als 9.1 gereleased word, word de hele stable branch geupdate naar 9.1 en de rest blijft via archieven beschikbaar.

Als 10.0 uitkomt, word FREEBSD-STABLE gewoon weer door-geupgrade.

Als je dus FREEBSD-CURRENT draait, ben je altijd bij (met wat bugjes )

[ Voor 13% gewijzigd door FireDrunk op 03-12-2012 11:23 ]

[matty___]

terror538 schreef op maandag 03 december 2012 @ 11:21:
[...]

Ik dacht dat 9.1 een aparte tree zou zijn Zit in de stable 9 branch ook alles van 9.1 verwerkt ? Dan ga ik straks maar is aan de slag namelijk

het is ook een aparte tree maar alles wat in 9.1 zit, zit ook in stable.
in stable zitten naast de bugfixes uit de 9.1 tree ook de nieuwe features uit de current.

[terror538]

Nice Zou een rebuild world in dit geval ook betekenen dat ik al mijn ports moet rebuilden ?

[matty___]

FireDrunk schreef op maandag 03 december 2012 @ 11:22:
Bij FreeBSD werken ze niet met individuele versie branches... Als 9.1 gereleased word, word de hele stable branch geupdate naar 9.1 en de rest blijft via archieven beschikbaar.

Als 10.0 uitkomt, word FREEBSD-STABLE gewoon weer door-geupgrade.

Als je dus FREEBSD-CURRENT draait, ben je altijd bij (met wat bugjes )

ze zetten het wel apart volgens mij
http://svnweb.freebsd.org/base/releng/9.1/

omdat je anders nooit de bugs eruit krijgt als steeds nieuwe code uit current erbij komt

[ Voor 8% gewijzigd door matty___ op 03-12-2012 11:31 ]

[matty___]

terror538 schreef op maandag 03 december 2012 @ 11:25:
Nice Zou een rebuild world in dit geval ook betekenen dat ik al mijn ports moet rebuilden ?

als je geen freebsd hacker bent zou ik current achterwegen laten en gewoon de stable volgen.

port rebuilden hoeft niet. Alleen als je een hele release (9 -> 10) omhoog gaat.

[terror538]

matty___ schreef op maandag 03 december 2012 @ 11:28:
[...]


als je geen freebsd hacker bent zou ik current achterwegen laten en gewoon de stable volgen.

port rebuilden hoeft niet. Alleen als je een hele release (9 -> 10) omhoog gaat.

Current is op dit moment inderdaad niet mijn ding Ik heb in het verleden wel is current gedraaid, en updaten van source is niet beangstigend maar op dit moment is de bak belangrijk genoeg geworden om gewoon stabiel te moeten zijn

[FireDrunk]

matty___ schreef op maandag 03 december 2012 @ 11:27:
[...]

ze zetten het wel apart volgens mij
http://svnweb.freebsd.org/base/releng/9.1/

omdat je anders nooit de bugs eruit krijgt als steeds nieuwe code uit current erbij komt

Zoals hierboven gezegd word, is releng/9.1/ dus de hele 9.1 release, die daarna ook niet meer verandert.
Het FREEBSD-STABLE channel bevat dus óók heel 9.1 en gaat daarna ook door met updaten (en het ontvangen van nieuwe features).

Whereas 9.1 alleen maar bugfixes krijgt.

Straks als 9.2 (of 10.0 for that matter) uit komt, word er dus een releng/10.0 gemaakt waarin de release van 10.0 zit, EN word -STABLE geupdate naar 10.0.

[odelay]

Ik probeer voor het eerst ZFSGuru uit op esxi, de onboard sata controller met passthrough aan de VM doorgegeven. Als ik boot van CD gaat het allemaal prima, kan de wizard doorlopen maar aan het einde kan ik kiezen tussen Root-on-ZFS of Embedded (wat nog niet werkt).
Als ik dan Root-on-ZFS kies en dan mijn Pool selecteer dan moet m'n vm booten van de passthrough controller wat volgens mij niet lukt? Is het mogelijk om daar van te booten?
Als ik een virtual harddisk in de vm aanmaak dan kan ik die niet selecteren als ik Root-on-ZFS kies.
Hoe kan ik dit het beste oplossen?

[FireDrunk]

Je kan niet booten van de passthrough controller... Dat komt omdat de VMware BIOS geen devices doorkrijgt van je passthrough device. Je moet je VM altijd 1 'normale' vDisk geven.

[odelay]

Dank je FireDrunk, dat vermoeden had ik al..
Alleen als ik een vDisk van 4GB toevoeg kan ik deze met geen mogelijkheid selecteren bij Root-on-ZFS ik zie alleen m'n pool staan van de passthrough disken. Moet ik soms van die ene vDisk ook een pool maken?

[FireDrunk]

Ja, daar moet je ook een pool op maken. Ik heb altijd een pool die bootpool of rootpool ofzo heet.
Kan gewoon 1 disk in zitten.

[fluppie007]

FireDrunk schreef op maandag 03 december 2012 @ 11:11:
[...]


Dat heet HAST (Highly Available Storage Technology) bij FreeBSD, en werkt samen met CARP (Common Address Redundancy Protocol).

http://www.aisecure.net/2...d-zfs-with-carp-failover/


[...]


1MB is ook een veelvoud van 4K, dus ook altijd goed.

Heb je dat zelf draaien?

[FireDrunk]

Nee

[fluppie007]

FireDrunk schreef op maandag 03 december 2012 @ 15:56:
Nee

Ik zie hier een mooi ZFSguru functie in . CiPHER? HAST configureerbaar via de webinterface ?

[FireDrunk]

Lastige is dat je best veel configs moet wijzigen, bovendien moet je een werkend HAST/CARP systeem hebben voordat je ZFS pools kan maken. Dit omdat de pool word aangemaakt op de reeds gesharede disks.

[de echte flush]

Even een update na het vreemde disk probleem met freenas 8.3.
Heb een extended test gedaan met de WD tool: disk ok
hd tune scan (trage) ok
heel de disk "ge-ddt" met nulletjes (you never know...)

Upgrade/downgrade gedaan naar NAS4free (gebaseerd op FreeBSD 9.1-RC3)
Alles terug opgezet vanaf nul en een back-up teruggezet vanaf externe locatie.
Met een uptime van z'n 18h gaat het nog steeds goed, ik juich nog niet te vroeg maar voorlopig ziet het er goed uit.

Tis niet echt een waardige tweakers oplossing maarja...

De performance van Freenas vs NAS4free is er wel op voorruit gegaan. Nu haal ik wat ik verwachte van de WD ears schijfjes (z'n 550Mbps read en 560Mbps write, dit met arc_min/max op 4,5GB en 6GB). Bij Freenas zat ik toch ongeveer een 100Mbps trager.

SMB2, Large read/write enabled maar Asynchronous I/O disabled aangezien ik dan internal errors kreeg van samba (signal 11 pid 2462). Ben niet zeker of het hier vandaan komt, maar sinds het uit staat geen errors meer gehad.

RAM verbruik is nog steeds vrij laag, bij het terugzetten van de back-up niet boven de 17% zien gaan (anders had ik nog een latje van 8GB bij gekocht).
Het enige wat ik voorlopig mis t.o.v. freenas is:
- geen automatische scrubs
- performance history (reporting)
Bij N4F eigenlijk alleen maar realtime. Maar ik heb wel wel terug de vertrouwde interface (die van freenas raakte ik echt niet gewoon).

voorlopige conclusie: "een comptabiliteits-probleem van freenas 8.3 met mijn hardware"

[strandbal]

de echte flush schreef op maandag 03 december 2012 @ 20:17:
SMB2, Large read/write enabled maar Asynchronous I/O disabled aangezien ik dan internal errors kreeg van samba (signal 11 pid 2462). Ben niet zeker of het hier vandaan komt, maar sinds het uit staat geen errors meer gehad.

https://bugzilla.samba.org/show_bug.cgi?id=8726

Bekende bug, ben hier ook tegenaan gelopen