Het grote ZFS topic

[ElMacaroni]

Verwijderd schreef op woensdag 14 november 2012 @ 15:58:
/etc/exports is voor ouderwetse NFS shares, /etc/zfs/exports voor ZFS NFS shares.

Je moet NFS wel enabled hebben in /etc/rc.conf, achteraf enablen is mij nog nooit gelukt. Je moet booten met de hele rits:
nfs_server_enable="YES"
mountd_enable="YES"
mountd_flag="-r"
rpcbind_enable="YES"
rpc_lockd_enable="YES"
rpc_statd_enable="YES"

Of de LiveCD dit enabled heeft weet ik niet, maar wellicht moet je dus installeren en normaal booten dan zou het moeten werken.

Inderdaad! De boel geinstalleerd ipv LiveCD en dan werkt het. Zucht...

[Borromini]

Ik heb net ZFS Guru 0.2 beta 8 geïnstalleerd op m'n server maar het ding weigert te booten van de eerste schijf (waar het OS op werd geïnstalleerd). De installatie verliep netjes, maar het BIOS lijkt geen bootloader te vinden.

Daarvoor stonden er nog resten van GRUB2 op, maar ik heb de eerste sectoren van de schijf gewist en ook nog es gewisseld tussen MBR en GPT (nu terug GPT, zoals ervoor). Alleen boot ie dus niet. Hoe kan ik dit fiksen?

Edit: ik weet niet of dit in een apart topic hoort of niet, indien ja, excuses

[ Voor 9% gewijzigd door Borromini op 15-11-2012 19:41 ]

[Verwijderd]

Boot je wel van de juiste schijf? Druk op F11 ofzo en kies de schijf waarop je ZFSguru geinstalleerd hebt. Als je boot van een andere schijf gaat het niet altijd lukken en krijg je dat soort meldingen.

[Borromini]

Ik heb de schijf in de bootmanager (F12 hier) geselecteerd. Krijg steeds die melding.

Heb net nog even van de USB-stick opgestart, ook de ZFS pool op de eerste HD staat op 'Activated' (en dus bootable). De schijf staat ook als eerste in de lijst van opstartbare schijven. Als de USB-stick aangesloten is boot het systeem onmiddellijk van de stick, hoewel de harde schijven een hogere opstartprioriteit hebben.



Net ook nog even tussen UEFI en BIOS boot geswitcht (stond op UEFI), systeem vindt nog altijd niks...

[ Voor 52% gewijzigd door Borromini op 15-11-2012 20:17 ]

[Verwijderd]

Welke exacte melding krijg je tijdens het booten?

Je boot van een disk die met GPT is geformatteerd? Kun je een screenshot van de Disks pagina zien (de partition map)?

UEFI gebruikt FreeBSD niet. FreeBSD heeft een mooi hybrid MBR/GPT bootsysteem waardoor normale BIOS gewoon via MBR kunnen booten van GPT partities. Windows heeft daar een UEFI BIOS voor nodig, Linux weet ik niet.

[Borromini]

Ik krijg volgende melding:

Reboot and select proper boot device or insert boot media in selected boot device and press a key.

Screenshot:

[ Voor 4% gewijzigd door Borromini op 15-11-2012 22:18 ]

[Verwijderd]

Nog even op de disk klikken (ada0?) waar je van boot, het gaat om de partition map. Klik ook op de freebsd-boot partitie die je ziet, of die wel up to date is.

[Borromini]

Excuses. Heb screenshot aangepast.

Edit: net even de partitietabel van da0 bekeken, daar zit inderdaad een 256 KB FreeBSD-boot partitie in...

Ok - ik vrees dat ik wat snel geweest ben, heb net een 256 KiB bootpartitie toegevoegd zoals de stick er een heeft, en in de partitiepagina vraagt ZFSGuru me nu om de bootcode te updaten. Ik vrees dat ik een essentieel stuk van de installatieprocedure heb overgeslagen

Het is dus gefikst, bedankt voor de hint .

Nog een klein vraagje: hoe zit het met ext3-ondersteuning? Ik had gelezen dat dat zou moeten werken in FreeBSD, al is het maar als ext2, maar ik lijk wat problemen te hebben om m'n ext3-schijf (met backups) te lezen. Aankoppelen lukt zonder problemen, maar als ik de inhoud van mappen wil bekijken krijg ik alleen maar rommel.

[ Voor 140% gewijzigd door Borromini op 15-11-2012 22:37 ]

[HyperBart]

Omdat ik wild werd van het feit dat ik met de ssh user niet in een bepaalde share kon, heb ik deze willen toevoegen aan de "share"-group met volgend commando:

pw usermod ssh -G share

Ik heb even opnieuw aangemeld en nu mag ik opeens niet meer "su" doen :

su: sorry

aanmelden met root is ook no go... Dus ik zit nu met een afgesloten systeem(?)

EDIT: NVM , inventief geweest en de webinterface gebruikt om ssh terug toe te voegen aan wheel

[ Voor 27% gewijzigd door HyperBart op 15-11-2012 23:12 ]

[Verwijderd]

Nog een klein vraagje: hoe zit het met ext3-ondersteuning? Ik had gelezen dat dat zou moeten werken in FreeBSD, al is het maar als ext2, maar ik lijk wat problemen te hebben om m'n ext3-schijf (met backups) te lezen. Aankoppelen lukt zonder problemen, maar als ik de inhoud van mappen wil bekijken krijg ik alleen maar rommel.

Volgens mij kun je alleen ext3 lezen als er bepaalde filesystem extensies niet gebruikt worden. Mijn advies: niet doen. Er is een ext4 kernel module in the works. Wil je nu iets bruikbaars, dan is er alleen de fusefs-ext4 port die je kunt installeren.

@HyperBart
ee /etc/group
achter groep 'share' aan het einde 'ssh' toevoegen, al dan niet met komma

[enormhi]

De server is gisteren gearriveerd. Lastig tillen was het, het pakket woog 48KG.
Hier de specificaties voor de gene die daarin geïnteresseerd zijn.

SuperMicro X9SCL/X9SCM
Intel Xeon CPU E3-1230 V2 @ 3.30GHz
32GB RAM
14× Seagate Constellation ES ST1000NM0001

Had nog even een vraagje waar ik weinig over kan vinden;
Kun je een storage pool maken met twee vdev's van 5 disks (RAIDZ-1) en één van 3 disks (RAIDZ-1)? Of geeft dit problemen?

Ik vond dit "Keep vdevs belonging to one zpool of similar sizes; Otherwise, as the pool fills up, new allocations will be forced to favor larger vdevs over smaller ones and this will cause subsequent reads to come from a subset of underlying devices leading to lower performance." op de ZFS Best Practices guide. Dit kunnen jullie bevestigen?

[FireDrunk]

Met andere woorden, als de kleinste vdev vol is, word je array traag.

[enormhi]

Oke, dus dat is geen optie. Bedankt!

[FireDrunk]

Nou ja, geen optie... je array word zo langzaam als de snelheid van 2 vdev's ipv 3.

Is dat erg?

[matty___]

We are still running benchmarks for the ZFSBuild2012 SAN building project. We completed all of the Nexenta benchmarks this past week. We ran every combination of networking configurations to deeply test both 1Gbps Ethernet and 20Gbps InfiniBand on the Nexenta platform. We completed ZFSGuru (with FreeBSD 9.1) benchmarks this morning (both 1Gbps Ethernet and 20Gbps InfiniBand). We are currently running FreeNAS 8.3 benchmarks.

Ze zijn nog niet uit maar alvast een headsup dat ze eraan komen.
Meer info op http://www.zfsbuild.com

[FireDrunk]

LOL, 1850MB/s aan 32k Reads.... Nice

Misschien toch maar weer eens mijn Infiniband setje uit de kast halen

[ Voor 49% gewijzigd door FireDrunk op 16-11-2012 13:36 ]

[Durandal]

FireDrunk schreef op donderdag 15 november 2012 @ 13:07:
ZFS' geheugen caching is volgens hetzelfde principe als L2ARC (het heet ook gewoon ARC, en L2ARC is Level/Layer 2 ARC).

Met andere woorden, het is gewoon Adaptive Replacement Cache, wat kijkt hoe lang data niet aangesproken is, en het vervangt met nieuwere data.

Dus ja, in theorie kan je hele dataset na een scrub in je geheugen staan, maar zodra er nieuwe(re) data nodig is en aangesproken word, word dat gewoon in je geheugen gezet.

Dus dan loopt mijn geheugen vol.
Ik geloof dat er iets is om het geheugengebruik van ZFS te limiteren? Enig idee waar ik dat vind?

[FireDrunk]

In theorie kan je geheugen niet helemaal "vol" raken van ZFS. Applicatie geheugen krijgt in principe wel voorrang op caching structuren van ZFS. Het kan wel zo zijn dat ze er een beetje om ruzieen.
Dit omdat ZFS het geheugen wat hij gebruikt voor een TXG (transaction group) wel keihard inneemt.

Als je ZFSguru gebruikt kan je dat via de webinterface doen.
Anders is het een sysctl value.
(Weet even niet uit mijn hoofd welke, maar het zal iets zijn als zfs.arc_limit)

[enormhi]

FireDrunk schreef op vrijdag 16 november 2012 @ 10:42:
Nou ja, geen optie... je array word zo langzaam als de snelheid van 2 vdev's ipv 3.

Is dat erg?

Het is wel mogelijk, maar natuurlijk liever niet. Ik zal het eens met mijn collega's hier op kantoor overleggen. Kijken wat hun ervan zeggen.

ARC limiet doe je zo: [Klik!]

[ Voor 16% gewijzigd door enormhi op 16-11-2012 17:28 ]

[FireDrunk]

Die guide is wel alleen voor Solaris, niet voor FreeBSD (dat anders werkt...)

[MikeVM]

http://be.hardware.info/n...aan-met-je-harde-schijven

is dit een waardig (eenvoudig) alternatief voor ZFS, ZFS is voor mij misschien een stap te ver, maar deze W8 functie lijkt me wel leuk..

[FireDrunk]

In functionele zin? misschien.
Technisch? no f*-ing way..

[MikeVM]

technisch idd niet, maar het is een goede tussenstap voor de mensen die geen ZFS willen..
is er naast ZFS nog een techniek die beter is dan wat dit doet?

[FireDrunk]

Hmm, lastige vraag... Ik zou UNraid meer credits geven voor checksums, en MD meer voor zijn bewezen stabiliteit, hoewel je daar nog steeds last kan hebben van TLER meuk enzo...

Windows is leuk, maar toch hebben ze niet echt veel kaas gegeten van RAID systemen, en daardoor hebben ze bij mij gewoon nog niet zoveel vertrouwen op dat gebied.

Maar het is dan ook vrij nieuw, dus veel benchmarks / tests zullen er niet zijn.

Dus wie zal het zeggen...

[Durandal]

FireDrunk schreef op vrijdag 16 november 2012 @ 18:20:
Die guide is wel alleen voor Solaris, niet voor FreeBSD (dat anders werkt...)

Ook niet voor ZoL (in mijn geval).
Maar elke ZFS achtergrond info is meegenomen. Het komt uiteindelijk allemaal uit dezelfde bron.

Ik kom er net achter trouwens dat de ZoL ontwikkelaars nog steeds de mensen zijn die het voor LLNL onderhouden..

Om het max ARC geheugen gebruik op linux in te stellen moet ik zfs_arc_max in /etc/modprobe.d/zfs.conf neer zetten. De notatie ben ik echter nog niet achter.

[FireDrunk]

Man modprobe.d?

[Borromini]

Durandal schreef op zaterdag 17 november 2012 @ 04:04:
[...]

Ook niet voor ZoL (in mijn geval).
Maar elke ZFS achtergrond info is meegenomen. Het komt uiteindelijk allemaal uit dezelfde bron.

Ik kom er net achter trouwens dat de ZoL ontwikkelaars nog steeds de mensen zijn die het voor LLNL onderhouden..

Om het max ARC geheugen gebruik op linux in te stellen moet ik zfs_arc_max in /etc/modprobe.d/zfs.conf neer zetten. De notatie ben ik echter nog niet achter.

Een wilde gok:

options $modulename $parameter=$value

[Durandal]

Hele wilde gok
Bedankt, beide. Ik ga testen.

[Verwijderd]

Na een tijdje te hebben geprobeerd om mijn vader een map te geven waar alleen hij in kan toch maar weer hier beland. Ik heb bij files/permissions/samba een user voor hem aangemaakt. Ik vroeg me in het begin al af waarom deze niet te zien was daar. in de sectie advanced geprobeerd om de map only owner acces te geven. Dit was geen probleem. Vervolgens kom ik bij het onderdeel Ownership uit en zet ik de nieuwe owner alleen de New group kan ik maar niet uitvogelen. Ik heb ze allen geprobeerd, alleen bij share hoef je helemaal geen username en password in te vullen en bij de rest krijg je alleen een melding dat je geen toegang heb tot de map zonder dat er gevraagd wordt naar een username en password.

[Verwijderd]

geprobeerd om mijn vader een map te geven

Geef je vader een share, geen map. Gebruik geen UNIX permissies om te doen wat je wilt, gebruik Samba permissies om te doen wat je wilt.

zonder dat er gevraagd wordt naar een username en password

Als je Samba authenticatie wilt, dien je Samba authenticatie te gebruiken. UNIX permissies vragen niet om een password om een bepaald bestand te openen. Dat is functionaliteit die Samba biedt.

Als je niet kunt wachten op beta9 waar de Samba rewrite onderdeel van is, kun je zelf aan de slag:
• man smb.conf
• http://www.samba.org/samb...anpages-3/smb.conf.5.html

Quick start:
- maak (via zfsguru webinterface) een Samba user aan en activeer deze met een wachtwoord
- in je smb.conf dient dan public = no en 'valid users = @share' ofzoiets te staan. Dan kun je enkel inloggen met password
- zie verder read list en write list voor als je sommige users read/only en sommige write toegang wilt geven

[Verwijderd]

Is er al bekend wanneer beta9 uit komt?

[Verwijderd]

Ik verwacht eind deze maand. Als je nu iets werkends wilt hebben zou ik gewoon smb.conf eens proberen aan te passen, zo heel moeilijk zijn die permissies ook weer niet. Je moet alleen even weten welke variabelen je kunt instellen, dan gaat het wel.

[Verwijderd]

Als ik de in de samba service de Public op No zet wordt er inderdaad op een gebruikersnaam en wachtwoord gevraagd. Alleen kan ik nergens instellen met welke gebruikersnaam en wachtwoord ik op deze map in kan loggen.

[Verwijderd]

Had je mijn quick start gelezen? Het zit nu nog wat verstopt, maar op Files->Permissions->Samba kun je users aanmaken en een samba wachtwoord geven.

De smb.conf moet je handmatig aanpassen en valid users = <usernaam> toevoegen aan een share bijvoorbeeld. Dit kan niet via de ZFSguru interface, pas in beta9.

[nwagenaar]

@CiPHER

Een klein vraagje, is het wellicht mogelijk om de volgende versie van zfsguru te voorzien van een UPnP/DLNA service zoals MiniDLNA? Ik heb geen idee hoe andere personen het doen, maar ik stream liever mijn data vanwege de UPnP mogelijkheden op mijn TV.

[B2]

Gisteren mijn M1015 kaart binnen gekregen, en inmiddels naar een LSI9211-IT geflashed. Deze kaart geef ik vanuit KVM middels VT-d door Helaas, geen enkele FreeBSD afgeleide krijg ik geboot. Allemaal geven ze de melding waiting for xpt_config mps_startup

In wat andere topics kon ik al vinden dat anderen hetzelfde probleem hebben wanneer de kaart door ESXi middels VT-d aan een *BSD wordt gegeven. De oplossing om

code:

set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"

voor het booten te in te voeren geven helaas geen positief resultaat onder KVM.

Ik gebruik de M1015 niet om vanaf te booten, dit gaat vanaf een logical volume op een ssd. De kaart is volgens mij met de laatste firmware (2118it.bin) geflashed wat ik op deze pagina gevonden heb.

[Verwijderd]

nwagenaar schreef op zondag 18 november 2012 @ 21:37:
@CiPHER

Een klein vraagje, is het wellicht mogelijk om de volgende versie van zfsguru te voorzien van een UPnP/DLNA service zoals MiniDLNA? Ik heb geen idee hoe andere personen het doen, maar ik stream liever mijn data vanwege de UPnP mogelijkheden op mijn TV.

Hmm, ja ik heb nu een plex server op mijn pc staan maar zat inderdaad te denken dat je iets met een virtual machine moest gaan doen en daar plex op te draaien zodat de tv's erbij kunnen. Maar als dit zonder dat kan zou dat natuurlijk geweldig zijn.

@CiPHER
kan ik de smb.conf via de command line aanpassen of moet dit op de server zelf?

[Verwijderd]

@nwagenaar
Services toevoegen kan altijd daar hoeft geen nieuwe versie voor worden uitgegeven van het system noch de web-interface. En uPNP staat op mijn lijstje. Tot die tijd kun je het handmatig installeren door op de Services->Install->ZFSguru->FreeBSD Portstree pagina de officiële portstree te installeren. Vervolgens via SSH login iets doen als:
cd /usr/ports/net/miniupnpd/
make install clean

Merk wel op dat miniuPNPd ook pf firewall configuratie nodig heeft. Dus je moet daar ook nog configureren om het werkend te krijgen. Niet de makkelijkste opdracht als je niet zo bekend bent met installeren/configureren op UNIX-achtigen. Daarom zijn die services zo gaaf, je kunt met een paar klikken een werkende applicatie tevoorschijn toveren.

Heb je waardevolle feedback over een potentiële nieuwe ZFSguru service, laat het dan weten via mij of op het ZFSguru forum. In de toekomst kun je zelf services maken en submitten, dan wordt het natuurlijk veel leuker met een hele waslijst aan beschikbare services.


@B2
Heb je de beta8 livecd geprobeerd? Inclusief met bij de bootloader kiezen voor [ESC]ape to loader prompt en dan invullen:
set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"
boot

Op het ZFSguru forum staat ook zo'n melding. Dus ik ben heel benieuwd naar jullie bevindingen.


@Sylasia
Kijk even op de Services->Internal->OpenSSH pagina hoe je via SSH kan inloggen op je server. Dan heb je 'echte' toegang. Na het inloggen wordt je root met 'su'. Daarna kun je editen met:
ee /usr/local/etc/smb.conf

Hou er wel rekening mee dat als je gaat prutsen dingen wel eens stuk gaan. Wees dus terughoudend met veranderingen op een server met waarbij je continu toegang tot belangrijke data nodig hebt. Een backup maken van je configuratie voordat je wijzigingen aanbrengt is geen slecht idee, zoals:
cp -p /usr/local/etc/smb.conf /root/backup-smb.conf

[ Voor 14% gewijzigd door Verwijderd op 18-11-2012 22:00 ]

[Borromini]

nwagenaar schreef op zondag 18 november 2012 @ 21:37:
@CiPHER

Een klein vraagje, is het wellicht mogelijk om de volgende versie van zfsguru te voorzien van een UPnP/DLNA service zoals MiniDLNA? Ik heb geen idee hoe andere personen het doen, maar ik stream liever mijn data vanwege de UPnP mogelijkheden op mijn TV.

Weet niet of je 't al geprobeerd hebt maar minidlna is eenvoudig via de ports te installeren (pkg_add -r minidlna). Heb het hier net aan de praat gekregen.

Persoonlijk denk ik dat ik Debian Wheezy GNU/kFreeBSD ga testen, BSD voelt voorlopig nog wat onwennig. De webinterface is erg handig, maar nu voelt het teveel als hacken.

[B2]

Verwijderd schreef op zondag 18 november 2012 @ 21:57:
@B2
Heb je de beta8 livecd geprobeerd? Inclusief met bij de bootloader kiezen voor [ESC]ape to loader prompt en dan invullen:
set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"
boot

Op het ZFSguru forum staat ook zo'n melding. Dus ik ben heel benieuwd naar jullie bevindingen.

Jup, heb ik geprobeerd. Heb het ook geprobeerd met FreeNas en Nas4Free, maar bij allemaal dezelfde melding.

[Verwijderd]

@B2: vervelend. Ik zal nog eens zoeken naar dit probleem. Je zou wellicht wel kunnen controleren welke versie firmware je hebt. In een FreeBSD posting stond ook beschreven de versie (uit mijn hoofd: 14 de oude, 15 de nieuwe maar daar ik heel goed naastzitten).

De webinterface is erg handig, maar nu voelt het teveel als hacken.

Kun je dat uitleggen? Doel je op de web-interface zelf, of op het installeren van extra software via de portstree?

Dat laatste kan ik namelijk geen 'hackwerk' noemen. ZFSguru is een volledige BSD distro dus je kunt dat als appliance gebruiken maar ook als general purpose operating system. De FreeBSD portstree is de officiële manier van installeren van software op het FreeBSD platform.

[ Voor 7% gewijzigd door Verwijderd op 18-11-2012 22:06 ]

[B2]

Verwijderd schreef op zondag 18 november 2012 @ 22:04:
@B2: vervelend. Ik zal nog eens zoeken naar dit probleem. Je zou wellicht wel kunnen controleren welke versie firmware je hebt. In een FreeBSD posting stond ook beschreven de versie (uit mijn hoofd: 14 de oude, 15 de nieuwe maar daar ik heel goed naastzitten)

Graag, zou jammer zijn als het niet zou werken. Volgens mij gebruik ik versie 14 en is dat de laatste.

[Borromini]

Verwijderd schreef op zondag 18 november 2012 @ 22:04:
@B2: vervelend. Ik zal nog eens zoeken naar dit probleem. Je zou wellicht wel kunnen controleren welke versie firmware je hebt. In een FreeBSD posting stond ook beschreven de versie (uit mijn hoofd: 14 de oude, 15 de nieuwe maar daar ik heel goed naastzitten).


[...]

Kun je dat uitleggen? Doel je op de web-interface zelf, of op het installeren van extra software via de portstree?

Dat laatste kan ik namelijk geen 'hackwerk' noemen. ZFSguru is een volledige BSD distro dus je kunt dat als appliance gebruiken maar ook als general purpose operating system.

Meer het laatste. Daarnaast vind ik bv. rtorrent/rutorrent prettiger werken dan transmission als webinterface, en ik heb een aardige stapel torrents die ik dan opnieuw zou moeten importeren. De migratie van mijn data kost nu al handenvol werk (schijven zo goed als vol enzo, syncen over het LAN, ook niet alles ).

De webinterface is erg goed, alleen heb ik er zelf nooit echt behoefte aan gehad op mijn server (daarvoor draaide er een Linux op, ook zonder webinterface). Het is zeker van pas gekomen aangezien ik niks ken(de) van ZFS, maar ik betrap me erop dat ik de webinterface voor niet veel meer gebruik dan het checken van load (heb het linux compatibility proc thingy dat htop graag heeft nog niet toegevoegd in fstab) en zien hoe vol mijn schijven zitten.

[B2]

Verwijderd schreef op zondag 18 november 2012 @ 22:04:
@B2: vervelend. Ik zal nog eens zoeken naar dit probleem. Je zou wellicht wel kunnen controleren welke versie firmware je hebt. In een FreeBSD posting stond ook beschreven de versie (uit mijn hoofd: 14 de oude, 15 de nieuwe maar daar ik heel goed naastzitten).

Hmz, ben nou heel benieuwd of dat het was, maar ik heb de HBA op een andere manier aan de VM toegekend en na het geven van de msi en msix boolean bij het booten werkt het opeens prima

Opgelost dus, pool staat al te snorren

Ik draai nu trouwens met 4GB ram, met een raidz2 pool van 4x2TB. Aan te raden om meer toe te kennen? Ik zie namelijk al meldingen dat prefetch wordt uitgeschakeld?

[ Voor 12% gewijzigd door B2 op 19-11-2012 08:46 ]

[matty___]

B2 schreef op maandag 19 november 2012 @ 07:23:


Ik draai nu trouwens met 4GB ram, met een raidz2 pool van 4x2TB. Aan te raden om meer toe te kennen? Ik zie namelijk al meldingen dat prefetch wordt uitgeschakeld?

kun je met de hand aanzetten maar van meer ram wordt zfs natuurlijk wel blij

[FireDrunk]

B2 schreef op zondag 18 november 2012 @ 21:38:
Gisteren mijn M1015 kaart binnen gekregen, en inmiddels naar een LSI9211-IT geflashed. Deze kaart geef ik vanuit KVM middels VT-d door Helaas, geen enkele FreeBSD afgeleide krijg ik geboot. Allemaal geven ze de melding waiting for xpt_config mps_startup

In wat andere topics kon ik al vinden dat anderen hetzelfde probleem hebben wanneer de kaart door ESXi middels VT-d aan een *BSD wordt gegeven. De oplossing om

code:

set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"

voor het booten te in te voeren geven helaas geen positief resultaat onder KVM.

Ik gebruik de M1015 niet om vanaf te booten, dit gaat vanaf een logical volume op een ssd. De kaart is volgens mij met de laatste firmware (2118it.bin) geflashed wat ik op deze pagina gevonden heb.

Volgens mij haal je twee dingen door elkaar?

Het is toch of
set hw.pci.enable_msix 0
tijdens boot
of
hw.pci.enable_msix="0" in /boot/loader.conf?

* FireDrunk heeft het niet eens meer nodig... Sinds de nieuwe 9.1-RC3 heb ik de opties niet eens meer aan merk ik net En alles werkt prima.

[B2]

FireDrunk schreef op maandag 19 november 2012 @ 09:46:
[...]


Volgens mij haal je twee dingen door elkaar?

Het is toch of
set hw.pci.enable_msix 0
tijdens boot
of
hw.pci.enable_msix="0" in /boot/loader.conf?

* FireDrunk heeft het niet eens meer nodig... Sinds de nieuwe 9.1-RC3 heb ik de opties niet eens meer aan merk ik net En alles werkt prima.

Nee haal het niet door elkaar, ik merkte het natuurlijk als eerste tijdens het booten met de LiveCD waar je de set optie moet gebruiken. Daarna idd de loader.conf aangepast zonder set.

[FireDrunk]

Hmm... Word die loader.conf nog wel gebruikt met dat nieuwe multi-boot systeem?

[nwagenaar]

Borromini schreef op zondag 18 november 2012 @ 21:59:
[...]
Weet niet of je 't al geprobeerd hebt maar minidlna is eenvoudig via de ports te installeren (pkg_add -r minidlna). Heb het hier net aan de praat gekregen.

Ik zal het je nog strakker vertellen, ik heb hem weken terug handmatig gecompileerd

Maar ik kan mij voorstellen dat er meer mensen zijn die een UPnP/DLNA server willen gebruiken icm hun consoles, TV's, tablets, smartphones, etc en die zijn wellicht niet zo handig met FreeBSD. Dus voor die mensen zou het wellicht handig zijn dat het als (downloadbare) service wordt opgenomen binnen zfsguru.

[enormhi]

Ik heb mij de server even heel simpel ingesteld (4 vdevs van 3 disks in RAIDZ1) en er eens met dd op los gegaan.

Ik heb het gevoel dat ik iets fout doe...

dd if=/dev/zero of=/mnt/tank/zerofile.000 bs=2M count=65536
65536+0 records in
65536+0 records out
137438953472 bytes transferred in 159.568559 secs (861316002 bytes/sec) 821MB/s

Begrijp ik het goed dat ik met bovenstaande commando een file maak van 128GB? Ik schrijf blokken van 2MB en dat doe ik 65536 keer? Of heb ik het echt goed mis?

[FireDrunk]

Nee hoor, klinkt prima... Je hebt 8 disks die 100% aan het schrijven zijn, dus een score van 821MB/s kan best

Ziet er prima uit!

[enormhi]

Gelukkig! Nu alleen nog met mijn collega beslissen welke opstelling gaan gebruiken. Als we dat besloten hebben en gebouwd zal ik weer wat updates plaatsen.

[dutch_warrior]

Ik heb bij een klant een ZFS servertje draaien als NAS voor tijdelijke opslag en als achief locatie om oude bestanden op te slaan. Deze data is allemaal niet bedrijfskritisch en van de gearchiveerde bestanden is ook gewoon een offline back-up op tape dus wat dat betreft zit het allemaal goed. De server draait al ruim een week als test, op zich is alles stabiel alleen zie ik dat zich vandaag een paar sata cable errors hebben voorgedaan.

code:

(ada0:ahcich0:0:0:0): WRITE_FPDMA_QUEUED. ACB: 61 00 62 96 8e 40 11 00 00 01 00 00
(ada0:ahcich0:0:0:0): CAM status: Uncorrectable parity/CRC error
(ada0:ahcich0:0:0:0): Retrying command

Bovenstaande staat vandaag meerdere keren voor beide disks in de kernel log.
Een scrub loopt gewoon goed, er hoeft niets gerepareerd te worden. Ik ga morgen in ieder geval de sata kabels even vervangen, met welke zaken kan ik nog meer rekening houden?
Het voltage op de 12v lijn is volgens ZFS guru ook slechts 7.8V, dit zal ik even nameten met de multi meter maar ik denk dat dit voltage niet goed wordt uitgelezen.

De specs van het systeem:
Asus RS120-EP5
Intel Q8300 cpu
4x 2GB DDR2 pc-6400 non-ecc
2x 1TB Seagate ST1000DM003 in Mirror, hier draait ZFS guru ook op.

[Verwijderd]

@dutch_warrior: check je SMART! SATA kabels vervangen is eigenlijk onzin, omdat je in de SMART precies kunt zien of je kabelfouten hebt gehad ja of nee. Meten is weten.

[dutch_warrior]

Verwijderd schreef op maandag 19 november 2012 @ 17:03:
@dutch_warrior: check je SMART! SATA kabels vervangen is eigenlijk onzin, omdat je in de SMART precies kunt zien of je kabelfouten hebt gehad ja of nee. Meten is weten.

Heb ik gedaan, het zijn nieuwe disks en de smart status is gewoon healthy.
Er staat alleen voor beide disks een rode markering bij UDMA_CRC_Error_Count, de ene disk heeft vier errors gehad, de andere disk één error.

code:

1 Raw_Read_Error_Rate 0x000f 115 100 006 - 99137712 
5 Reallocated_Sector_Ct 0x0033 100 100 036 - 0 
7 Seek_Error_Rate 0x000f 063 060 030 - 2324544 
183 Runtime_Bad_Block 0x0032 100 100 000 - 0 
184 End-to-End_Error 0x0032 100 100 099 - 0 
187 Reported_Uncorrect 0x0032 100 100 000 - 0 
188 Command_Timeout 0x0032 100 100 000 - 0 0 0 
189 High_Fly_Writes 0x003a 100 100 000 - 0 
190 Airflow_Temperature_Cel 0x0022 074 071 045 - 26 (Min/Max 18/27) 
192 Power-Off_Retract_Count 0x0032 100 100 000 - 27 
194 Temperature_Celsius 0x0022 026 040 000 - 26 (0 18 0 0 0) 
197 Current_Pending_Sector 0x0012 100 100 000 - 0 
198 Offline_Uncorrectable 0x0010 100 100 000 - 0 
199 UDMA_CRC_Error_Count 0x003e 200 200 000 - 4 
240 Head_Flying_Hours 0x0000 100 253 000 - 74h+29m+47.104s

Bovenstaande is een deel van de smart output voor ada0 (de disk met 4 cable errors).
Wat mij opviel is dat beide disks ineens cable errors melden, ik heb namelijk afgelopen weekend de sata kabel van disk 1 omgestoken naar disk 0 en voor disk 1 een nieuwe kabel geplaats.
Het aantal fouten voor disk 1 is niet opgelopen echter ontstaan er nu voor disk 0 dus wel kabel fouten.
Memtest heeft trouwens ook een nacht foutloos gedraaid voordat ik ZFS guru heb geinstalleerd dus de server lijkt in de basis wel stabiel te zijn.

[Verwijderd]

Hou die waarden in de gaten; elke keer dat je een kabelfout krijgt zul je dat ook in de kernel logs zien. Maar een kabelfout betekent simpelweg dat er een CRC error aan de andere kant wordt gedetecteerd en de data simpelweg opnieuw verzonden wordt. Dus tenzij je kabel helemaal ruk is, blijft je schijf wel correct functioneren. Maar je wilt natuurlijk geen vage timeouts enzo, dus als je merkt dat over een paar dagen schijf X weer extra kabelfouten heeft, vervang dan die kabel.

[dutch_warrior]

Oke, dat wilde ik even weten.
Ik zal het even in de gaten houden, vooralsnog lijkt het aantal kabel fouten niet verder op te lopen en zolang smart geen stijgingen in het aantal fouten laat zien ga ik er maar vanuit dat het een éénmalig incident is geweest.

Trouwens nog een vraag: Is het te verwachten dat wanneer er een vm met 1GB ram actief is in virtualbox er eigenlijk te weinig geheugen is voor deze VM omdat het systeem al teveel kernel memory reserveert voor ZFS? Ik had vanmiddag namelijk last van zeer slechte performance (één grote file) tijdens het zoeken naar een oorzaak viel het me op dat de webinterface het geheugen gebruik niet meer kon rapporteren. Na het stoppen van een actieve VM werkte de geheugen status pagina weer probleemloos en latere kopieer acties verliepen ook weer vlot. Moet ik zoals een aantal post geleden is besproken door handmatige tuning het geheugen gebruik van ZFS beperken?

Al met al toch mijn complimenten CiPHER, ZFSguru is een fijn product om mee te werken en de ontwikkeling verloopt goed.

[Borromini]

Zijn er nog mensen die Debian GNU/kFreeBSD geïnstalleerd hebben? Ik probeer hier ZFS-partities met NFS te delen op de aanbevolen manier (zfs set sharenfs=on) maar de server weigert de clients te laten aankoppelen - mount geeft als foutmelding 'connection refused'. In /etc/zfs/exports staan alle partities netjes met het LAN gespecificeerd (zonder werkt het trouwens evenmin ).

Iemand ideeën? Dmesg is angstvallig still, /var/log/daemon.log en /var/log/messages ook. NFS lijkt geen apart logbestand te hebben.

[FireDrunk]

showmount -e?

[Borromini]

Showmount is niet beschikbaar in Debian kFreeBSD.

[Verwijderd]

kFreeBSD heeft FreeBSD kernel maar GNU userland. Dus je hebt geen BSD NFS server, maar iets anders. Wellicht dat NFS ook helemaal niet werkt omdat ze nog niet 'linux NFS' aan ZFS NFS hebben gekoppeld. ZFS zelf is kernel-level dus daar heb je geen problemen mee, maar dingen die op userland-niveau werken, zit je dus met GNU binaries.

Zou je op BSD platform zitten, dan is het een kwestie van nfs server in de /etc/rc.conf enablen en rebooten. In jouw geval, misschien dat het gewoon nog niet functioneel is, of dat er inmiddels NFS support via andere weg is via GNU software.

[Borromini]

Daar vrees ik ook een beetje voor . Er is geen /etc/exports aanwezig bv. maar wel standaard /etc/zfs/exports. Er is wel een NFS-pakket specifiek voor kFreeBSD geïnstalleerd:

# dpkg -l *nfs*
Desired=Unknown/Install/Remove/Purge/Hold
| Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
|/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
||/ Naam                            Versie               Architecture         Omschrijving
+++-===============================-====================-====================
ii  freebsd-nfs-common              9.0+ds1-8            kfreebsd-amd64       NFS support files common to client and server
un  nfs-common                      <none>                                    (geen beschrijving beschikbaar)

Rpcbind en rpc.statd draaien wel.

$ rpcinfo -p
   program.vers.protocl.poort
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp    753  status
    100024    1   tcp    753  status

[ Voor 23% gewijzigd door Borromini op 20-11-2012 20:13 ]

[FireDrunk]

nfs-common is volgens mij client... geen server.

apt-get install freebsd-nfs-server?

[ Voor 28% gewijzigd door FireDrunk op 20-11-2012 20:47 ]

[Borromini]

Dat is inderdaad een serieuze PEBKAC . Geïnstalleerd, nfsd draait, maar mount wordt nog steeds geweigerd. Een reboot lijkt jammer genoeg niks uit te halen.

[ Voor 17% gewijzigd door Borromini op 20-11-2012 20:59 ]

[FireDrunk]

even opnieuw zfs set sharenfs=on tank/fs doen?

[Borromini]

Dat lijkt niet te helpen jammer genoeg, maar toch bedankt voor de suggesties. Ik heb even met de mensen in #debian-kbsd gecheckt en een behulpzame ziel had NFS werkend, maar (zoals na een tijdje pas bleek) met de gewone NFS-setup en niet met de ingebouwde NFS-functionaliteit die ZFS biedt. Ik heb het dus aan de praat, zei het als gewone NFS-shares, niet als ZFS NFS-shares.

[FireDrunk]

Is er een effectief verschil?

[Borromini]

Geen flauw idee. Buiten dat je ze niet mag mixen is het mij niet duidelijk of de 'native' NFS-implementatie van ZFS voordelen heeft.

[FireDrunk]

Dan zeg ik, stop met ZFS NFS shares, en doe het gewoon op de sem-'ondersteunde' manier.

[fluppie007]

Is er iemand die ZFSguru al in de nieuwe Hyper-V 2012 heeft draaien? Blijkbaar is dat een enorme stap voorwaarts. Zou ook direct access naar de disks hebben zoals ESXi.

[Phorze]

onder KVM is het in ieder geval drama, ik krijg zelfs met een virtio netwerk een throughput van niet meer dan 20MB/s tussen guest en host (ubuntu 12.10).

[FireDrunk]

Heb je al eens een Ubuntu VM gemaakt en daar VirtIO mee getest?

[Phorze]

FireDrunk schreef op woensdag 21 november 2012 @ 12:16:
Heb je al eens een Ubuntu VM gemaakt en daar VirtIO mee getest?

Ga ik zo proberen, virtio is niet het probleem, ik heb zelfs een tweede NIC in de server gehangen (intel CT desktop adapter) en die als PCI passthrough aangeboden aan zfsguru. Zelfde resultaat.

Voor zfsguru de TMPFS samba share gebruikt en op ubuntu ook een ramdisk gemaakt.. niet meer dan 20-25 MB/s

[ Voor 12% gewijzigd door Phorze op 21-11-2012 12:59 ]

[FireDrunk]

Klinkt als een issue in ZFSguru... Kan je eens precies uitschrijven wat je allemaal gedaan hebt? Ik ben eerlijk gezegd wel benieuwd

[Phorze]

FireDrunk schreef op woensdag 21 november 2012 @ 12:59:
Klinkt als een issue in ZFSguru... Kan je eens precies uitschrijven wat je allemaal gedaan hebt? Ik ben eerlijk gezegd wel benieuwd

Laatste test:
ZFSguru live onder virtualbox op ubuntu;
VirtIO adapter bridged;
Bestand kopieeren naar default TMPFS share lukt helemaal niet.
1000MT adapter bridged;
Bestand kopieeren naar default TMPFS share 15MB/s.

[strandbal]

Ik draai een DIY nas op FreeBSD 9.0, met als ZFS pool een RAIDZ1 met 3x1TB Samsung HDD's. Een tijdje heb ik last gehad van de volgende melding in dmesg:

code:

ahcich2: Timeout on slot 2 port 0
ahcich2: is 00000000 cs 00000004 ss 00000000 rs 00000004 tfd 451 serr 00000000 cmd 00000217
ahcich2: Error while READ LOG EXT

In de smart data van de harddisk stonden ook een aantal current_pending_sectors. zpool status gaf geen errors, en alles als "online". Ik heb de SATA kabel vervangen (gokje) en de boel laten scrubben, en nu zie ik het volgende:

code:

  pool: storage
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using 'zpool clear' or replace the device with 'zpool replace'.
   see: http://www.sun.com/msg/ZFS-8000-9P
 scan: scrub repaired 2.01M in 2h27m with 0 errors on Tue Nov 20 22:44:29 2012
config:

        NAME        STATE     READ WRITE CKSUM
        storage     ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            ada1    ONLINE       0     0     0
            ada2    ONLINE       0     0    11
            ada3    ONLINE       0     0     0

en de smartdata van deze hdd:

code:

nas# smartctl -a /dev/ada2
smartctl 6.0 2012-10-10 r3643 [FreeBSD 9.0-RELEASE-p3 amd64] (local build)
Copyright (C) 2002-12, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     SAMSUNG SpinPoint F2 EG
Device Model:     SAMSUNG HD103SI
Serial Number:    S1VSJ9BS500076
LU WWN Device Id: 5 0024e9 200837e86
Firmware Version: 1AG01113
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA/ATAPI-7, ATA8-ACS T13/1699-D revision 3b
Local Time is:    Wed Nov 21 14:20:08 2012 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      ( 121) The previous self-test completed having
                                        the read element of the test failed.
Total time to complete Offline
data collection:                (13755) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 230) minutes.
Conveyance self-test routine
recommended polling time:        (  24) minutes.
SCT capabilities:              (0x003f) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   099   099   051    Pre-fail  Always       -       823
  3 Spin_Up_Time            0x0007   083   083   011    Pre-fail  Always       -       6080
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       64
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   100   100   051    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0025   092   092   015    Pre-fail  Offline      -       17700
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       28117
 10 Spin_Retry_Count        0x0033   100   100   051    Pre-fail  Always       -       0
 11 Calibration_Retry_Count 0x0012   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       64
 13 Read_Soft_Error_Rate    0x000e   099   099   000    Old_age   Always       -       823
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0033   100   100   000    Pre-fail  Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       1389
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   079   069   000    Old_age   Always       -       21 (Min/Max 21/23)
194 Temperature_Celsius     0x0022   079   068   000    Old_age   Always       -       21 (Min/Max 21/26)
195 Hardware_ECC_Recovered  0x001a   100   100   000    Old_age   Always       -       390035312
196 Reallocated_Event_Count 0x0032   099   099   000    Old_age   Always       -       39
197 Current_Pending_Sector  0x0012   097   097   000    Old_age   Always       -       116
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       1
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x000a   100   100   000    Old_age   Always       -       0
201 Soft_Read_Error_Rate    0x000a   099   097   000    Old_age   Always       -       57

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed: read failure       90%     28098         358522091
# 2  Extended offline    Completed: read failure       90%     27980         357961091
# 3  Extended offline    Aborted by host               90%     27980         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Current_pending_sectors na mijn scrub is flink verhoogd, maar reallocated_sector_count is niet verhoogd? Voor zover ik weet bij een scrub die read errors geeft, herschijft ZFS toch de sectoren zodat de schijf ze "reallocate"?

Of is mijn schijf hartstikke stervend

[FireDrunk]

Phorze schreef op woensdag 21 november 2012 @ 13:53:
[...]


Laatste test:
ZFSguru live onder virtualbox op ubuntu;
VirtIO adapter bridged;
Bestand kopieeren naar default TMPFS share lukt helemaal niet.
1000MT adapter bridged;
Bestand kopieeren naar default TMPFS share 15MB/s.

Je moet wel even de VirtIO kernel module in je host activeren... Anders is het alsnog traag...

lsmod | grep virtio_net
modprobe virtio_net

[B2]

Phorze schreef op woensdag 21 november 2012 @ 12:12:
onder KVM is het in ieder geval drama, ik krijg zelfs met een virtio netwerk een throughput van niet meer dan 20MB/s tussen guest en host (ubuntu 12.10).

Hm ik heb ook net Virtio opgezet, maar ik haal makkelijk 600Mbit vanaf een externe host naar een gevirtualiseerde ZFSGuru met raidz2. En dan is de disk waar het vanaf moet komen een Samsung M8, 2.5inch dus.

[Phorze]

FireDrunk schreef op woensdag 21 november 2012 @ 14:46:
[...]


Je moet wel even de VirtIO kernel module in je host activeren... Anders is het alsnog traag...

lsmod | grep virtio_net
modprobe virtio_net

Zit die er in een desktop kernel wel in?

insmod virtio_net
insmod: can't read 'virtio_net': No such file or directory

in APT kan ik hem ook niet vinden..

B2 schreef op woensdag 21 november 2012 @ 14:50:
[...]


Hm ik heb ook net Virtio opgezet, maar ik haal makkelijk 600Mbit vanaf een externe host naar een gevirtualiseerde ZFSGuru met raidz2. En dan is de disk waar het vanaf moet komen een Samsung M8, 2.5inch dus.

Wat is je host? hypervisor?

[ Voor 29% gewijzigd door Phorze op 21-11-2012 15:34 ]

[FireDrunk]

insmod != modprobe.

find / | grep virtio_net.ko
Hmm, ik zie dat het experimental is, en niet in kernel 3.5 zit... En laat Ubuntu nou juist momenteel op 3.5 zitten

(mijn laptop draait ook Ubuntu desktop. zal zo eens een VM maken.)

http://cateee.net/lkddb/web-lkddb/VHOST_NET.html

[ Voor 114% gewijzigd door FireDrunk op 21-11-2012 15:50 ]

[Verwijderd]

strandbal schreef op woensdag 21 november 2012 @ 14:24:
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 1389
197 Current_Pending_Sector 0x0012 097 097 000 Old_age Always - 116
199 UDMA_CRC_Error_Count 0x003e 100 100 000 Old_age Always - 0

Ergo:
1) nooit kabelfouten gehad, je kabel voor deze schijf is dus nooit een probleem geweest.
2) je hebt op dit moment 116 actieve bad sectoren die niet kunnen worden gelezen
3) je hebt vanaf het verleden totaal 1389 actieve bad sectors gehad (waarvan 1389 - 116 dus in het verleden)

Current_pending_sectors na mijn scrub is flink verhoogd, maar reallocated_sector_count is niet verhoogd? Voor zover ik weet bij een scrub die read errors geeft, herschijft ZFS toch de sectoren zodat de schijf ze "reallocate"?

Ik zie geen read errors, alleen checksum errors in je zpool status output. Je hebt dus nooit read errors gehad. Bedenk ook dat pending sectoren het snelst voorkomen in gebieden waar je al lang niet naartoe hebt geschreven. Dit kunnen prima plekken zijn die allemaal niet in gebruik zijn door ZFS. Zo heb ik bij WD EARX schijven dat vrijwel alle hardeschijven pending sectoren vertonen na een tijd, maar ZFS gewoon goed functioneert. Zou je NTFS of legacy RAID gebruiken, dan heb je natuurlijk wel een groot probleem. Maar je gebruikt ZFS. Chill dus.

Of is mijn schijf hartstikke stervend

Ik vind 116 bad sectors wel veel ja. En 1389 natuurlijk helemaal! Maar als je scrub zonder problemen voltooid raakt en die pending sectoren blijven er nog, dan betekent het dat die sectoren zich niet voordoen in gebieden die je in gebruik hebt. Die heeft ZFS waarschijnlijk al gefixed en daar komt het verschil tussen 116 en 1389 vandaan.

Dat je geen Reallocated Sector Count ziet komt omdat geen van alle 'bad sectors' een fysiek beschadigde sector betrof. Het zijn enkel sectoren die niet uitgelezen kunnen worden omdat er onvoldoende ECC bitcorrectie aanwezig is, bijvoorbeeld omdat het geen 4K sector maar een oudere 512-byte sector schijf is.

In geval van dit soort bad sectors worden die dus niet omgewisseld. Ze worden hetschreven met nieuwe data en als deze vervolgens kan worden uitgelezen, wordt de sector niet omgewisseld. Alleen als na het overschrijven met nieuwe data de sector nog steeds onleesbaar is, of het lezen langer duurt dan gebruikelijk, dan wordt de sector omgewisseld. Dit is relatief nieuw omdat zeker vroeger je dit soort bad sectors niet of nauwelijks had. Enkel de klassieke bad sector met fysieke schade. Als je schijf meer ECC bitcorrectie had, zou je al deze 'bad sectors' kunnen voorkomen.

[B2]

Phorze schreef op woensdag 21 november 2012 @ 15:31:
[...]
Wat is je host? hypervisor?

KVM, Fedora 17.

[FireDrunk]

Kernel versie?

[strandbal]

Bedankt voor je info, het is idd een 512 byte sector schijf, ze zijn al wat ouder. Maar als ik jouw advies zo lees is het meer de boel in de gaten houden, en zo af en toe eens scrubben om te zien of het nog erger wordt? Of zal ik 'm er toch eens uithalen om 'm even van sector 1 tot eind door te lichten?

[B2]

FireDrunk schreef op woensdag 21 november 2012 @ 15:54:
Kernel versie?

Fedora 17 zit op het moment op 3.6

[B2]

B2 schreef op maandag 19 november 2012 @ 07:23:
[...]


Hmz, ben nou heel benieuwd of dat het was, maar ik heb de HBA op een andere manier aan de VM toegekend en na het geven van de msi en msix boolean bij het booten werkt het opeens prima

Opgelost dus, pool staat al te snorren

Ik draai nu trouwens met 4GB ram, met een raidz2 pool van 4x2TB. Aan te raden om meer toe te kennen? Ik zie namelijk al meldingen dat prefetch wordt uitgeschakeld?

Heb vandaag even het e.e.a uitgezocht, het lag aan het pci adres binnen kvm, dus blijkbaar aan de IRQ die de guest intern toewees aan de M1015. Door een andere waarde te kiezen, en de guest opnieuw te definieren vanuit de xml kreeg ik geen xpt_config problemen.

[ Voor 3% gewijzigd door B2 op 21-11-2012 16:01 ]

[FireDrunk]

Ubuntu 12.10 -> ZFSGuru Beta8 live CD.

Ik zie wel dat de VirtIO Disks niet herkend worden

Jammer dat FreeBSD nog geen VirtIO Block Device ondersteuning heeft

[ Voor 41% gewijzigd door FireDrunk op 21-11-2012 16:33 ]

[Verwijderd]

virtio_load="YES"
virtio_pci_load="YES"
virtio_blk_load="YES"
if_vtnet_load="YES"
virtio_balloon_load="YES"

Daar zie ik duidelijk virtio PCI, block device, network en ballooning driver. Dus kun je checken of die enabled zijn in je 'kldstat' ?

[Phorze]

FireDrunk schreef op woensdag 21 november 2012 @ 16:30:

Ubuntu 12.10 -> ZFSGuru Beta8 live CD.

Welke hypervisor? hoe heb je de host qua networking ingesteld? Dan ga ik iperf hier ook proberen..

[FireDrunk]

@CiPHER, ik heb de VM al weggemikt, zal morgen eens kijken als ik tijd heb.

@Phorze, KVM met basic NAT (niet eens bridged).

En dit is op een IBM Thinkpad laptop met een Core i5 dual-core... Dus eerder CPU bound dan iets anders.

[ Voor 33% gewijzigd door FireDrunk op 21-11-2012 19:08 ]

[EnerQi]

Verwijderd schreef op zondag 28 oktober 2012 @ 15:52:
SABnzbd+ service is inderdaad buggy. Maar het enige probleem dat ik had was dat van de extra services (couchpotato, headphones, sickbeard) er maar één wilt starten. Dit heeft te maken met de startupscripts in /usr/local/etc/rc.d/.

Jouw verhaal is echter anders; je zegt dat SABnzbd+ zelf niet meer wilt starten? Wat krijg je te zien als je dit handmatig probeert met: /usr/local/etc/rc.d/sabnzbdplus onestart of zoiets?

Het commando: " /usr/local/etc/rc.d/sabnzbd start " geprobeerd maar helaas is het proces niet zichbaar in het "processor usage" scherm

De melding die ik krijg:

code:

Command output:
 zfsguru.bsd$ /usr/local/etc/rc.d/sabnzbd start
Starting sabnzbd.

Met of zonder "increased (root) privileges" maakt niet uit.

Poging2:

code:

zfsguru.bsd$ /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/service_start.sh start
* starting sabnzbd
Starting sabnzbd.
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/sickbeard/sickbeard.pid: No such file or directory
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/couchpotato/couchpotato.pid: No such file or directory
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/headphones/headphones.pid: No such file or directory
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/autosub/autosub.pid: No such file or directory
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/beets/beets.pid: No such file or directory
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/lazylibrarian/lazylibrarian.pid: No such file or directory
cat: /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/maraschino/maraschino.pid: No such file or directory
* manually starting SickBeard
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/sickbeard/sickbeard.pid python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/sickbeard/SickBeard.py --quiet
return value: 0
SickBeard should be running as PID 5024

* manually starting CouchPotato
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/couchpotato/couchpotato.pid python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/couchpotato/CouchPotato.py --quiet --data_dir /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/couchpotato
return value: 0
CouchPotato should be running as PID 5028

* manually starting Headphones
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/headphones/headphones.pid python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/headphones/Headphones.py --quiet
return value: 0
Headphones should be running as PID 5032

* manually starting AutoSub
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/autosub/autosub.pid python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/autosub/AutoSub.py
return value: 0
AutoSub should be running as PID 5036

* manually starting Beets
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/beets/beets.pid /bin/sh -c BEETSCONFIG=/BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/beets/.beetsconfig /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/beets/beet web
return value: 0
Beets should be running as PID 5040

* manually starting LazyLibrarian
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/lazylibrarian/lazylibrarian.pid python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/lazylibrarian/LazyLibrarian.py --quiet
return value: 0
LazyLibrarian should be running as PID 5044

* manually starting Maraschino
/usr/sbin/daemon -u _sabnzbd -f -p /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/maraschino/maraschino.pid python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/maraschino/Maraschino.py
return value: 0
Maraschino should be running as PID 5048

* done

Maar helaas, sabnzbd+ draait nog niet
Edit3: logisch, ik mis het starten van het proces "sabnzbd". Waar kan ik dat nu vinden?

Edit4: In "data" staat het niet. Het .ini file is naar mijn mening de configuratie file....

code:

drwxrwxr-x  13 _sabnzbd  _sabnzbd    15 Nov 11 11:07 .
drwxr-xr-x   6 root      wheel       20 Nov 11 11:06 ..
drwxr-xr-x   3 _sabnzbd  _sabnzbd     3 Nov  1 22:21 Downloads
drwxr-xr-x   2 _sabnzbd  _sabnzbd     9 Nov 21 15:08 admin
drwxr-xr-x   6 _sabnzbd  _sabnzbd    14 Nov 21 18:11 autosub
drwxr-xr-x  10 _sabnzbd  _sabnzbd    19 Nov 21 18:11 beets
drwxr-xr-x  13 _sabnzbd  _sabnzbd    30 Nov 21 18:11 couchpotato
drwxr-xr-x  11 _sabnzbd  _sabnzbd    24 Nov 21 18:11 headphones
drwxr-xr-x   9 _sabnzbd  _sabnzbd    17 Nov 21 18:11 lazylibrarian
drwxr-xr-x   2 _sabnzbd  _sabnzbd     6 Nov 19 01:33 logs
drwxr-xr-x  10 _sabnzbd  _sabnzbd    21 Nov 21 18:11 maraschino
-rw-------   1 _sabnzbd  _sabnzbd  3909 Nov 21 18:11 sabnzbd.ini
-rw-------   1 _sabnzbd  _sabnzbd  3909 Nov 21 18:11 sabnzbd.ini.bak
drwxr-xr-x  10 _sabnzbd  _sabnzbd    24 Nov 21 18:11 sickbeard
drwxr-xr-x  11 _sabnzbd  _sabnzbd    23 Nov 11 11:06 spotweb

[ Voor 76% gewijzigd door EnerQi op 21-11-2012 19:17 ]

[Verwijderd]

Wat zegt de panel interface dan? Die moet je eerst bezoeken voordat je sommige services uberhaupt kunt starten, omdat die config files kan aanpassen bijvoorbeeld voor het juiste IP adres.

Heb je SAB geinstalleerd voor of na het installeren van andere zoals X services?

Je kunt met dit commando zien welke Python apps er draaien:
ps auxwww | grep .py

(dit werkt mogelijk niet via de command line; hiervoor moet je inloggen via SSH. Alhoewel, zonder root privileges lukt het misschien)

[ Voor 16% gewijzigd door Verwijderd op 21-11-2012 19:39 ]

[FireDrunk]

Ik heb daar inderdaad wel vaker last van, dat met directe access je environment slechter is dan via SSH.
Waarom is dat eigenlijk? Gare PATH ofzo?

[EnerQi]

Verwijderd schreef op woensdag 21 november 2012 @ 19:37:
Wat zegt de panel interface dan? Die moet je eerst bezoeken voordat je sommige services uberhaupt kunt starten, omdat die config files kan aanpassen bijvoorbeeld voor het juiste IP adres.

dit staat er: De webpagina kan niet worden weergegeven (standaard tekst bij IE)

Bij het installeren van sabnzbd krijg je inderdaad een configuratie scherm die ik 4x doorlopen heb (bij iedere upgrade moet je alles opnieuw instellen ). Zodra ik reboot of shutdown doe, komen de andere processen online maar sabnzbd niet.

Heb je SAB geinstalleerd voor of na het installeren van andere zoals X services?

Ik heb maar 1 service draaien/geinstalleerd, namelijk sabnzbd.

Je kunt met dit commando zien welke Python apps er draaien:
ps auxwww | grep .py

(dit werkt mogelijk niet via de command line; hiervoor moet je inloggen via SSH. Alhoewel, zonder root privileges lukt het misschien)

code:

zfsguru.bsd$ ps auxwww | grep .py
root     5023   0.0  0.0  12052  1384 ??  Is    6:11PM   0:00.00 daemon: python[5024] (daemon)
_sabnzbd 5024   0.0  0.3 166568 44016 ??  S     6:11PM   0:07.58 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/sickbeard/SickBeard.py --quiet
root     5027   0.0  0.0  12052  1384 ??  Is    6:11PM   0:00.00 daemon: python[5028] (daemon)
_sabnzbd 5028   0.0  0.3 160896 57192 ??  S     6:11PM   0:18.49 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/couchpotato/CouchPotato.py --quiet --data_dir /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/couchpotato
root     5031   0.0  0.0  12052  1384 ??  Is    6:11PM   0:00.00 daemon: python[5032] (daemon)
_sabnzbd 5032   0.0  0.2 134016 29064 ??  S     6:11PM   0:11.87 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/headphones/Headphones.py --quiet
root     5035   0.0  0.0  12052  1384 ??  Is    6:11PM   0:00.00 daemon: python[5036] (daemon)
_sabnzbd 5036   0.0  0.2 139580 31904 ??  S     6:11PM   0:05.39 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/autosub/AutoSub.py
_sabnzbd 5040   0.0  0.1 102864 19756 ??  S     6:11PM   0:01.79 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/beets/beet web
root     5043   0.0  0.0  12052  1384 ??  Is    6:11PM   0:00.00 daemon: python[5044] (daemon)
_sabnzbd 5044   0.0  0.1 106208 18572 ??  S     6:11PM   0:11.49 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/lazylibrarian/LazyLibrarian.py --quiet
root     5047   0.0  0.0  12052  1384 ??  Is    6:11PM   0:00.00 daemon: python[5048] (daemon)
_sabnzbd 5048   0.0  0.2 134720 30428 ??  I     6:11PM   0:11.33 python /BootZFS/zfsguru/services/9.1-004/sabnzbdplus/data/maraschino/Maraschino.py
www      7459   0.0  0.0  14504  1612 ??  S     7:02PM   0:00.00 sh -c ps auxwww | grep .py
www      7461   0.0  0.0  16280  1568 ??  S     7:02PM   0:00.00 grep .py

Ik zal het proberen gelukt!, maar ik ben geen IT'er . Ik haak al af bij "ssh". Hoe en waar moet ik dat bereiken? Ik zal eens googlen

p.s. misschien opnemen in starttopic? "hoe werkt FreeBSD"

[FireDrunk]

Damn, wat ben ik toch blij dat ik dat in een Ubuntu VM heb...

apt-get dist-upgrade en klaar...

[EnerQi]

FireDrunk schreef op woensdag 21 november 2012 @ 20:05:
Damn, wat ben ik toch blij dat ik dat in een Ubuntu VM heb...

apt-get dist-upgrade en klaar...

Ik probeer juist zo min mogelijk services te draaien om zo de stabiliteit te behouden. Daarom probeer ik dus de programma's op de host (in dit geval FreeBSD/ZFSguru) te draaien ipv VM. De VM's die ik geprobeerd heb (met een andere pc) draaide maar bijzonder traag

[FireDrunk]

Wat ging er traag?

[B2]

Het starten van netatalk bij een initiele boot gaat eigenlijk altijd verkeerd. In de log zie ik de volgende meldingen staan. Ik moet netatalk telkens met de hand herstarten.

code:

Nov 21 19:43:53 zfsguru avahi-daemon[721]: WARNING: No NSS support for mDNS detected, consider installing nss-mdns!
Nov 21 19:43:53 zfsguru avahi-daemon[721]: dbus_bus_get_private(): Failed to connect to socket /var/run/dbus/system_bus_socket: No such file or directory
Nov 21 19:43:53 zfsguru avahi-daemon[721]: WARNING: Failed to contact D-Bus daemon.
Nov 21 19:43:54 zfsguru afpd[734]: AFP/TCP started, advertising xxx.xx.xxx.xxx:548 (2.2.4)
Nov 21 19:43:54 zfsguru afpd[734]: Failed to create client object: Daemon not running
Nov 21 19:43:54 zfsguru afpd[734]: av_zeroconf_unregister
Nov 21 19:43:54 zfsguru afpd[734]: av_zeroconf_unregister: avahi_threaded_poll_stop
Nov 21 19:43:54 zfsguru afpd[734]: av_zeroconf_unregister: avahi_client_free
Nov 21 19:43:54 zfsguru afpd[734]: av_zeroconf_unregister: avahi_threaded_poll_free
Nov 21 19:51:35 zfsguru afpd[734]: AFP Server shutting down on SIGTERM

CiPHER kun je hier iets mee?

[Phorze]

Verse ubuntu server install, zfsguru live:



eerste resultaat is met een e1000 over nat
tweede is virtio over nat

Hier kunnen we wat mee

[Verwijderd]

B2 schreef op woensdag 21 november 2012 @ 21:07:
CiPHER kun je hier iets mee?

Zet dit eens in je /etc/rc.conf vlakbij de info die er al staat:
netatalk_enable="YES"
afpd_enable="YES"
avahi_daemon_enable="YES"
# Without this, browsing in the Mac Finder seems to work in some folders, but will spin for ages in larger folders
cnid_metad_enable="YES"
# Without this the Avahi Zeroconf registrations don't work
dbus_enable="YES"

werkt het dan?