Het grote ZFS topic

[Compizfox]

Ik hoop dat iemand hier verstand van heeft, want ik snap er helemaal niets meer van...

Ik heb in ESXi mijn onboard SATA-controller met daaraan 4 disks doorgegeven aan mijn ZFSGuru VM. Ik wil de FreeBSD-installatie op één van die schijven hebben. Een ESXi-VM kan echter niet van die schijven booten dus heb ik 1 virtuele schijf. Ik heb in ZFSGuru nu dus 5 disks:
ada0 Storage4
ada1 Storage2
ada2 Storage1
ada3 ZFSGuru
da0

Op ada3 heb ik het systeem geinstalleerd. Die da0 is de virtuele disk en daarop moet ik de bootloader hebben, die vervolgens het systeem op ada3 moet booten.

Hoe krijg ik dat voor elkaar? Ik heb in ZFSGuru op da0 een quick format gedaan, en die heeft een freebsd-boot partitie aangemaakt. Ik neem aan dat daarop /boot staat? Hoe mount ik die partitie dan om in te stellen waarvan hij moet booten?

Momenteel, als ik probeer te booten krijg ik de volgende error:

code:

gptzfsboot: no zfs pools located can't boot

Eerlijk gezegd snap ik totaal niet hoe dat hele gptzfsboot werkt.

[Verwijderd]

Gebruik je nou vt-d of niet? Je zegt dat je op ada3 ZFSguru hebt geïnstalleerd, maar je moet van da0 booten? Leg dat eens uit. Als tijdens de bootfase de bootcode niet kan communiceren met ada3 dan kan je simpelweg niet booten. Dat lijkt mij vrij logisch eerlijk gezegd.

De boot partitie is enkel voor bootcode na de initiële 512-byte MBR. Uiteindelijk moet de bootcode een ZFS pool vinden met bootfs eigenschap ingesteld. Dat betekent dus ook dat alle members van die pool aanwezig moeten zijn tijdens de bootfase. Volgens mij is dat je probleem. Je kunt bijvoorbeeld zien in het begin drive C is disk0 en dat lijstje. Hoeveel hardeschijven vind hij op dat punt?

[FireDrunk]

Weet iemand hoe ik (zonder mijn pools te slopen) mijn gewone ZFS pools niet meer bootable maak?
Vroegah heb ik daar ooit een bootable ZFS array op gehad, maar die staat tegenwoordig op SSD.

Af en toe wil mijn server nog wel eens proberen te booten van de normale schijven ipv de SSD's, maar dat lukt niet omdat de bootcode die daar op staat helemaal niet klopt.

Kan ik gewoon de partities als niet bootable flaggen?

[Compizfox]

Verwijderd schreef op woensdag 20 februari 2013 @ 15:55:
Gebruik je nou vt-d of niet? Je zegt dat je op ada3 ZFSguru hebt geïnstalleerd, maar je moet van da0 booten? Leg dat eens uit.

Ja, dat gebruik ik. De VM kan niet vanaf ada3 booten omdat die ge-passthroughd is.

da0 is een virtuele disk die fysiek op een USB-stick staat die aan mijn router hangt. Mijn ESXi-bak gebruikt dat dmv NFS als datastore.
Je begrijpt wel dat dit veel te traag (en te klein, 8 GB) is om ZFSGuru op te installeren.

Als tijdens de bootfase de bootcode niet kan communiceren met ada3 dan kan je simpelweg niet booten. Dat lijkt mij vrij logisch eerlijk gezegd.

Waarom is dat zo dan? Dat snap niet, eigenlijk.
In de BIOS van de VM kan ik niet kiezen om vanaf ada3 te booten. Maar als eenmaal een bootloader (vanaf een andere schijf) is geladen, kan hij er toch wel bij?

De boot partitie is enkel voor bootcode na de initiële 512-byte MBR. Uiteindelijk moet de bootcode een ZFS pool vinden met bootfs eigenschap ingesteld.

Aha, dan heb ik me blijkbaar iets vergist. Een freebsd-boot partitie is dus niet vergelijkbaar met een aparte /boot partitie zoals je die onder Linux hebt?

Is dat laatste dan niet de oplossing? Dat ik /boot op da0 zet, en dat hij dan / mount vanaf ada3?

Dat betekent dus ook dat alle members van die pool aanwezig moeten zijn tijdens de bootfase. Volgens mij is dat je probleem. Je kunt bijvoorbeeld zien in het begin drive C is disk0 en dat lijstje. Hoeveel hardeschijven vind hij op dat punt?

Sorry, maar welk lijstje bedoel je precies?

Misschien ben ik nog te veel bezig met Linux-denken en wil ik nu iets heel vreemds wat niet kan in FreeBSD. Ik dat geval gaat mijn plan met die USB-stick over NFS niet werken en zal ik simpelweg moeten wachten op mijn sil3114-controller (als die wel werkt, iig).

[ Voor 7% gewijzigd door Compizfox op 20-02-2013 16:14 ]

[FireDrunk]

Of kan ik zelfs de FreeBSD-Boot partitie weggooien?

[Verwijderd]

FireDrunk schreef op woensdag 20 februari 2013 @ 16:04:
Weet iemand hoe ik (zonder mijn pools te slopen) mijn gewone ZFS pools niet meer bootable maak?

Ligt eraan wat je hebt gebruikt. ZFSguru kun je de freebsd-boot partitie weggooien indien gewenst, of de pool property 'bootfs' uitschakelen die de instelling onthoudt waar de bootcode van moet booten.

Compizfox schreef op woensdag 20 februari 2013 @ 16:05:
[...]
Ja, dat gebruik ik. De VM kan niet vanaf ada3 booten omdat die ge-passthroughd is.

En je operating system is op ada3 geïnstalleerd. Conclusie: je kunt niet van je disk booten waar je operating system op staat geïnstalleerd. Volgens mij is het normaal dat controllers die je met vt-d doorgeeft je niet van kan booten; immers is daar hulp van de (geëmuleerde) BIOS voor nodig.

da0 is een virtuele disk die fysiek op een USB-stick staat die aan mijn router hangt. Mijn ESXi-bak gebruikt dat dmv NFS als datastore.
Je begrijpt wel dat dit veel te traag (en te klein, 8 GB) is om ZFSGuru op te installeren.

Waarom is dat zo dan? Dat snap niet, eigenlijk.
In de BIOS van de VM kan ik niet kiezen om vanaf ada3 te booten. Maar als eenmaal een bootloader (vanaf een andere schijf) is geladen, kan hij er toch wel bij?

Bij die andere schijf ja, niet bij ada3. Pas na het booten als de kernel geladen is en de kernel 'op eigen poten' kan staan en dus niet meer via de BIOS alle disk I/O doet.

Aha, dan heb ik me blijkbaar iets vergist. Een freebsd-boot partitie is dus niet vergelijkbaar met een aparte /boot partitie zoals je die onder Linux hebt?

Nee, de /boot directory onder FreeBSD bevat de kernel en een heleboel anders, 60 megabyte in totaal. De bootcode bestaat uit protected MBR (512-bytes) en een gptzfsloader van rond de 200 kilobyte. Wel is het zo dat deze twee files zich bevinden in /boot. Het is deze code die actief wordt bij het booten en dan een hele rits disks via het BIOS kan aanspreken en zelf moet uitvogelen:
- of er überhaupt van ZFS geboot kan worden
- welke ZFS pools er zijn
- welke bootfs property is ingesteld
- of de kernel geladen kan worden met deze gegevens

Kortom, een mini-ZFS engine wat enorm bijzonder is. Ik ken geen enkel operating system dat een mini-RAID of ZFS engine in de bootcode heeft gestopt. Om die reden werken ook alleen single disks of mirrors onder Solaris. FreeBSD heeft dus unieke bootcode die het mogelijk maakt om van RAID-Z3 te booten bijvoorbeeld.

Maar het lijkt mij vrij logisch dat om dat te kunnen laten werken, de bootcode wel de disks moet kunnen zien en kunnen aanspreken; hoe kun je anders booten van iets wat je niet mag aanspreken? Telepatische communicatie zit er voorlopig nog niet in.

Is dat laatste dan niet de oplossing? Dat ik /boot op da0 zet, en dat hij dan / mount vanaf ada3?

Ik heb even geen heel goede oplossing voor je. Ik vraag me af hoe andere mensen dit oplossen met vt-d. Want booten van de PCI passthrough disks gaat dus niet werken; dat is niet specifiek voor ZFS of FreeBSD maar geldt voor alles; een OS kan pas werken met een stuk hardware als het dat stuk hardware mag zien en mee mag communiceren. Tijdens de boot is dat niet het geval, omdat de geëmuleerde BIOS de disks op de PCI passthrough controller niet ziet. Je moet dus kunnen booten van iets anders.

Wat je wel kunt doen is ZFSguru op een USB stick installeren (je kunt wel vanaf USB booten neem ik aan?) en dan de USB stick zo aanpassen dat hij je ZFS pool mount. Hoe werkt dat? Je maakt een USB stick als normale bootstick. Als dat werkt kun je de /etc/fstab gaan aanpassen, zodat je de /usr en /var op je ZFS pool zet bijvoorbeeld.

Een betere oplossing zou zijn als ZFSguru 0.3 uitkomt met Embedded distribution functionaliteit. Dan heb je namelijk niet de traagheid van je USB stick omdat je die alleen gebruikt bij het booten en afsluiten maar tussentijds je OS dan helemaal in RAM draait (je kunt je USB stick er dan ook uithalen).

Sorry, maar welk lijstje bedoel je precies?

BIOS Drive C: is Disk 0
BIOS Drive D: is Disk 1
BIOS Drive E: is Disk 2
BIOS Drive F: is Disk 3
BIOS Drive G: is Disk 4
BIOS Drive H: is Disk 5
= dus 6 disks gevonden.

[Compizfox]

Verwijderd schreef op woensdag 20 februari 2013 @ 16:45:
Nee, de /boot directory onder FreeBSD bevat de kernel en een heleboel anders, 60 megabyte in totaal. De bootcode bestaat uit protected MBR (512-bytes) en een gptzfsloader van rond de 200 kilobyte. Wel is het zo dat deze twee files zich bevinden in /boot. Het is deze code die actief wordt bij het booten en dan een hele rits disks via het BIOS kan aanspreken en zelf moet uitvogelen:
- of er überhaupt van ZFS geboot kan worden
- welke ZFS pools er zijn
- welke bootfs property is ingesteld
- of de kernel geladen kan worden met deze gegevens

Kortom, een mini-ZFS engine wat enorm bijzonder is. Ik ken geen enkel operating system dat een mini-RAID of ZFS engine in de bootcode heeft gestopt. Om die reden werken ook alleen single disks of mirrors onder Solaris. FreeBSD heeft dus unieke bootcode die het mogelijk maakt om van RAID-Z3 te booten bijvoorbeeld.

Maar het lijkt mij vrij logisch dat om dat te kunnen laten werken, de bootcode wel de disks moet kunnen zien en kunnen aanspreken; hoe kun je anders booten van iets wat je niet mag aanspreken? Telepatische communicatie zit er voorlopig nog niet in.

Aha, thanks voor de uitleg!

[...]

Ik heb even geen heel goede oplossing voor je. Ik vraag me af hoe andere mensen dit oplossen met vt-d. Want booten van de PCI passthrough disks gaat dus niet werken; dat is niet specifiek voor ZFS of FreeBSD maar geldt voor alles; een OS kan pas werken met een stuk hardware als het dat stuk hardware mag zien en mee mag communiceren. Tijdens de boot is dat niet het geval, omdat de geëmuleerde BIOS de disks op de PCI passthrough controller niet ziet. Je moet dus kunnen booten van iets anders.

Vandaar mijn idee om /boot op da0 te zetten. Hij boot dan de kernel en zo en mount dan / vanaf ada3.
Onder Linux wordt dit veel gedaan, maar ik begrijp dat FreeBSD zo anders in elkaar steekt dat dat niet kan.

Wat je wel kunt doen is ZFSguru op een USB stick installeren (je kunt wel vanaf USB booten neem ik aan?) en dan de USB stick zo aanpassen dat hij je ZFS pool mount. Hoe werkt dat? Je maakt een USB stick als normale bootstick. Als dat werkt kun je de /etc/fstab gaan aanpassen, zodat je de /usr en /var op je ZFS pool zet bijvoorbeeld.

Maar dan heb ik nog steeds de traagheid van die USB-stick over NFS (een whooping 8 MB/s read)... Of zou ik daar niet veel last van hebben als /usr op de pool staat?

BIOS Drive C: is Disk 0
BIOS Drive D: is Disk 1
BIOS Drive E: is Disk 2
BIOS Drive F: is Disk 3
BIOS Drive G: is Disk 4
BIOS Drive H: is Disk 5
= dus 6 disks gevonden.

Maar waar zie je dat?

---

Ik krijg eigenlijk steeds meer zin om ZFSGuru gewoon rechtstreeks op die host te installeren en ESXi te dumpen. Ik moet me met ESXi in zoveel bochten wringen om simpele dingen voor elkaar te krijgen...
Maar ik ben bang dat ik met Virtualbox veel features en performance ga missen die ik van ESXi gewend ben.

[duiveltje666]

installeert spotweb als service ook nog een script om de spots automagisch op te halen? zo ja waar staat deze ?

[Compizfox]

Ik heb Virtualbox 4.1.x geinstalleerd via de Services op ZFSGuru, maar als ik een VM start crasht de hele bak! (reboot)

EDIT: Gebeurt zo te zien niet elke keer, soms lukt het wel een VM op te starten. Soms gebeurt het ook weer bij het afsluiten van een VM.

Ik kan echter geen info vinden in de logs of zo...

[ Voor 44% gewijzigd door Compizfox op 21-02-2013 12:20 ]

[jacovn]

BIOS Drive C: is Disk 0
BIOS Drive D: is Disk 1
BIOS Drive E: is Disk 2
BIOS Drive F: is Disk 3
BIOS Drive G: is Disk 4
BIOS Drive H: is Disk 5
= dus 6 disks gevonden.

Dat zie ik op de console voorbij komen tijdens de boot.
Alleen staan er veel minder hdd's dan dat in het systeem zitten. Wellicht dat niet alle hdd's doorgegeven worden aan het Bios ?

[MikeVM]

mag ik 2 disks in een pool van satapoort verwisselen? wat zal dan gebeuren? herkent hij dan de disk?

[Waking_The_Dead]

MikeVM schreef op donderdag 21 februari 2013 @ 13:26:
mag ik 2 disks in een pool van satapoort verwisselen? wat zal dan gebeuren? herkent hij dan de disk?

Als ik het goed begrepen heb, zou dat zeker moeten werken als je met partities werkt. Of het met raw disks ook werkt, weet ik niet. Misschien toch even bevestiging van Cipher of Firedrunk afwachten

[matty___]

Waking_The_Dead schreef op donderdag 21 februari 2013 @ 13:44:
[...]


Als ik het goed begrepen heb, zou dat zeker moeten werken als je met partities werkt. Of het met raw disks ook werkt, weet ik niet. Misschien toch even bevestiging van Cipher of Firedrunk afwachten

met raw disk werkt dat ook.

[FireDrunk]

Ja hoor mag best, al zet je ze op een andere controller zou het nog moeten werken...

[Compizfox]

FireDrunk schreef op donderdag 21 februari 2013 @ 17:20:
Ja hoor mag best, al zet je ze op een andere controller zou het nog moeten werken...

Dat kan ik bevestigen (andere controller --> no problem). Wel met ESXi ertussen btw, weet niet of dat nog uitmaakt...

[MikeVM]

Waking_The_Dead schreef op donderdag 21 februari 2013 @ 13:44:
[...]


Als ik het goed begrepen heb, zou dat zeker moeten werken als je met partities werkt. Of het met raw disks ook werkt, weet ik niet. Misschien toch even bevestiging van Cipher of Firedrunk afwachten

Raw = volledige disk wordt opgeslokt door de pool ????

[analog_]

Als je op voorhand weet dat je disks gaat wisselen is het aller veiligste een zpool export/import te doen. Ik had er last van (of beter forced import nodig) tussen OI/Nexentastor en zfs-on-ubuntu.

ps. Aankoopgids: storage en virtualisatie servers is eindelijk min of meer af.

[Waking_The_Dead]

MikeVM schreef op donderdag 21 februari 2013 @ 18:05:
[...]

Raw = volledige disk wordt opgeslokt door de pool ????

Gewoon de volledige disk, ongepartitioneerd in de pool gooien, ja.

[TiZu]

Compizfox schreef op donderdag 21 februari 2013 @ 11:47:
Ik heb Virtualbox 4.1.x geinstalleerd via de Services op ZFSGuru, maar als ik een VM start crasht de hele bak! (reboot)

EDIT: Gebeurt zo te zien niet elke keer, soms lukt het wel een VM op te starten. Soms gebeurt het ook weer bij het afsluiten van een VM.

Ik kan echter geen info vinden in de logs of zo...

Ik op moment het zelfde probleem. Ik probeer debian in virtualbox te installeren op zfsguru zelfde versie virtualbox. Me bak reboot zomaar telkens.

[Compizfox]

Aimtastic schreef op donderdag 21 februari 2013 @ 23:08:
[...]

Ik op moment het zelfde probleem. Ik probeer debian in virtualbox te installeren op zfsguru zelfde versie virtualbox. Me bak reboot zomaar telkens.

Blij dat ik niet de enige ben

Ik heb nu trouwens Virtualbox 4.2 geinstalleerd, kijken of dat wel werkt.

[Verwijderd]

Gebruiken jullie iets speciaals qua Virtualbox instellingen? Hoeveel RAM, heb je multicore (>1 processor) ingeschakeld? draai je 64-bit? En ook: heb je SWAP ingesteld die je virtuele RAM kan afdekken? Dat gebeurt normaal bij ZFSguru installatie, tenzij je zelf anders hebt gekozen.

[Compizfox]

Verwijderd schreef op vrijdag 22 februari 2013 @ 00:35:
Gebruiken jullie iets speciaals qua Virtualbox instellingen?

Niet dat ik weet.

Hoeveel RAM

De host heeft 16 GB, en heb 2 GB gegeven aan de guest.

, heb je multicore (>1 processor) ingeschakeld?

Ja.

draai je 64-bit?

Ja.

En ook: heb je SWAP ingesteld die je virtuele RAM kan afdekken? Dat gebeurt normaal bij ZFSguru installatie, tenzij je zelf anders hebt gekozen.

Ja.

Met Virtualbox 4.2 heb ik er geen last van. Maar als ik die als service installeer heb ik geen VNC support en dus feitelijk geen manier om iets te installeren.

Nu ben ik de port virtualbox-ose aan het hercompileren met vnc support

[Verwijderd]

Probeer eens single core aan je guest te geven. Ik heb wel gehoord dat dat soms instabiliteit oplost. Maar hoe dan ook lijkt dit me meer een bug van VirtualBox al dan niet in combinatie met FreeBSD. De ZFSguru package kan daar weinig aan veranderen. Als je server crasht dan kan dat normaliter niet door een programma komen, maar VirtualBox bevat ook kernel-side componenten en vormt daarmee extra risico.

Maar als de virtualbox 4.1 versie helemaal brak is wil ik dat graag weten natuurlijk.

[Compizfox]

Verwijderd schreef op vrijdag 22 februari 2013 @ 01:31:
Probeer eens single core aan je guest te geven. Ik heb wel gehoord dat dat soms instabiliteit oplost.

Momenteel draai ik Virtualbox 4.2, nog geen last meer gehad van crashes

Ik heb VNC er ook mee werkend. In phpVirtualBox kun je bij Remote Display (in de settings van een VM) de poort instellen.

Of eventueel via SSH: VBoxHeadless -s vmname -p port

Dan kun je met TightVNC gewoon connecten daarop.
Met UltraVNC Portable lukte het mij niet trouwens, die bleef vragen om een wachtwoord.

Maar hoe dan ook lijkt dit me meer een bug van VirtualBox al dan niet in combinatie met FreeBSD. De ZFSguru package kan daar weinig aan veranderen. Als je server crasht dan kan dat normaliter niet door een programma komen, maar VirtualBox bevat ook kernel-side componenten en vormt daarmee extra risico.

Maar als de virtualbox 4.1 versie helemaal brak is wil ik dat graag weten natuurlijk.

Klopt. Juist door die kernel modules heb je kans op een panic.

Ik zou graag iets uit een log willen posten of zo, maar ik kan eigenlijk niets vinden

[FireDrunk]

Wat ik heb gemerkt is dat het belangrijk is om je ARC zo te limiteren dat er genoeg overblijft voor je VM(s).

Mijn server: 16GB RAM, ARC limiet staat op 10GB, waardoor ik 6GB voor VM's overhoud.
Eigenlijk zou het zo moeten zijn dat VirtualBox ARC RAM verdringt omdat dat hogere prioriteit zou moeten krijgen, maar in de praktijk is dat dus niet zo.

Mijn server crashte om de haverklap, maar sinds ik mijn ARC gelimiteerd heb, werkt het allemaal als een zonnetje.

[matty___]

FireDrunk schreef op vrijdag 22 februari 2013 @ 09:02:
Wat ik heb gemerkt is dat het belangrijk is om je ARC zo te limiteren dat er genoeg overblijft voor je VM(s).

Mijn server: 16GB RAM, ARC limiet staat op 10GB, waardoor ik 6GB voor VM's overhoud.
Eigenlijk zou het zo moeten zijn dat VirtualBox ARC RAM verdringt omdat dat hogere prioriteit zou moeten krijgen, maar in de praktijk is dat dus niet zo.

Mijn server crashte om de haverklap, maar sinds ik mijn ARC gelimiteerd heb, werkt het allemaal als een zonnetje.

Ik dacht dat freebsd dat ondertussen onder de knie had. In begin was dat zeker een groot probleem

[FireDrunk]

Oh, dat kan best. Die setting heb ik al vanaf 9.0-RC1 ofzo denk ik.

[Geckx]

Kan iemand met zekerheid zeggen of een Adaptec RAID 3405 werkt of niet onder ZFSguru? Ik kan er zo eentje tweedehands op de kop tikken, maar dan moet die wel ondersteund zijn natuurlijk...

[FireDrunk]

Niet doen, ervaring leert dat zulke RAID controllers niet goed werken.
Met zekerheid zeggen is lastig, want er zijn maar weinig mensen die dat risico uberhaupt nemen.

[Geckx]

Dus in feite is de enige goeie de M1015 dan?

Waarom werken die andere dan niet?

[FireDrunk]

Omdat die schijven eerder uit arrays flikkeren, en ze vaak niet genoeg direct disk access geven welke ZFS wel nodig heeft.

[Pantagruel]

Geckx schreef op vrijdag 22 februari 2013 @ 22:11:
Dus in feite is de enige goeie de M1015 dan?

Waarom werken die andere dan niet?

Een lijstje met bruikbare HBA's staat hier. (wellicht tijd om deze in de TS op te nemen?)

Een hardware RAID controller werkt niet omdat deze voor conflicten gaat zorgen met de werking van ZFS zelf.

Kort door de bocht, maar de keuzes zijn:
-1 een hardware RAID oplossing met TLER enabled HDD's en de voordelen van ZFS missen.
-2 een 'domme' controller die SATA/SAS poorten levert, ZFS het RAID werk laten doen en dingen als snapshot's en borging voor silent corruption genieten (zie TS voor meer ZFS 'goodness').

[ Voor 5% gewijzigd door Pantagruel op 23-02-2013 14:56 ]

[B2]

Hm ik zat toevallig even in de log van ZFSGuru te neuzen, en nu zie ik een aantal van dit soort fouten :

code:

Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b d9 28 0 0 f0 0 length 122880 SMID 450 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b d6 40 0 0 f8 0 length 126976 SMID 222 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b d4 58 0 0 f8 0 length 126976 SMID 589 terminated ioc 804b scsi 0 state c xfer 126976
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b d8 28 0 1 0 0 length 131072 SMID 215 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b da 18 0 0 f8 0 length 126976 SMID 524 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b db 10 0 0 f0 0 length 122880 SMID 92 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b dc f8 0 0 f0 0 length 122880 SMID 283 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b dc 0 0 0 f8 0 length 126976 SMID 592 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b d7 38 0 0 f0 0 length 122880 SMID 219 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9b d5 50 0 0 f0 0 length 122880 SMID 833 terminated ioc 804b scsi 0 state c xfer 0
Feb 24 08:03:51 zfsguru kernel: s: Check Condition
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): SCSI sense: HARDWARE FAILURE asc:44,0 (Internal target failure)
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): Retrying command (per sense data)
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9c ca e8 0 0 f0 0 
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): CAM status: SCSI Status Error
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): SCSI status: Check Condition
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): SCSI sense: HARDWARE FAILURE asc:44,0 (Internal target failure)
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): Retrying command (per sense data)
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): WRITE(10). CDB: 2a 0 2f 9c cb d8 0 0 f8 0 
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): CAM status: SCSI Status Error
Feb 24 08:03:51 zfsguru kernel: (da12:mps1:0:15:0): SCSI status: Check Condition

SMART geeft geen enkele fout op de disk, ook geen cable error... Disk is nog maar een paar dagen oud.

[Verwijderd]

Check je SMART, met name UDMA CRC Error Count ofwel kabelfouten. ZFSguru heeft (vind ik) de beste SMART analyse waarin je direct ziet of er problemen zijn ja of nee. Je kunt het vinden onder Disks->SMART.

[B2]

Verwijderd schreef op zondag 24 februari 2013 @ 12:20:
Check je SMART, met name UDMA CRC Error Count ofwel kabelfouten. ZFSguru heeft (vind ik) de beste SMART analyse waarin je direct ziet of er problemen zijn ja of nee. Je kunt het vinden onder Disks->SMART.

Dat zei ik SMART waardes geven geen fouten weer. Het gekke is dat het ook maar tot een uur of 8 vanochtend in de log is gekomen. Daarna niet meer. En er is niks aan die machine gedaan...

[Hakker]

ok een probleem. een service heeft mijn error log vol gegooid en nu kan ik dus helemaal niks meer doen met mijn ZFS bak. Nu staat ZFS op een SSD.

Hoe kan ik het makkelijkst de file weghalen (via command shell gaat het dus niet want die wil zelfs niet werken meer hierdoor)
Kan ik hem bv in een windows bak gooien en dan de file eruit halen?
via de LiveCD?

De hele partitie weghalen en dan opnieuw met de livecd aan de gang gaan? Ik zou wel graag mijn data willen behouden maar die staat niet op de boot drive dus dat moet volgens mij geen probleem geven, maar advies over hoe aan te pakken zou fijn zijn aangezien ik het schijnbaar aardig heb weten te verkloten.

[onox]

Hakker schreef op zondag 24 februari 2013 @ 16:58:
ok een probleem. een service heeft mijn error log vol gegooid en nu kan ik dus helemaal niks meer doen met mijn ZFS bak. Nu staat ZFS op een SSD.

Hoe kan ik het makkelijkst de file weghalen (via command shell gaat het dus niet want die wil zelfs niet werken meer hierdoor)
Kan ik hem bv in een windows bak gooien en dan de file eruit halen?
via de LiveCD?

De hele partitie weghalen en dan opnieuw met de livecd aan de gang gaan? Ik zou wel graag mijn data willen behouden maar die staat niet op de boot drive dus dat moet volgens mij geen probleem geven, maar advies over hoe aan te pakken zou fijn zijn aangezien ik het schijnbaar aardig heb weten te verkloten.

Je kan een livecd proberen ja. En daarna eventueel een quota instellen op je log dataset.

[Hakker]

helaas lukt het niet met de livecd aangezien ik al 9.1-005 draaide en de livecd 9.1-004 is schijnbaar die file niet beschikbaar.

[duiveltje666]

Iemand nagios al werkend gekregen toevallig?

[Ultraman]

Heren, zijn jullie niet inmiddels op een ander topic (virtualisatie) aanbeland? En Nagios als monitoring voorbeeld. Ik begrijp dat het interessante materie is, vind ik zelf ook, maar het is inmiddels niet meer gerelateerd aan ZFS en de relatie met ZFSguru is inmiddels ook flink vervaagd.

Discussie over KVM, oVirt, Proxmox, <insert virtualisatiemethode/distro>, elders voortzetten?

[ Voor 5% gewijzigd door Ultraman op 25-02-2013 14:21 ]

[batsma]

vraag, kan je met de bestaande ZFS oplossingen zoals ZFSguru etc ook een clusterstorage maken? 2 fysieke servers samenvoegen tot 1 virtuele schijf. zo nee, gaat ZFS hiervoor ooit bruikbaar zijn, of moet je dan alweer op zoek naar andere oplossingen?

[Basz0r]

Zou het mogelijk (en verstandig) zijn om een RAIDz setup te maken bestaande uit 2x2TB en 2x1TB (in hardwarematige RAID 0, dit wordt dan 1 disk die in het OS gezien wordt met een grootte van 2TB)?

Deze setup zou ik willen bouwen omdat ik de schijven heb liggen, als jullie deze situatie niet aanraden kan ik altijd nog een 2TB schijf erbij kopen. Ik weet alleen niet of dit problemen gaat geven met ZFS of dat dit niet ideaal is om redenen die ik tot nu toe even niet kan voorzien. Alvast bedankt!

[Compizfox]

Basz0r schreef op maandag 25 februari 2013 @ 15:07:
Zou het mogelijk (en verstandig) zijn om een RAIDz setup te maken bestaande uit 2x2TB en 2x1TB (in hardwarematige RAID 0, dit wordt dan 1 disk die in het OS gezien wordt met een grootte van 2TB)?

RAID-z kan geen RAID0 zijn. Alleen RAID-Z1 (RAID5), RAID-Z2 (RAID6) of RAID-Z3 (triple parity)

Maar je bedoelt wss gewoon striping met ZFS

Deze setup zou ik willen bouwen omdat ik de schijven heb liggen, als jullie deze situatie niet aanraden kan ik altijd nog een 2TB schijf erbij kopen. Ik weet alleen niet of dit problemen gaat geven met ZFS of dat dit niet ideaal is om redenen die ik tot nu toe even niet kan voorzien. Alvast bedankt!

Het kan best, maar houdt er rekening mee dat je geen redundancy hebt.

[FireDrunk]

Je wil ZFS helemaal niet combineren met hardware raid, nooit.

Wat je wel kan doen, is meerdere vdev's maken, maar je moet per vdev een redundancy level hebben, en je kan dus niet meerdere raid levels op elkaar stapelen.

Wat jij wil, kan dus niet veilig.

[duiveltje666]

Ultraman schreef op maandag 25 februari 2013 @ 14:20:
Heren, zijn jullie niet inmiddels op een ander topic (virtualisatie) aanbeland? En Nagios als monitoring voorbeeld. Ik begrijp dat het interessante materie is, vind ik zelf ook, maar het is inmiddels niet meer gerelateerd aan ZFS en de relatie met ZFSguru is inmiddels ook flink vervaagd.

Discussie over KVM, oVirt, Proxmox, <insert virtualisatiemethode/distro>, elders voortzetten?

ehrm .. Nagios wordt als service in 9.1 aangeboden , maar krijg deze niet fatsoenlijk werkend...
Dus zeker wel ZFSGuru related

[Snow_King]

Ultraman schreef op maandag 25 februari 2013 @ 14:20:
Heren, zijn jullie niet inmiddels op een ander topic (virtualisatie) aanbeland? En Nagios als monitoring voorbeeld. Ik begrijp dat het interessante materie is, vind ik zelf ook, maar het is inmiddels niet meer gerelateerd aan ZFS en de relatie met ZFSguru is inmiddels ook flink vervaagd.

Discussie over KVM, oVirt, Proxmox, <insert virtualisatiemethode/distro>, elders voortzetten?

Dat gevoel heb ik dus ook.

ZFSguru is leuk, maar dit topic gaat vaak niet echt over ZFS zelf, maar lijkt meer een ZFSguru helpdesk topic.

[DaCoTa]

Basz0r schreef op maandag 25 februari 2013 @ 15:07:
Zou het mogelijk (en verstandig) zijn om een RAIDz setup te maken bestaande uit 2x2TB en 2x1TB (in hardwarematige RAID 0, dit wordt dan 1 disk die in het OS gezien wordt met een grootte van 2TB)?

Deze setup zou ik willen bouwen omdat ik de schijven heb liggen, als jullie deze situatie niet aanraden kan ik altijd nog een 2TB schijf erbij kopen. Ik weet alleen niet of dit problemen gaat geven met ZFS of dat dit niet ideaal is om redenen die ik tot nu toe even niet kan voorzien. Alvast bedankt!

Kun je niet een ZFS stripe maken van 2x1TB en die gebruiken als onderdeel van je RaidZ1?

[syl765]

Als je twee 1TB en twee 2TB schijven hebt, waarom dan niet twee mirror vdevs?

Dan heb je 3 TB aan opslag.

gr

[Verwijderd]

Zo, ik heb wat reacties afgesplitst naar een eigen topic: [Discussie] Storage en virtualisatie.

Het is bekend dat dit topic een erg brede opzet heeft en er zijn dan ook plannen het topic te splitsen. Maar dezelfde discussie speelt met het grote Synology topic en we gaan eerst kijken wat de veranderingen daar voor resultaat bieden, in plaats van gelijk alles tegelijk om te spitten.

Tot die tijd zal men moeten accepteren dat dit topic een brede opzet heeft, toch vraag ik terughoudendheid. De voorbeelden die genoemd worden op gebied van virtualisatie en Nagios zijn daarbij wel van toepassing. Verder nog wat aanmerkingen:

duiveltje666 schreef op maandag 25 februari 2013 @ 15:54:
ehrm .. Nagios wordt als service in 9.1 aangeboden , maar krijg deze niet fatsoenlijk werkend...
Dus zeker wel ZFSGuru related

Dat klopt en in die zin is het wel ZFSguru gerelateerd dat de manier van integratie van bepaalde software andere vraagstukken kan opleveren dan wanneer je handmatig Nagios zou installeren. Echter, ik kan heel goed begrijpen dat wanneer we dit soort onderwerpen ook bespreken in dit toch al heel brede topic, het een complete chaos wordt. Dus voor heel specifieke ZFSguru services kun je misschien beter op het ZFSguru forum zelf posten in elk geval totdat de nieuwe topics er zijn.

Snow_King schreef op maandag 25 februari 2013 @ 16:03:
ZFSguru is leuk, maar dit topic gaat vaak niet echt over ZFS zelf, maar lijkt meer een ZFSguru helpdesk topic.

Het zou ook een onjuiste aanname zijn als dit topic enkel over ZFS alleen zou gaan. De opzet is juist veel breder met inbegrip van zogenaamde ZFS platforms die meer bieden dan enkel een operating system met ZFS support maar ook een schil eromheen. Dat kun je in de topicstart terugvinden. Zelfs hardwareconfiguraties, al ligt die focus meer in het DIY RAID NAS topic.

Het is mij bekend dat er hier en daar frustratie is over ZFSguru/FreeNAS specifieke vragen. Dat is ook de reden dat we topics gaan splitsen, maar voordat we gelijk alles gaan veranderen beginnen we dus eerst met Synology. Naar aanleiding van de ervaringen hiervan kunnen ook de overige topics worden gesplitst. Dan worden de topics minder breed en scheiden we dus de werelden.

Dat heeft natuurlijk ook nadelen, want juist het overbruggen van twee werelden (tussen OM en NOS) levert interesse nieuwe inzichten op. We moeten dus een manier vinden om hetgeen wat is opgebouwd en de binding die lezers hebben met de grote topics, niet verloren gaat door een te haastige en ingrijpende verandering.

Mijn advies is dus, wees geduldig. En je kunt altijd een topicreport maken als je vindt dat het uit de hand loopt.

[B2]

B2 schreef op zondag 24 februari 2013 @ 13:26:
[...]


Dat zei ik SMART waardes geven geen fouten weer. Het gekke is dat het ook maar tot een uur of 8 vanochtend in de log is gekomen. Daarna niet meer. En er is niks aan die machine gedaan...

Hmm de disk is dus gewoon weg, foetsie... En het mooie is, een disk die eerder blijkbaar niet opgekomen was is er nu wel... Die is dus ook niet meegenomen in het maken van de pool. Nou ja, die maar even gebruikt om de pool weer uit een degraded modus te krijgen, maar dat ik de power en kabeltjes na moet kijken lijkt me duidelijk.

Nadeel is alleen dat die bak niet hier lokaal staat...

[Verwijderd]

batsma schreef op maandag 25 februari 2013 @ 14:25:
vraag, kan je met de bestaande ZFS oplossingen zoals ZFSguru etc ook een clusterstorage maken? 2 fysieke servers samenvoegen tot 1 virtuele schijf. zo nee, gaat ZFS hiervoor ooit bruikbaar zijn, of moet je dan alweer op zoek naar andere oplossingen?

Een heel simpele workaround is om twee mountpoints te gebruiken. Zoals:
/tank is ZFS pool van systeem X
/tank/extra is ZFS pool van systeem Y

ZFS is geen clustered filesystem, dus je kunt niet dezelfde dataset actief hebben op twee systemen, zonder tussenlaag. In mijn voorbeeld hierboven is het het makkelijkst als systeem Y alleen LBA storage aanbiedt (geom_gate om disks te exporteren naar andere systemen). HAST kun je ook naar kijken.

Basz0r schreef op maandag 25 februari 2013 @ 15:07:
Zou het mogelijk (en verstandig) zijn om een RAIDz setup te maken bestaande uit 2x2TB en 2x1TB (in hardwarematige RAID 0, dit wordt dan 1 disk die in het OS gezien wordt met een grootte van 2TB)?

Zoals gezegd geen hardware RAID combineren met ZFS. Maar je kunt wel gewoon software RAID gebruiken. Op BSD platforms dus geom_stripe voor RAID0 (als je disks gelijke grootte hebben) of geom_concat voor JBOD/concatenating als je disks geen gelijke grootte hebben zoals 320GB+640GB = 1TB disk.

In jouw geval kun je dus simpelweg een 2TB stripe maken van je 2x1TB disks en dan een ZFS pool met RAID-Z maken met 3x 2TB schijven. Die laatste is dan geen échte 2TB schijf, maar de geom_stripe van 2x 1TB. Door geom_stripe te gebruiken win je wat qua snelheid omdat normaliter grotere disks met hogere datadichtheid een stuk sneller zijn dan oudere kleinere disks.

gstripe kun je in ZFSguru het beste gebruiken op partities. Dus als je twee GPT partities hebt op je 1TB disks zoals DISK-1TB-a en DISK-1TB-b dan doe je op de command line:
gstripe label -s 131072 stripe0 /dev/gpt/DISK1TB-a /dev/gpt/DISK1TB-b

Allereerst gstripe label maakt dus een RAID0 aan op twee of meer schijven. Het label commando schrijft hierbij de configuratie naar de laatste sector van de disk of in dit geval de partitie. Dit zorgt dat de configuratie automatisch actief wordt na reboot, iets wat niet gebeurt als je gstripe create gebruikt.

De stripesize die ik hier kies is 128KiB wat aanbevolen is zodat elke record op één disk komt. 64KiB kan een andere configuratie zijn, maar je verliest hiermee het voordeel van iets hogere IOps (wat overigens teniet wordt gedaan door RAID-Z).

stripe0 is de naam van de stripe die beschikbaar komt op /dev/stripe/stripe0. Deze virtuele disk ga je gebruiken voor ZFS RAID-Z.

Enige wat je na het gstripe commando hoeft te doen is je ZFS pool maken en geom_stripe automatisch laden (ik weet niet of dit nodig is, maar kan nooit kwaad:)
echo "geom_stripe_load=\"YES\"" >> /boot/loader.conf


@B2: Wat je kunt doen is in de SMART details kijken (klik op een disk) of je daar veel Power-Cycle count ziet versus power-on-hours. Als die bovenmatig hoog is kan dat een teken zijn dat de stroomvoorziening soms wegvalt; wat vaak gebeurt met slechte Molex stekkers met name bij splitterstekkertjes.

[analog_]

duiveltje666 schreef op vrijdag 15 februari 2013 @ 23:57:
Zijn er nog mensen die interesse hebben in een optimalisatie van hun server? Ik was van plan om een howto te maken

Ga je gang, blog + linkback?

[duiveltje666]

analog_ schreef op maandag 25 februari 2013 @ 21:58:
[...]

Ga je gang, blog + linkback?

Uiteraerd , ben alleen benieuwd welke versie van de ZFSguru install mensen draaien 9.0? 9.1?

[ Voor 21% gewijzigd door duiveltje666 op 25-02-2013 22:18 ]

[Ultraman]

duiveltje666 schreef op maandag 25 februari 2013 @ 22:16:
[...]

Uiteraerd , ben alleen benieuwd welke versie van de ZFSguru install mensen draaien 9.0? 9.1?

Geen ZFSguru maar "puur" FreeBSD 9.0 hier, staat op het punt om een upgrade te krijgen naar 9.1. Voorbereidingen zijn gedaan, nu enkel het upgraden zelf nog. Ga het mogelijk combineren met een kleine geheugenuitbreiding.

Waar je ook voor gaat schrijven, als het voor het FreeBSD platform is dan is er vast aardig veel uitwisselbaar

[matty___]

Voor die genen die graag wat nieuws willen testen:
Vanochtend is LZ4 compression support voor ZFS toegevoegd aan 9-Stable.

http://svnweb.freebsd.org...=revision&revision=247309

[DrFlash]

Ik blijf toch maar problemen houden met m'n setup.
In 1 van m'n fileservers heb ik 6 disken (2x3 raid-z vdevs -> 1 pool) maar wat ik ook probeer, zodra ik de laatste disk er in doe gaat de setup fouten geven op schijf 6 bij een scrub of na een tijdje met lezen/schrijven data. Heb ondertussen al andere schijven gekocht, zie m'n eerdere post over de wd reds. Ook heb ik al geprobeert schijf 2 en 6 om te wisselen om kabelfouten uit te sluiten maar de diskset blijft maar vallen over schijf 6.
Op dit moment gebruik ik de laatste versie van Freenas (8.3). Zit nu te denken om alles weg te gooien, inclusief pool en over te stappen op ZFSGuru. Backups van de data zijn beschikbaar, maar ik vraag me dan toch nog af of dit uit zou maken.

[FireDrunk]

Je kan de disk loskoppelen (uit je pool halen), en proberen er eens een zero write op te doen, en dan SMART eens controleren.

[ Voor 8% gewijzigd door FireDrunk op 26-02-2013 11:26 ]

[DrFlash]

FireDrunk schreef op dinsdag 26 februari 2013 @ 11:25:
Je kan de disk loskoppelen (uit je pool halen), en proberen er eens een zero write op te doen, en dan SMART eens controleren.

Dat heb ik inderdaad ook geprobeert. zal nog even opsommen wat ik totaal heb gedaan.

- raid-z pool aangemaakt met 3 disken (3x samsung f4g)
- pool uitgebreid met nog 3 disken (1x f4g + 2x seagate barracuda) <-- vanaf hier ging het mis
- pool geupgrade naar v28 met het uitkomen van de laatste freenas
- schijf 6 uit de raid gedonderd, clean write gedaan, teruggeplaatst
- schijf 6 clean write gedaan, smart short test. geen fouten. teruggeplaatst
- schijf 5 en 6 (beide seagates) vervangen door WD-reds. ook omdat het baseboard van 1 vd seagates kapot ging, toeval.
- nog steeds problemen op schijf 6, eruit gehaald. en korte en lange test gedaan met smart, vervolgens ook nog een clean gedaan op de schijf en weer teruggeplaatst in de pool.
- Schijf 2 (dus uit de eerste vdev) op de plaats van schijf 6 gedaan, en schijf 6 op de plaats van 2 op de controller.
- na een scrub werd werd weer schijf 6 uit de raid gedonderd (op de plek van schijf 2 dus) met bergen CRC/READ en WRITE fouten.

Ondertussen werkt schijf 2 nog prima op de aansluiting van 6. zonder fouten. Ook schijf 5 welke hetzelfde type is werkt prima zonder fouten.

[FireDrunk]

Firmware gecheckt? Misschien net even andere versie?

[DrFlash]

FireDrunk schreef op dinsdag 26 februari 2013 @ 11:43:
Firmware gecheckt? Misschien net even andere versie?

Yep, zowel de seagates, als samsungs als WD's zijn de laatst beschikbare versie.

[Jaap-Jan]

Ik zie in de topicstart dat de L2ARC geen bestanden cached, maar bestandsfragmenten. Is het ook mogelijk om hier nog enige invloed op uit te oefenen? Bijvoorbeeld: als een videobestand wordt gedownload, is het voorspelbaar dat die binnen niet afzienbare tijd bekeken wordt. Is het dan mogelijk dat alle bestandsfragmenten (in feite dus het hele bestand) daarvan worden gecached, zodat de schijven langer in standby kunnen blijven?

Normaal gesproken is de L2ARC een LFU- cache, is het ook mogelijk om hem als LRU- cache (of nog liever: een hybride vorm) in te zetten?

[Snow_King]

Jaap-Jan schreef op dinsdag 26 februari 2013 @ 12:07:
Ik zie in de topicstart dat de L2ARC geen bestanden cached, maar bestandsfragmenten. Is het ook mogelijk om hier nog enige invloed op uit te oefenen? Bijvoorbeeld: als een videobestand wordt gedownload, is het voorspelbaar dat die binnen niet afzienbare tijd bekeken wordt. Is het dan mogelijk dat alle bestandsfragmenten (in feite dus het hele bestand) daarvan worden gecached, zodat de schijven langer in standby kunnen blijven?

Normaal gesproken is de L2ARC een LFU- cache, is het ook mogelijk om hem als LRU- cache (of nog liever: een hybride vorm) in te zetten?

Zo ver ik weet heb je daar bar weinig invloed op.

Wel doet ZFS aan prefetching, dus als dat aan staat beland die prefetch informatie ook in de L2ARC cache.

[FireDrunk]

Op het L2ARC algoritme kan je zelf niets uitoefenen. Het is een combinatie van Last Accessed en Most Accessed.

Wel kan je zeggen dat L2ARC alleen metadata moet cachen (dus dingen als accesstimes, paden, bestandsnamen etc.)

Dat is zeer handig als je een grote share hebt en je wil bijvoorbeeld alleen weten of je een bepaalde Film hebt. Je disks hoeven dan niet op te spinnen om de inhoud van je Film folder te tonen.

[base_]

Ben ook toe aan een fatsoenlijke datastore, aangezien ik zowiezo veel FreeBSD gebruik gaat dit een nieuwe FreeBSD worden met ZFS store. Ik volg dit topic al een tijdje en vraag me een paar dingen af:
- Hoeveel verschil maakt AES ondersteuning van de CPU uit als er ook encrypted datasets gebruikt worden? m.a.w. loont het om hiermee rekening te houden bij b.v. 6 HDD's + 2SSD's of kan een Celeron zonder AES instructies dit makkelijk aan?
- Ik wil er later een aparte esxi bak met vm's op iSCSI en ook nog windows clients via iSCSI aan hangen, iemand ervaring en/of tips m.b.t. performance hiervan?
- Iemand nog tips voor een goede backupoplossing? Op dit moment lijkt het apart booten van een systeem met genoeg harddisks, backups draaien en deze weer uitschakelen nog het meest efficient.

[Jaap-Jan]

Met softwarematige AES- encryptie zal het erom hangen (een Celeron G530T haalt 153 MB/s), met AES-NI gaat de performance richting de 1500 MB/s. Let wel op: hierbij zit niet de overhead van het bestandssysteem en andere factoren, dit is puur wat de CPU kan verstouwen.

Over iscsi kan ik weinig zeggen, behalve dat NFS over het algemeen wat beter presteert, volgens mij. Je zou ook benchmarks kunnen doen, het is vrij makkelijk om dat in te stellen via zfs.

Met betrekking tot backups: ik gebruik backupninja (weliswaar op Linux) die met rdiff-backup een backup maakt. Zelf heb ik een paar extra scripts toegevoegd om te backupserver in te schakelen via Wake-on-LAN en weer uit te schakelen door via SSH in te loggen en met

sudo shutdown -h now

[ Voor 8% gewijzigd door Jaap-Jan op 26-02-2013 17:01 ]

[base_]

Precies wat ik zocht, die AES prestaties Aangezien er nogal wat andere applicaties op die server komen draaien zal het wel een i5 worden, die zijn ook best zuinig.
Voor backups gebruik ik meestal rsync (ook vaak over ssh), automatisch opstarten en afsluiten is ook al geen probleem.
Ik zit nu harddisks te vergelijken en zie vrij kleine verschillen tussen de 3 en 4Tb schijven, wat mij echter opvalt is dat stroomverbruik en prestaties van de WD Green redelijk achterblijven bij de Red schijven, en het prijsverschil ongeveer 13% bedraagt (0,038 vs 0,043 euro/Gb). Dat gebruik van een hardware RAID icm ZFS een no-go is snap ik maar is gebruik van Red/TLER schijven nadelig (buiten snellere bad sector detectie/degradatie)? De wat hogere betrouwbaarheid/betere garantie en betere prestaties doen mij wel twijfelen namelijk.

[analog_]

Ik ben bezig met encryptie op een hardware embedded device. Het beste begin is bij ebacs (EU project afkomstig van ESTREAM II) en crypto++ (de linux lib) voor prestaties. Hou er rekening mee dat afhankelijk van de gekozen implementatie de snelheden nog afwijken (er zijn meerdere implementaties van bv. AES afhankelijk van je processor architectuur, registers, etc).

Als je echt top prestaties wilt zouden ze een implementatie van rabbit/hc of een estream finalist moeten implementeren. Die algos zijn ontwikkeld voor kleine hardware devices en zijn bijzonder effectief per bit.

[ Voor 46% gewijzigd door analog_ op 26-02-2013 18:45 ]

[Compizfox]

Wat ik trouwens bij ZFSGuru opvallend vind en even wou melden, is dat de ACL's die voor de ZFSGuru-webiface werken, niet geldig zijn voor de subdirectories.

De default config bijvoorbeeld, is dat alleen het lokale netwerk erbij kan. Prima, maar zorg dan wel dat directories als http://server/interface/virtualbox ook meegenomen worden.
Dat is nu niet het geval, de hele wereld kan erbij aangezien de standard config voor phpvirtualbox in de service ook $noAuth = true is!
Dit creëert nogal een schijnveiligheid.

[Verwijderd]

Dat klopt, maar zeker als je server in een vijandig netwerk bevindt (lees: onbekenden kunnen communiceren met jouw server) zul je toch écht een firewall moeten gebruiken. En die biedt échte security, door alles op poort 80 en eigenlijk alle poorten by default te blocken tenzij voor whitelisted IPs zoals je eigen desktop en wellicht lokaal 127.0.0.1 als je grafische desktop met firefox gebruikt.

Het is niet gemakkelijk om de beveiliging/authenticatie van ZFSguru ook op te symbolic link in interface/virtualbox van toepassing te laten zijn. Dan zou je een mod_rewrite regel moeten gebruiken die ALLE requests naar één script stuurt en zo dus ook de interface/virtualbox. Dit betekent dan ook dat ZFSguru op sommige punten herschreven moet worden.

De richting waar ZFSguru nu op gaat is een andere. De web-interface zou dan in FPM draaien (php zonder aparte webserver) terwijl je nginx/lighttpd/apache kunt gebruiken voor overige zaken. Dit betekent dan ook dat je de andere webserver heel gemakkelijk kunt aanpassen zonder dat daarmee de ZFSguru web-interface niet meer zou werken. De web-interface draait dan helemaal los van de reguliere webserver.

[Compizfox]

Verwijderd schreef op dinsdag 26 februari 2013 @ 19:07:
Dat klopt, maar zeker als je server in een vijandig netwerk bevindt (lees: onbekenden kunnen communiceren met jouw server) zul je toch écht een firewall moeten gebruiken.

Dat bevindt hij zich niet. Hij hangt gewoon in een thuisnetwerk, maar ik heb een poort geforward naar poort 80 op ZFSGuru.

En die biedt échte security, door alles op poort 80 en eigenlijk alle poorten by default te blocken tenzij voor whitelisted IPs zoals je eigen desktop en wellicht lokaal 127.0.0.1 als je grafische desktop met firefox gebruikt.

Maar dat wil ik niet, ik moet er vanaf buiten (met een password) ook bij kunnen.

Trouwens, grafische desktop op een server?

Het is niet gemakkelijk om de beveiliging/authenticatie van ZFSguru ook op te symbolic link in interface/virtualbox van toepassing te laten zijn. Dan zou je een mod_rewrite regel moeten gebruiken die ALLE requests naar één script stuurt en zo dus ook de interface/virtualbox. Dit betekent dan ook dat ZFSguru op sommige punten herschreven moet worden.

Dat is ook niet wat ik verlang. Maar de authenticatie zou ook via een .htaccess geimplementeerd kunnen worden (of heeft Lighttpd dat niet). Dat werkt dan ook op subdirs.

Maar het feit waar het me vooral om ging, is de schijnveiligheid, wat nogal gevaarlijk kan zijn (gevaarlijker dan geen beveiliging )

Ik was ervan overtuigd dat de services óók beveiligd zouden zijn (ik dacht dat het idd iets was wat in Lighttpd was geconfigureerd)
Maar toen ik vanuit school vanmiddag direct de phpvirtualbox-pagina bezocht, kwam ik er gewoon zonder wachtwoord in!
Dat was wel ff 'schrikken' zeg maar, vooral omdat virtualbox ook nog eens default onder root draait en mijn server dus eenvoudig compromised had kunnen wezen als iemand die link had ontdekt.

De richting waar ZFSguru nu op gaat is een andere. De web-interface zou dan in FPM draaien (php zonder aparte webserver) terwijl je nginx/lighttpd/apache kunt gebruiken voor overige zaken. Dit betekent dan ook dat je de andere webserver heel gemakkelijk kunt aanpassen zonder dat daarmee de ZFSguru web-interface niet meer zou werken. De web-interface draait dan helemaal los van de reguliere webserver.

Lijkt mij een goede ontwikkeling

[Verwijderd]

@Compizfox: port 80 forwarden betekent dus dat jouw ZFS server direct te benaderen is door onbekenden. Welliswaar niet op alle poorten, maar je hebt wel een direct lijntje dus; de server is 'exposed'. Zoiets als je dochter van 13 door een slecht verlicht steegje laten lopen om 3 uur 's nachts. Dat gaat ooit een keer fout.

De oplossing is vrij simpel: als je ZFS server risico loopt op onbevoegd vijandig contact, hoor je een firewall te draaien. De 'pf' firewall kan dan die portforward van je beveiligen zodat alleen een aantal IPs (van je school; van je mobiel) toegang hebben. Daarmee dek je al heel groot gedeelte van het risico af.

Ik begrijp wel je verbazing dat je daar nu zo achterkomt. Misschien is het handig om de gebruiker hier op te wijzen op één of andere manier. Of een hoofdstuk 'ZFSguru and security'.

Overigens met 'desktop op server' bedoelde ik een grafische schil op een server. Dat is helemaal niet zo gek; Mac OSX en Windows hebben dit ook en vast ook wel Linux distributies. Het hoeft niet natuurlijk. ZFSguru begint ook met vrijwel een kale installatie met eigenlijk alleen samba en lighttpd maar verder een kale (maar niet gestripte) FreeBSD installatie.

Veel services hebben grafische componenten. Veel frontends zijn grafisch. Bovendien stelt fullscreen virtualbox je in staat de illusie te geven van een ander OS. ZFSguru is dus geen operating system wat zich alleen op storage richt en voor de rest mag je niks. ZFSguru is bedoelt als multi-purpose server waarbij de ZFS opslagtechnologie als goede basis voor overige functionaliteit kan bieden. Dus al je torrents of usenet of mediatranscoding of wat dan ook wat gebruikers allemaal willen draaien, dat kan. Maar als iemand die 'meuk' niet wilt draaien, hoeft dat ook niet. Dat is het fijne van zo'n modulaire opzet. Je maakt mogelijk wat sommigen willen, zonder dit op te leggen aan diegenen die dat niet willen.

---

@base_: mijn ervaring met FreeBSD AES performance (geom_eli) is dat AMD flink sneller is, zeker een factor 3 vergeleken met Intel. Zonder acceleratie, dat wel. Met acceleratie is Intel net een slag sneller, maar beide boven de 1GB/s dus die bottleneck ben je dan toch al kwijt. Maar als je zonder acceleratie draait, is een AMD-chip grof genomen wel sneller dan Intel; ook al is AMD normaliter langzamer per core.

De ZFS implementatie van AES-encryptie in Solaris is een magere single-threaded software engine. De multithreaded en mogelijk hardware-accelerated engine in geom_eli ofwel GELI is dan qua prestaties veel beter. Echter, ZFS encryptie werkt op filesystem niveau, GELI is block-level encryptie en werkt dus op disks niveau. Je kunt encryptie dan op diverse lagen toepassen:

• op disks of disk partities die je aan ZFS voert
• op ZFS volumes waarbij ZFS zelf dus niet encrypted is; alleen de ZVOL.
• als file containers binnen het ZFS filesystem; ongeveer gelijk aan de ZVOL optie hierboven.

[Compizfox]

Verwijderd schreef op dinsdag 26 februari 2013 @ 19:36:
@Compizfox: port 80 forwarden betekent dus dat jouw ZFS server direct te benaderen is door onbekenden. Welliswaar niet op alle poorten, maar je hebt wel een direct lijntje dus; de server is 'exposed'.

Dat weet ik.

De oplossing is vrij simpel: als je ZFS server risico loopt op onbevoegd vijandig contact, hoor je een firewall te draaien. De 'pf' firewall kan dan die portforward van je beveiligen zodat alleen een aantal IPs (van je school; van je mobiel) toegang hebben. Daarmee dek je al heel groot gedeelte van het risico af.

Zelfs al zou ik een whitelist willen gebruiken, dan kan ik dat IMHO beter in de webserver configureren dan een heel extra pakket als pf te installeren. Het gaat toch maar om één enkele poort

Maar een whitelist is simpelweg niet wat ik wil. Hij moet juist overal te bereiken zijn (school en telefoon hebben immers dynamische IP's). Uiteraard zorg ik dan wel dat ik overal passwords op heb.

Zoiets als je dochter van 13 door een slecht verlicht steegje laten lopen om 3 uur 's nachts. Dat gaat ooit een keer fout.

Onzin. Dit is gewoon een bewuste keus.
Als ik weet dat een host exposed is, zorg ik er goed voor dat er geen webinterfaces 'open' (= zonder password) staan.
Maar dan moet ik er wel van op de hoogste zijn dat ze in dit geval exposed zijn. Dat was ik in dit geval niet (ik ging ervan uit dat alleen local IP's konden verbinden). Maar dat is wat ik bedoel met het punt van schijnveiligheid

Ik begrijp wel je verbazing dat je daar nu zo achterkomt. Misschien is het handig om de gebruiker hier op te wijzen op één of andere manier. Of een hoofdstuk 'ZFSguru and security'.

Jup, een waarschuwing bij het instellen van de ACL zou wel handig zijn

Overigens met 'desktop op server' bedoelde ik een grafische schil op een server. Dat is helemaal niet zo gek; Mac OSX en Windows hebben dit ook en vast ook wel Linux distributies. Het hoeft niet natuurlijk. ZFSguru begint ook met vrijwel een kale installatie met eigenlijk alleen samba en lighttpd maar verder een kale (maar niet gestripte) FreeBSD installatie.

Maar OS X, Windows en Linux distro's die dat hebben zijn vaak ook bedoeld voor op de desktop (Ubuntu of Linux Mint bijvoorbeeld). In CentOS of Ubuntu Server zul je dan (default) ook geen GUI geinstalleerd zien staan.
In mijn ogen is een GUI gewoon niet nodig op een server. Je hebt er ten eerste geen scherm aan hangen, en als je dan toch met VNC moet werken, pak ik liever SSH

Heb je trouwens wel eens gekeken wat voor een shitload aan dependencies je ten eerste nodig hebt?

Veel services hebben grafische componenten. Veel frontends zijn grafisch. Bovendien stelt fullscreen virtualbox je in staat de illusie te geven van een ander OS.

Klopt, voor sommige dingen is een grafische interface handiger omdat je je anders gewoon moeilijk een 'overzicht' kunt vormen. Virtualisatie vind ik een goed voorbeeld inderdaad. ZFS ook, trouwens.

Maar in zulke gevallen geef ik sterk de voorkeur aan een webinterface (vandaar dat ik ZFSGuru ook zo mooi vind!)

ZFSguru is dus geen operating system wat zich alleen op storage richt en voor de rest mag je niks. ZFSguru is bedoelt als multi-purpose server waarbij de ZFS opslagtechnologie als goede basis voor overige functionaliteit kan bieden. Dus al je torrents of usenet of mediatranscoding of wat dan ook wat gebruikers allemaal willen draaien, dat kan. Maar als iemand die 'meuk' niet wilt draaien, hoeft dat ook niet. Dat is het fijne van zo'n modulaire opzet. Je maakt mogelijk wat sommigen willen, zonder dit op te leggen aan diegenen die dat niet willen.

Eens

[Verwijderd]

Compizfox schreef op dinsdag 26 februari 2013 @ 19:57:
Zelfs al zou ik een whitelist willen gebruiken, dan kan ik dat IMHO beter in de webserver configureren dan een heel extra pakket als pf te installeren. Het gaat toch maar om één enkele poort

Dat is dus wat mij betreft een vergissing. Die 'ene poort' is levensgevaarlijk. Poort 80 betekent toegang tot de webserver applicatie die toegang heeft tot sudo die toegang heeft tot root. Poort 80 mogen bereiken naar je ZFS server, betekent dus impliciet dat het vertrouwd verkeer moet zijn.

Dat bedoelde ik ook met het voorbeeld van die dochter in het steegje; je loopt bewust of onbewust een risico omdat je iets kwetsbaars blootstelt aan een (potentieel) vijandige omgeving.

pf is overigens al geïnstalleerd. Het is geen 'heel pakket' maar simpelweg de beste packetfirewall voor UNIX. Je kunt er vrijwel alles mee, en volgens mij kost het je geen drol aan CPUkracht. Ik heb er in elk geval geen last mee op mijn low-power hardware (400MHz chip enzo) die als NAT gateway dient.

Enige wat je hoeft te doen is /etc/pf.conf aanpassen en pf_enable="YES" in je /etc/rc.conf te gooien. In versie 0.4 van ZFSguru zal dit via de GUI te doen zijn. Dan kun je met een paar klikjes aangeven dat jouw poort 80 voor IP X bereikbaar moet zijn.

Maar een whitelist is simpelweg niet wat ik wil. Hij moet juist overal te bereiken zijn (school en telefoon hebben immers dynamische IP's). Uiteraard zorg ik dan wel dat ik overal passwords op heb.

Ik heb het zelf niet gebruikt, maar juist voor dit probleem is een oplossing in de vorm van 'trigger ports'. Je moet dan een specifieke poort triggeren, pas dan gaat de echte poort die je wilt open. Dus bijvoorbeeld eerst 47000 en 50400 triggeren, pas dan gaat poort 80 open. Zo heb je toch bescherming (wie weet nu dat je eerst die combinatie moet triggeren??!) terwijl je toch vanuit alle IPs bereikbaar bent.

Een veiligere oplossing is natuurlijk een VPN oplossing. Maar dat is vaak minder makkelijk te implementeren als je op wisselende clients zit waar je vaak niets op mag installeren.

In mijn ogen is een GUI gewoon niet nodig op een server. Je hebt er ten eerste geen scherm aan hangen, en als je dan toch met VNC moet werken, pak ik liever SSH

Uiteraard. Maar bij problemen bijvoorbeeld wil je af en toe toch op de servermonitor willen kijken. Als je dan de server start en hij boot in Gnome met firefox open zodat je ook gelijk de web-interface kan bedienen, is dat al een groot voordeel omdat je dan niet terug hoeft te lopen naar je desktop of workstation.

Verder zijn veel frontends dus grafisch, om magnetlinks te gebruiken moet je volgens mij de grafische versie pakken. Bedenk ook dat veel mensen die ZFSguru proberen omdat ze graag van ZFS gebruik willen maken, van een Windows-omgeving komen en daardoor de stap naar een text-only console wel vrij groot is. Terug naar DOS-tijdperk, hoor ik sommigen zeggen. Waarom dan niet de mogelijkheid bieden om een heleboel zut via grafische schil te laten draaien?

Zoals gezegd, ZFSguru geeft je de keuze. Mac OSX server komt gewoon met grafische schil voor zover ik weet. Ik heb daar een tijd geleden mee geprutst en die hebben een eigen server-achtige desktopschil gemaakt voor configureren van allerlei services.

Heb je trouwens wel eens gekeken wat voor een shitload aan dependencies je ten eerste nodig hebt?

Dat klopt, maar daar kun je twee dingen over opmerken:

• De dependencies worden gedeeld tussen verschillende service packages. Zo hoeft Firefox, XBMC, VLC en Virtualbox dus niet allemaal zelf ffmpeg en gstreamer te compileren en te downloaden en te installeren, maar gebeurt dat nu via één dependency package.
• De gstreamer en ffmpeg packages zijn gecompileerd met vrijwel ALLE codecs. Volgens mij is gstreamer ver over de 100MB.
• Gnome in ZFSguru is eveneens 'heavy' gecompileerd met vrijwel alle opties die relevant zijn.

Waar nu aan gewerkt wordt is een lichtere grafische schil maken door:

• Gnome-lite en Gnome-heavy services, waarbij de meesten voor de lite versie zullen kiezen
• Gstreamer en ffmpeg packages worden lichter met een aparte service voor alle extra codecs die dus optioneel worden.

Kortom, het draaien van een grafische schil zal een stuk lichter worden. Maar het blijft een draak natuurlijk. Maar een volledige OpenOffice is ook geen kattepis, hoor.

En nogmaals: wil je het niet dan installeer je het niet. Keuzevrijheid staat voorop. Ik vind het wel cool zo. Andere projecten zijn veel conservatiever. ZFSguru is veel toegankelijker en biedt in theorie meer mogelijkheden.

[base_]

Ik vraag me af in hoeverre er een FreeBSD port van de webinterface te maken is? De links van de (obsolete) handmatige installatie zijn helaas dood dus ik heb geen idee welke dependencies de ZFSGuru webinterface heeft.

Wat betreft encryptie: net even wat gezocht maar ik begrijp dat de native ZFS encryptie op freeBSD belabberd/afwezig is?
Ik kan dus wel geli gebruiken voor de fysieke disks of voor de ZFS volumes?

[Verwijderd]

Alleen proprietary ZFS op het commerciële Solaris platform (ZFS versie 31 uit mijn hoofd) heeft ZFS encryptie op filesystem-niveau. Dat is dan wel een softwareimplementatie die hooguit van één processorcore gebruik kan maken.

FreeBSD heeft ZFS v28/5000 maar dus niet de proprietary extensies van Oracle ZFS; dat heeft niemand behalve Oracle. Maar daar staat tegenover dat FreeBSD wel zijn eigen GELI encryptie heeft die dus softwarematige gebruik kan maken van alle CPU cores en daarnaast ook van hardwarematige acceleratie gebruik kan maken, met name in Intel/AMD processors. Kort geleden is ook een patch gekomen om de RNG (random number generator) van Ivy Bridge te ondersteunen.

ZFSguru zal ook encryptie ondersteunen via de web-interface in de toekomst. Tot die tijd kun je GELI gebruiken op ZVOLs en die via iSCSI aanbieden aan je windows/linux desktop bijvoorbeeld. Of file-based ZFS pools. Of direct disks encrypten.

[Compizfox]

Verwijderd schreef op dinsdag 26 februari 2013 @ 20:52:
[...]
Dat is dus wat mij betreft een vergissing. Die 'ene poort' is levensgevaarlijk. Poort 80 betekent toegang tot de webserver applicatie die toegang heeft tot sudo die toegang heeft tot root. Poort 80 mogen bereiken naar je ZFS server, betekent dus impliciet dat het vertrouwd verkeer moet zijn.

Dat bedoelde ik ook met het voorbeeld van die dochter in het steegje; je loopt bewust of onbewust een risico omdat je iets kwetsbaars blootstelt aan een (potentieel) vijandige omgeving.

Ik snap echt niet wat je bedoelt. Je noemt het openzetten van die ene poort levensgevaarlijk?

En wat nou als ik een website wil hosten? Dan zal ik toch echt poort 80 open moeten hebben.
Sterker nog: Voor hosting heb ik een andere VM (met Debian) waar dat ook het geval is.

Een webserver onder root draaien is trouwens ook niet echt een slim idee. Mocht er in je CMS oid een exploit zitten waardoor een kwaadwillende eigen PHP kan uitvoeren, ben je wel flink de sjaak.

EDIT:
Of bedoel je het geval waarin je de webiface van ZFSGuru open (zonder password) blootstelt aan de buitenwereld? In dat geval snappen we elkaar, dat is idd ontzettend dom

Uiteraard. Maar bij problemen bijvoorbeeld wil je af en toe toch op de servermonitor willen kijken. Als je dan de server start en hij boot in Gnome met firefox open zodat je ook gelijk de web-interface kan bedienen, is dat al een groot voordeel omdat je dan niet terug hoeft te lopen naar je desktop of workstation.

Er hangt bij mij niet eens eens een scherm aan

Als hij niet boot, heb ik dus op zich wel een probleempje want dan moet ik een scherm van zolder gaan halen, en die aansluiten
Gelukkig boot ie meestal wel en kan ik alles gewoon via SSH doen.
Maar ja, als je een typo maakt in /etc/rc.conf (wat ik laatst nog had ), zul je wel echt een scherm moeten gaan zoeken.

Verder zijn veel frontends dus grafisch, om magnetlinks te gebruiken moet je volgens mij de grafische versie pakken. Bedenk ook dat veel mensen die ZFSguru proberen omdat ze graag van ZFS gebruik willen maken, van een Windows-omgeving komen en daardoor de stap naar een text-only console wel vrij groot is. Terug naar DOS-tijdperk, hoor ik sommigen zeggen. Waarom dan niet de mogelijkheid bieden om een heleboel zut via grafische schil te laten draaien?

Er is ook niets mis met het aanbieden van de mogelijkheid Sterker nog, dat is mooi. Het leuke van FOSS is juist dat je veel keuzevrijheid hebt.

Ik legde alleen uit waarom ik het niet nodig vind en dus niet gebruik.

Ik draai trouwens Transmission (ik weet niet of je daar op doelde) headless (met de webinterface dus) en heb geen problemen met magnet-links

Dat klopt, maar daar kun je twee dingen over opmerken:

• De dependencies worden gedeeld tussen verschillende service packages. Zo hoeft Firefox, XBMC, VLC en Virtualbox dus niet allemaal zelf ffmpeg en gstreamer te compileren en te downloaden en te installeren, maar gebeurt dat nu via één dependency package.
• De gstreamer en ffmpeg packages zijn gecompileerd met vrijwel ALLE codecs. Volgens mij is gstreamer ver over de 100MB.
• Gnome in ZFSguru is eveneens 'heavy' gecompileerd met vrijwel alle opties die relevant zijn.

Waar nu aan gewerkt wordt is een lichtere grafische schil maken door:

• Gnome-lite en Gnome-heavy services, waarbij de meesten voor de lite versie zullen kiezen
• Gstreamer en ffmpeg packages worden lichter met een aparte service voor alle extra codecs die dus optioneel worden.

Kortom, het draaien van een grafische schil zal een stuk lichter worden. Maar het blijft een draak natuurlijk.

Ik doelde eigenlijk vooral op de X- en GTK-related libraries die je moet installeren als je een GUI wilt.

Dit is een voorbeeld van wat apt wil meepakken bij het installeren van Gnome in Debian:

code:

The following NEW packages will be installed:
  accountsservice alacarte apg app-install-data apt-xapian-index aptdaemon aspell aspell-en bluez brasero brasero-common cdrdao cheese-common cryptsetup-bin
  cups-pk-helper dbus-x11 dconf-gsettings-backend dconf-service desktop-file-utils dosfstools enchant evolution-data-server evolution-data-server-common
  folks-common fontconfig freepats fuse gconf-service gconf2 gconf2-common gcr gir1.2-accountsservice-1.0 gir1.2-atk-1.0 gir1.2-caribou-1.0
  gir1.2-clutter-1.0 gir1.2-clutter-gst-1.0 gir1.2-cogl-1.0 gir1.2-coglpango-1.0 gir1.2-evince-3.0 gir1.2-folks-0.6 gir1.2-freedesktop gir1.2-gck-1
  gir1.2-gconf-2.0 gir1.2-gcr-3 gir1.2-gdesktopenums-3.0 gir1.2-gdkpixbuf-2.0 gir1.2-gee-1.0 gir1.2-gkbd-3.0 gir1.2-gmenu-3.0 gir1.2-gnomebluetooth-1.0
  gir1.2-gst-plugins-base-0.10 gir1.2-gstreamer-0.10 gir1.2-gtk-3.0 gir1.2-gtkclutter-1.0 gir1.2-gtksource-3.0 gir1.2-json-1.0 gir1.2-mutter-3.0
  gir1.2-networkmanager-1.0 gir1.2-panelapplet-4.0 gir1.2-pango-1.0 gir1.2-polkit-1.0 gir1.2-soup-2.4 gir1.2-telepathyglib-0.12 gir1.2-telepathylogger-0.2
  gir1.2-upowerglib-1.0 gir1.2-xkl-1.0 gjs gkbd-capplet glib-networking glib-networking-common glib-networking-services gnome-accessibility-themes
  gnome-applets gnome-applets-data gnome-bluetooth gnome-contacts gnome-control-center gnome-control-center-data gnome-desktop3-data gnome-icon-theme
  gnome-icon-theme-symbolic gnome-keyring gnome-media gnome-menus gnome-online-accounts gnome-panel gnome-panel-data gnome-power-manager gnome-session
  gnome-session-bin gnome-session-common gnome-session-fallback gnome-settings-daemon gnome-shell gnome-shell-common gnome-sushi gnome-system-monitor
  gnome-themes-standard gnome-themes-standard-data gnome-user-guide gsettings-desktop-schemas gstreamer0.10-ffmpeg gstreamer0.10-gconf
  gstreamer0.10-plugins-bad gstreamer0.10-plugins-base gstreamer0.10-plugins-good gstreamer0.10-plugins-ugly gstreamer0.10-pulseaudio gstreamer0.10-x
  gtk2-engines gvfs gvfs-backends gvfs-common gvfs-daemons gvfs-libs hdparm hicolor-icon-theme hunspell-en-us hwdata imagemagick-common liba52-0.7.4 libaa1
  libaacs0 libaccountsservice0 libao-common libao4 libarchive12 libasound2 libasound2-plugins libaspell15 libass4 libasyncns0 libatasmart4 libatk1.0-0
  libatk1.0-data libatkmm-1.6-1 libavahi-glib1 libavc1394-0 libavcodec53 libavformat53 libavutil51 libbluetooth3 libbluray1 libbrasero-media3-1 libburn4
  libcaca0 libcairo-gobject2 libcairomm-1.0-1 libcamel-1.2-33 libcanberra-gtk-module libcanberra-gtk0 libcanberra-gtk3-0 libcanberra-gtk3-module
  libcanberra0 libcap2-bin libcaribou-common libcaribou0 libcdaudio1 libcdio-cdda1 libcdio-paranoia1 libcdio13 libcdparanoia0 libcheese-gtk21 libcheese3
  libclutter-1.0-0 libclutter-1.0-common libclutter-gst-1.0-0 libclutter-gtk-1.0-0 libclutter-imcontext-0.1-0 libclutter-imcontext-0.1-bin
  libcluttergesture-0.0.2-0 libcogl-common libcogl-pango0 libcogl9 libcpufreq0 libcroco3 libcryptsetup4 libdatrie1 libdc1394-22 libdca0 libdconf0
  libdevmapper-event1.02.1 libdirac-encoder0 libdirectfb-1.2-9 libdjvulibre-text libdjvulibre21 libdrm-intel1 libdrm-nouveau1a libdrm-radeon1 libdrm2 libdv4
  libdvdnav4 libdvdread4 libebackend-1.2-2 libebook-1.2-13 libecal-1.2-11 libedata-book-1.2-13 libedata-cal-1.2-15 libedataserver-1.2-16
  libedataserverui-3.0-1 libenca0 libenchant1c2a libevdocument3-4 libevview3-3 libexempi3 libfaad2 libfftw3-3 libflac8 libflite1 libfolks-eds25
  libfolks-telepathy25 libfolks25 libfontenc1 libfribidi0 libgail-3-0 libgck-1-0 libgconf-2-4 libgconf2-4 libgcr-3-1 libgcr-3-common libgdata-common
  libgdata13 libgdk-pixbuf2.0-0 libgdk-pixbuf2.0-common libgdu0 libgee2 libgeoclue0 libgjs0b libgl1-mesa-dri libgl1-mesa-glx libglapi-mesa libglew1.7
  libglibmm-2.4-1c2a libglu1-mesa libgme0 libgmime-2.6-0 libgnome-bluetooth10 libgnome-desktop-3-2 libgnome-keyring-common libgnome-keyring0
  libgnome-media-profiles-3.0-0 libgnome-menu-3-0 libgnomekbd-common libgnomekbd7 libgoa-1.0-0 libgoa-1.0-common libgsm1 libgstreamer-plugins-bad0.10-0
  libgstreamer-plugins-base0.10-0 libgstreamer0.10-0 libgtk-3-0 libgtk-3-bin libgtk-3-common libgtk2.0-0 libgtk2.0-bin libgtk2.0-common libgtkmm-3.0-1
  libgtksourceview-3.0-0 libgtksourceview-3.0-common libgtop2-7 libgtop2-common libgucharmap-2-90-7 libgweather-3-0 libgweather-common libgxps2
  libhunspell-1.3-0 libical0 libice6 libicu48 libiec61883-0 libimobiledevice2 libisofs6 libjack-jackd2-0 libjavascriptcoregtk-3.0-0 libjson-glib-1.0-0
  libjson0 libjte1 libkate1 libkpathsea6 liblqr-1-0 liblua5.1-0 liblvm2app2.2 libmad0 libmagickcore5 libmagickwand5 libmetacity-private0a libmhash2
  libmimic0 libmission-control-plugins0 libmms0 libmodplug1 libmozjs10d libmozjs185-1.0 libmp3lame0 libmpcdec6 libmpeg2-4 libmusicbrainz5-0 libmutter0
  libmx-1.0-2 libmx-bin libmx-common libnautilus-extension1a libnettle4 libnm-glib-vpn1 libnm-glib4 libnm-gtk-common libnm-gtk0 libnm-util2 libnotify4
  liboauth0 libofa0 libogg0 libopenal-data libopenal1 libopencore-amrnb0 libopencore-amrwb0 libopenobex1 libopus0 liborc-0.4-0 libpackagekit-glib2-14
  libpam-cap libpam-gnome-keyring libpanel-applet-4-0 libpango1.0-0 libpangomm-1.4-1 libparted0debian1 libpciaccess0 libplist1 libpoppler-glib8
  libpostproc52 libproxy0 libpulse-mainloop-glib0 libpulse0 libquvi-scripts libquvi7 libraptor2-0 librasqal3 libraw1394-11 librdf0 librest-0.7-0
  librest-extras-0.7-0 librsvg2-2 librsvg2-common libsamplerate0 libschroedinger-1.0-0 libsgutils2-2 libshout3 libsidplay1 libslv2-9 libsm6 libsmbclient
  libsndfile1 libsocialweb-client2 libsocialweb-common libsocialweb-service libsocialweb0 libsoundtouch0 libsoup-gnome2.4-1 libsoup2.4-1 libspandsp2
  libspectre1 libspeex1 libspeexdsp1 libstartup-notification0 libswscale2 libsystemd-daemon0 libt1-5 libtag1-vanilla libtag1c2a libtelepathy-glib0
  libtelepathy-logger2 libthai-data libthai0 libtheora0 libtotem-plparser17 libtracker-sparql-0.14-0 libts-0.0-0 libtwolame0 libunistring0 libupower-glib1
  libusbmuxd1 libva1 libvisual-0.4-0 libvisual-0.4-plugins libvo-aacenc0 libvo-amrwbenc0 libvorbis0a libvorbisenc2 libvorbisfile3 libvpx1 libwacom-common
  libwacom2 libwavpack1 libwebkitgtk-3.0-0 libwebkitgtk-3.0-common libwebrtc-audio-processing-0 libwildmidi-config libwildmidi1 libwnck-3-0 libwnck-3-common
  libx11-xcb1 libx264-123 libx86-1 libxaw7 libxcb-glx0 libxcb-shape0 libxcb-util0 libxcomposite1 libxcursor1 libxdamage1 libxfixes3 libxft2 libxi6
  libxinerama1 libxkbfile1 libxklavier16 libxmu6 libxrandr2 libxres1 libxt6 libxtst6 libxv1 libxvidcore4 libxxf86dga1 libxxf86vm1 libyajl2 libyelp0 libzbar0
  libzvbi-common libzvbi0 mesa-utils metacity metacity-common mousetweaks mutter-common nautilus nautilus-data notification-daemon ntfs-3g obex-data-server
  obexd-client pm-utils policykit-1-gnome powermgmt-base pulseaudio pulseaudio-module-x11 pulseaudio-utils python-aptdaemon python-aptdaemon.pkcompat
  python-defer python-gnupginterface python-gobject python-packagekit python-pkg-resources python-pycurl python-software-properties python-xapian rtkit
  telepathy-mission-control-5 tsconf udisks unattended-upgrades upower usbmuxd usbutils vbetool x11-common x11-utils x11-xkb-utils yelp yelp-xsl zenity
  zenity-common
0 upgraded, 473 newly installed, 0 to remove and 17 not upgraded.
Need to get 271 MB/272 MB of archives.
After this operation, 777 MB of additional disk space will be used.

Nah, doe toch maar niet

[ Voor 161% gewijzigd door Compizfox op 27-02-2013 11:04 ]

[basprofessional]

Ik heb een stukje advies nodig.
Ik wil morgen beginnen aan het bouwen van ZFS storage op mijn ESXi server.
Als OS wil ik Freenas gaan gebruiken, ik heb een IBM M1015 controller in bestelling staan en heb nog een SSD liggen van 60GB die ik graag als cache schijf wil gaan gebruiken.

Momenteel heb ik in mijn server 2 WD schijven van 2000GB zitten, qua capaciteit nog steeds ruim voldoende voor mij, dus daar nog geen uitbreiding voor nodig.
Is het alsnog verstandig om met het oog op toekomstige uitbreiding gelijk alvast 4x 2TB schijven er in te gaan hangen? Of is uitbreiding in de toekomst eenvoudig te regelen?

[Pixeltje]

basprofessional schreef op woensdag 27 februari 2013 @ 11:25:
Ik heb een stukje advies nodig.
Ik wil morgen beginnen aan het bouwen van ZFS storage op mijn ESXi server.
Als OS wil ik Freenas gaan gebruiken, ik heb een IBM M1015 controller in bestelling staan en heb nog een SSD liggen van 60GB die ik graag als cache schijf wil gaan gebruiken.

Momenteel heb ik in mijn server 2 WD schijven van 2000GB zitten, qua capaciteit nog steeds ruim voldoende voor mij, dus daar nog geen uitbreiding voor nodig.
Is het alsnog verstandig om met het oog op toekomstige uitbreiding gelijk alvast 4x 2TB schijven er in te gaan hangen? Of is uitbreiding in de toekomst eenvoudig te regelen?

Je kunt alleen uitbreiden door óf een nieuwe vdev te maken, of alle schijven in je bestaande vdev te vervangen door grotere exemplaren. Als je nu al weet dat je op korte termijn plek nodig hebt kun je in mijn ogen het beste nu investeren in een paar extra schijven. Kun je meteen ook naar een raidz of raidz2 systeem toe voor redundancy, met twee schijven kan dat niet..

[wjn]

Pixeltje schreef op woensdag 27 februari 2013 @ 11:28:
[...]


Je kunt alleen uitbreiden door óf een nieuwe vdev te maken, of alle schijven in je bestaande vdev te vervangen door grotere exemplaren. Als je nu al weet dat je op korte termijn plek nodig hebt kun je in mijn ogen het beste nu investeren in een paar extra schijven. Kun je meteen ook naar een raidz of raidz2 systeem toe voor redundancy, met twee schijven kan dat niet..

Als je nu ook al geen RAID hebt, zou je ook mbv. memory disks een RAID-Z2 kunnen aanmaken en later 2x 2TB schijven kunnen toevoegen. Loop je evenveel risico als je degraded draait totdat je 2 schijven toevoegd.

Ik vraag me alleen af waar je je data laat, als die nu op je server staat en je die schijven wilt gebruiken. Je kunt die truk met memory disks ook gebruiken om een RAID-Z2 aan te maken met 2 nieuwe 2TB schijven, data kopieren en dan één voor één je oude schijven toevoegen om de Z2 volledig te maken.

Alternatief kun je idd één vdev aanmaken (mirror 2x2TB) en later een vdev mirror van 2x2TB toevoegen. Nadeel ten opzichte van Raid-Z2 (evenveel diskruimte) is dat bij uitval van 2 schijven je 50% kans op dataverlies hebt. Bij Z2 is er dan geen probleem. Met direct 4 schijven en Z1 heb je uiteraard meer effectieve ruimte.

[basprofessional]

wjn schreef op woensdag 27 februari 2013 @ 11:49:
[...]

Als je nu ook al geen RAID hebt, zou je ook mbv. memory disks een RAID-Z2 kunnen aanmaken en later 2x 2TB schijven kunnen toevoegen. Loop je evenveel risico als je degraded draait totdat je 2 schijven toevoegd.

Ik vraag me alleen af waar je je data laat, als die nu op je server staat en je die schijven wilt gebruiken. Je kunt die truk met memory disks ook gebruiken om een RAID-Z2 aan te maken met 2 nieuwe 2TB schijven, data kopieren en dan één voor één je oude schijven toevoegen om de Z2 volledig te maken.

Alternatief kun je idd één vdev aanmaken (mirror 2x2TB) en later een vdev mirror van 2x2TB toevoegen. Nadeel ten opzichte van Raid-Z2 (evenveel diskruimte) is dat bij uitval van 2 schijven je 50% kans op dataverlies hebt. Bij Z2 is er dan geen probleem. Met direct 4 schijven en Z1 heb je uiteraard meer effectieve ruimte.

Ok duidelijk, bedankt voor jullie advies
Gelijk maar 2 schijven erbij bestellen dan, ben benieuwd!

[HyperBart]

Ik had volgende graag werkend gekregen op mijn ZFSguru installatie: Sleepie in "Het grote ZFS topic"

Ik heb even gecontroleerd of ik sendmail heb, dat lijkt het geval te zijn:

[root@zfsguru ~]# which sendmail
/usr/sbin/sendmail


## Sendmail
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"
sendmail_clientmqueue_enable="NO"

Is er iets bijzonders, vooral qua SMTP-relay dan, wat ik moet instellen? Moeten die sendmail opties in rc.conf aangepast worden?

[Compizfox]

Nagenoeg alle ISPs blocken poort 25. Je kunt dus zonder smarthost en relay geen SMTP-server draaien.

Voor inkomende mail moet je een relay gebruiken met een hogere prio in je MX-records, die de mail zal doorsturen naar je server.

Voor uitgaande mail zul je de smarthost moeten configureren.

[HyperBart]

Van die smarthost (=relay dus) was ik op de hoogte, maar ik vroeg me af hoe het hier specifiek met FreeBSD zat en waar ik overal dingen moet aanpassen.

Ik wil ook geen SMTP draaien, ik wil gewoon mailtjes kunnen verzenden vanuit mijn ZFSGURU

[ Voor 23% gewijzigd door HyperBart op 27-02-2013 12:59 ]

[Ultraman]

Naast dat Perl scriptje levert FreeBSD zelf een prima script mee voor daily status incluus ZFS informatie. Zie de periodic scripts en manual.

Ik verstuur mail middels ssmtp (of msmtp?), een van die twee, en gebruik een GMail-account als smarthost, werkt prima en er is voldoende documentatie/HOWTOs te vinden op het internet wat opzetten betreft.

[ Voor 5% gewijzigd door Ultraman op 27-02-2013 14:26 ]

[FireDrunk]

Als je niet teveel mailt kan je toch gewoon zonder smarthost mailen? Hier bij UPC werkt dat eigenlijk prima.
(last time i checked)

[ Voor 9% gewijzigd door FireDrunk op 27-02-2013 15:01 ]

[wjn]

Jaap-Jan schreef op dinsdag 26 februari 2013 @ 12:07:
Ik zie in de topicstart dat de L2ARC geen bestanden cached, maar bestandsfragmenten. Is het ook mogelijk om hier nog enige invloed op uit te oefenen? Bijvoorbeeld: als een videobestand wordt gedownload, is het voorspelbaar dat die binnen niet afzienbare tijd bekeken wordt. Is het dan mogelijk dat alle bestandsfragmenten (in feite dus het hele bestand) daarvan worden gecached, zodat de schijven langer in standby kunnen blijven?

Normaal gesproken is de L2ARC een LFU- cache, is het ook mogelijk om hem als LRU- cache (of nog liever: een hybride vorm) in te zetten?

Wat bedoel je met downloaden? Van internet naar je server(pool), of van je server naar een player?

Je moet sowieso wat settings aanpassen voor je eigen situatie, enkele belangrijke:

1. vfz.zfs.l2arc_write_max

This tunable limits the maximum writing speed onto l2arc. The default is 8MB/s. So depending on the type of cache drives that the system used, it is desirable to increase this limit several times. But remember not to crank it too high to impact reading from the cache drives.

2. vfs.zfs.l2arc_write_boost

This tunable increases the above writing speed limit after system boot and before ARC has filled up. The default is also 8MB/s. During the above period, there should be no read request on L2ARC. This should also be increased depending on the system.

3. vfs.zfs.l2arc_noprefetch

This tunable determines whether streaming data is cached or not. The default is not to cache streaming data. To change it or not depends heavily on the workload of the system. On my system, the L2ARC cache hit ratio was less than 10% when it is set to the default value. After setting it to 0, the L2ARC cache hit ratio had now increased to 66%.

Meer info bijv.: https://blogs.oracle.com/brendan/entry/test

[analog_]

wjn schreef op woensdag 27 februari 2013 @ 20:43:
[...]

Wat bedoel je met downloaden? Van internet naar je server(pool), of van je server naar een player?

Je moet sowieso wat settings aanpassen voor je eigen situatie, enkele belangrijke:


[...]


Meer info bijv.: https://blogs.oracle.com/brendan/entry/test

Weet je toevallig of er specifics zijn voor SSD arrays?

[B2]

B2 schreef op maandag 25 februari 2013 @ 20:45:
[...]


Hmm de disk is dus gewoon weg, foetsie... En het mooie is, een disk die eerder blijkbaar niet opgekomen was is er nu wel... Die is dus ook niet meegenomen in het maken van de pool. Nou ja, die maar even gebruikt om de pool weer uit een degraded modus te krijgen, maar dat ik de power en kabeltjes na moet kijken lijkt me duidelijk.

Nadeel is alleen dat die bak niet hier lokaal staat...

Na een powercycle is de disk terug.. wat het was geen idee. Nu wil ik om een andere reden de pool opnieuw aanmaken, dus ik heb de disken geformateerd en de create pool stappen doorlopen. Nu blijft het aanmaken van de pool alleen hangen lijkt het. Er draait een zdb process met 30 tot 40% cpu in uwait state. Verder niks... Door laten lopen?

Blijkbaar kwam het doordat de oude pool dezelfde naam had als de pool die ik opnieuw aan wou maken. Andere naam en geen probleem. (ik kon niet de pool importeren omdat er een extra disk bijgekomen is)

[ Voor 10% gewijzigd door B2 op 28-02-2013 07:17 ]

[wjn]

analog_ schreef op woensdag 27 februari 2013 @ 20:46:
[...]

Weet je toevallig of er specifics zijn voor SSD arrays?

Nee, weet ik niet.

Ik heb zelf geen array maar een enkele SSD, settings op 80MB/s gezet (83886080).

[HyperBart]

Verwijderd schreef op vrijdag 08 februari 2013 @ 18:01:
Afgezien van dat punt kun je inderdaad oneindig doorlussen als je dat wilt. Met die Molex stekkers is dat weinig praktisch omdat de kans steeds verder toeneemt dat één zo'n molex stekkertje soms even geen contact maakt en dat is gewoon kut voor je schijven. Die vinden dat niet leuk. Dus daarom gewoon van dit soort SATA splitters gebruiken: pricewatch: Silverstone SST-CP06 4x SATA die maken wél goed contact. Voor de prijs hoef je het niet te laten.

Ik weet niet wat je er zo geweldig aan vindt, maar ik catalogeer het onder "ruk". Ik heb ze zonet aan mijn L7 300W gehangen samen met een setje van 5 x 7200 rpm Hitachi, 1 x 7200 RPM Seagate en een M4 en mijn server weigert pertinent om te booten met die kabeltjes. Meer zelfs: als ik alleen dat kabeltje aansluit en geen storage devices, alleen dat kabeltje + moederbord dan boot hij zelfs niet. Hij trekt wel af en toe een piekje van 20 Watt, dat zie ik op mijn UPS...

En ik denk ook dat ik weet waar het aan ligt: die dingen bevatten capacitoren en volgens mij trekt mijn voeding dat niet om die dingen te poweren (als ik de juiste conclusies trek). Ik vind het maar vies en ik hoop dat mijn disks er geen schade door geleden hebben...

[GoVegan]

heb dit topic beetje doorgelezen maar kan niet echt een antwoord vinden.

Heeft zfs nu ook voordelen als ik het op een enkele schijf gebruik?

in mijn nieuwe server komt een ssd
pricewatch: Kingston SSDNow V+200 120GB
waarop de complete root word gezet, inclusief mysql databasen en wwwdata.
en een pricewatch: Samsung EcoGreen F2 EG HD154UI, 1.5TB
voor opslag van backups en nzb data en de /home/

hoe kan ik hier nu het beste zfs op gaan gebruiken, is het zobizo nuttig om zfs hier te gebruiken.
wil zfs voornamelijk gebruiken tegen bitrot en de handigheid van snapshots

mijn voorkeur gaat uit naar debian.
ben beetje aan het spelen met Debian GNU/kFreeBSD in vmware omgeving (64bit) maar om de een of andere manier krijg ik hier geen mogelijkheid om een zfs partition te maken

ander optie is zfsguru en dan debian in Virtualbox weet alleen niet of dit de zuinigheid te goede komt.

[ Voor 5% gewijzigd door GoVegan op 28-02-2013 21:40 ]

[analog_]

HyperBart schreef op donderdag 28 februari 2013 @ 21:01:
[...]


Ik weet niet wat je er zo geweldig aan vindt, maar ik catalogeer het onder "ruk". Ik heb ze zonet aan mijn L7 300W gehangen samen met een setje van 5 x 7200 rpm Hitachi, 1 x 7200 RPM Seagate en een M4 en mijn server weigert pertinent om te booten met die kabeltjes. Meer zelfs: als ik alleen dat kabeltje aansluit en geen storage devices, alleen dat kabeltje + moederbord dan boot hij zelfs niet. Hij trekt wel af en toe een piekje van 20 Watt, dat zie ik op mijn UPS...

En ik denk ook dat ik weet waar het aan ligt: die dingen bevatten capacitoren en volgens mij trekt mijn voeding dat niet om die dingen te poweren (als ik de juiste conclusies trek). Ik vind het maar vies en ik hoop dat mijn disks er geen schade door geleden hebben...

Ik heb er vier in twee machines met beide een l7 300W en dat werkt prima.

[sloth]

GoVegan schreef op donderdag 28 februari 2013 @ 21:29:
heb dit topic beetje doorgelezen maar kan niet echt een antwoord vinden.

Heeft zfs nu ook voordelen als ik het op een enkele schijf gebruik?

Zelfde vraag met bijbehorende antwoorden:

sloth in "Het grote ZFS topic"

[duiveltje666]

Kleine tip om je netwerk performance te verbeteren :

ifconfig device polling ,dus bijv.
# ifconfig em0 polling

en om het permanent te maken : (voorbeeldje , zelf je config aanpassen aan je netwerkkaart)
ifconfig_em0="inet 10.21.111.100 netmask 255.255.255.192 media 1000baseT/UTP mediaopt full-duplex polling"

Om te testen of het werkt :
sysctl -a kern.polling

en ifconfig em0( vul je netwerkkaart hier in)
Je zult bijvoorbeeld dit zien :
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 7168
options=20db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_MAGIC>
ether 00:1b:21:38:77:1f
inet 192.168.1.12 netmask 0xffffff00 broadcast 192.168.1.255
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet 1000baseT <full-duplex>
status: active

[Verwijderd]

Compizfox schreef op dinsdag 26 februari 2013 @ 23:01:
[...]
[s]Ik snap echt niet wat je bedoelt. Je noemt het openzetten van die ene poort levensgevaarlijk?
En wat nou als ik een website wil hosten? Dan zal ik toch echt poort 80 open moeten hebben.

Op het moment dat je een port-forward doet naar je ZFSguru server ben je kwetsbaar omdat de boze buitenwereld direct kan communiceren met jouw server. Als dat poort 80 is betekent dit dus toegang tot lighttpd process. Dit process draait onder het www-useraccount wat root toegang heeft middels sudo. Als er kwetsbaarheden zitten in Lighttpd of er geen authenticatie is ingesteld op web-services, kan iemand dus volledige controle verkrijgen. Om die reden noem ik zomaar poort 80 open zetten middels een portforward 'levensgevaarlijk'.

Wat je zegt over websites hosten kun je verwezenlijken door apache te installeren en die op poort 80 laten draaien, terwijl je lighttpd op poort 81 laat draaien die geen port forward heeft. Als je apache (of nginx, wat je wilt) op zijn eigen useraccount laat draaien, is dat al een verbetering. Maar pas echt goed is zulk spul in een FreeBSD Jail draaien ofwel virtualiseren. Dat laatste is misschien makkelijker: installeer gewoon een ZFSguru/FreeBSD installatie in een Virtualbox VM. Dan kan - als de boze buitenwereld jouw webserver weet te hacken - deze niet zomaar toegang tot je bestanden krijgen. Daarbij kun je het beste de networking in NAT mode draaien zodat je eigenlijk alleen via het internet contact kunt hebben.

HyperBart schreef op woensdag 27 februari 2013 @ 12:35:
Is er iets bijzonders, vooral qua SMTP-relay dan, wat ik moet instellen? Moeten die sendmail opties in rc.conf aangepast worden?

sendmail_submit_enable moet op yes en ik denk sendmail_outbound_enable ook, de rest kun je uitlaten.

Overigens blokkeert je ISP soms poort 25 naar andere mailservers buiten de ISP mailserver. In dat geval moet je via de ISP laten lopen. Daar biedt de FreeBSD Handbook een oplossing voor: http://www.freebsd.org/doc/handbook/outgoing-only.html.

GoVegan schreef op donderdag 28 februari 2013 @ 21:29:
heb dit topic beetje doorgelezen maar kan niet echt een antwoord vinden.

Heeft zfs nu ook voordelen als ik het op een enkele schijf gebruik?

Ja, want je hebt toch nog beperkte bescherming tegen bad sectors als die de metadata raken. Zelfs op een enkele disk wordt alle metadata namelijk dubbel geschreven, dat noemen we ditto copies.

Dat kun je ook zelf op bepaalde data doen door zfs set copies=2 tank/filesystem te doen. Voor normale data kan dat aardig oplopen. Maar stel je laat je video filesystem op standaard copies=1 maar je stelt je documents directory op copies=2 in. Die is toch minder groot en bevat belangrijkere bestanden. Zou je dan bad sectors tegenkomen, kunnen die niet aan die bestanden knagen.

En de features zoals snapshots kan je ook beschermen tegen gevaren als user error en virussen en wat niet. Maar het belangrijkste is dat bad sectors niet zomaar het filesystem zélf kunnen beschadigen, want dan heb je een slechte dag.

[jacovn]

HyperBart schreef op donderdag 28 februari 2013 @ 21:01:
[...]


Ik weet niet wat je er zo geweldig aan vindt, maar ik catalogeer het onder "ruk". Ik heb ze zonet aan mijn L7 300W gehangen samen met een setje van 5 x 7200 rpm Hitachi, 1 x 7200 RPM Seagate en een M4 en mijn server weigert pertinent om te booten met die kabeltjes. Meer zelfs: als ik alleen dat kabeltje aansluit en geen storage devices, alleen dat kabeltje + moederbord dan boot hij zelfs niet. Hij trekt wel af en toe een piekje van 20 Watt, dat zie ik op mijn UPS...

En ik denk ook dat ik weet waar het aan ligt: die dingen bevatten capacitoren en volgens mij trekt mijn voeding dat niet om die dingen te poweren (als ik de juiste conclusies trek). Ik vind het maar vies en ik hoop dat mijn disks er geen schade door geleden hebben...

Volgens mij kunnen je hitatchi hdd's wel eens 3.3 volt willen, en dat komt toch niet van een molex ?
Ik heb ook ooit molex naar sata power gekocht, maar die nooit aangesloten om deze reden. (7k4000 hdds)
Ik ben maar overgegaan naar kabels met 5 sata connectoren direct van mijn seasonic voeding die,op maat gemaaakt worden via hong kong (moddiy)
Nu ze nog free shipping hebben is dat wel interessant.

[base_]

FireDrunk schreef op woensdag 27 februari 2013 @ 15:01:
Als je niet teveel mailt kan je toch gewoon zonder smarthost mailen? Hier bij UPC werkt dat eigenlijk prima.
(last time i checked)

Beeetje offtopic maar toch:
Hangt ook van de mailserver/het spamfilter van de ontvanger af: als die een beetje fatsoenlijk is komt de email niet aan of in de junk folder indien rechtstreeks van een dynamic ip range zonder reverse ip die overeenkomt met de mailhost fqdn/dns en spf. Gebruik gewoon de smtp server van de provider als je mail naar internet wilt versturen (of een andere (authenticated) smtp smarthost).

[Compizfox]

Verwijderd schreef op vrijdag 01 maart 2013 @ 02:14:
[...]

Op het moment dat je een port-forward doet naar je ZFSguru server ben je kwetsbaar omdat de boze buitenwereld direct kan communiceren met jouw server. Als dat poort 80 is betekent dit dus toegang tot lighttpd process. Dit process draait onder het www-useraccount wat root toegang heeft middels sudo. Als er kwetsbaarheden zitten in Lighttpd of er geen authenticatie is ingesteld op web-services, kan iemand dus volledige controle verkrijgen. Om die reden noem ik zomaar poort 80 open zetten middels een portforward 'levensgevaarlijk'.

OK, maar ik vind dat je hier enorm overdrijft. Ja, er kunnen exploits zitten in Lighttpd maar wat jij zegt in principe is dat ook het draaien van een webserver om een website te hosten levensgevaarlijk is.
Toch zullen er websites moeten worden gehost.

Uiteraard zorg ik wel dat er authenticatie staat op de webinterface.

Wat je zegt over websites hosten kun je verwezenlijken door apache te installeren en die op poort 80 laten draaien, terwijl je lighttpd op poort 81 laat draaien die geen port forward heeft. Als je apache (of nginx, wat je wilt) op zijn eigen useraccount laat draaien, is dat al een verbetering. Maar pas echt goed is zulk spul in een FreeBSD Jail draaien ofwel virtualiseren. Dat laatste is misschien makkelijker: installeer gewoon een ZFSguru/FreeBSD installatie in een Virtualbox VM. Dan kan - als de boze buitenwereld jouw webserver weet te hacken - deze niet zomaar toegang tot je bestanden krijgen. Daarbij kun je het beste de networking in NAT mode draaien zodat je eigenlijk alleen via het internet contact kunt hebben.

Webhosting doe ik een Debian-VM Het was puur als voorbeeld.

[duiveltje666]

Wat ik me afvraag .... Heb nu 2x 750 gig , zou ik die dmv 2 x 2 partities raid0+1 kunnen geven op de een of andere manier?

[Compizfox]

Wat is dit nu weer?

Als ik een pool benchmark start in ZFSGuru wordt het OS unresponsive, al laat top bij elk proces 0% CPU-gebruik zien.
Toen ik in dmesg keek schrok ik een beetje:

code:

ahcich2: Timeout on slot 8 port 0
ahcich2: is 00000000 cs 0003f800 ss 0003ff00 rs 0003ff00 tfd c0 serr 00000000 cmd 0800eb17
(ada2:ahcich2:0:0:0): WRITE_FPDMA_QUEUED. ACB: 61 00 da 41 ca 40 08 00 00 01 00 00
(ada2:ahcich2:0:0:0): CAM status: Command timeout
(ada2:ahcich2:0:0:0): Retrying command

En dat dan heel vaak achter elkaar....

Wat betekent dit?

Dit heb ik al 2x gehad bij het doen van een benchmark. De vorige keer draaide ZFSGuru als host en had ik hem een hard reset gegeven waarna bij het booten de schijven niet meer online kwamen. Toen heb ik hem een nacht in de BIOS laten staan waarna de schijven na een reboot weer terugkwamen.

Nu draait ZFSGuru in een ESXi-VM maar met de onboard controller gepassthrought. Dus de manier van het accessen van de controller is hetzelfde.

Met RDM heb ik hier nog nooit last van gehad.