Het grote ZFS topic

[Verwijderd]

Areca maakt ook HBA's zoals de 1320 serie. Die werken als een malle.

[Bigs]

En de RAID controllers van Areca hebben veelal ook een JBOD of Passthrough mode, dus ook die kun je prima gebruiken.

[Verwijderd]

Die kun je niet prima gebruiken. Zie in dit topic mijn reacties daarover:

http://gathering.tweakers.net/forum/list_messages/1452380?data[filter_keywords]=areca%20passthrough

Door een bug in de forumsoftware kan ik de bovenstaande URL niet klikbaar maken, sorry daarvoor.

[ Voor 50% gewijzigd door Verwijderd op 01-09-2014 22:39 ]

[Bigs]

Verwijderd schreef op maandag 01 september 2014 @ 22:38:
Die kun je niet prima gebruiken. Zie in dit topic mijn reacties daarover:

http://gathering.tweakers.net/forum/list_messages/1452380?data[filter_keywords]=areca%20passthrough

Door een bug in de forumsoftware kan ik de bovenstaande URL niet klikbaar maken, sorry daarvoor.

Ok het probleem is dus dat hij schijven met bad sectors (of vermoeden daarvan) off-line haalt? Dat is wel onnodig gedrag ja. Blij dat ik uitsluitend LSI gebruik (reden is overigens niet dat ik een hekel heb aan ander spul, maar gewoon omdat ik er al 20 heb en geen zin heb om de interface/monitoring/quirks van een nieuw merk aan te leren )

[Extera]

RobHaz schreef op maandag 01 september 2014 @ 17:06:
welke versie van FreeBSD gebruikt ZFSguru? Misschien dat het daar aan ligt, aangezien ctl e.d pas in 10.0 gemaakt zijn, en in 9.2 dus misschien problemen veroorzaakt.

Helaas, zojuist getest met de 10 alpha van FreeNAS. zonder succes.

code:

[root@freenas] /dev/zvol/SAN# mount /dev/zvol/SAN/iSCSI /tmp/test/
mount: /dev/zvol/SAN/iSCSI: No such file or directory
[root@freenas] /dev/zvol/SAN#

[FireDrunk]

Verwijderd schreef op maandag 01 september 2014 @ 22:38:
Die kun je niet prima gebruiken. Zie in dit topic mijn reacties daarover:

http://gathering.tweakers.net/forum/list_messages/1452380?data[filter_keywords]=areca%20passthrough

Door een bug in de forumsoftware kan ik de bovenstaande URL niet klikbaar maken, sorry daarvoor.

Ik heb de "ARC-1300ix-16" uitgebreid getest met ZFS, die werkt prima. Dat is duidelijk een non-RAID SAS HBA. (Het is een Marvell AHCI controller met een SAS Expander erachter).

Niet de snelste controller, maar hij werkt prima.

Ook zijn er drivers voor FreeBSD, dat maakt het ook wel grappig

Voor andere mensen die dit lezen, dit betekend absoluut *niet* dat je elke Areca kan gebruiken! Juist niet!, de 1300 serie is juist een van de weinige Areca controllers welke wel werkt...

[ Voor 12% gewijzigd door FireDrunk op 02-09-2014 08:40 ]

[Extera]

Is er hier iemand die een licht kan schijnen over het zvol mount verhaal?
Ik heb dit op het freenas forum gepost. Daar kreeg ik het volgende antwoord.
.

quote: mav@, post: 140632, member: 7324

This is because since 9.2.1.7 FreeNAS started to use ZVOLs in new "dev" mode. It completely bypassed GEOM. It improves performance and security, but makes mounting within storage impossible. It should be possible to revert it by setting tunable vfs.zfs.vol.mode to 0 (default) or 1 (geom).

Als ik deze tunable aan zet, verdwijnt echter de zvol directory uit /dev/

tunable off:

code:

[root@freenas] /# cd /dev
[root@freenas] /dev# ls -lah | grep zvol
dr-xr-xr-x   3 root  wheel      512B Sep  3 13:55 zvol/
[root@freenas] /dev#

tunable on:

code:

[root@freenas] ~# cd /dev
[root@freenas] /dev# ls -lah | grep zvol
[root@freenas] /dev#

Iemand die kan toelichten wat er precies gedaan is in freenas? Wat os die nieuwe dev mode? bypass by geom? Iemand leesvoer? Hier heb ik helaas geen kaas van gegeten....

[BrandALARM]

Heeft iemand een idee waarom mij ssd(crucial M500) niet wordt gezien in ZFSGURU? De SSD wordt netjes bij de boot gezien door de BIOS (AHCI), maar waarneer ik vanaf de live-cd (9.2-001) start is er geen disk te vinden? Als ik vervolgens de SSD aan de M1015 hang wordt deze wel in ZFSGURU herkent, maar na een boot de melding missing boot sector. Het draaien met een live-cd 10.001 word de M1015 niet herkend. Tips en Tricks welkom.

@Firedrunk Heb je de SSD wel op de Onboard Intel (of AMD) controller gestoken? En niet op een Marvell, JMicron of ASMedia AHCI controllertje?.

de SSD zit idd op de onboard sata (b75 pro 3-m) de M1015 is ook geflasht... het vreemde is dat een Sandisk SDSA5BK 008G SSD Half Height SATA 3 slim wel gevonden wordt. De crucial M500 heb ik via de genoemde live cd gepartioneerd. Kan daar iets fout mee zijn gegaan?

[ Voor 32% gewijzigd door BrandALARM op 04-09-2014 16:26 . Reden: aanvulling op de vraag van FireDrunk ]

[FireDrunk]

MatthijsE schreef op woensdag 03 september 2014 @ 23:35:
Heeft iemand een idee waarom mij ssd(crucial M500) niet wordt gezien in ZFSGURU? De SSD wordt netjes bij de boot gezien door de BIOS (AHCI), maar waarneer ik vanaf de live-cd (9.2-001) start is er geen disk te vinden? Als ik vervolgens de SSD aan de M1015 hang wordt deze wel in ZFSGURU herkent, maar na een boot de melding missing boot sector. Het draaien met een live-cd 10.001 word de M1015 niet herkend. Tips en Tricks welkom.

Heb je de SSD wel op de Onboard Intel (of AMD) controller gestoken? En niet op een Marvell, JMicron of ASMedia AHCI controllertje?

Dat je niet kan booten van een M1015 kan wel kloppen als je die naar IT-mode flasht, dat gaat niet zo makkelijk (veel mensen wissen het BIOS van de controller, waardoor je er niet meer van kan booten. Niet erg, want in je OS werkt de controller nog prima.)

[CurlyMo]

@Extera: hier de betreffende code met uitleg:
http://lists.freebsd.org/...ad/2014-April/057428.html

[Pantagruel]

FireDrunk schreef op dinsdag 02 september 2014 @ 08:39:
[...]


Ik heb de "ARC-1300ix-16" uitgebreid getest met ZFS, die werkt prima. Dat is duidelijk een non-RAID SAS HBA. (Het is een Marvell AHCI controller met een SAS Expander erachter).

Niet de snelste controller, maar hij werkt prima.

Ook zijn er drivers voor FreeBSD, dat maakt het ook wel grappig

Voor andere mensen die dit lezen, dit betekend absoluut *niet* dat je elke Areca kan gebruiken! Juist niet!, de 1300 serie is juist een van de weinige Areca controllers welke wel werkt...

Sluit ik me bij aan, je kunt beter niet op zoek gaan naar die ene uitzondering die wel werkt, maar voor een tried and tested HBA gaan (LSI/IBM/Intel/Dell rebrand)

Vragen van deze strekking, of een RAID HBA in JBOD of 'disk pass-through mode', wil werken icm ZFS zijn al vaker voorbij gekomen en het lijkt eerder geluk dan wijsheid als t werkt.

Uit eigen ervaring kan ik mededelen dat de ARC-1221x het niet netjes doet. De kruik dobbert even, maar barst op volle zee in stukken uit een.

[erikdeperik]

Verwijderd schreef op maandag 01 september 2014 @ 22:38:
Die kun je niet prima gebruiken. Zie in dit topic mijn reacties daarover:

http://gathering.tweakers.net/forum/list_messages/1452380?data[filter_keywords]=areca%20passthrough

Door een bug in de forumsoftware kan ik de bovenstaande URL niet klikbaar maken, sorry daarvoor.

beter dus niet die areca gebruiken dus.
ik heb die snelheid iig niet meer echt nodig.
ik heb nog wel 2 schijven liggen om te proberen.
moet het perse met virtual box,of kan het ook met wmware?

edit/ik net dat er in de 1e post een stukje staat over virtualisatie. excuus

[ Voor 6% gewijzigd door erikdeperik op 04-09-2014 16:36 ]

[Beninho]

CurlyMo schreef op zondag 31 augustus 2014 @ 13:56:
Zelf even een loopje maken die dat doet. Je kan op internet voldoende voorbeelden vinden. Je kan ook het scriptje zfs-auto-snapshot gebruiken.

Thanks.. Scriptje gevonden en geinstalleerd.

Voor ubuntu gebruikers:

code:

 sudo add-apt-repository ppa:zfs-native/stable; sudo apt-get install zfs-auto-snapshot

Aanpassen kan per dataset via

code:

sudo zfs com.sun:auto-snapshot=true tank/backup
sudo zfs com.sun:auto-snapshot:monthly=false tank/backup

Waar ik nog niet helemaal uit ben is hoe je het insteld om automatisch na X tijd te destroyen.

[DRAFTER86]

Beninho schreef op donderdag 04 september 2014 @ 18:03:
[...]


Thanks.. Scriptje gevonden en geinstalleerd.

Voor ubuntu gebruikers:

code:

 sudo add-apt-repository ppa:zfs-native/stable; sudo apt-get install zfs-auto-snapshot

Aanpassen kan per dataset via

code:

sudo zfs com.sun:auto-snapshot=true tank/backup
sudo zfs com.sun:auto-snapshot:monthly=false tank/backup

Waar ik nog niet helemaal uit ben is hoe je het insteld om automatisch na X tijd te destroyen.

Dat gaat gewoon via scripts in de verschillende /etc/cron.* mappen.
Zelf werk ik ook nog aan een scriptje dat elke dag de daily snapshot (incrementeel) naar een offsite backup locatie 'zfs send'.
Werkt al wel, maar gaat nog niet helemaal lekker met errors/onderbroken verbindingen etc.

[Beninho]

DRAFTER86 schreef op donderdag 04 september 2014 @ 19:33:
[...]

Dat gaat gewoon via scripts in de verschillende /etc/cron.* mappen.
Zelf werk ik ook nog aan een scriptje dat elke dag de daily snapshot (incrementeel) naar een offsite backup locatie 'zfs send'.
Werkt al wel, maar gaat nog niet helemaal lekker met errors/onderbroken verbindingen etc.

I see -->

code:

exec zfs-auto-snapshot --quiet --syslog --label=weekly --keep=4 //

Hop..

[Geckx]

Ik had nog een aantal vraagjes (zowel voor mezelf als voor een vriend die onlangs ook met ZFSguru is beginnen experimenteren)

1. Wordt het afgeraden om bij een migratie van ZFSguru naar FreeNAS simpelweg de pool te importeren?
In theorie moet dit mogelijk zijn om een pool gecreëerd onder ZFSguru te importeren onder FreeNAS. Maar in hoeverre kan dit problemen geven op langere termijn?

2. Als ik het goed begrijp heeft ZFSguru rechtstreeks contact nodig met de controller waar de hdd op aangesloten is om van alle voordelen van het ZFS bestandssysteem te genieten.
Wat gebeurd er precies achterliggen in ZFSguru als je via Hyper-V passtrough de disks presenteert aan ZFSguru (dewelke dan als VM draait)?
Wordt dit afgeraden of kan het ook perfect werken op dezelfde manier dan wanneer ZFSguru het host OS is?

[ Voor 52% gewijzigd door Geckx op 06-09-2014 18:24 ]

[CurlyMo]

@MatthijsE, zie de handige links in de TS.

[MikeVM]

Het is nog eens tijd om wat aan men nas te werken.

maar nog steeds vind ik het moeilijk om simpele informatie te vinden, dus stel ik voor dat er een Q&A komt in de TS. dit zou het voor novice-users veel makkelijker maken om hiermee te beginnen..

hieronder heb ik al een aantal vragen die misschien kunnen beantwoord worden door jullie. dit is voornamelijk voor ZFSGURU
1 Worden mijn instellingen behouden bij een install van een nieuwe FreeBSD versie?
2 Worden mijn instellingen behouden bij een install van een nieuwe web-interface (ZFSGURU)?
3 wat is basisonderhoud dat ik moet verichten aan mijn nas?
4 is het nodig om eens een clean install te doen na jaren van gepruts?
5 wat zijn snapshots?
6 moet ik zelf snapshots maken om de x aantal tijd?
- ..

dit zijn allemaal vragen waar ikzelf ook mee worstel.

1 hier denk ik dat de instellingen behouden worden, maar dat sabnzbd en dergelijke opnieuw moeten geinstalleerd worden. eens dat gebeurt is, lezen de programmas de instellingen weer uit de oude files..?

2 alle instellingen blijven behouden?

[Verwijderd]

De topicstart bevat toch juist al vraag en antwoord? Veel van de kopjes zijn in vraagvorm geschreven. Hooguit kan het worden uitgebreid, maar ik vind hem al redelijk lang. Ik wil ook geen enorme lap teksten waar de lengte al gelijk afschrikt. Het ZFS topic moet allereest een kennismaken zijn voor nieuwe gebruikers die ZFS niet (goed) kennen en er meer over willen weten. Dan wil ik ze ook niet gelijk in het diepe gooien. Maar verbeteringen zijn natuurlijk wel mogelijk.

Antwoord op jouw vragen:

1) Nee; een nieuwe installatie betekent een kale installatie. Wel worden ZFS instellingen behouden. Als je compressie op filesystem x hebt geactiveerd, zal dat behouden blijven omdat die instellingen door ZFS zelf worden opgeslagen; niet door je BSD installatie.

2) Ja, het updaten van de web-interface doet niets meer dan de /usr/local/www/zfsguru directory updaten naar nieuwe versie; de rest verandert dus niet. Dit kun je dus makkelijk doen met één druk op de knop.

3) Niets eigenlijk; ZFS is heerlijk onderhoudsvrij. Enige is bijhouden dat je NAS niet te vol raakt en af en toe een scrub draaien is ook wel handig.

4) In principe niet; er zijn veel ZFSguru installaties die jarenlang dienst hebben gedaan. Alleen uit veiligheidsoverwegingen zou updaten noodzakelijk kunnen zijn; maar dat geldt alleen als het aan het internet wordt blootgesteld; voor een NAS achter een NAT router is dat in principe niet het geval. Tenzij je client gehacked wordt (windows desktop) en de aanvaller van daaruit ook naar je interne NAS probeert te komen. Maar als je client wordt gehacked kan die sowieso al via je mounted shares bij je data. Dus dan ben je toch al gecompromitteerd.

5) snapshots kun je zien als een fotocamera. Waar een videocamera bewegend beeld registreert, doet een fotocamera dat met slechts één moment. Een snapshot is dus een momentopname van je data op een filesystem. Ga je daarna wijzigingen aanbrengen, dan kun je altijd terug naar de tijd waarop je de snapshot hebt aangemaakt. Dat teruggaan in de tijd wordt een rollback genoemd. Maar je kunt ook de snapshot mounten als read-only directory en een enkel bestand hiervandaan plukken. Denk bijvoorbeeld aan een ongelukje met de delete-knop. Dan kun je altijd nog je snapshot versie terughalen. Snapshots kosten geen extra ruimte; alleen de wijzingen (de mutaties) kosten extra ruimte. Dus als je een foto overschrijft met een andere foto maar dezelfde naam; dan kost dat voor die ene foto dubbele ruimte. Maar op het moment dat je de snapshot maakt, kost het niets aan extra opslagruimte. ZFS en snapshots zijn zeer krachtig en hebben een overlap met de bescherming die backups bieden: historie.

6) dat kan handig zijn ja, zeker als je geen backups hebt of wanneer de ZFS server je backup machine is. Zo kun je incremental backups maken. Je kunt zelfs elk uur snapshots maken en snapshots ouder dan 14 dagen automatisch verwijderen, bijvoorbeeld.

[MdBruin]

Je bent me net voor Cipher.

Ben expert maar hierbij de antwoorden op je vragen MikeVM

1. Zover ik weet niet aangezien je een nieuw image installeert. Ik moest zelf ook even de instellingen opnieuw instellen na een update.
2. Een nieuwe web interface zal de instellingen niet veranderen. Deze blijven ongewijzigd.
3. Basis onderhoud is afhankelijk van jezelf. Persoonlijk check ik regelmatig of alles nog goed werkt en maak ik regelmatig een back-up van m'n belangrijke bestanden.
4. Zolang alles nog goed draait zie ik geen reden tot herinstallatie. Een update daarin tegen weer wel.
5. Een snapshot is een moment opname van je gegevens. Hiermee kan je terug gaan in de tijd waarop het snapshot gemaakt is. Bijvoorbeeld je heb een bestand weggegooid die je nodig hebt, door het snapshot kan je deze weer terug krijgen. Let wel op dat dit dan alle wijzigingen opgedaan maakt welke gemaakt zijn na het snapshot.
6.dit kan zowel handmatig als automatisch

[CurlyMo]

In Apple termen zijn een snapshots hetzelfde als timemachine

[Verwijderd]

Van het weekend mijn fileserver een update gegeven. Zie het Showoff topic.

Helaas heeft een nieuwe voeding,cpu,mobo en ram mijn probleem nog steeds niet verholpen.
Bij veel disk io, een scrub bijvoorbeeld begint de Areca kaart/driver te klapperen.

Elke minuut het volgende in /var/log/messages:

code:

Sep  7 20:44:05 storage kernel: COMMON_CONTROL=0xff51
Sep  7 20:44:05 storage kernel: PORT_PHY_CONTROL0=0x122f00
Sep  7 20:44:05 storage kernel: ALL_PORT_INT_STATUS=0x0
Sep  7 20:44:05 storage kernel: HBA_1320_MAIN_INT_ENABLE=0x0
Sep  7 20:44:05 storage kernel: HBA_1320_MAIN_INT_CAUSE=0x0
Sep  7 20:44:05 storage kernel: Non-specific NCQ error0 = 0x0
Sep  7 20:44:05 storage kernel: Non-specific NCQ error1 = 0x0
Sep  7 20:44:05 storage kernel: SRS INT status0 = 0x0
Sep  7 20:44:05 storage kernel: SRS INT status1 = 0x0
Sep  7 20:44:05 storage kernel: COMMON_SAS_SATA_INT_ENABLE=0x1e00fffb
Sep  7 20:44:05 storage kernel: COMMON_SAS_SATA_INT_CAUSE=0x0
Sep  7 20:44:05 storage kernel: COMMON_POST_Q_RD_PTR=0x15b
Sep  7 20:44:05 storage kernel: COMMON_POST_Q_WR_PTR=0x15b
Sep  7 20:44:05 storage kernel: COMMON_DONE_Q_WR_PTR=0x103
Sep  7 20:44:05 storage kernel: DoneQ[0]=0x103
Sep  7 20:44:05 storage kernel: Last PostQ index= 0x15b
Sep  7 20:44:05 storage kernel: Last DoneQ Index= 0x103
Sep  7 20:44:05 storage kernel: Core0 Packet Request Count     =0x8c923a5
Sep  7 20:44:05 storage kernel: Core0 Packet Return Count      =0x8c9239c
Sep  7 20:44:05 storage kernel: Core0 Packet (Req-Rtn) Count   =0x9
Sep  7 20:44:05 storage kernel: Core0 Command Delivery Count   =0x8c8db5c
Sep  7 20:44:05 storage kernel: Core0 Command Completed Count  =0x8c8db54
Sep  7 20:44:05 storage kernel: Core0 Command DPC Count        =0x0
Sep  7 20:44:05 storage kernel: Core0 Waiting CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Completed CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Waiting Register set CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x0 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x1 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x2 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x3 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x4 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Target 0x5 Cdb=0x28,0x0,0xa0,0x4d,0xa4,0xc0,0x0,0x0,0x80
Sep  7 20:44:05 storage kernel: Target 0x5 Cdb=0x28,0x0,0xa0,0x4d,0xa4,0x80,0x0,0x0,0x40
Sep  7 20:44:05 storage kernel: Target 0x5 Cdb=0x28,0x0,0xa0,0x4d,0xa4,0x38,0x0,0x0,0x40
Sep  7 20:44:05 storage kernel: Target 0x5 Cdb=0x28,0x0,0xa0,0x4d,0xa3,0xb8,0x0,0x0,0x80
Sep  7 20:44:05 storage kernel: Target 0x5 Cdb=0x28,0x0,0xa0,0x4d,0xa4,0x78,0x0,0x0,0x8
Sep  7 20:44:05 storage kernel: Core0 Target 0x5 waiting EH CCB count=0x5
Sep  7 20:44:05 storage kernel: Core0 Target 0x6 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x80 waiting EH CCB count=0x0
Sep  7 20:44:05 storage kernel: Running Slot=0x0, 0x0, 0x0, 0x0,
Sep  7 20:44:05 storage kernel: Running Slot=0x0, 0x0, 0x0, 0x0,
Sep  7 20:44:05 storage kernel: Running Slot=0xe800, 0x0, 0x0, 0x0,
Sep  7 20:44:05 storage kernel: Running Slot=0x0, 0x0, 0x0, 0x0,
Sep  7 20:44:05 storage kernel: Resetting Slot=0x0, 0x0, 0x0, 0x0,
Sep  7 20:44:05 storage last message repeated 3 times
Sep  7 20:44:05 storage kernel: Completing Slot=0x0, 0x0, 0x0, 0x0,
Sep  7 20:44:05 storage last message repeated 3 times
Sep  7 20:44:05 storage kernel: Core0 Target 0x0 Running CCB count=0x0, Tag Map=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x1 Running CCB count=0x0, Tag Map=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x2 Running CCB count=0x0, Tag Map=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x3 Running CCB count=0x0, Tag Map=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x4 Running CCB count=0x0, Tag Map=0x0
Sep  7 20:44:05 storage kernel: Core0 Target 0x5 Running CCB count=0x0, Tag Map=0x0
Sep  7 20:44:05 storage kernel: Target 0x6 Cdb=0x28,0x0,0xa0,0x4d,0xa4,0x38,0x0,0x0,0x40
Sep  7 20:44:05 storage kernel: Target 0x6 Cdb=0x28,0x0,0xa0,0x4d,0xa5,0x0,0x0,0x0,0x40
Sep  7 20:44:05 storage kernel: Target 0x6 Cdb=0x28,0x0,0xa0,0x4d,0xa4,0x80,0x0,0x0,0x80
Sep  7 20:44:05 storage kernel: Target 0x6 Cdb=0x28,0x0,0xa0,0x4d,0xa5,0x40,0x0,0x0,0x40
Sep  7 20:44:05 storage kernel: Core0 Target 0x6 Running CCB count=0x4, Tag Map=0xf
Sep  7 20:44:05 storage kernel: Core0 Target 0x80 Running CCB count=0x0, Tag Map=0x0

Ik kan niet zoveel met de meldingen. Ik heb Areca al even een mailtje gestuurd. Vermoeddelijk de kaart die een beetje rot is.

[FireDrunk]

Temperatuur gecheckt?

[Verwijderd]

Goed punt. Ik heb er op aanraden van een andere tweaker ook al even naar gekeken en er zojuist een extra ventilator op gericht.

code:

  scan: scrub in progress since Mon Sep  8 15:08:37 2014
        2.94T scanned out of 39.6T at 1.16G/s, 8h58m to go
        0 repaired, 7.43% done

Fingers crossed

[FireDrunk]

Pokke Areca's ook Ik lees veel te veel verhalen dat die krengen te heet worden

[Verwijderd]

In veel professionele omgevingen is er ook altijd een flinke airflow. Thuissystemen waarbij ook geen fans gebruikt worden of in zo'n standaard ATX-omgeving zijn niet de primaire gebruikers van Areca spul. Toch vind ik het vreemd dat er niet een beetje meer metaal voor een betere heatsink wordt gebruikt. Mijn Areca heeft ook zo'n 40mm takkefan die natuurlijk na een half jaar veel geluid gaat produceren en dan zit je te klooien met passieve koeling wat dan weer te heet wordt.

Erg jammer daarom dat AMD en Intel hun southbridge niet op een addon controller mikken en de SATA/600 controller aanbieden in deze vorm; low-power en fully AHCI compliant, bovendien is er al een productielijn voor deze chips dus lijkt me ook nog cost-efficient. Helaas...

[Verwijderd]

Extra fan heeft niet geholpen. Dus die Areca gaat de vuilnisbak in. Ik had altijd best een hoge pet op van Areca maar de laatste tijd toch al meerdere malen tegen problemen aangelopen met die dingen.

Phff, Ik dacht dat ik nu wel klaar was met upgraden maar het lijkt erop dat er nog 350euro tegenaanmoet voor 2 1015 controllers.

[FireDrunk]

eBay is je vriend...

[Goshimaplonker298]

Verwijderd schreef op maandag 08 september 2014 @ 18:57:
Extra fan heeft niet geholpen. Dus die Areca gaat de vuilnisbak in. Ik had altijd best een hoge pet op van Areca maar de laatste tijd toch al meerdere malen tegen problemen aangelopen met die dingen.

Phff, Ik dacht dat ik nu wel klaar was met upgraden maar het lijkt erop dat er nog 350euro tegenaanmoet voor 2 1015 controllers.

Jammer, had al in het andere topic gereageerd. Je hebt er hopelijk wel een degelijke fan met genoeg airflow opgezet? Als je in de buurt van Rotterdam woont kan ik je een Dikke server fan lenen. Maak wel ff lawaai maar dan weet je zeker dat er genoeg airflow is.

Over de M1015's €350 voor 2 stuks is veel te veel. 2e hands kan je rond de €75 per stuk rekenen. Zoek naar IBM M1015, Dell H200, Fujitsu heeft ook een model. Zijn allemaal LSI-9210-8I varianten wat weer de OEM versie is van de LSI 9211-8i

Deze zijn allemaal te flashen met de LSI IT firmware. De Dell's zijn iets lastiger omdat je een oude sas2flash tool moet gebruiken, zelfde voor de Fujitsu.

Weet eventueel wel een Tweaker die nog wat van die Dell H200's heeft. (not me)

[matty___]

Verwijderd schreef op maandag 08 september 2014 @ 17:43:
In veel professionele omgevingen is er ook altijd een flinke airflow. Thuissystemen waarbij ook geen fans gebruikt worden of in zo'n standaard ATX-omgeving zijn niet de primaire gebruikers van Areca spul. Toch vind ik het vreemd dat er niet een beetje meer metaal voor een betere heatsink wordt gebruikt. Mijn Areca heeft ook zo'n 40mm takkefan die natuurlijk na een half jaar veel geluid gaat produceren en dan zit je te klooien met passieve koeling wat dan weer te heet wordt.

Zo heb ik ook een Supermicro SAS controller gekilled. Gewoon te warm geworden door slechte airflow

[Verwijderd]

Ik heb een breakthrough!
Het lijkt niet aan de Areca controller te liggen.

Ik ben gedowngrade van FreeBSD10 naar FreeBSD9.3 (maar eigelijk geupgrade, ZFS op Freebsd9.3 blijkt meer features te hebben.
Hier heb ik de pool weer geimporteerd incl Zil SSD maar zonder L2ARC SSD. En verrek! Ik heb zojuist al 2x een scrub 100% completed.
Wanneer ik de L2ARC SSD weer toevoeg gaat de machine weer op zijn bek.

De SSD zit aangesloten op de onboard AHCI controller. Ik ga de SSD SMART values eens onderzoeken en kijken of ik wat tests kan draaien. Misschien de SATA kabel verwisselen.

[CurlyMo]

@thelightning8, ook voor jou, zie de eerste post.

[sphere]

Ik zie geen relevante informatie in de startpost over zijn probleem.

[CurlyMo]

CurlyMo in "Het grote ZFS topic"

[Verwijderd]

Bedankt. Misschien tik ik ook tegen deze bug aan. Het OS staat echter op een Intel 320 geinstalleerd en dat gaat goed. De ZIL/L2ARC op Crucials dus de situatie is iets anders.

[CurlyMo]

In mijn geval ging het ook om Crucials, dus misschien ligt het probleem daar.

[enthernal]

Even een snelle vraag tussendoor, omtrent de ACL's van ZFS, want ik vind maar geen duidelijk.
Uit de documentatie/blogs van Oracle haal ik dat ZFS NFSv4 ACL's gebruikt en vervolgens een ZFS Posix Layer component gebruikt die de compabilteit met POSIX rechten behandelt. Met andere woorden, je kan zowel POSIX als NFSv4 ACL's op ZFS volumes.

Het tweede deel van de vraag is hoe het zit op andere besturings systemen. Voor zover ik kan na gaan zou freeBSD eveneens beide ondersteunen, maar doet linux (voorlopig) enkel nog POSIX rechten?

Is er iemand die deze warboel wat uit kan klaren? Alvast bedankt

[FireDrunk]

ZFSonLinux 0.6.3 doet POSIX ACL's ! (Niet te verwarren met reguliere POSIX rechten.)

[Verwijderd]

CurlyMo schreef op dinsdag 09 september 2014 @ 16:49:
In mijn geval ging het ook om Crucials, dus misschien ligt het probleem daar.

Je zat in ieder geval in de goede richting. Uiteindelijk bleek het hele euvel een AHCI setting in de bios
(http://www.supermicro.com/support/faqs/faq.cfm?faq=10371)

Iedereen bedankt voor het meedenken!

[hansdegit]

Ik weet even niet of dit de meest geschikte plek is om mijn probleem te bespreken, maar ik doe het toch.

De situatie: ik heb hier een ESX 5.5 draaien die zijn storage krijgt aangeboden van een Zfsguru in een VM. ZFSGuru heeft middels passthrough een controller tot zijn beschikking. Alles draait op een SuperMicro X10SL7-F, ging altijd perfect.

Gistermiddag was geen enkele vm meer bereikbaar, ook de webinterface van zfsguru deed niets meer. Na een reboot kwam alles weer op. Vanochtend idem dito. De enige foutmelding die ik tegenkom is deze:

Sep 9 12:59:19 zfsguru kernel: mps0: Calling Reinit from mps_wait_command
Sep 9 12:59:19 zfsguru kernel: mps0: Reinitializing controller,

Op google kom ik niet zo snel iets bruikbaars tegen. Weet iemand hier iets? Waar moet ik zoeken? Moet ik upgraden?

Powered by ZFSguru version 0.2.0-beta9
Running official system image 10.1-001 featuring FreeBSD 10.0-STABLE with ZFS v5000.
Running Root-on-ZFS distribution.

[FireDrunk]

Klinkt als een controller lockup.
Check even of het ding de laatste firmware versie heeft, en of het ding niet te heet word.

[Q]

https://clusterhq.com/blog/state-zfs-on-linux/

[hansdegit]

FireDrunk schreef op woensdag 10 september 2014 @ 16:28:
Klinkt als een controller lockup.
Check even of het ding de laatste firmware versie heeft, en of het ding niet te heet word.

Die SAS controller wordt inderdaad loeiheet. Ik ga maar eens de firmware upgraden, kijken of dat helpt. Met open kast draaien heeft het probleem niet verholpen, hooguit uitgesteld.

edit: die controller is niet koeler geworden. Wat kan ik nog doen op OS niveau? Is ZFSGuru bij machte om die SAS controller wat minder te laten doen? Sleepmode oid?

[ Voor 20% gewijzigd door hansdegit op 12-09-2014 20:43 ]

[FireDrunk]

ASPM aanzetten.

[hansdegit]

ASPM? Die ga ik ff googlen...Hoe doe ik dat?

edit: gevonden. ASPM voor de SAS controller staat in het BIOS op "Auto".

[ Voor 48% gewijzigd door hansdegit op 12-09-2014 21:47 ]

[BCC]

Q schreef op donderdag 11 september 2014 @ 20:28:
https://clusterhq.com/blog/state-zfs-on-linux/

Ik wou het net posten

[Bolk]

Tijdje geleden dat ik hier gepost heb. M'n huidige config draait echt als een zonnetje en ben erg tevreden met de performance. Machine hangt in een DC en serveert o.a. een aantal VM's.

Toch wil ik er een 2e machine bij gaan zetten voor m'n Netflix 7.0 projectje. Ik zat te denken aan RAID-Z (ipv RAID-Z2) zonder SLOG en ZIL, omdat het eigenlijk alleen maar om grote files gaat en echt hoge I/O niet nodig is. Het gaat gewoon om brute storage. Zit te denken aan 5/6 TB disks.

Maar, als ik dan toch bezig ben, waarom niet nog een extra datastore voor de VM's erbij zetten? Slaapt toch nét iets lekkerder Backup is altijd wel fijn, en het biedt weer groeimogelijkheden. M'n case heeft ruimte voor 20 hotswap disks, dus ruimte zat voor een aantal zpools.

Nu zit ik sterk te denken aan een 'kleine' datastore met 4x 512 GB SSD's in RAID-Z2. Puur SSD power dus. Zijn er dingen waar ik specifieke rekening mee moet gaan houden? Bijv met power loss, of is RAID-Z3 een betere optie? Of zijn SSD's over het algemeen betrouwbaar genoeg ondertussen? Ik neem aan dat een SLOG en ZIL niet nodig zijn

[ Voor 3% gewijzigd door Bolk op 13-09-2014 11:01 ]

[Streamert]

Bolk schreef op zaterdag 13 september 2014 @ 11:00: M'n case heeft ruimte voor 20 hotswap disks, dus ruimte zat voor een aantal zpools.

Ben benieuwd naar die 'case'

[TMon]

TMon schreef op maandag 11 augustus 2014 @ 19:00:
[...]

In rc.conf staat t volgende aan onder de kop spindown:
1e regel ="YES"
2e ="600"
3e ="ada0 ada1 ada3 ada4 ada5 ada6 ada7"

en

Even getest: ada3:0.8sec, da0:6.96sec. Duidelijk dat de 3 die aan de M1015 hangen wel downspinnen en de 7 ada aan het mobo niet.

ZFSGuru autostart
zfsguru_enable="YES"
Staat ook gewoon goed.

Ik neem aan dat APM gewoon uit mag staan en dat spindown dan nog werkt?
Ik heb headparking ook compleet uitgezet met de wdidle.

Ik bensteeds clueless. Kan ik jullie van nog meer info voorzien? Bedankt voor jullie tijd in ieder geval. Ben erg content met ZFSGuru en de setup. Wil alleen 't idle vermogen nog omlaag krijgen voordat ie in de meterkast verdwijnt.

Even nog hierop terugkomend. 8 van de 10 schijven heb ik als test aan de M1015 gehangen en Firedrunks toevoeging aan rc.conf werkt prima, al deze schijven gaan down na 15 minuten.
Behalve dus nogsteeds de 2 aan het mobo.
Mijn moederboard is de welbekende ASRock B75 Pro3-M. Bios is ongewijzigd. Misschien zit daar nog iets in?
Ik gebruik overigens 2 en 3 TB WD green schijven. De 2 schijven die niet uit gaan zijn 3TB greens, die geen APM ondersteunen. Met WDIdle is de parkeerfunctie uitgeschakeld.

[ Voor 7% gewijzigd door TMon op 16-09-2014 19:27 ]

[Bolk]

Streamert schreef op zaterdag 13 september 2014 @ 11:42:
[...]


Ben benieuwd naar die 'case'

http://www.norcotek.com/i...goryid=1&modelno=rpc-4220

[FireDrunk]

hansdegit schreef op vrijdag 12 september 2014 @ 20:45:
ASPM? Die ga ik ff googlen...Hoe doe ik dat?

edit: gevonden. ASPM voor de SAS controller staat in het BIOS op "Auto".

Even forceren in je BIOS (Als het kan) op L0 & L1, en in je OS forceren.

[hansdegit]

Thanks. Kan je ook uit de doeken doen hoe ik het in het OS moet forceren? Ben nog steeds geen FreeBSD expert....

Nu ik wat verder zoek op het internet, zie ik ook wat verhalen over drivers voor de LSI 2308. Vandaar dat ik er ook aan dacht om via de zfsguru webinterface te upgraden naar 11.0-002 te gaan. Maar aangezien het voor ons thuis "productie" draait, voel ik daar nog niet zo voor, qua WAF....

[FireDrunk]

Ik heb eerlijk gezegd geen idee hoe dit werkt in BSD, ik heb het zelf alleen in Linux geforceerd

(Daar is het een kernel optie, misschien kan google je verder helpen).

[paidur]

Dag allen,

Ook ik ben inmiddels met ZFS begonnen. Ik heb een nieuw systeem gebouwd met de volgende hardware:

#	Product	Prijs	Subtotaal
1	Intel Pentium G3220 Boxed	€ 46,-	€ 46,-
1	ASRock B85M Pro4	€ 55,-	€ 55,-
3	WD Green WD40EZRX	€ 130,59	€ 391,77
1	Fractal Design Node 804	€ 92,92	€ 92,92
1	Kingston ValueRAM KVR13LR9D4/16I	€ 154,50	€ 154,50
1	Seasonic G-Serie 360Watt	€ 50,-	€ 50,-
Bekijk collectie Importeer producten		Totaal	€ 790,19

Na het in elkaar zetten heb ik FreeNAS geinstalleerd, ZFS volume toegevoegd (de 3x 4tb schijven in RAIDZ) en alles gaat prima.

Write test geeft de volgende uitkomst, lijkt me ook ok:
dd if=/dev/zero of=/mnt/MAIN/ddfile bs=2048k count=10000
10000+0 records in
10000+0 records out
20971520000 bytes transferred in 5.577102 secs (3760289718 bytes/sec)

Daarna de CIFS service gestart en een share toegevoegd, benaderen via een windows computer gaat ook prima. Echter de schrijfsnelheden die ik via het netwerk haal zijn vrij droevig: 3,2 MB/s. Nu heb ik al uren zitten kloten maar ik kom er maar niet achter waar het aan ligt. Windows computer is verbonden via ac WiFi (schommelt tussen de 500 en 650 Mbps), de NAS is verbonden via gigabit lan.

Kan iemand mij een tip geven waar ik t probleem kan zoeken? Of welke tests ik uit kan voeren?

[Quindor]

Draai als eerste eens een iperf met die bak. Wellicht ligt het helemaal niet aan je disk configuratie maar zit het ergens in je netwerk.

Mocht je een handleiding voor iperf nodig hebben dan kun je die bijvoorbeeld hier vinden.

[ Voor 15% gewijzigd door Quindor op 14-09-2014 15:30 ]

[paidur]

Quindor schreef op zondag 14 september 2014 @ 15:30:
Draai als eerste eens een iperf met die bak. Wellicht ligt het helemaal niet aan je disk configuratie maar zit het ergens in je netwerk.

Thanks, heb niet veel kennis wat netwerken betreft en dit is idd een zeer handige tool die ik nog niet kende.
Bij de eerste metingen haalde ik inderdaad slechts 30 Mbps. Daarna de server en laptop naar de router verhuist en beide direct verbonden, 940 Mbps. Meteen maar even wat files gekopieerd en idd, 90-100 MB/s.
De server weer terug geplaatst (achter een switch in een andere kamer) en nogmaals getest, nog steeds volle snelheid. Daarna laptop weer via wifi, en haal nu tussen de 160 en 260 Mbps (afhankelijk van de afstand tot de router). Mijn wifi ac zou theoretisch toch 833 Mbps moeten kunnen halen dus ga maar eens uitzoeken hoe ik dit nog kan verbeteren.

Snap nog niet helemaal waarom hij in eerste instantie dan zo langzaam was maargoed, ben iig weer een stapje verder.

[Quindor]

paidur schreef op zondag 14 september 2014 @ 17:26:
[...]
Snap nog niet helemaal waarom hij in eerste instantie dan zo langzaam was maar goed, ben iig weer een stapje verder.

Goed om te horen! Houd er rekening mee, zelfs 866Mbit AC WiFi zal in de praktijk niet meer dan ~50MB/sec betekenen bij een optimale link. 40MB/sec is realistischer zonder muren, met muren moet je aan nog (veel) lager denken. Het ligt een beetje aan de antenne configuraties van de je router en je WiFi kaartje, maar houd daar maar rekening mee. WiFi standaarden zijn raar 'half duplex'.

De 30Mbps die je eerst haalde lijkt me in eerste instantie een rotte kabel. Maar als dat nu wel goed werkt, dus zat er misschien een stofje in je poort of zo, dat kan ook.

[ Voor 15% gewijzigd door Quindor op 14-09-2014 18:46 ]

[B2]

Hmz.. volgens mij hier een fijne user error gemaakt. Ik moest op een raidz1 systeem een disk vervangen, blijkbaar waren de oude disks ooit met gpt label en twee partities op de disk aangemaakt. Om het gelijk te houden wou ik dus de nieuwe disk gelijk maken. Allereerst een gpt label aan de disk hangen.

Natuurlijk kreeg ik een warning dat ik bestaande data ging overschrijven, maar ik dacht "doe maar, ik heb de juiste disk"... oeps.. Niet dus.
Na een reboot bleek ik de partitietabel van een bestaande disk overschreven te hebben.

Iemand enig idee hoe ik dit nog terug kan halen?

[Verwijderd]

Ik snap je niet.

Ik moest op een raidz1 systeem een disk vervangen

Een disk vervangen die nog herkend wordt, of een missende disk vervangen? Je wilt die vervangen met een gloednieuwe 'maagdelijke' disk die je net hebt verbonden met het systeem?

blijkbaar waren de oude disks ooit met gpt label en twee partities op de disk aangemaakt. Om het gelijk te houden wou ik dus de nieuwe disk gelijk maken.

Je wilde dat de nieuwe disk dezelfde partitiestructuur krijgt als de oudere disks? Akkoord.

Natuurlijk kreeg ik een warning dat ik bestaande data ging overschrijven

Hoezo natuurlijk? Je schrijft toch een partitietabel naar de nieuwe disk; dan overschrijf je toch niets?!

Na een reboot bleek ik de partitietabel van een bestaande disk overschreven te hebben.

Hoe kun je een bestaande disk overschrijven? Dat kan helemaal niet indien die disk in gebruik is - dus onderdeel van een ZFS pool die geimporteerd is. Wat heb je nou precies gedaan? En dit is onder BSD platform?

Iemand enig idee hoe ik dit nog terug kan halen?

Afhankelijk van wat je gedaan hebt, kun je ofwel een nieuwe partitiestructuur maken die wel goed is, ofwel de oude partitiestructuur uit de backup sector halen; veelal aan het eind van de schijf. gpart restore is daarvoor een mogelijkheid. Mits je niet geschreven hebt, kun je ook gewoon de disk opnieuw partitioneren. Als het goed is, is er dan geen data verloren gegaan.

Maar als je dezelfde partitiestructuur hebt aangehouden op de oude - overschreven - disk, dan zou je ook geen problemen moeten ondervinden omdat de ZFS data dan op dezelfde plek begint. Dan zou alleen de naam van de disk anders mogen zijn.

Kortom, ik begrijp eigenlijk helemaal niets van je verhaal.

[B2]

Verwijderd schreef op zondag 14 september 2014 @ 21:51:
Ik snap je niet.

Kortom, ik begrijp eigenlijk helemaal niets van je verhaal.

Nog een keer dan maar, blijkbaar was het niet duidelijk

Op een ubuntu met ZoL systeem (geen BSD dus) heb ik een raidz1 pool met 3 disks. Daarvan was er 1 kapot, die is hardware matig vervangen, dus moest de nieuwe compleet lege disk aan de pool toegevoegd worden.

Dus als eerste maak ik een gpt label aan op de disk. Hierbij had ik dus, door een typo ofzo, de verkeerde disk te pakken. Inmiddels had ik al een reboot gedaan en kan ZFS de zfs partitie op de disk niet meer vinden.

Situatie is nu dus dan van de 3 disks in de pool er maar 1 gevonden wordt.

Opgelost... pfeeuw..
Met sgdisk ----replicate=/dev/sdd /dev/sdc kon ik de partitie tabel van de ene nog goede disk kopiëren naar de disk met de overschreven lege partitietabel. Daarna een sgdisk -G /dev/sdd om de GUID te veranderen en als laatste een partprobe en de pool kwam weer online...

[ Voor 21% gewijzigd door B2 op 14-09-2014 22:38 ]

[Verwijderd]

Oke fijn dat je het hebt opgelost, maar toch zou dit onder BSD niet kunnen gebeuren. Met name dit:

Hierbij had ik dus, door een typo ofzo, de verkeerde disk te pakken

Je hebt dus een disk die onderdeel was van een ZFS pool overschreven. De vraag hierbij is: was die disk op dat moment in gebruik door ZFS? Was de pool geïmporteerd? Zo ja, dan zou dit niet mogen gebeuren. BSD heeft beveiliging dat je niet zomaar disks die in gebruik zijn kunt overschrijven - dankzij GEOM. Als dit onder Linux wel kan vind ik dat erg onveilig IMO. Want user errors kunnen gebeuren. Onder BSD zou je gewoon 'permission denied' krijgen.

[B2]

Verwijderd schreef op zondag 14 september 2014 @ 22:46:
Oke fijn dat je het hebt opgelost, maar toch zou dit onder BSD niet kunnen gebeuren. Met name dit:


[...]

Je hebt dus een disk die onderdeel was van een ZFS pool overschreven. De vraag hierbij is: was die disk op dat moment in gebruik door ZFS? Was de pool geïmporteerd? Zo ja, dan zou dit niet mogen gebeuren. BSD heeft beveiliging dat je niet zomaar disks die in gebruik zijn kunt overschrijven - dankzij GEOM. Als dit onder Linux wel kan vind ik dat erg onveilig IMO. Want user errors kunnen gebeuren. Onder BSD zou je gewoon 'permission denied' krijgen.

Jup, in gebruik door zfs. Inderdaad niet netjes van Linux. Ik heb wel zo'n standaard Are hou dure melding gezien, maar niet meer.

[FireDrunk]

Die beveiligingen zijn er wel hoor, alleen vaak in de wat meer aangeklede distro'sen vooral voor gewone users... (Denk aan USB disks die gemount zijn enzo)
Ik weet dat UDEV daar wel wat dingen voor heeft, maar UDEV is (nog) niet ZFS aware voor zover ik weet.

[ Voor 15% gewijzigd door FireDrunk op 14-09-2014 23:10 ]

[Verwijderd]

Zo hoort het:

code:

[root@zfsguru ~]# zpool status guru
  pool: guru
 state: ONLINE
*knip*
    NAME            STATE     READ WRITE CKSUM
    guru            ONLINE       0     0     0
      mirror-0      ONLINE       0     0     0
        gpt/ezrx1a  ONLINE       0     0     0
        gpt/ezrx2a  ONLINE       0     0     0

errors: No known data errors
[root@zfsguru ~]# dd if=/dev/zero of=/dev/gpt/ezrx1a bs=1m count=1
dd: /dev/gpt/ezrx1a: Operation not permitted

Dat is een beveiliging die werkt. GEOM is gewoon superieur aan wat andere operating systems hebben qua disk infrastructuur.

[johann1982]

Dag allen,

Ik gebruik al enige tijd (met veel plezier !) Zfsguru (0.2.0-beta9) in combinatie met een samba4 AD server.
Nu wou ik echter de ACL rechten vanuit windows beheren en dit lukt me niet .Bij het proberen van permissies te wijzigen in windows krijg ik "the parameter is incorrect error". Vanuit CLI op de zfsguru box lijkt alles wel te werken.
Ik heb samba (3) vanuit ports uninstalled + opnieuw geinstalleerd met ADS support.
Samba werkt perfect enkel lukken de ACL permissies vanuit windows dus niet.
Zfs acl aclinherit & aclmode staan op passthrough voor de share.

mijn smb.conf:

code:

[global]
workgroup = DOMAIN
server string = Samba Server Version %v
security = ads
realm = DOMAIN.LAN
domain master = no
local master = no
preferred master = no
socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072
use sendfile = true
aio read size = 16384
aio write size = 16384
idmap config * : backend = tdb
idmap config * : range = 100000-299999
idmap config TEST : backend = rid
idmap config TEST : range = 10000-99999
winbind separator = +
winbind enum users = yes
winbind enum groups = yes
winbind use default domain = yes
winbind nested groups = yes
winbind refresh tickets = yes
template homedir = /home/%D/%U
template shell = /bin/sh
client use spnego = yes
client ntlmv2 auth = yes
encrypt passwords = yes
restrict anonymous = 2
log file = /var/log/samba/log.%m
max log size = 500

vfs objects = acl_xattr
map acl inherit = Yes
store dos attributes = Yes
nt acl support = yes
inherit acls = no

# regular user account used to store Samba files
#guest account = share

# default permissions (can be set in share for share-specific configuration)
##create mask = 0660
##directory mask = 0770

# this may impact performance; at the time of writing,
# ZFS is not very optimized with sendfile (double memory copy)
use sendfile = no

# asynchronous I/O (improves performance on multiqueue I/O)
aio read size = 2048
aio write size = 2048
aio write behind = true

# fix free space reporting for ZFS filesystems
dfree command = /usr/local/www/zfsguru/scripts/dfree "%P"

# uncomment the following to enable symbolic links even outside of share path
#follow symlinks = yes
#wide links = yes
#unix extensions = no

# socket options
# try enabling and adapting if you encounter performance problems
#socket options = IPTOS_LOWDELAY TCP_NODELAY SO_SNDBUF=65536 SO_RCVBUF=65536


# please do not remove the next line! Required by ZFSguru
#============================ Share Definitions ==============================

[share]
path = /bootpool/share
comment =
read only = no
valid users = @"TEST+Domain Users"
force group = "Domain Users"
directory mode = 0770
force directory mode = 0770
create mode = 0660
force create mode = 0660
# Hide share from users who don't have access
access based share enum = yes
# Hide files/directories if user doesn't have read access
hide unreadable = yes
acl check permissions = no

Enig idee / suggesties ?

Alvast bedankt voor de hulp !!

[CurlyMo]

Zo ziet mijn relevante info eruit:

Samba

code:

[data]
    comment = Data Gebruikers
    path = /data/users/%U
    writable = yes
    browseable = yes
    read only = no
    follow symlinks = yes
    wide links = yes
    valid users = user1 user2
    vfs objects = recycle crossrename zfsacl
    recycle:repository = /data/users/recycle/%U
    recycle:keeptree = Yes
    recycle:touch = Yes
    recycle:versions = Yes
    recycle:maxsize = 0
    recycle:exclude =
    recycle:excludedir =
    recycle:noversions =
    map acl inherit = yes
    inherit permissions = yes
    posix locking = yes
    nt acl support = yes
    store dos attributes = yes
    csc policy = disable
    inherit acls = Yes
    inherit owner = Yes
    map archive = No
    map readonly = no
    nfs4:mode = special
    nfs4:acedup = merge
    nfs4:chown = yes
    crossrename:sizelimit = 10000

zfs

code:

# zfs get all data
NAME  PROPERTY              VALUE                  SOURCE
data  aclmode               restricted             local
data  aclinherit            passthrough            local

Specifieke mappen voor user1

code:

# file: /data/users/user1/
# owner: user1
# group: users
        user:user1:rwxpDdaARWc--s:fd----:allow
       group:users:r-x---a-R-c---:fd----:allow
            owner@:--------------:------:allow
            group@:--------------:------:allow
         everyone@:--------------:------:allow

De eigen gebruiker heeft volledige rechten tot zijn eigen mappen. Iedereen die lid is van de users groep heeft alleen lees rechten op de map van andere gebruikers zoals hier user1.

Gedeelde mappen tussen alle gebruikers

code:

# file: /data/users/shared/
# owner: user1
# group: users
       group:users:rwxpDdaARWc--s:fd----:allow
            owner@:--------------:------:allow
            group@:--------------:------:allow
         everyone@:--------------:------:allow

Iedereen die lid is van de users groep heeft volledige rechten over deze mappen.

[johann1982]

@ CurlyMo: Fantastisch !
Windows acl rechten werken nu zoals ze moeten.
Voor de geinteresseerden: onderstaande toegevoegd aan mijn samba share

code:

vfs objects = zfsacl
map acl inherit = yes
inherit permissions = yes
posix locking = yes
nt acl support = yes
store dos attributes = yes
csc policy = disable
inherit acls = Yes
inherit owner = Yes
map archive = No
map readonly = no
nfs4:mode = special
nfs4:acedup = merge
nfs4:chown = yes
crossrename:sizelimit = 10000

Bedankt voor de snelle hulp !

[Bigs]

johann1982 schreef op maandag 15 september 2014 @ 00:34:
@ CurlyMo: Fantastisch !
Windows acl rechten werken nu zoals ze moeten.
Voor de geinteresseerden: onderstaande toegevoegd aan mijn samba share

code:

vfs objects = zfsacl
map acl inherit = yes
inherit permissions = yes
posix locking = yes
nt acl support = yes
store dos attributes = yes
csc policy = disable
inherit acls = Yes
inherit owner = Yes
map archive = No
map readonly = no
nfs4:mode = special
nfs4:acedup = merge
nfs4:chown = yes
crossrename:sizelimit = 10000

Bedankt voor de snelle hulp !

En welke regel daarvan zorgde precies voor het gewenste effect? Want je hebt er nu wel een hoop ongerelateerde zooi in staan

[hansdegit]

Ik heb zojuist mijn NAS geupgrade:
"Powered by ZFSguru version 0.2.0-beta9
Running official system image 11.0-002 featuring FreeBSD 11.0-CURRENT with ZFS v5000.
Running Root-on-ZFS distribution. "

Maar ik krijg mijn NFS mounts vanuit ESXi niet meer voor elkaar:
"NFS mount 192.168.0.20:/hdtier/isootjes failed: The NFS server does not support MOUNT version 3 over TCP. An unknown error has occurred."

nfs v4 support voor ESXi zal nog wel even op zich laten wachten. Hoe kan ik zfsguru vertellen dat -ie de v3 mount verzoeken gewoon moet accepteren?

edit:
natuurlijk is "terug naar 10.0" een optie, maar ik wil graag gebruik maken van de laatste mps driver om te zien of mijn LSI 2308 controller wat koeler kan draaien.

[ Voor 13% gewijzigd door hansdegit op 15-09-2014 11:43 ]

[FireDrunk]

# kldstat -v | grep -cw nfsd

This will print 1 if the system is running the new NFS implementation,
and 0 otherwise.

To switch to the old NFS implementation:

1) Append the following lines to /etc/rc.conf:

nfsv4_server_enable="no"
oldnfs_server_enable="yes"

2) If the NFS server is compiled into the kernel (which is the case
for the stock GENERIC kernel), replace the NFSD option with the
NFSSERVER option, then recompile your kernel as described in
<URL:http://www.FreeBSD.org/handbook/kernelconfig.html>.

If the NFS server is not compiled into the kernel, the correct
module will be loaded at boot time.

3) Finally, reboot the system.

[hansdegit]

Thanks FD. Ik heb een workaround gemaakt... Die SAS controller (LSI 2308) op mijn moederbord (X10SL7-F) wordt belachelijk heet, daar hebben meer eigenaars van dat bordje last van. Ik heb er nu een fan continu op gericht, zodat -ie iets koeler blijft.

In de tussentijd probeer ik me wat te verdiepen in het bouwen van een FreeBSD kernel. Machtig interessant, maar het gaat me nog wel boven de pet.

Wat ook knaagt is dat FreeBSD 10.0 blijkbaar prima in staat is om NFS shares aan ESXi 5.5 uit te delen, maar dat dat met 11.0-002 niet meer lukt. Jammer, want die laatstgenoemde versie heeft v19 van de mps driver aan boord, dat komt overeen met de firmware v19 die ik zaterdag heb geflashed.

De keuze lijkt dus te gaan tussen:
- niets doen
- v19 mps driver in kernel van 10.1-002 bakken
- NFS in 11.0-002 fixen

Mijn gevoel gaat uit naar optie 3, maar ook daar moet ik de kernel voor verbouwen, ben ik bang.

[Verwijderd]

De nieuwe NFS server zou volgens mij ook v3 aan moeten kunnen. Kun je eens kijken:

code:

# sysctl vfs.nfsd | grep nfsver
vfs.nfsd.server_min_nfsvers: 2
vfs.nfsd.server_max_nfsvers: 3

[hansdegit]

Hoi CiPHER, leuk dat je reageert:

code:

[root@zfsguru ~]# sysctl vfs.nfsd | grep nfsver
vfs.nfsd.server_min_nfsvers: 2
vfs.nfsd.server_max_nfsvers: 3

Ik zit sinds vanmiddag weer op een redelijk maagdelijke:
Powered by ZFSguru version 0.2.0-beta9
Running official system image 10.1-001 featuring FreeBSD 10.0-STABLE with ZFS v5000.
Running Root-on-ZFS distribution.

[Verwijderd]

Zou juist interessant zijn als je dit op 11.x uitvoert. Wat je eigenlijk wilt is NFS v3 mounts mogelijk maken op 11.x. Ik zou het vreemd vinden als dit niet zou kunnen.

[hansdegit]

Op 11 gaf -ie 2 als min en 4 als max. Ook nadat ik een sysctl commando had uitgevoerd op de max op 3 te zetten, kon ESXi geen nfs volumes mounten.

edit: wil het wel even naspelen hoor, is zo gepiept.

[ Voor 75% gewijzigd door hansdegit op 15-09-2014 21:43 ]

[Verwijderd]

De nieuwe NFS server heb ik ook in gebruik; als ik dat regeltje van FireDrunk uitvoer. De nieuwe NFS server kan ook gewoon NFSv2 en NFSv3 doen. Dus waarom jij geen NFSv3 mounts kan doen onder 11.x heeft misschien met wat anders te maken. Je kunt het eventueel op de mailinglist of forum aankaarten. Mocht je het euvel vinden, hoor ik dat graag!

[hansdegit]

Niet goed gekeken vanmiddag:

code:

sysctl vfs.nfsd | grep nfsver
vfs.nfsd.server_min_nfsvers: 2
vfs.nfsd.server_max_nfsvers: 3

[Verwijderd]

Kan het misschien komen omdat NFS standaard onder UDP draait? Misschien kun je met een flag dit aanpassen, dat ook onder TCP mounts worden geaccepteerd, ofzo.

[FireDrunk]

Volgens mij is het default TCP? Juist UDP wil je toch eigenlijk niet met data

UDP is iets voor spelletjes ;P

[hansdegit]

'k lees net iets over "nfs_server_flags" toevoegen aan rc.conf

edit: dat was 'em ook niet.

[ Voor 20% gewijzigd door hansdegit op 15-09-2014 22:32 ]

[azerty]

hansdegit schreef op maandag 15 september 2014 @ 21:30:
Thanks FD. Ik heb een workaround gemaakt... Die SAS controller (LSI 3208) op mijn moederbord (X10SL7-F) wordt belachelijk heet, daar hebben meer eigenaars van dat bordje last van. Ik heb er nu een fan continu op gericht, zodat -ie iets koeler blijft.

Hoe kun je dat weten hoe warm hij draait?

[hansdegit]

Kijken hoe lang je je vinger erop kunt houden....
Ik kan 'em wel meten met een IR thermometer, maar dit was duidelijk genoeg.

[azerty]

hansdegit schreef op maandag 15 september 2014 @ 23:11:
Kijken hoe lang je je vinger erop kunt houden....
Ik kan 'em wel meten met een IR thermometer, maar dit was duidelijk genoeg.

Zal ik doen de volgende keer dat ik hem moet openmaken

(Ik had gehoopt dat er ergens een sensor was die uitgelezen kon worden )

[FREAKJAM]

hansdegit schreef op maandag 15 september 2014 @ 23:11:
Kijken hoe lang je je vinger erop kunt houden....
Ik kan 'em wel meten met een IR thermometer, maar dit was duidelijk genoeg.

Heb je de ESXi driver ook geupdate? Ik heb eigenlijk geen problemen en op dit moment 9 VM's draaien op mijn X10SL7. Moet wel zeggen dat ik nog niet v19 heb geinstalleerd van de IT-firmware en mijn vingertje nog niet tegen de controller heb gehouden.

Heb verder wel alles up-to-date. (bios, ipmi firmware en esxi 5.5 update 2)

Je kunt de speeds van alle fans sowieso nog aanpassen via IPMI als je wil. Ik heb hem op optimal mode staan.

FAN1 Normal 1100 R.P.M
FAN2 Normal 2100 R.P.M
FAN3 Normal 2000 R.P.M
FAN4 Normal 2100 R.P.M
FANA Normal 1700 R.P.M

[ Voor 44% gewijzigd door FREAKJAM op 16-09-2014 00:41 ]

[hansdegit]

Nee, die ESX driver heb ik nog niet geupdate. En waarom eigenlijk niet?? Ik dacht -misschien stom- dat ESXi niets deed met die controller, aangezien -ie de controller doorgeeft aan de VM.

Ik kan de snelheid van de fans regelen door een schakelaar op mijn kast: 7v of 12v. Nu weer op 7v en de controller blijft relatief koel, maar je kunt natuurlijk beter de oorzaak wegnemen.

Voordat ik de IT firmware erop flashde, draaide de controller met v16. Nu dus firmware v19 en driver v16.

edit:
Ik heb ook eerlijkgezegd geen idee of de controller eerder al zo warm werd. Ik weet alleen dat er vorige week problemen optraden met de controller, waarna ik allerlei acties heb ondernomen.

We gaan overigens wel erg offtopic, dit is allemaal niet zo ZFS gerelateerd.

[ Voor 22% gewijzigd door hansdegit op 16-09-2014 10:29 ]

[hansdegit]

Dit meen je niet.....

Vanaf de LiveCD de 11.0-002 image op de bootpool gezet, reboot en zoals verwacht, NFS mounts niet mogelijk vanaf ESXi. Toen kwam ik in /var/log/messages de volgende melding tegen:

code:

zfsguru root: /etc/rc: WARNING: /etc/exports is not readable.

Oké, logisch, die file bestaat niet. Toch maar even

code:

touch /etc/exports

ingetikt. Na de reboot:
voila! Alle NFS shares beschikbaar.

Met andere woorden: NFS gaat over zijn nek, terwijl ZFS alleen /etc/zfs/exports gebruikt. Die /etc/exports doet in het hele verhaal niet mee, maar blijkt wél cruciaal.

Heel interessant allemaal.

HdG is happy, want mps driver v19, firmware v19, en vmware driver v19. Straks even de warmteontwikkeling monitoren.

Dank voor jullie hulp, FD en CiPHER!

[FireDrunk]

Hahaha, die fout heb ik inderdaad ook al eens meegemaakt

Mooi dat het weer werkt!

[FREAKJAM]

Fijn dat het allemaal werkt, ik kreeg het er zelf namelijk warm van omdat ik bijna dezelfde setup heb!

[hansdegit]

Misschien iets om in de release-notes mee te nemen? Even een touch van /etc/exports voordat je 11.0-002 reboot?

of gewoon t.net lezen, natuurlijk


edit: net thuis. De temperatuur van de controller zakt niet door dit soort foefjes. Zonder fan erop gaat -ie naar 70 graden (en ws verder met gesloten kast), met fan blijft -ie rond de 50 graden.

[ Voor 38% gewijzigd door hansdegit op 16-09-2014 18:02 ]

[MikeVM]

http://screencast.com/t/Zyj5pyiM0Q1j

what is happening? is dit normaal, of moet ik actie ondernemen?

(Cable error is van een jaar geleden, een disk die maar half in zijn slot zat, kan ik de teller resetten?)

[ Voor 65% gewijzigd door MikeVM op 16-09-2014 19:59 ]

[RudolfR]

Heb je het advies in de gele waarschuwingsbox opgevolgd?

[TMon]

TMon schreef op zaterdag 13 september 2014 @ 12:35:
[...]


Even nog hierop terugkomend. 8 van de 10 schijven heb ik als test aan de M1015 gehangen en Firedrunks toevoeging aan rc.conf werkt prima, al deze schijven gaan down na 15 minuten.
Behalve dus nogsteeds de 2 aan het mobo.
Mijn moederboard is de welbekende ASRock B75 Pro3-M. Bios is ongewijzigd. Misschien zit daar nog iets in?
Ik gebruik overigens 2 en 3 TB WD green schijven. De 2 schijven die niet uit gaan zijn 3TB greens, die geen APM ondersteunen. Met WDIdle is de parkeerfunctie uitgeschakeld.

Met camcontrol in de weer geweest.
Ik had het volgende aan /etc/rc.conf toegevoegd:
# camcontrol test
Camcontrol standby ada0 ada1 -t 600

Maar dit zorgde ervoor dat alleen ada0 tijdens het booten van m'n systeem al uit ging, niet na 10 minuten idle... Met ada1 gebeurd niks.

[MikeVM]

RudolfR schreef op dinsdag 16 september 2014 @ 20:31:
Heb je het advies in de gele waarschuwingsbox opgevolgd?

dat is helaas niet mogelijk.

[blobber]

MikeVM schreef op dinsdag 16 september 2014 @ 19:56:
http://screencast.com/t/Zyj5pyiM0Q1j
[afbeelding]
what is happening? is dit normaal, of moet ik actie ondernemen?

Niet toevallig wd greens of oudere wd reds?
In dat geval dien je intellipark uit te zetten anders krijg je elke 8 seconden een headpark en dat loopt aardig op...

[Verwijderd]

MikeVM schreef op woensdag 17 september 2014 @ 20:07:
[...]

[afbeelding]
dat is helaas niet mogelijk.

Ik zie daar allemaal 'ada' disks staan; dus klik op een disk en kijk of je de APM kunt instellen. Niet altijd gaat de detectie goed, dus kun je het niet altijd via de GUI instellen. Wel via het ZFSguru script dat dit bij elke boot automatisch instelt.

1. Inloggen met SSH
2. Wordt root met 'su'
3. Edit het runcontrol bestand met 'ee /etc/rc.conf'
4. Edit naar wens:

code:

zfsguru_enable="YES"
# APM or Advanced Power Management controls power saving features of your hard
# drives. To disable the dreaded 'headparking' feature, it is common to enable
# APM to a setting of 254, to disable headparking altogether.
zfsguru_apm_enable="YES"
zfsguru_apm_disks="ada0 ada1 ada2 ada3 ada4 ada5 ada6"
zfsguru_apm_level="254"

---

Edit: dit werkt alleen voor AHCI-disks. Je hebt ook disks op SCSI/SAS controller die 'da' heten in plaats van 'ada'. Deze ondersteunen geen APM/AAM/TRIM/Normale spindown enzovoorts. Je enige mogelijkheid is via een DOS-utility WDIDLE.EXE uit te voeren en de timer op 300 seconden in te stellen. Of overstappen op een AHCI controller maar dat is lastig.

[ Voor 14% gewijzigd door Verwijderd op 17-09-2014 20:26 ]

[MikeVM]

blobber schreef op woensdag 17 september 2014 @ 20:14:
[...]

Niet toevallig wd greens of oudere wd reds?
In dat geval dien je intellipark uit te zetten anders krijg je elke 8 seconden een headpark en dat loopt aardig op...

WD Greens inderdaad
intelliwhut? waar vind ik dat, is dat wat CiPHER hieronder uitlegt?

Verwijderd schreef op woensdag 17 september 2014 @ 20:23:
[...]
....
Edit: dit werkt alleen voor AHCI-disks. Je hebt ook disks op SCSI/SAS controller die 'da' heten in plaats van 'ada'. Deze ondersteunen geen APM/AAM/TRIM/Normale spindown enzovoorts. Je enige mogelijkheid is via een DOS-utility WDIDLE.EXE uit te voeren en de timer op 300 seconden in te stellen. Of overstappen op een AHCI controller maar dat is lastig.

De gebruikte controller wordt wel heel vaak gebruikt en is me ook aangeraden in het NAS topic. wel heel jammer dat ik daar anderhalf jaar later achterkom, ik stel eigenlijk vast dat ZFS helemaal niet zo 1-2-3 is ingesteld.

(de rf.conf file heb ik ondertussen aangepast, waarvoor dank)

maar dat dos verhaal..
moet ik dan in DOS booten (via een CD ofzo?) en dan het deze ulility (die ik via het web dl) uitvoeren?

dit is dus ook de reden dat alle attemps om mijn disks in autosleep te laten gaan mislukten?

[ Voor 6% gewijzigd door MikeVM op 17-09-2014 23:09 ]

[blobber]

MikeVM schreef op woensdag 17 september 2014 @ 23:02:
[...]

WD Greens inderdaad
intelliwhut? waar vind ik dat, is dat wat CiPHER hieronder uitlegt?

Yep, Wd greens en oudere wd reds hebben een "feature" genaamd intellipark.Dit houdt in dat de kop van de schijf geparkeerd wordt als de schijf 8 seconden idle is.Dit zorgt voor die enorme aantallen load cycles en voor de levensduur van je schijven lijkt het me ook nadelig.Gelukkig is er een tooltje van wd, genaamd wdidle3.exe.Dit is een dos tooltje, waarmee je de idle tijd kunt vergroten tot maximaal 300 seconden.
even googlen op wdidle3 en je vindt veel meer info

[ Voor 47% gewijzigd door blobber op 18-09-2014 00:34 ]

[Loekie]

Ook ik ga de overstap naar ZFS wagen en wil op mijn bestaande (ESXi)server de schijven vervangen door 6TB modellen.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1260L Tray	€ 0,-	€ 0,-
1	Supermicro X9SCA-F	€ 182,50	€ 182,50
5	WD Green SATA 3 Gb/s, 2TB	€ 0,-	€ 0,-
3	WD Green WD20EZRX	€ 69,88	€ 209,64
1	Kingston KVR1333D3E9SK2/16G	€ 172,93	€ 172,93
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 0,-	€ 0,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 135,76	€ 135,76
Bekijk collectie Importeer producten		Totaal	€ 700,83

Ik zit qua schijven te twijfelen tussen, de WD Red en Green. De langere garantie van de RED spreekt mij aan(heb paar greens buiten de 2 jaar moeten vervangen ). Zijn er buiten de prijs andere redenen om de green boven de red te verkiezen? Voor mij is het geen probleem om met WDIDLE wat settings aan te passen qua apm.

Daarnaast twijfel ik over de manier van inzetten: zfsguru of vergelijkbare distro met NFS-export naar de bestaande linuxhost of gaan voor iets als zol onder debian? Persoonlijk neig ik naar eerste wegens appliance-opzet, host laten doen waar deze goed in is.

[FireDrunk]

ZFS + NFS en ESXi gaan niet zo lekker samen in mijn ervaring, en ik zou je van harte aanraden om iSCSI te gebruiken. De verschillen in performance (zelfs met een SLOG, of zelfs SYNC=Disabled) zijn fenomenaal.

Als je dan toch voor iSCSI gaat, zou ik eerder kiezen voor Linux, maar dat is persoonlijk.
ZFSguru's iSCSI implementatie is was verouderd, maar ZFSguru is in de basis FreeBSD 11 (als je de nieuwste images gebruikt), en daar zit een vrij goede iSCSI kernel implementatie in.
Die kan je in principe gebruiken, alleen weet ik niet in hoeverre die compatible is met ESXi.

Ik verwacht geen problemen, maar garanties kan ik je niet geven.

De configuratie van de FreeBSD in-kernel iSCSI implementatie is net zo moeilijk als onder Linux, dus dat maakt het verschil niet.

[Loekie]

Ik heb al een SSD voor datastore, dus hoef geen NFS te gebruiken voor ESXi. Dat was al een dingetje dat ik probeer te omzeilen.
Heb overigens nog wel een 80GB intel postville SSD liggen die ik kan inzetten voor performance.
Linuxhost wordt nu gebruikt voor mythtv, plex en sabnzb met plugins.

[ Voor 13% gewijzigd door Loekie op 18-09-2014 13:02 ]