Acties:
  • 0 Henk 'm!

  • Arokh
  • Registratie: Augustus 2005
  • Laatst online: 05-08 12:24
Hallo allemaal.

vandaag heb ik voor het eerst mijn ZFSGuru install klaar. (6x3TB disks in RaidZ2). heb net alles redelijk ingesteld denk ik (updates gedaan, install op de pool etc.)

Nu heb ik net Samba geactiveerd op de pool, omdat ik graag in Windows 8 (en Windows 7) bij mijn bestanden wil kunnen. Hoe gaat dat nu in zijn werk? Ik heb net Samba 4.1.5 gedownload, maar ik heb geen idee wat ik nu moet doen. Ben een noob op dit gebied, en eigenlijk geen idee wat ik aan het doen ben (nog), maar ik zou heel graag bijvoorbeeld de map 'mijn documenten' uit willen laten komen bij de map 'mijn documenten' op de ZFS-server.

Is dit ingewikkeld? Waar moet ik beginnen? Zit ik wel in het goede topic, of liever in een andere?
alvast bedankt!

Acties:
  • 0 Henk 'm!
ZFSguru komt met Samba ingebouwd? Waarom zou je Samba 4 willen?

Even niets...


Acties:
  • 0 Henk 'm!

  • Arokh
  • Registratie: Augustus 2005
  • Laatst online: 05-08 12:24
nou, ik bedoelde eigenlijk dat ik de ingebouwde heb geactiveerd, en heb nu 4.1.5 gedownload voor Windows (of zeg ik nu iets heel doms en heb ik dat helemaal niet nodig voor windows)?

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Windows gebruik je als client; dat zit ingebakken in Windows zelf. Je gaat naar \\ZFSGURU of \\10.0.0.100 (ip adres van ZFSguru server) en dan kun je de netwerkmappen daar mounten door rechts te klikken 'map network drive'.

Samba is een SMB/CIFS serverapplicatie; die heb je alleen nodig op de ZFSguru server. ZFSguru heeft dat ook al ingebouwd, dus je hoeft niets te doen behalve in ZFSguru je share aanmaken (heb je al gedaan?) en vervolgens in Windows te mounten. :)

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

FREAKJAM schreef op dinsdag 04 maart 2014 @ 00:05:
Ik bedoel zowel cifs/nfs regelen op exact dezelfde share. Kans op filelocking, hoewel die kans erg klein is i guess.

Ik wil zo simpel mogelijk vanaf mijn Windows 8 HTPC straks in ieder geval mijn mkv'tjes kunnen benaderen. Wellicht moet ik toch maar 1 doos maken in ESXi waar ik ZFS on Linux op ga doen en die tevens als downloadbak gaat fungeren. Uiteindelijk hoef ik dan alleen maar cifs shares te regelen, zodat mijn HTPC bij de data kan.
Ik zou me er niet druk om maken tenzij je zoals ze in die thread ook aangeven met meerdere pc's tegelijkertijd naar dezelfde bestanden gaat schrijven. Dan kan je de share altijd nog r/o maken.

Ik heb er in ieder geval nog nooit last van gehad.

[ Voor 57% gewijzigd door InflatableMouse op 04-03-2014 07:08 ]


Acties:
  • 0 Henk 'm!
InflatableMouse schreef op zondag 02 maart 2014 @ 12:26:
ja, had em al gevonden! Simpeler kan bijna niet.

# zpool replace datapool ata-ST2000DM001-9YN164_W1E0L80S /dev/disk/by-id/ata-WDC_WD20EADS-11R6B1_WD-WCAVY2473346
# zpool status
  pool: datapool
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
	continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Sun Mar  2 12:24:29 2014
    183G scanned out of 8.45T at 317M/s, 7h35m to go
    30.4G resilvered, 2.11% done
config:

	NAME                                            STATE     READ WRITE CKSUM
	datapool                                        DEGRADED     0     0     0
	  raidz2-0                                      DEGRADED     0     0     0
	    ata-Hitachi_HDS5C3020ALA632_ML0220F30Z09GD  ONLINE       0     0     0
	    replacing-1                                 UNAVAIL      0     0     0
	      ata-ST2000DM001-9YN164_W1E0L80S           UNAVAIL      0     0     0
	      ata-WDC_WD20EADS-11R6B1_WD-WCAVY2473346   ONLINE       0     0     0  (resilvering)
	    ata-ST2000DM001-9YN164_W1E0KXJV             ONLINE       0     0     0
	    ata-WDC_WD20EARS-00MVWB0_WD-WMAZA1448932    ONLINE       0     0     0
	    ata-ST2000DM001-9YN164_W1E0HYEX             ONLINE       0     0     0
	    ata-Hitachi_HDS5C3020ALA632_ML0220F30Z0A1D  ONLINE       0     0     0

errors: No known data errors
productreview: Seagate Barracuda Green ST32000542AS, 2TB review door HyperBart

Die disken samen met de QNAP zijn uiteindelijk naar een collega gegaan en die heeft nog eens 2 falende disks gehad. Ik vertrouw die krengen voor geen haar.

Trouwens, de jongens van Backblaze (niet bepaald klein grut me dunkt) vervangen deze disks gewoon niet meer met hetzelfde type als de array bestaat uit deze disks, neen, ze zijn zo onbetrouwbaar dat ze ze vervangen met andere types...
Excluded Drives

Some drives just don’t work in the Backblaze environment. We have not included them in this study. It wouldn’t be fair to call a drive “bad” if it’s just not suited for the environment it’s put into.

We have some of these drives running in storage pods, but are in the process of replacing them because they aren’t reliable enough. When one drive goes bad, it takes a lot of work to get the RAID back on-line if the whole RAID is made up of unreliable drives. It’s just not worth the trouble.

The drives that just don’t work in our environment are Western Digital Green 3TB drives and Seagate LP (low power) 2TB drives. Both of these drives start accumulating errors as soon as they are put into production. We think this is related to vibration. The drives do somewhat better in the new low-vibration Backblaze Storage Pod, but still not well enough.

These drives are designed to be energy-efficient, and spin down aggressively when not in use. In the Backblaze environment, they spin down frequently, and then spin right back up. We think that this causes a lot of wear on the drive.
Heeft wel weer eerder te maken met vibraties blijkbaar, maar ik denk dat ze gewoon ook hetgene tegenkomen wat wij tegenkomen: bagger slechte harde schijven.

[ Voor 29% gewijzigd door HyperBart op 04-03-2014 08:50 ]


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Ja blijkbaar doen heel veel mensen geen onderzoek naar betrouwbaarheid (op een handje vol tweakers na) want Seagate wordt nog steeds goed verkocht volgens mij. Ik snap daar niets van, want AL mijn Seagates zijn binnen enkele jaren kapot gegaan. 2 binnen een paar maanden, die zijn omgeruild, de rest buiten de garantie. Totaal 6, zitten er nog 2 in die ondertussen ook problemen geven, maar nog niet kritiek. Ik verwacht niet dat die het heel lang nog gaan volhouden. Verder hoor ik alleen maar klachten over Seagate. Ik las op hun forum ergens dat Seagate niet eens meer de moeite neemt om schijven die terug gestuurd worden te testen omdat het er te veel zijn.

Acties:
  • 0 Henk 'm!

  • Ultraman
  • Registratie: Februari 2002
  • Laatst online: 05-10 22:26

Ultraman

Moderator Harde Waren

Boefje

Is Seagate op het moment niet de goedkoopste?

Zelf heb ik drie stuks Barracuda LPs 1.5TB draaien. Van die drie zijn er zeker twee ooit vervangen onder garantie en van alle drie heb ik de firmware ooit een update gegeven. Ze zijn inmiddels al ruime tijd buiten de garantie, deze hadden nog een garantieperiode van 3 jaar volgens mij, en draaien alweer een flinke tijd stabiel. Ze worden uiteraard in de gaten gehouden door smartmontools en ZFS scrubbed om de 14 dagen.

Mja... Seagate heeft bij mij ook de hoogste uitvalcijfers, maar ik heb ook weer geen dramatische ervaringen. En de disken zijn steeds keurig vervangen onder garantie. Dat men geen moeite meer doet om ze te testen wil ik best geloven. Dat is toch ook nergens voor nodig?
Klant is ontevreden met zijn/haar disk, dan stuur je een andere terug waarvan je weet dat hij werkt. Klant tevreden want het product is omgeruild, en mocht de klant een toch werkende disk hebben terug gestuurd dan kun je die weer gebruiken om andere klanten gelukkig te maken.

Wat betrouwbaarheid betreft wil ik Hitachi wel noemen. Daarvan heb ik een aantal 5K3000 2TB disken van toen ze nog in de 60 euro kosten (voor-overstromingprijzen) en daar heb ik nog geen enkel probleem mee gehad.

Als je stil blijft staan, komt de hoek wel naar jou toe.


Acties:
  • 0 Henk 'm!
Check! Hitachi heb ik hier ook heel hoog in het vaandel. Wel warme bakjes, maar prima en heel betrouwbaar.

Acties:
  • 0 Henk 'm!
Seagate's mogen dan wel slecht zijn, maar om nou een heel merk af te zweren. BlackBlaze zei zelf geloof ik ook ergens dat ze nu op de 4TB HDD.15 mikten vanwege de prijs/kwaliteit verhouding. Ze zijn gewoon het goedkoopst. En als dat een klein beetje meer uitval met zich meebrengt, so be it.

Ik draai zelf ook op HDD.15's en weet best dat het niet de beste schijven zijn, maar dat neem ik voor lief.

Even niets...


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Voor OpenMediaVault zijn ze bezig met een zfs-plugin. Ben benieuwd.

is everything cool?


Acties:
  • 0 Henk 'm!

  • fluppie007
  • Registratie: April 2005
  • Laatst online: 03-10 22:59
https://www.davidandrzeje...ealth-with-smartmontools/

Deze mogen de jongens van zfsguru even integreren vind ik :D.

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Ultraman schreef op dinsdag 04 maart 2014 @ 09:11:
Wat betrouwbaarheid betreft wil ik Hitachi wel noemen. Daarvan heb ik een aantal 5K3000 2TB disken van toen ze nog in de 60 euro kosten (voor-overstromingprijzen) en daar heb ik nog geen enkel probleem mee gehad.
Check inderdaad!

Al mijn Hitachi's zijn allemaal 100% foutloos, ook de oudere 2TB's. Voorlopig haal ik ook alleen nog maar Hitachi's. Sterker nog, er liggen er nu 2 op m'n bureau te aclimatiseren om m'n 3 x 4TB uit te breiden naar 5 disks >:) .

Acties:
  • 0 Henk 'm!

  • fluppie007
  • Registratie: April 2005
  • Laatst online: 03-10 22:59
Mijn Toshiba DT01ABA300 (3TB 5940 RPM) wordt uitgelezen in ZFSguru als een Hitachi HDS5C3030BLE630. Hopelijk zijn die ook even betrouwbaar als jullie Hitachi drives :).

[ Voor 25% gewijzigd door fluppie007 op 04-03-2014 15:04 ]


Acties:
  • 0 Henk 'm!

  • - peter -
  • Registratie: September 2002
  • Laatst online: 00:37
Ik denk dat ik als ik over een paar jaar weer nieuwe schijven nodig heb ik btrfs ga proberen. Ik vind vooral t clonen/snapshotten op fileniveau erg interessant. Al mensen met ervaring?

Acties:
  • 0 Henk 'm!

  • ]Byte[
  • Registratie: April 2000
  • Laatst online: 13-09-2020
Of zelf ff configgen... smartd staat er al op...

Acties:
  • 0 Henk 'm!

  • mkroes
  • Registratie: Oktober 2010
  • Laatst online: 09:24
Western Digital (wd20ears):
code:
1
Totaaltijd In Bedrijf : 1003 dagen, 12 uren

Zonder ook maar 1 probleem

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Echt, toch wel heel erg mooi dit. Ben wel een beetje onder de indruk :P.

Ik heb net m'n 3 disk mediapool uitgebreid naar 5 (lees: opnieuw aangemaakt) maar om het netjes in te bouwen moest ik alle disks effe loshalen en herorderen in de kast. Er zitten nu 11 disks in, 6x2TB in RAIDZ2 voor de datapool en 5x4TB in RAIDZ1 voor de mediapool.

Nu was ik een stekkertje vergeten waardoor 2 disks van de RAIDZ2 niet online waren, dus die pool stond in een fout. Ik heb wat getroubleshoot om te zien of ze uberhaubt online waren en de server weer uitgezet omdat ik ze niet in het OS zag. Stekkertje zag ik loshangen en dus maar aangesloten :) en de pool kwam online maar nog steeds in een fout, maar nu met de melding corrupted data naast de 2 disks die offline waren tijdens de eerste boot.

zpool clear -F datapool


Vrijwel direct was alles weer online. Als je de uitdrukking op m'n smoelwerk had gezien had je hard gelachen denk ik.

Ik denk dat vrijwel elk RAID systeem (dat ik ken en ervaring mee heb) in dit geval over z'n nek was gegaan. Was het niet omdat de disks niet in dezelfde volgorde terug aangesloten zitten, dan wel omdat er 2 disks 'dirty' zijn en voor zover ik weet is een complete hersync van die 2 disks de enige manier om daar uit te komen.

Ik draai nu voor de zekerheid wel een scrub, was toch wel tijd na een week denk ik.

Lang verhaal kort: ik ben blij :D.

Acties:
  • 0 Henk 'm!
En gaf ie niet aan welke files corrupt waren of dood? Ben je nu iets kwijt of niet?

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Nee, stonden geen bestanden bij, dat ligt er aan wat voor soort corruptie je hebt. Ik ben niets kwijt verder (was ook RAIDZ2, dus er konden 2 schijven uit).

Ik had alleen niet verwacht dat tie zo snel zou recoveren, ik liep te balen denkende dat tie 2 schijven helemaal moest gaan syncen en vervolgens was tie in 1 seconde klaar.

Acties:
  • 0 Henk 'm!

  • Arokh
  • Registratie: Augustus 2005
  • Laatst online: 05-08 12:24
Verwijderd schreef op dinsdag 04 maart 2014 @ 01:08:
Windows gebruik je als client; dat zit ingebakken in Windows zelf. Je gaat naar \\ZFSGURU of \\10.0.0.100 (ip adres van ZFSguru server) en dan kun je de netwerkmappen daar mounten door rechts te klikken 'map network drive'.

Samba is een SMB/CIFS serverapplicatie; die heb je alleen nodig op de ZFSguru server. ZFSguru heeft dat ook al ingebouwd, dus je hoeft niets te doen behalve in ZFSguru je share aanmaken (heb je al gedaan?) en vervolgens in Windows te mounten. :)
dank je wel!
Vandaag heb ik hem even aan de praat gehad. alle testjes die ik wilde doen werkten, dus ik heb nu het systeem in de meterkast ingebouwd.

Nu deed hij het helaas niet meer, omdat 1 sata kabel kapot bleek te zijn. Vervangen, en nu kan ik op mijn computer via de webinterface binnenkomen. Alles draait nu als een zonnetje.

MAAR: toen ik hem nog in testopstelling had staan, en ik maakt via Samba (in windows gemount) een share aan, werkte het perfect. heb de eerste 200 GB vakantiefoto's al geupload.

Nu doet hij het helaas niet meer. de gemounte drive is niet meer te vinden (rood kruisje) en ik kan niet bij \\zfsguru komen. Wat doe ik fout?

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
IP veranderd misschien. Je kunt wellicht het beste met \\<IP-adres> navigeren en zo mounten. De huidige gemounte shares kun je wegkrijgen met rechtsklikken en 'disconnect'.

Acties:
  • 0 Henk 'm!

  • Arokh
  • Registratie: Augustus 2005
  • Laatst online: 05-08 12:24
dat dacht ik dus ook al, maar kan ik in de webinterface ook het juiste IPadres vinden?
als ik een monitor aan mijn ZFSGuru systeem hang, dan zegt hij een IPadres om ind e webinterface te komen, maar verder niet :-)

ik heb de oude gemounte share weggehaald.

edit:
volgens mij doet hij het
geen idee wat er nu adners was, maar nu ik nu \\ZFSguru\server deed, werkte hij. nu opnieuw mounten en gaan met die banaan :-)

CiPHER: bedankt voor je snelle reacties!

[ Voor 28% gewijzigd door Arokh op 04-03-2014 22:37 ]


Acties:
  • 0 Henk 'm!

  • Arokh
  • Registratie: Augustus 2005
  • Laatst online: 05-08 12:24
trouwens, ik denkd at ik weet waar het door kwam.
Ik had gisteren mijn PC en mijn servertje aan een router hangen, die zelf weer met een anderde router verbonden is. Nu zit mijn servertje op die primaire router (in meterkast) en daardoor zat mijn PC (die nog op de tweede router zat) natuurlijk niet meer op het 'lokale netwerk'. DENK IK.

nu had ik net mijn tweede router er even tussenuit gegooid, en voilla: hij deed het.

Op zich allemaal trouwens geen ramp, want ik ben toch bezig om vanuit die primaire router naar elke PC in huis (5) rechtstreekse kabels te trekken. Kan dit het probleem zijn geweest?

Oh ja: ik kopieerde net een bestand van 6GB, en dat ging met 66 MB/S (bij veel bestanden van rond de 500MB gaat hij steeds van 33MB/S naar 90MB/S), is dat wat ik ongeveer verwachten mag, of is dat afwijkend? (heb overal CAT6 kabels liggen en voor zover ik weet gigabit netwerkpoorten)

[ Voor 90% gewijzigd door Arokh op 04-03-2014 22:49 ]


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Arokh schreef op dinsdag 04 maart 2014 @ 22:33:
Oh ja: ik kopieerde net een bestand van 6GB, en dat ging met 66 MB/S (bij veel bestanden van rond de 500MB gaat hij steeds van 33MB/S naar 90MB/S), is dat wat ik ongeveer verwachten mag, of is dat afwijkend? (heb overal CAT6 kabels liggen en voor zover ik weet gigabit netwerkpoorten)
Kan kloppen, beetje afhankelijk van de configuratie en hardware. Het komt wel overeen met wat ik zag toen ik bv nog een NAS had met CIFS.

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Door het blogje van FireDrunk inmiddels de hele dag gespeeld met ZoL. (Ubuntu 13.10) Heb wel een vrij krachtige VM gebouwd in ESXi (2 cores, 24GB ram, waarvan 2gb min/16gb max voor ZFS). Mijn pool bestaat uit 6x3TB WD Reds (RaidZ2) zonder SLOG/L2ARC. Handig health script gevonden en zelfs een android-app waarmee je je pool kon monitoren. Iemand die deze al kent/gebruikt?


code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
freakjam@ubuntu:~$ sudo zpool status
  pool: tank
 state: ONLINE
  scan: scrub repaired 0 in 0h0m with 0 errors on Tue Mar  4 22:22:15 2014
config:

        NAME                        STATE     READ WRITE CKSUM
        tank                        ONLINE       0     0     0
          raidz2-0                  ONLINE       0     0     0
            wwn-0x50014ee0ae544611  ONLINE       0     0     0
            wwn-0x50014ee003a98727  ONLINE       0     0     0
            wwn-0x50014ee0ae54448f  ONLINE       0     0     0
            wwn-0x50014ee058feab2b  ONLINE       0     0     0
            wwn-0x50014ee003a970e1  ONLINE       0     0     0
            wwn-0x50014ee003a986cc  ONLINE       0     0     0


wat benchmarks:

code:
1
2
3
4
dd if=/dev/zero bs=128M count=128 of=/tank/media/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 5.92734 s, 2.9 GB/s


code:
1
2
3
4
dd if=/dev/zero of=/dev/null bs=1M count=128000
128000+0 records in
128000+0 records out
134217728000 bytes (134 GB) copied, 6.2075 s, 21.6 GB/s


Hoe zinvol is het trouwens om snapshots te maken? Er komen straks namelijk alleen voornamelijk mediabestanden op te staan en geen kritieke data.

[ Voor 13% gewijzigd door FREAKJAM op 04-03-2014 23:26 ]

is everything cool?


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Stel je delete een keer een hele directory tree, dan is het wel zo fijn als je af en toe snapshots maakt. ;)

Simpel is:

zfs snapshot -r tank@2014-03-05

De -r zorgt ervoor dat je alle onderliggende datasets recursief meepakt en voor allemaal een aparte snapshot maakt met de naam 2014-03-5. Verander 'tank' naar de naam van je pool.

Acties:
  • 0 Henk 'm!

  • EnerQi
  • Registratie: Maart 2011
  • Laatst online: 05-10 11:26
Verwijderd schreef op woensdag 05 maart 2014 @ 00:21:
Stel je delete een keer een hele directory tree, dan is het wel zo fijn als je af en toe snapshots maakt. ;)

Simpel is:

zfs snapshot -r tank@2014-03-05

De -r zorgt ervoor dat je alle onderliggende datasets recursief meepakt en voor allemaal een aparte snapshot maakt met de naam 2014-03-5. Verander 'tank' naar de naam van je pool.
Ik zou willen dat ZFSguru dit voor mij doet ;) *hint hint*. Naja ik weet dat dit al in een van de volgende bèta's zal zitten (taskmanager 0.4 ofzo?). Ook zou ik een soort service/applicatie willen die gegevens verplaatst van pool naar pool ipv via netwerk (het zou dan sneller moeten gaan), ook hiervoor is een zfs commando nodig, maar de uitdaging is om deze te onthouden 8)7.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Tot die tijd kun je ook zfs-periodic en andere scheduled snapshots gebruiken. Al kun je beter teveel snapshots hebben dan te weinig. Ik zelf doe het gewoon handmatig. Maar wat ik graag in ZFSguru wil bouwen is gewoon simpel snapshot scheduling; zoals elke dag of elke week en de laatste 10 snapshots behouden en oudere snapshots verwijderen. Kortom, iets wat 90% van alle casual ZFS gebruikers wel zou willen enablen.

RAID is geen backup, maar met ZFS heb je wel bescherming tegen user accidents en virussen die aan je bestanden knagen, omdat je behalve redundantie ook een geschiedenis hebt van je bestanden. In die zin is ZFS+snapshots dus veel meer dan RAID alleen en heeft het een grotere overlap met de bescherming die backups bieden.

Acties:
  • 0 Henk 'm!

  • nwagenaar
  • Registratie: Maart 2001
  • Laatst online: 13:52

nwagenaar

God, root. What's the differen

@FREAKJAM

Heb jij nog extra aanpassingen gemaakt/toegepast om die performance te krijgen?

root@VDR01:~# dd if=/dev/zero bs=128M count=128 of=/data/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 238.009 s, 72.2 MB/s


Ter indicatie; ik draai RAIDZ1-pool met 4x2TB HDD's op een HP Microserver N40L met 16GB RAM (rechtstreeks, er is dus geen sprake van ESXi/KVM/etc).

Nu zijn de waardes voor IRL gebruik gewoon goed, maar in ZFSGuru haalde ik toch duidelijk hogere scores (minimaal 120MB/s)...

Mijn Neo Geo MVS collectie


Acties:
  • 0 Henk 'm!

  • mkroes
  • Registratie: Oktober 2010
  • Laatst online: 09:24
nwagenaar schreef op woensdag 05 maart 2014 @ 10:20:
@FREAKJAM

Heb jij nog extra aanpassingen gemaakt/toegepast om die performance te krijgen?

root@VDR01:~# dd if=/dev/zero bs=128M count=128 of=/data/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 238.009 s, 72.2 MB/s


Ter indicatie; ik draai RAIDZ1-pool met 4x2TB HDD's op een HP Microserver N40L met 16GB RAM (rechtstreeks, er is dus geen sprake van ESXi/KVM/etc).

Nu zijn de waardes voor IRL gebruik gewoon goed, maar in ZFSGuru haalde ik toch duidelijk hogere scores (minimaal 120MB/s)...
FREAKJAM heeft denk ik compressie aan staan op zijn pool. die waardes kun je met 6 hdd's niet bereiken.
Maar moet wel zeggen dat 72 MB/s ook wat aan de lage kant is.

Acties:
  • 0 Henk 'm!
Ik zou onder Linux ARC wel limiteren, voor mijn gevoel is het memory management icm ZFS in BSD iets beter geregeld, en kan Linux wat moeilijker doen over geheugen.

Als je dus 8GB geheugen hebt, zou ik iets van 4-6GB aan ARC definieren. Dat zou de snelheden ook nog kunnen verbeteren.

(in mijn blogpost kan je lezen hoe ;) )

Even niets...


Acties:
  • 0 Henk 'm!

  • mkroes
  • Registratie: Oktober 2010
  • Laatst online: 09:24
FireDrunk schreef op woensdag 05 maart 2014 @ 11:16:
Ik zou onder Linux ARC wel limiteren, voor mijn gevoel is het memory management icm ZFS in BSD iets beter geregeld, en kan Linux wat moeilijker doen over geheugen.

Als je dus 8GB geheugen hebt, zou ik iets van 4-6GB aan ARC definieren. Dat zou de snelheden ook nog kunnen verbeteren.

(in mijn blogpost kan je lezen hoe ;) )
Limiteren van ARC heeft mij geen snelheidswinst opgeleverd. Maar gebruik mijn storage-bak dan ook alleen voor storage.
Wanneer je meer wilt doen, bijv sabnzbd, enz, enz. kan zfs wel eens in de weg zitten, dan is limiteren wel een goed idee.

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

nwagenaar schreef op woensdag 05 maart 2014 @ 10:20:
@FREAKJAM

Heb jij nog extra aanpassingen gemaakt/toegepast om die performance te krijgen?
root@VDR01:~# dd if=/dev/zero bs=128M count=128 of=/data/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 238.009 s, 72.2 MB/s


Ik heb lz4 compressie aanstaan inderdaad. Ik heb even compressie op mijn pool uitgezet en hetzelfde commando gedraaid:

code:
1
2
3
4
dd if=/dev/zero bs=128M count=128 of=/tank/media/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 19.9913 s, 859 MB/s

is everything cool?


Acties:
  • 0 Henk 'm!

  • nwagenaar
  • Registratie: Maart 2001
  • Laatst online: 13:52

nwagenaar

God, root. What's the differen

wil je voor de grap eens een groter bestand pakken van bijvoorbeeld 50GB oid? Ik heb het vermoeden dat de data nu uit de geheugen-cache wordt gehaald.

Mijn Neo Geo MVS collectie


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
Naar, niet van :) Al is het maar 20 seconde, ik weet niet hoe groot (/lang) de transaction groups zijn.

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Anders noem je even welke benchmarks ik voor je draai? Hit me :9

[ Voor 3% gewijzigd door FREAKJAM op 05-03-2014 12:42 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • Pakjebakmeel
  • Registratie: September 2003
  • Laatst online: 02-10 08:36
Mijn config momenteel:

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  pool: storage
 state: ONLINE
  scan: scrub repaired 0 in 4h14m with 0 errors on Sat Mar  1 08:14:42 2014
config:

        NAME                                              STATE     READ WRITE CKSUM
        storage                                           ONLINE       0     0     0
          raidz2-0                                        ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1429505      ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1248064      ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1035352      ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T0999727      ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1625883      ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1157517      ONLINE       0     0     0
        cache
          ata-Samsung_SSD_840_PRO_Series_S1ATNEAD506287F  ONLINE       0     0     0


Geen compressie aangezien dat minder dan 1 procent uitmaakt met hoofdzakelijk MKV en MP3 bestanden.

Iets wat niet in ARC noch in L2ARC zit:

code:
1
2
3
4
gentoo Training Day # dd if=Training.Day.2001.BluRay.720p.x264.Rus.Eng-WiKi.mkv of=/dev/zero bs=4M
1426+1 records in
1426+1 records out
5985176188 bytes (6.0 GB) copied, 16.2339 s, 369 MB/s


Iets wat in L2ARC zit maar niet meer in ARC:

code:
1
2
3
4
gentoo World War Z # dd if=World.War.Z.2013.Unrated.Cut.720p.BluRay.x264.DTS-WiKi.mkv of=/dev/zero bs=4M
1396+1 records in
1396+1 records out
5857407187 bytes (5.9 GB) copied, 11.6287 s, 504 MB/s


En iets volledig uit ARC:

code:
1
2
3
4
gentoo Specials # dd if=Top\ Gear\ -\ S00\ E43\ -\ 50\ Years\ Of\ Bond\ Cars.mkv of=/dev/zero bs=4M
329+1 records in
329+1 records out
1383187295 bytes (1.4 GB) copied, 0.701536 s, 2.0 GB/s


Dit zijn wel een beetje de waardes die ik verwacht op 6x WD30EZRX in Z2. Al met al zeer tevreden over mijn 'oude' hardware.. Wellicht dat het beter gaat op moderne hardware maar zolang ik Gigabit kan satureren ben ik blij. ;) Dat moet wel lukken denk ik zo.

ZoL op Gentoo met een Q6600 in een Asus P5WDG2 WS Pro. Disks hangen aan een IBM M1015 in IT mode. :>

[ Voor 5% gewijzigd door Pakjebakmeel op 05-03-2014 13:02 ]


Acties:
  • 0 Henk 'm!

  • nwagenaar
  • Registratie: Maart 2001
  • Laatst online: 13:52

nwagenaar

God, root. What's the differen

Ik draai enkele services:

- VDR 2.1.4 backend-server voor XBMC icm een USB DVB-S2 kaart
- OSCAM icm een smargo voor gebruik van mijn Canal Digitaal smartcard
- Plex Media Server 0.9.9.5
- Teamspeak 3.0.10.3 met 32 slots (maximaal 5 personen actief)
- Sickbeard en Transmission voor het vullen van PMS :+

Voor de duidelijkheid: ik heb de ZOL-configuratie standaard gelaten (de aanpassing van het geheugen is een optie om te overwegen).

Mijn RAIDZ1 pool (ik zie dat ik hem moet updaten):
errors: No known data errors

  pool: data
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not support
        feature flags.
  scan: scrub repaired 0 in 14h14m with 0 errors on Thu Feb 27 01:18:07 2014
config:

   NAME                                          STATE     READ WRITE CKSUM
   data                                          ONLINE       0     0     0
     raidz1-0                                    ONLINE       0     0     0
       ata-ST32000542AS_5XW244JM                 ONLINE       0     0     0
       ata-ST32000542AS_5XW2SQGA                 ONLINE       0     0     0
       ata-WDC_WD20EARS-00MVWB0_WD-WCAZA2727181  ONLINE       0     0     0
       ata-ST33000651AS_Z290726Y                 ONLINE       0     0     0

errors: No known data errors

Data dat zeker weten niet gecacht is:
root@VDR01:/data/Movies/3D/World War Z (2013)# dd if=World.War.Z.3D.2013.1080p.BluRay.Half-SBS.DTS.x264-PHD.mkv of=/dev/zero bs=4M
3027+1 records in
3027+1 records out
12698341070 bytes (13 GB) copied, 168.094 s, 75.5 MB/s

Data dat gecacht is (is een VDR recording van afgelopen avond):
root@VDR01:/data/recordings/Family_Guy/2014-03-05.00.28.110-0.rec# dd if=00001.ts of=/dev/zero bs=4M
94+1 records in
94+1 records out
396011848 bytes (396 MB) copied, 0.24719 s, 1.6 GB/s


Kortom: Cache doet het gewoon naar behoren en tijdens het "benchmarken" komt het CPU gebruik niet boven de 25% per core (het betreft een AMD Turion N40L @ 2x1,5Ghz.

Ik begin meer het vermoeden te krijgen dat de doorvoer ergens door beperkt wordt; maar volgens dmesg ziet ie hem wel als een 3Gbps SATA en worden de schijven middels AHCI aangesproken:

[    3.261496] ahci 0000:00:11.0: AHCI 0001.0200 32 slots 6 ports 3 Gbps 0x3f impl SATA mode
[    3.263372] ata1: SATA max UDMA/133 abar m1024@0xfe6ffc00 port 0xfe6ffd00 irq 41
[    3.263376] ata2: SATA max UDMA/133 abar m1024@0xfe6ffc00 port 0xfe6ffd80 irq 41
[    3.263380] ata3: SATA max UDMA/133 abar m1024@0xfe6ffc00 port 0xfe6ffe00 irq 41
[    3.263383] ata4: SATA max UDMA/133 abar m1024@0xfe6ffc00 port 0xfe6ffe80 irq 41
[    3.263386] ata5: SATA max UDMA/133 abar m1024@0xfe6ffc00 port 0xfe6fff00 irq 41
[    3.263390] ata6: SATA max UDMA/133 abar m1024@0xfe6ffc00 port 0xfe6fff80 irq 41
[    3.588507] ata5: SATA link down (SStatus 0 SControl 300)
[    3.756586] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[    3.756623] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[    3.756654] ata4: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[    3.760501] ata6: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[    4.484746] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)


00:11.0 SATA controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 SATA Controller [AHCI mode] (rev 40) (prog-if 01 [AHCI 1.0])
        Subsystem: Hewlett-Packard Company Device 1609
        Flags: bus master, 66MHz, medium devsel, latency 64, IRQ 41
        I/O ports at d000 [size=8]
        I/O ports at c000 [size=4]
        I/O ports at b000 [size=8]
        I/O ports at a000 [size=4]
        I/O ports at 9000 [size=16]
        Memory at fe6ffc00 (32-bit, non-prefetchable) [size=1K]
        Capabilities: [50] MSI: Enable+ Count=1/8 Maskable- 64bit+
        Capabilities: [70] SATA HBA v1.0
        Capabilities: [a4] PCI Advanced Features
        Kernel driver in use: ahci

Mijn Neo Geo MVS collectie


Acties:
  • 0 Henk 'm!

  • Arokh
  • Registratie: Augustus 2005
  • Laatst online: 05-08 12:24
ik heb succesvol mijn eerste share aangemaakt. werkt perfect!

nu stap twee: ik wil graag voor mijn vrouw en mijzelf een extra share opzetten waar we onze eigen dingen kwijt kunnen. Hier willen we wel graag een wachtwoord op zetten. Nu heb ik bij 'files'-'shares' wel een nieuwe opgezet, en ingesteld dat hij 'protected' is, maar hoe kan ik het wachtwoord wijzigen? username en wachtwoord heb ik namelijk nog niet ingesteld, maar vraagt hij al wel om :-)

Acties:
  • 0 Henk 'm!

  • Pakjebakmeel
  • Registratie: September 2003
  • Laatst online: 02-10 08:36
3Gb link speed wil niet zeggen dat de controller intern in staat is alle kanalen tegelijk dicht kan trekken.

http://blog.zorinaq.com/?e=10

Als voorbeeld, veel controllers hebben 3Gb maar halen dat bij lange na niet op meerdere poorten tegelijk. Mijn oude sil3132 was 3Gb en piekte intern op 130 MiB/s. 2 disks in RAID0 zouden al meer moeten halen dus daar lag het niet aan. Volgens mij was die chip intern 1.5Gb en de link naar de disk alleen 3Gb.

[ Voor 13% gewijzigd door Pakjebakmeel op 05-03-2014 14:24 ]


Acties:
  • 0 Henk 'm!

  • nwagenaar
  • Registratie: Maart 2001
  • Laatst online: 13:52

nwagenaar

God, root. What's the differen

Oh, ik weet dat maar al te goed. Maar ik weet nagenoeg zeker dat ik onder FreeBSD/ZFSGuru waardes had van rond de 180MB/s write. Dus deze waardes vallen gewoon tegen.

Daarbij ervaar ik geen enkel probleem bij normaal gebruik. Maar ik ben nu eenmaal een tweaker, dus ik wil gewoon die missende MB/s terug! :+ :P ;)

Overigens begin ik nu het vermoeden te krijgen dat het probleem aan (de ashift van?*) mijn schijven ligt. Iemand met soortgelijke schijven icm ZOL heeft soortgelijke waardes qua IOPS en doorvoer. Nadat hij deze heeft omgewisseld voor 3TB WD Reds en de goede ashift, haalde hij aanzienlijk meer performance. De performance voor de upgrade komen redelijk overeen met mijn waardes (before | na):

root@VDR01:/data# spew -b 20m --write 20g /data/test.bin
WTR:    86301.61 KiB/s   Transfer time: 00:04:03    IOPS:        4.21
root@VDR01:/data# spew -b 20m --read 20g /data/test.bin
RTR:   141424.44 KiB/s   Transfer time: 00:02:28    IOPS:        6.91


*) Update
Ik wist nagenoeg zeker dat ik de ashift op 12 had ingesteld toen ik de pool in zfsguru had aangemaakt, nadere controle van de pool geeft dit ook aan. Nu wilde ik mijn schijven sowieso uitbreiden naar 3TB, nu heb ik eindelijk een valide reden :+

[ Voor 67% gewijzigd door nwagenaar op 05-03-2014 14:37 ]

Mijn Neo Geo MVS collectie


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

@nwagenaar
Ik zal binnenkort eens wat data/media zetten op mijn pool en soortgelijke tests doen. Moet nu eerst achterhalen waarom mijn schijven uit zichzelf in standby gaan, zonder dat ik ook maar iets heb ingesteld.

is everything cool?


Acties:
  • 0 Henk 'm!

  • Pakjebakmeel
  • Registratie: September 2003
  • Laatst online: 02-10 08:36
nwagenaar schreef op woensdag 05 maart 2014 @ 14:25:
Oh, ik weet dat maar al te goed. Maar ik weet nagenoeg zeker dat ik onder FreeBSD/ZFSGuru waardes had van rond de 180MB/s write. Dus deze waardes vallen gewoon tegen.

Daarbij ervaar ik geen enkel probleem bij normaal gebruik. Maar ik ben nu eenmaal een tweaker, dus ik wil gewoon die missende MB/s terug! :+ :P ;)
Ik ken het gevoel :F

Acties:
  • 0 Henk 'm!
Device readahead verhogen? :)

Even niets...


Acties:
  • 0 Henk 'm!

  • Phyt_
  • Registratie: Oktober 2009
  • Laatst online: 03-10 13:28
Korte vraag, volgens mij kan het wel maar wil het even zeker weten.
Ik wil een ZFS Raid-Z aanmaken (1 disk spare als ik het goed begrijp), dit wil ik met 3x3tb maken, dan houd ik dus 6 over, maar kan ik dit ook met 3x3TB + 1x2TB(deze disk heb ik over), aanmaken en wat houd ik dan over?

alvast bedankt.

You know you ve played warcraft III too much when.... Your sitting next to a guy at the busstop waiting for a bus, and he stands up before the bus gets there, and you claim that hes map hacking


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
Het is geen spare, er wordt ruimte ter grootte van één van de schijven actief gebruikt voor parity. Een spare wordt niet gebruikt, totdat een andere schijf stuk gaat.

Met een vdev RAID-Z van 3x3 en een vdev van 1 2TB-schijf heb je in totaal 8 TB, maar een kwart van je data staat op een schijf waar geen parity over wordt berekend. Als die ene schijf stuk gaat dan ben je alles kwijt! Erger nog, die schijf kun je niet uit je pool halen zonder deze onherroepelijk te vernietigen waardoor je alle data kwijt bent.

Als je dus redundancy in je data wilt (en dat wil je, als je zo weinig om je data geeft dat je dat niet wilt kun je net zo goed geen ZFS gebruiken) dan moet je dus alleen RAID-vdevs aan je pool toevoegen (en dan nog opletten welke raid-vorm op hoeveel TB data).

Bottom line: Ja het kan, je hebt dan 8 TB, maar nee, je wilt het absoluut niet.

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • Phyt_
  • Registratie: Oktober 2009
  • Laatst online: 03-10 13:28
Paul bedankt, dan ga ik dit niet doen, en beginnen opbouwen met de 3x3tb,
Ja het is even wennen aan de termen van ZFS enzo maar ik bedoelde hetzelfde ;).
Bedankt.
Even sparen voor die M1015, die er toch maar gaat komen.

You know you ve played warcraft III too much when.... Your sitting next to a guy at the busstop waiting for a bus, and he stands up before the bus gets there, and you claim that hes map hacking


Acties:
  • 0 Henk 'm!

  • A1AD
  • Registratie: Juli 2013
  • Laatst online: 04-10 12:51
Paul schreef op woensdag 05 maart 2014 @ 17:03:
Bottom line: Ja het kan, je hebt dan 8 TB, maar nee, je wilt het absoluut niet.
Ik heb een schijf buiten mijn Raidz als dump (voor tijdelijke dingen/minder belangrijke data/test vm's). Dus als aparte vdev pool zogezegd. Zo heb je ook netto 8TB.

- Deze advertentie is geblokkeerd door Pi-Hole -


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

nevermind.

[ Voor 122% gewijzigd door FREAKJAM op 05-03-2014 22:11 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
A1AD schreef op woensdag 05 maart 2014 @ 19:29:
Ik heb een schijf buiten mijn Raidz als dump (voor tijdelijke dingen/minder belangrijke data/test vm's). Dus als aparte vdev zogezegd. Zo heb je ook netto 8TB.
Ik hoop als aparte zpool? ;)

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Eindelijk! Ben wel effe aan het kloten geweest maar ik het is voor elkaar. Wel een onwijs klikfest om het er in te krijgen zeg!

SMART Monitoring op disk-id, alarmering van failures/prefailures en temperatuur tresholds via emails.

En als kers op de taart :P SMART grafiekjes in Cacti.
SMART Grafiekjes

Ik moet die andere pool er nog in zetten (5 disks) en die scripts voor ZFS monitoring werken bij mij niet goed, daar moet ik ook nog naar kijken. Denk niet dat het moeilijk is maar gewoon nog geen tijd voor gehad.

Acties:
  • 0 Henk 'm!

  • EnerQi
  • Registratie: Maart 2011
  • Laatst online: 05-10 11:26
Paul schreef op woensdag 05 maart 2014 @ 22:27:
[...]
Ik hoop als aparte zpool? ;)
Zo heb ik het ook gedaan, in een apart zpool ;).

Acties:
  • 0 Henk 'm!

  • A1AD
  • Registratie: Juli 2013
  • Laatst online: 04-10 12:51
Paul schreef op woensdag 05 maart 2014 @ 22:27:
[...]
Ik hoop als aparte zpool? ;)
:+

- Deze advertentie is geblokkeerd door Pi-Hole -


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

InflatableMouse schreef op woensdag 05 maart 2014 @ 22:40:
Eindelijk! Ben wel effe aan het kloten geweest maar ik het is voor elkaar. Wel een onwijs klikfest om het er in te krijgen zeg!

SMART Monitoring op disk-id, alarmering van failures/prefailures en temperatuur tresholds via emails.

En als kers op de taart :P SMART grafiekjes in Cacti.
[afbeelding]

Ik moet die andere pool er nog in zetten (5 disks) en die scripts voor ZFS monitoring werken bij mij niet goed, daar moet ik ook nog naar kijken. Denk niet dat het moeilijk is maar gewoon nog geen tijd voor gehad.
Tof! Ik heb ook smartd + mail ingesteld gisteravond en toen ik las over cacti in jouw post heb ik daar ook even naar gekeken. Heb nu LAMP + cacti draaien. Moet de grafiekjes alleen nog instellen.

Ik heb nu spindown werkend mbt crontab (hij controleert elk half uur of mijn drives niets doen, zo ja -> spindown), even als een healthcheck die ik 3x per dag doe, en een scrub die ik van plan ben elke week te draaien. Mijn benchmarks zijn trouwens nu ook een stuk geloofwaardiger denk ik.

code:
1
2
3
4
root@ubuntu:/tank/media# cat /var/log/syslog | grep spindown
Mar  6 07:00:01 ubuntu CRON[17517]: (root) CMD (/etc/cron.hourly/spindown)
Mar  6 07:30:01 ubuntu CRON[17842]: (root) CMD (/etc/cron.hourly/spindown)
Mar  6 08:00:01 ubuntu CRON[18098]: (root) CMD (/etc/cron.hourly/spindown)


Gedraaid direct na een reboot (dus niet gecached): (met lz4 compressie aan)
code:
1
2
3
4
dd if=/dev/zero bs=128M count=128 of=/tank/media/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 50.5795 s, 340 MB/s


compressie uit:
code:
1
2
3
4
dd if=/dev/zero bs=128M count=128 of=/tank/media/file.bin
128+0 records in
128+0 records out
17179869184 bytes (17 GB) copied, 65.4343 s, 263 MB/s

[ Voor 37% gewijzigd door FREAKJAM op 06-03-2014 08:41 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 09:15
Deze dd test zegt dus helemaal niets omdat je enkel 0 aan het kopieren bent.
Pak een IOtest of op zijn minst /dev/random

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Weet ik, maar in mijn vorige post haalde ik bijna 3 GB/s en dat was niet helemaal geloofwaardig omdat de boel nog gecached stond. Het was meer een vergelijking met een vorige post op verzoek van @nwagenaar. Ik weet dat dd alleen maar nullen wegschrijft.

Zal vanmiddag eens een IOtestje gaan doen.

is everything cool?


Acties:
  • 0 Henk 'm!
Pak niet /dev/random, die is CPU gebonden. Pak liever iets als Bonnie++ (hoewel die ook niet zo heel goed samenwerkt icm ZFS als het gaat om synced write tests, maar voor gewone sequentiele tests is het prima).

Even niets...


Acties:
  • 0 Henk 'm!

  • ]Byte[
  • Registratie: April 2000
  • Laatst online: 13-09-2020
FireDrunk schreef op donderdag 06 maart 2014 @ 09:45:
Pak niet /dev/random, die is CPU gebonden. [...]
En /dev/urandom ? Of is die niet 'random genoeg'?

Acties:
  • 0 Henk 'm!

  • Kees
  • Registratie: Juni 1999
  • Laatst online: 13:39

Kees

Serveradmin / BOFH / DoC
]Byte\[ schreef op donderdag 06 maart 2014 @ 11:06:
[...]

En /dev/urandom ? Of is die niet 'random genoeg'?
Die is zo random dat het te lang duurt om daar 'realtime' iets mee te doen. De beste optie is dan om eerst een fatsoenlijk grote file ervan te maken en dan dat als input te gebruiken. Of voor random data kun je ook een file uit ftp://ftp.xs4all.nl/pub/test/ pakken (de bin, niet de nul), die zijn ook random en niet te comprimeren.

Overigens is dd prima als eerste indicatie van de snelheid, het feit dat je 0 schrijft zorgt er iha niet voor dat het sneller word

"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan


Acties:
  • 0 Henk 'm!

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 09:15
Kees schreef op donderdag 06 maart 2014 @ 11:45:


Overigens is dd prima als eerste indicatie van de snelheid, het feit dat je 0 schrijft zorgt er iha niet voor dat het sneller word
Wel als je dan nog compressie gaat toepassen

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

@FireDrunk
Ik las in jouw blog dat ubuntu een stukje over de zogenaamde sleepfix omdat Ubuntu zfs al aan het laden is, terwijl de controller de schijven nog niet heeft doorgegeven. Hoe heb jij dit geconstateerd?

Ik heb namelijk het idee dat ik last heb van hetzelfde probleem, want als ik een dd write test doe, dan lijkt hij de data weg te schrijven op mijn ubuntu disk en niet op mijn pool: (mijn schijven gaat ook niet uit standby-stand als ik een dd-write doe).

code:
1
2
3
freakjam@ubuntu:/tank/media$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        24G  2.2G   21G  10% /


code:
1
2
3
4
root@ubuntu:/tank/media# dd if=/dev/zero bs=1024M count=1 of=/tank/media/file.bin
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 0.762492 s, 1.4 GB/s


Controleer ik wederom mijn diskspace:
code:
1
2
3
root@ubuntu:/tank/media# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        24G  3.2G   20G  15% /


edit:
nevermind, fixxed. Waarschijnlijk hetzelfde probleem :) Ik heb het script "devicewait" onder kopje "4.3 JBOD mode on hardware RAID implementations" toegevoegd aan /etc/init/mountall.conf en nu schrijft ie wel netjes alles weg in mijn pool.

code:
1
2
  /etc/init.d/devicewait # sleepfix lsi 2308
    exec mountall --daemon $force_fsck $fsck_fix $debug_arg


code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
root@ubuntu:/tank/media# dd if=/dev/zero bs=1024M count=1 of=/tank/media/file.bin
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 0.557407 s, 1.9 GB/s
root@ubuntu:/tank/media# df
Filesystem       1K-blocks    Used   Available Use% Mounted on
/dev/sda1         24638844 2245780    21118440  10% /
none                     4       0           4   0% /sys/fs/cgroup
udev              12336096       4    12336092   1% /dev
tmpfs              2469244     744     2468500   1% /run
none                  5120       0        5120   0% /run/lock
none              12346204       0    12346204   0% /run/shm
none                102400       0      102400   0% /run/user
tank           11438559232     384 11438558848   1% /tank
tank/downloads 11438559104     256 11438558848   1% /tank/downloads
tank/media     11439265024  706176 11438558848   1% /tank/media

[ Voor 43% gewijzigd door FREAKJAM op 06-03-2014 15:47 ]

is everything cool?


Acties:
  • 0 Henk 'm!
Die devicewait heb ik niet geprobeerd, ik vond dat een beetje een vieze oplossing... Ik heb nu (naast de sleep 30 in mountall.conf) ook in /etc/default/zfs wat gewijzigd:

code:
1
2
3
# Wait for this many seconds in the initrd pre_mountroot?
# This delays startup and should be '0' on most systems.
ZFS_INITRD_PRE_MOUNTROOT_SLEEP='10'

Even niets...


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Nevermind, opgelost denk ik.

[ Voor 97% gewijzigd door InflatableMouse op 06-03-2014 20:57 ]


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
Hmm... Ik heb, in deze volgorde:

- FreeNAS op een USB-stick geïnstalleerd
- een encrypted pool aangemaakt
- key, passphrase en recovery key opgeslagen
- backup gemaakt van de settings
- USB-stick vervangen door een met vSphere
- VM aangemaakt en daar FreeNAS op geïnstalleerd
- Controller d.m.v. passthrough doorgegeven
- FreeNAS gestart
- Settings gerestored
- Geprobeerd pool te unlocken
5 devices failed to decrypt
What gives? Ik heb de USB-stick met de originele setup nog dus ik neem aan dat als ik die in de server stop ipv de vSphere-stick dat ik er dan weer bij kan, maar dan heb ik geen vSphere :P

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • A1AD
  • Registratie: Juli 2013
  • Laatst online: 04-10 12:51
Paul schreef op donderdag 06 maart 2014 @ 22:04:
Hmm... Ik heb, in deze volgorde:

- FreeNAS op een USB-stick geïnstalleerd
- een encrypted pool aangemaakt
- key, passphrase en recovery key opgeslagen
- backup gemaakt van de settings
- USB-stick vervangen door een met vSphere
- VM aangemaakt en daar FreeNAS op geïnstalleerd
- Controller d.m.v. passthrough doorgegeven
- FreeNAS gestart
- Settings gerestored
- Geprobeerd pool te unlocken


[...]


What gives? Ik heb de USB-stick met de originele setup nog dus ik neem aan dat als ik die in de server stop ipv de vSphere-stick dat ik er dan weer bij kan, maar dan heb ik geen vSphere :P
Hmm vreemd, wordt je controller wel goed doorgegeven? Heb je geen logs voor ons?

- Deze advertentie is geblokkeerd door Pi-Hole -


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
8)7 Logs... Goedemorgen Paul... En dat noemt zichzelf systeembeheerder :F

Anyway, FreeNAS ziet inderdaad de hele schijven niet. Wel de controller... dmesg geeft
ahci0: <Intel Patsburg AHCI SATA controller> port 0x5038-0x503f,0x5030-0x5033,0x
5028-0x502f,0x5024-0x5027,0x5000-0x501f mem 0xfd3fe800-0xfd3fefff irq 19 at devi
ce 0.0 on pci11
ahci0: AHCI controller reset failure
device_attach: ahci0 attach returned 6
maar daar kijk ik morgen wel verder naar :P

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • A1AD
  • Registratie: Juli 2013
  • Laatst online: 04-10 12:51
Paul schreef op vrijdag 07 maart 2014 @ 00:51:
8)7 Logs... Goedemorgen Paul... En dat noemt zichzelf systeembeheerder :F

Anyway, FreeNAS ziet inderdaad de hele schijven niet. Wel de controller... dmesg geeft

[...]
maar daar kijk ik morgen wel verder naar :P
Hij ziet de controller ja, maar de passtrough werkt niet naar behoren. Toevallig ESX5.5? Grote kans dat dit met 5.1 gewoon perfect werkt. Ik (en andere) heb exact hetzelfde voor met de onboard Intel pantherpoint.

- Deze advertentie is geblokkeerd door Pi-Hole -


Acties:
  • 0 Henk 'm!
FREAKJAM schreef op donderdag 06 maart 2014 @
edit:
nevermind, fixxed. Waarschijnlijk hetzelfde probleem :) Ik heb het script "devicewait" onder kopje "4.3 JBOD mode on hardware RAID implementations" toegevoegd aan /etc/init/mountall.conf en nu schrijft ie wel netjes alles weg in mijn pool.

code:
1
2
  /etc/init.d/devicewait # sleepfix lsi 2308
    exec mountall --daemon $force_fsck $fsck_fix $debug_arg
Zojuist toch nog maar die devicewait toegevoegd en die werkt inderdaad prima :)

Even niets...


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
Yup... Op naar 5.1 dan :)

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • jadjong
  • Registratie: Juli 2001
  • Niet online
Paul schreef op vrijdag 07 maart 2014 @ 10:16:
[...]
Yup... Op naar 5.1 dan :)
Begin maar met 5.0U3, die werkt 100%.

Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
5.1 niet dan? Ik zit even te kijken naar de verschillen, als ik het zo zie dan zou ik zelfs met 3.5 thuis wel af kunnen :+ maar liefst neem ik natuurlijk de nieuwst mogelijke versie...

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Paul schreef op vrijdag 07 maart 2014 @ 10:16:
[...]
Yup... Op naar 5.1 dan :)
Had je dit al geprobeerd?

[ Voor 54% gewijzigd door FREAKJAM op 07-03-2014 12:52 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • Paul
  • Registratie: September 2000
  • Laatst online: 04-10 19:09
Nog niet, vannacht mijn bed in gedoken en vanmorgen weer present @work, vanavond zal ik eens kijken :)

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock


Acties:
  • 0 Henk 'm!

  • fluppie007
  • Registratie: April 2005
  • Laatst online: 03-10 22:59
Ik kan ook 5.0U3 aanraden ipv 5.1, daar werkt VT-D passthrough prima. In 5.5 zou het ook allemaal moeten kunnen werken.

Acties:
  • 0 Henk 'm!

  • A1AD
  • Registratie: Juli 2013
  • Laatst online: 04-10 12:51
Paul schreef op vrijdag 07 maart 2014 @ 12:34:
5.1 niet dan? Ik zit even te kijken naar de verschillen, als ik het zo zie dan zou ik zelfs met 3.5 thuis wel af kunnen :+ maar liefst neem ik natuurlijk de nieuwst mogelijke versie...
Toch wel, 5.5 breekt enkele intel controllers en maakt weer wat anders...
De intels werken op 5.1 perfect.

We zitten wel in het verkeerde topic >:)

[ Voor 6% gewijzigd door A1AD op 07-03-2014 15:20 ]

- Deze advertentie is geblokkeerd door Pi-Hole -


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Wow wat kan er een hoop mis gaan met Cacti zeg! Wat een onduidelijke brei van dingetjes die je aan elkaar moet knopen om een grafiekje te maken.

Het is wel gelukt, maar moest wel een paar keer opnieuw beginnen omdat er weer iets niet goed was waar je dan geen rekening mee had gehouden. De standaard grafiekjes van de templates waren ook helemaal niet goed, stonden verschillende counters in 1 grafiek maar er was er altijd maar 1 zichtbaar, de gene met de hoogste waarde, de rest verdween in het niets omdat de schaal veels te groot was bijvoorbeeld.

Ik heb nu alles uit elkaar getrokken, per counter zelf een nieuwe grafiek gemaakt. Ook wel geinig met Cacti viewer app op Android heb je altijd en overal je grafiekjes. Beetje nerdie, dat wel >:) .

Betekent natuurlijk niets zonder screenie :).
Cacti Grafiekjes

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Ziet er cool uit, nerdje :+

Ik heb toevallig ook zitten pielen met Cacti, maar ik vind het maar heel erg lastig. Ik snap nog niet hoe het allemaal werkt, maar daar moet ik nog induiken. Had je deze scripts ook toevallig al gezien?

Ik heb zelf trouwens eindelijk op een fatsoenlijke manier spindown werkend gekregen. Had het idee dat ie nu gewoon spindown deed, zonder echt te controleren/verifieren of mijn schijven echt zoveel minuten idle zijn ja of de nee. Kreeg in mijn mail ook elk uur een mailtje dat hij hdparm -y deed op mijn schijven. (had eerst dit script)

Heb nu deze in gebruik en dat gaat goed! Als ik iets weg schrijf naar mijn pool (met bijv dd), dan reset ie ook echt de idle-time counter.

code:
1
2
3
4
5
6
7
8
9
root@ubuntu:~# /etc/init.d/spindown status
 * spindown is running
name     watched     active       idle-time        spindown-time
sdb            1          0           49292                 3600
sdc            1          0           49292                 3600
sdd            1          0           49292                 3600
sde            1          0           49292                 3600
sdf            1          0           49292                 3600
sdg            1          0           49292                 3600

[ Voor 80% gewijzigd door FREAKJAM op 08-03-2014 15:31 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Cacti slaat eigenlijk nergens op zo onhandig dat het werkt allemaal. Ik ben er een paar dagen mee bezig geweest om het uit te zoeken maar het is een clickfest daar word je niet goed van. En dan denk je dat je klaar bent blijkt dat al je data sources ineens allemaal dezelfde naam te hebben. Blijkt daarna dat al je grafieken naar verkeerde dingen staan te wijzen en je weet niet waarom 8)7 .

Wat ik uiteindelijk gedaan heb is:
import template
corrigeer data templates: naamgeving eenduidig en ticked boxje bij 'device'. Stond soms uit.
Per disk een device aanmaken met duidelijke en unieke naam; bv DP_Hitachi_HDS5C3020ALA632 [ML0220F30Z09GD]. Dit is belangrijk omdat in die templates device description als naam gebruikt wordt, maar ook je data source krijgt die naam. Als je je grafiekjes aanmaakt als onderdeel van localhost worden al die namen identiek. De enige manier die ik vond was per disk een device aanmaken en zorgen dat het uniek is.
Nieuwe grafiek templates aanmaken per SMART counter (afgekeken van de geimporteerde grafieken waarbij counters bij elkaar stonden).

Als je daarna create / new graphs kiest, kan je je nieuwe graph template kiezen en vul je unieke naam in (bv device name van eerder) + smartmon counter naam en verwijs je naar een disk, /dev/disk/by-id/ata-etc. Gebruik hier in ieder geval NIET de generieke /dev/sda notatie want als dat na een reboot verandert kloppen je grafieken niet meer.

Als je er zo eerst eentje hebt gemaakt, ga je naar Data Sources en controleer je dat de juiste Data Template is gekozen, de juiste host (en daarom maak je devices aan :P) en check je device.

Ik kan es kijken of ik mijn grafiek templates kan exporteren en kan uploaden.

Tijdens dit onwijze clickfest had ik een text editor open staan met al m'n devices (dev/disk/etc), de 'nette' naam van elk device (DP_Hitachi_etc [serial]) en de Smartmon benamingen.

Voordeel van deze manier is wanneer ik nu een grafiek open via Graph Management, ik in een oogopslag een herkenbare Host zie, met een Title die daarmee overeen komt en een Data Source met dezelfde naam + de smartmon counter.

Ik had die ZFS dingen op Cacti forum nog niet eerder gezien maar ik had daar ook nog helemaal niet naar gezocht. Wel interessant maar bij mij werkt snmp niet goed denk ik en ik weet ik ook niet of ik wel zien heb om daar in te duiken. Mijn memory en swap grafiekjes die er standaard in staan geven ook alles verkeerd weer (ik bv 971kb geheugen of zo iets :X ).

Download Templates.

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

FREAKJAM schreef op zaterdag 08 maart 2014 @ 15:24:
Heb nu deze in gebruik en dat gaat goed! Als ik iets weg schrijf naar mijn pool (met bijv dd), dan reset ie ook echt de idle-time counter.
Hey ik heb dat ook even geinstalleerd, draait maar ik moet die commando's hebben om die disks down te spinnen (mooi vertaald he :P).

sg_start --stop (evt. met --pc=2) en hdparm -y /dev/disk/by-id/ata-etc

Maar als ik dat doe met het handje (als root) en direct daarna service spindown status doe, dan staat er onder active bij alle disks nog gewoon een 1.

Doe ik iets mis of snap ik het gewoon niet?

Acties:
  • 0 Henk 'm!

  • ppl
  • Registratie: Juni 2001
  • Niet online

ppl

Voor de Cacti mensen: al eens naar Observium gekeken? Die zou een stuk eenvoudiger moeten zijn dan Cacti.

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

InflatableMouse schreef op zaterdag 08 maart 2014 @ 17:22:
[...]


Hey ik heb dat ook even geinstalleerd, draait maar ik moet die commando's hebben om die disks down te spinnen (mooi vertaald he :P).

sg_start --stop (evt. met --pc=2) en hdparm -y /dev/disk/by-id/ata-etc

Maar als ik dat doe met het handje (als root) en direct daarna service spindown status doe, dan staat er onder active bij alle disks nog gewoon een 1.

Doe ik iets mis of snap ik het gewoon niet?
Ik doe de spindown zelf niet op basis van disk id. Ik post je even mijn config:
[General]
cycle-time = 60 # Number of seconds between cycles.

idle-time = 3600 # The time in seconds a disk has to be idle before it is spundown.
# Do not use a value that is to small (less than 3600) unless you
# know what you are doing.

syslog = 0 # Turn this on if you want spindown to log messages using syslog.
# You will not want to turn this on if you are trying to spindown
# the disk with the root filesystem on.

[Disk 0]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565854
spindown = 1
command = hdparm -y /dev/sdb

[Disk 1]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0328511
spindown = 1
command = hdparm -y /dev/sdc

[Disk 2]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565375
spindown = 1
command = hdparm -y /dev/sdd

[Disk 3]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0237419
spindown = 1
command = hdparm -y /dev/sde

[Disk 4]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0245360
spindown = 1
command = hdparm -y /dev/sdf

[Disk 5]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565098
spindown = 1
command = hdparm -y /dev/sdg

is everything cool?


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Dan doe je het niet volgens de wiki/Configuration ;) (even los van het feit dat het wel blijkt te werken bij jou).
If you found the command that works for disk, just fill it in without the path to the device. So, if you used "sg_start --stop /dev/sda" you should fill in "command = sg_start --stop".
Je hoort dus /dev/sdX niet op te geven bij de command = regel.

Maar goed, ook als ik hdparm -y /dev/sdd doe en vervolgens spindown status staat alles gewoon nog active.

Kan jij dat es testen? Als je disks active zijn doe dan es handmatig hdparm -y /dev/sdg en controleer es wat spindown status terug geeft?

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Het mag beiden toch?
Some users have can't spindown ATA drives with sg_start. If this is the case for you, you should try hdparm.

$ hdparm -y /dev/hda
Ik zal het andere eens proberen. Trouwens met hdparm -C kun je de status van je disk controleren

code:
1
2
3
4
5
6
7
8
9
10
root@ubuntu:~# sg_start --start /dev/sdb
root@ubuntu:~# hdparm -C /dev/sdb

/dev/sdb:
 drive state is:  active/idle
root@ubuntu:~# sg_start --stop /dev/sdb
root@ubuntu:~# hdparm -C /dev/sdb

/dev/sdb:
 drive state is:  standby


edit: hmm, volgens mij is het hier toch ook nog niet helemaal goed..

alle disks actief: (ook volgens hdparm -C)
code:
1
2
3
4
5
6
7
8
9
root@ubuntu:~# /etc/init.d/spindown status
 * spindown is running
name     watched     active       idle-time        spindown-time
sdb            1          1              30                 3600
sdc            1          1              30                 3600
sdd            1          1              30                 3600
sde            1          1              30                 3600
sdf            1          1              30                 3600
sdg            1          1              30                 3600


En ik laat vervolgens 1 disk slapen:
code:
1
2
3
4
5
6
7
8
9
10
root@ubuntu:~# sg_start --stop /dev/sdg
root@ubuntu:~# /etc/init.d/spindown status
 * spindown is running
name     watched     active       idle-time        spindown-time
sdb            1          1             113                 3600
sdc            1          1             113                 3600
sdd            1          1             113                 3600
sde            1          1             113                 3600
sdf            1          1             113                 3600
sdg            1          1             113                 3600


sdg moet bij active dan toch 0 zijn? :X

[ Voor 86% gewijzigd door FREAKJAM op 08-03-2014 17:46 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

nee wat ik bedoel, zoals ik het begrijp van die wiki is dat los van of je hdparm -y of sg_start --stop gebruikt, je command = in je config niet je device moet opgeven (dus zonder /dev/etc er achter).

Je doet het wel en het werkt maar ik weet niet wat voor effect het heeft. Stel hij zet er zelf nog eens /dev/disk/by-id/ata-whatever achter aan dan wordt dat waarschijnlijk genegeerd. Als je disks dus na een reboot nu wijzigen om wat voor reden dan ook, dan klopt je spindown niet. Ik denk dat je dat device dus beter weg kan laten zodat spindown dat zelf kan invullen.

hdparm -C laat wel zien dat een disk in slaap is, dus ik heb m'n config aangepast, es kijken of het werkt. Staat op 2 uur. Ik haat dat als disks in slaap gaan en ik zit te wachten tot ze opgespind zijn. MIschien met 2 uur dat ik er niet zoveel hinder van ondervind maar als tie lekker de nacht door in sleep kan staan scheelt wel weer natuurlijk aan het eind van het jaar ;).

Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

Ja ik snap hem. Heb de wiki ook iets beter doorgelezen en kwam tot dezelfde conclusie (device dus weglaten in conf). Ik heb mijn conf inmiddels ook aangepast.

Ik heb het nu zo:
code:
1
2
3
4
5
6
7
8
9
10
11
[Disk 0]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565854
spindown = 1
command = sg_start --stop

[Disk 1]
id = ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0328511
spindown = 1
command = sg_start --stop

etc


Al me schijven zijn nu active, eens kijken hoe het er over een uur bij staat.

[ Voor 23% gewijzigd door FREAKJAM op 08-03-2014 18:14 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Spindown geeft problemen, niet initieel maar nadat ik ipmi en minissdpd installeerde ontstaat er een loop met insserv:

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
insserv: There is a loop at service rc.local if started
insserv: Starting spindown depends on rc.local and therefore on system facility `$all' which can not be true!
...herhaalt 100x
insserv: Starting spindown depends on rc.local and therefore on system facility `$all' which can not be true!
insserv: Max recursions depth 99 reached
insserv:  loop involving service shareiscsi at depth 8
insserv: There is a loop between service rc.local and mountnfs if started
insserv:  loop involving service mountnfs at depth 7
insserv:  loop involving service nfs-common at depth 6
insserv: There is a loop between service rc.local and mountall if started
insserv:  loop involving service mountall at depth 4
insserv:  loop involving service checkfs at depth 3
insserv: There is a loop between service rc.local and urandom if started
insserv:  loop involving service urandom at depth 5
insserv:  loop involving service checkroot-bootclean at depth 5
insserv:  loop involving service networking at depth 7
insserv:  loop involving service rpcbind at depth 8
insserv: There is a loop between service rc.local and mountdevsubfs if started
insserv:  loop involving service mountdevsubfs at depth 2
insserv:  loop involving service udev at depth 1
insserv: There is a loop at service spindown if started
insserv: There is a loop between service rc.local and mountall-bootclean if started
insserv:  loop involving service mountall-bootclean at depth 1
insserv:  loop involving service spindown at depth 1
insserv:  loop involving service hwclock at depth 4
insserv:  loop involving service mountnfs-bootclean at depth 9
insserv: exiting now without changing boot order!
update-rc.d: error: insserv rejected the script header


Geen idee hoe ik dat moet oplossen maar ik heb spindown maar weer weggehaalt en alles werkt weer goed. Heb een bug report gemaakt, mischien doet tie er wat mee ik weet het niet.

Anyway, hierboven werd Observium geroepen, da's echt wel cool! Cacti ziet er ineens heel verouderd uit maar veel belangrijker, alle system graphs in Observium kloppen allemaal. Ik moet alleen SMART er nog in zien te krijgen maar volgens mij nu SNMP goed werkt moet dat niet al te lastig zijn. Bedankt voor de tip iig!

Edit: temperaturen staan er in, dat was echt een eitje. Nu effe kijken hoe ik de rest van de counters kan doen :P.

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Spindown draait weer, ik kan het herinstalleren nadat ik andere dingen heb geinstalleerd/geconfigureerd, dat gaat schijnbaar goed. Heb smartd en monitoring scripts aangepast met de '-n standby' parameter zodat deze scripts de disks niet wakker maken alleen maar om een SMART check te doen. Lijkt te werken, even getest met spindown van 360 seconden:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
# ./checkidle.sh 
[ ok ] spindown is running.
name     watched     active       idle-time        spindown-time
sda            0          1              12                  360
sdg            1          0             402                  360
sdc            1          0             402                  360
sdi            1          1             163                  360
sdb            1          1             163                  360
sdd            1          0             402                  360
sdh            1          1             163                  360
sde            1          1              65                  360
sdl            1          1              65                  360
sdj            1          1              65                  360
sdk            1          1              65                  360
sdf            1          1              65                  360

/dev/disk/by-id/ata-Hitachi_HDS5C3020ALA632_ML0220F30Z09GD:
 drive state is:  standby

/dev/disk/by-id/ata-WDC_WD20EADS-11R6B1_WD-WCAVY2473346:
 drive state is:  standby

/dev/disk/by-id/ata-ST2000DM001-9YN164_W1E0KXJV:
 drive state is:  active/idle

/dev/disk/by-id/ata-WDC_WD20EARS-00MVWB0_WD-WMAZA1448932:
 drive state is:  active/idle

/dev/disk/by-id/ata-ST2000DM001-9YN164_W1E0HYEX:
 drive state is:  standby

/dev/disk/by-id/ata-Hitachi_HDS5C3020ALA632_ML0220F30Z0A1D:
 drive state is:  active/idle

/dev/disk/by-id/ata-Hitachi_HUS724040ALE640_PK2331PAG7HBAT:
 drive state is:  active/idle

/dev/disk/by-id/ata-HGST_HDS724040ALE640_PK1331PAHJKGXS:
 drive state is:  active/idle

/dev/disk/by-id/ata-Hitachi_HDS724040ALE640_PK1331PAGM75NS:
 drive state is:  active/idle

/dev/disk/by-id/ata-Hitachi_HUS724040ALE640_PK1331PAG80D8S:
 drive state is:  active/idle

/dev/disk/by-id/ata-HGST_HDS724040ALE640_PK2301PAHE4XXT:
 drive state is:  active/idle


Wat ik wel grappig vind om te zien is dat ZFS echt alleen een disk gebruikt waar wat opstaat van wat gevraagd wordt, in plaats van een hele array wakker te schudden. De lijst hierboven is in volgorde waarin ze in de pools zitten en zoals je ziet is disk 1, 2 en 5 in slaap gevallen. Maar ik zag ook in de counters van de onderste 5 dat willekeurig soms 1 of 2 disks resette in plaats van de hele array.

Ik ga de spindown denk ik op 7200 zetten, lijkt me een mooie. Gaat tie s'nachts of overdag als we niet thuis zijn lekker in slaap.

Acties:
  • 0 Henk 'm!

  • InflatableMouse
  • Registratie: December 2006
  • Laatst online: 09-08 07:45

InflatableMouse

Carina Nebula says hi!

Ik begrijp iets niet helemaal met betrekking tot snapshots. Ik heb denk ik gelezen wat ik kan hierover.

Mischien wat simplistisch maar bekijk dit
code:
1
2
3
 data  | snapshot 1 | snapshot 2 |
-------|------------|------------|
1234567|321.........|...543......|


Stel, ik maak een bestandje met "1234567" er in. Vervolgens maak ik een snapshot (snapshot 1) waarna ik "123" wijzig naar "321". Alleen die 3 bytes worden gewijzigd weggeschreven als onderdeel van snapshot 1. Vervolgens maak ik nog een snapshot (2), en ik wijzig "345" naar "543".

Oke, als ik nu zfs destroy snapshot 2 doe, wat gebeurd er dan precies?

Het effect is dat snap2 geconsolideerd wordt of iets dergelijks met "data" maar blijft die data staan waar het staat en worden de 3 bytes in data dan vrijgegeven als beschikbare ruimte of gaat tie snapshot 2 verplaatsen? Hoe werkt dit precies?

Ik vraag me ook af in hoeverre het maken en verwijderen van snaps bijvoorbeeld tot defragmentatie kan leiden. Moet ik op een of andere manier rekening houden als ik een script zou schrijven om snapshots te maken en verwijderen?

En laatste vraag: wat gebeurd er als een snapshot ergens in het midden wordt verwijderd (als dit mogelijk is, kon ik zo snel ook niet vinden)? Consolideert dat met de vorige snapshot of met de "originele" data?

Tx!

Acties:
  • 0 Henk 'm!

  • ikkeenjij36
  • Registratie: Juli 2012
  • Laatst online: 12:03
Hallo na de config aangepast te hebben bij mijn zfsguru en als ik minidlna dan handmatig start krijg ik deze errors:
-bash: root: command not found
[ssh@zfsguru ~]$ service minidlna onestart
install: chown 933:4294967295 /var/run/minidlna: Operation not permitted
install: chmod 755 /var/run/minidlna: Operation not permitted
install: chown 933:4294967295 /var/db/minidlna: Operation not permitted
install: chmod 755 /var/db/minidlna: Operation not permitted
Starting minidlna.
[2014/03/09 19:16:32] minidlna.c:696: fatal: Bad user '/var/run/minidlna/minidlna.pid'.
/usr/local/etc/rc.d/minidlna: WARNING: failed to start minidlna
Wat doe ik hier fout of wat gaat er fout?

Heel vreemd allemaal,ook sabnzbd wil ineens niet meer starten:
[ssh@zfsguru ~]$ service sabnzbd onestart
grep: /services/sabnzbdplus/data/sabnzbd/sabnzbd.ini: Permission denied
Starting sabnzbd.
dit zijn de errors in putty.
Ik zal ook de logs vd servers erbij zetten.
Hoe kan ik codes gebruiken zodat ik het topic niet teveel vervuil.

[ Voor 19% gewijzigd door ikkeenjij36 op 09-03-2014 19:24 ]


Acties:
  • 0 Henk 'm!

  • ikkeenjij36
  • Registratie: Juli 2012
  • Laatst online: 12:03
system log:
Mar 9 19:15:36 zfsguru root: /usr/local/etc/rc.d/minidlna: WARNING: failed to start minidlna
Mar 9 19:15:50 zfsguru root: /usr/local/etc/rc.d/minidlna: WARNING: failed to start minidlna
Mar 9 19:16:32 zfsguru ssh: /usr/local/etc/rc.d/minidlna: WARNING: failed to start minidlna
Mar 9 19:19:37 zfsguru su: BAD SU ssh to _sabnzbd on /dev/pts/0
Mar 9 19:19:37 zfsguru ssh: /usr/local/etc/rc.d/sabnzbd: WARNING: failed to start sabnzbd
Mar 9 19:19:48 zfsguru su: BAD SU ssh to _sabnzbd on /dev/pts/0
Mar 9 19:19:48 zfsguru ssh: /usr/local/etc/rc.d/sabnzbd: WARNING: failed to start sabnzbd

kernel log:
re0: watchdog timeout
re0: link state changed to DOWN
re0: link state changed to UP
pid 12333 (python2.7), uid 350: exited on signal 11
Limiting closed port RST response from 884 to 200 packets/sec


log na putty command voor openvpn:
[root@zfsguru /home/ssh]# service openvpn onestart
/usr/local/etc/rc.d/openvpn: WARNING: /usr/local/etc/openvpn/openvpn.conf is not readable.
/usr/local/etc/rc.d/openvpn: WARNING: failed precmd routine for openvpn

[ Voor 13% gewijzigd door ikkeenjij36 op 09-03-2014 19:26 ]


Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 23-09 09:25
Je probeert om de services te starten als gewone user, terwijl deze waarschijnlijk als root moeten draaien. Heeft ZFSGuru sudo? Zoja, dan kun je proberen om de commando's te prefixen met sudo, het word dan bijvoorbeeld sudo service openvpn onestart.

Acties:
  • 0 Henk 'm!

  • ikkeenjij36
  • Registratie: Juli 2012
  • Laatst online: 12:03
Xudonax schreef op zondag 09 maart 2014 @ 19:32:
Je probeert om de services te starten als gewone user, terwijl deze waarschijnlijk als root moeten draaien. Heeft ZFSGuru sudo? Zoja, dan kun je proberen om de commando's te prefixen met sudo, het word dan bijvoorbeeld sudo service openvpn onestart.
Ja idd het spijt me voir deze beginners fout
Maar de vraag blijft nog staan hoe mijn logs in code te plaatsen voor dit topic

[ Voor 8% gewijzigd door ikkeenjij36 op 09-03-2014 20:02 ]


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

is everything cool?


Acties:
  • 0 Henk 'm!

  • FREAKJAM
  • Registratie: Mei 2007
  • Laatst online: 03-10 16:18

FREAKJAM

"MAXIMUM"

ikkeenjij36 schreef op zondag 09 maart 2014 @ 20:01:
[...]

Ja idd het spijt me voir deze beginners fout
Maar de vraag blijft nog staan hoe mijn logs in code te plaatsen voor dit topic
Is het wel verstandig dan om als beginner zijnde te gaan voor ZFS(Guru)? Is OpenMediavault wellicht geen idee? Gewoon alles lekker in de GUI? (In ieder geval minder gedoe in command shell). Ik heb het idee dat je graag/teveel experimenteert wat natuurlijk leuk is, maar de kans dat alles stuk gaat is dan natuurlijk groot :)

[ Voor 18% gewijzigd door FREAKJAM op 09-03-2014 20:21 ]

is everything cool?


Acties:
  • 0 Henk 'm!

  • ikkeenjij36
  • Registratie: Juli 2012
  • Laatst online: 12:03
FREAKJAM schreef op zondag 09 maart 2014 @ 20:19:
[...]


Is het wel verstandig dan om als beginner zijnde te gaan voor ZFS(Guru)? Is OpenMediavault wellicht geen idee? Gewoon alles lekker in de GUI? (In ieder geval minder gedoe in command shell). Ik heb het idee dat je graag/teveel experimenteert wat natuurlijk leuk is, maar de kans dat alles stuk gaat is dan natuurlijk groot :)
Ik heb alles uitgeprobeerd maar zfsguru was echt het beste voor mij.
Gelukkig met de hulp van cipher hier en via dm komt het meestal wel in orde.
Enige wat nu nog niet wilt is rsync/minidlna/openvpn.
Alles is geinstaleerd vanuit de gui maar draaien wil het niet,minidlna heb ik de config van aangepast maar helaas.
Die ander 2 services laat ik voor nu nog even zoals het is en wacht tot zfsguru zich verder ontwikkeld en als het goed is komt eind deze maand het nieuwe forum online en kan er meer/beter makkelijker geholpen worden.
Tot nu toe wel errug tevreden over zfsguru maar het is mij een raadsel waarom sabnzbd soms spontaan uitvalt op de server.

Acties:
  • 0 Henk 'm!

  • Paul C
  • Registratie: Juni 2002
  • Nu online
Oké ik ben overtuigd van de voordelen van ZFS, maar voordat ik naar de winkel ren en een NAS in elkaar ga klussen wil ik graag een beetje oefenen met een virtual machine. Mijn kennis van alles behalve Windows is vrij beperkt (ik SSH soms naar mijn hosting machine om cron-tabs te beheren, maar dat is het wel zo'n beetje).

Ik denk dat ik het liefste op basis van Linux wil draaien, want dan kan ik ook eenvoudig andere tools installeren (MailPile lijkt me gaaf, VPN server, een dropbox alternatief en wat ik verder nog verzin). Welk OS/distro/software raden jullie aan om mee te gaan spelen?

Acties:
  • 0 Henk 'm!

  • krijn1985
  • Registratie: Januari 2006
  • Laatst online: 13:32
Paul C schreef op woensdag 12 maart 2014 @ 22:40:
Oké ik ben overtuigd van de voordelen van ZFS, maar voordat ik naar de winkel ren en een NAS in elkaar ga klussen wil ik graag een beetje oefenen met een virtual machine. Mijn kennis van alles behalve Windows is vrij beperkt (ik SSH soms naar mijn hosting machine om cron-tabs te beheren, maar dat is het wel zo'n beetje).

Ik denk dat ik het liefste op basis van Linux wil draaien, want dan kan ik ook eenvoudig andere tools installeren (MailPile lijkt me gaaf, VPN server, een dropbox alternatief en wat ik verder nog verzin). Welk OS/distro/software raden jullie aan om mee te gaan spelen?
Persoonlijk zou ik dan voor debian of ubuntu kiezen. Voor mijn gevoel een vrij grote userbase (al is dat natuurlijk wat ik persoonlijk meemaak in mijn zoektochten) en veel informatie beschikbaar.

Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 23-09 09:25
Hoewel ik een grote fan ben van Fedora, werken de regelmatige kernel updates hier heel erg in het nadeel van de stabiliteit. Debian/Ubuntu lijkt mij ook de beste keuze aangezien dit gewoon een fatsoenlijk en stabiel systeem is. Wel zou ik kijken voor een Ubuntu LTS als je voor Ubuntu gaat, maar de laatste LTS is alweer bijna 2 jaar oud meen ik...

Blijft als advies Debian over in mijn ogen :)

Of je moet heel erg fancy willen doen en voor Debian/kFreeBSD willen gaan, maar als je weinig kennis/ervaring van/met Linux hebt kan ik dat niet fatsoenlijk aanraden. Dit is namelijk een hybride van de FreeBSD kernel met Linux software pakketten erbovenop. Leuk speelgoed, maar niet handig om mee te beginnen.

Acties:
  • 0 Henk 'm!

  • krijn1985
  • Registratie: Januari 2006
  • Laatst online: 13:32
Xudonax schreef op woensdag 12 maart 2014 @ 22:56:
Hoewel ik een grote fan ben van Fedora, werken de regelmatige kernel updates hier heel erg in het nadeel van de stabiliteit. Debian/Ubuntu lijkt mij ook de beste keuze aangezien dit gewoon een fatsoenlijk en stabiel systeem is. Wel zou ik kijken voor een Ubuntu LTS als je voor Ubuntu gaat, maar de laatste LTS is alweer bijna 2 jaar oud meen ik...

Blijft als advies Debian over in mijn ogen :)

Of je moet heel erg fancy willen doen en voor Debian/kFreeBSD willen gaan, maar als je weinig kennis/ervaring van/met Linux hebt kan ik dat niet fatsoenlijk aanraden. Dit is namelijk een hybride van de FreeBSD kernel met Linux software pakketten erbovenop. Leuk speelgoed, maar niet handig om mee te beginnen.
Volgens mij is 14.04 (welke als het goed is deze april dus uitkomt) weer LTS.
Pagina: 1 ... 114 ... 214 Laatste

Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.