Denk dat je met zdb in de weer moet als je het wilt proberen, hoeveel tijd wil je er nog aan besteden om te kijken of je je pool kan terugvinden?Compizfox schreef op zondag 15 september 2013 @ 17:08:
[...]
EDIT: No joy. Ben bang dat ik m'n pool gewoon kwijt ben. Of is er nog een mogelijkheid? Valt me eigenlijk wel een klein beetje van ZFS tegen dat dit niet te recoveren is, wetende dat alle data gewoon nog aanwezig is.
Ik stel het op prijs als iemand kan bevestigen dat mijn pool écht onherstelbaar weg is, dan kan ik namelijk zonder te twijfelen verder en maak ik nieuwe pools aan.
Ik heb ondertussen mijn verlies al genomen en nieuwe pools aangemaakt. De boel is dus nu overschreven.
Gewoon een heel grote verzameling snoertjes
Tja, de gebruiker is voor een systeem vaak het grootste risiko.Compizfox schreef op zondag 15 september 2013 @ 17:08:Valt me eigenlijk wel een klein beetje van ZFS tegen dat dit niet te recoveren is, wetende dat alle data gewoon nog aanwezig is.
Volgende keer wat meer tijd nemen
Ik weet niet of je ze hebt, maar wellicht kan je wat snapshots opruimen.coredalae schreef op zondag 15 september 2013 @ 18:51:
Sinds kort begint mijn zpool trager te worden, nu denk ik dat het komt omdat hij redelijk vol begint te raken (>90%)
wat is het pad van je share?Geckx schreef op zondag 15 september 2013 @ 20:45:
Ik merkte onlangs het volgende op in windows 7. Als ik mijn zfsguru share toevoeg als netwerkschijf staat er (net zoals bij lokale schijven) hoeveel opslag er nog beschikbaar is met het welbekende blauwe/rode balkje erbij.
Nu is dit bij mijn zfsguru share alsof er niets opstaat. Er staat dus 8,22 TB van 8,22TB vrij. Terwijl dit duidelijk niet het geval is.
Weet iemand of dit kan verholpen worden en hoe? (instelling in windows of in zfsguru?)
doe eens een 'zfs list' en 'df -h'
@Durandal
Pad is \\zfsguru\datastorage
omdat "datastorage" de sharenaam is van /storage onder smb.
Pad is \\zfsguru\datastorage
omdat "datastorage" de sharenaam is van /storage onder smb.
zfsguru.bsd$ zfs list
NAME USED AVAIL REFER MOUNTPOINT
storage 2.43T 8.23T 416K /storage
storage/Audio 113G 8.23T 304K /storage/Audio
storage/Audio/xxx 113G 8.23T 113G /storage/Audio/xxxx
storage/Documents 7.90G 8.23T 336K /storage/Documents
storage/Documents/xxxx 5.32G 8.23T 5.32G /storage/Documents/xxxx
storage/Documents/xxxx 19.9M 8.23T 19.9M /storage/Documents/xxxx
storage/Documents/xxxx 2.55G 8.23T 2.55G /storage/Documents/xxxx
storage/Fotos 20.4G 8.23T 20.4G /storage/Fotos
storage/Games 126G 8.23T 126G /storage/Games
storage/Movies 1.22T 8.23T 1.22T /storage/Movies
storage/Series 922G 8.23T 922G /storage/Series
storage/Software 42.2G 8.23T 42.2G /storage/Software
zfsguru 5.02G 4.77G 152K /zfsguru
zfsguru/zfsguru 5.01G 4.77G 160K /zfsguru/zfsguru
zfsguru/zfsguru/9.1-004 2.88G 4.77G 90.8M legacy
zfsguru/zfsguru/9.1-004/usr 2.74G 4.77G 2.74G legacy
zfsguru/zfsguru/9.1-004/var 53.3M 4.77G 48.2M legacy
zfsguru/zfsguru/9.1-004/var/log 5.13M 123M 5.13M legacy
zfsguru/zfsguru/9.1-005 968M 4.77G 95.1M legacy
zfsguru/zfsguru/9.1-005/usr 826M 4.77G 826M legacy
zfsguru/zfsguru/9.1-005/var 46.8M 4.77G 39.7M legacy
zfsguru/zfsguru/9.1-005/var/log 7.14M 121M 7.14M legacy
zfsguru/zfsguru/SWAP 72K 4.77G 72K -
zfsguru/zfsguru/download 1.15G 4.77G 1.15G /zfsguru/zfsguru/download
zfsguru/zfsguru/services 45.4M 4.77G 160K /zfsguru/zfsguru/services
zfsguru/zfsguru/services/9.1-004 6.98M 4.77G 6.98M /zfsguru/zfsguru/services/9.1-004
zfsguru/zfsguru/services/9.1-005 38.3M 4.77G 38.3M /zfsguru/zfsguru/services/9.1-005
zfsguru.bsd$ df -h
Filesystem Size Used Avail Capacity Mounted on
zfsguru/zfsguru/9.1-005 4.9G 95M 4.8G 2% /
devfs 1.0k 1.0k 0B 100% /dev
zfsguru/zfsguru/9.1-005/usr 5.6G 825M 4.8G 14% /usr
zfsguru/zfsguru/9.1-005/var 4.8G 39M 4.8G 1% /var
zfsguru/zfsguru/9.1-005/var/log 128M 7.1M 120M 6% /var/log
storage 8.2T 415k 8.2T 0% /storage
storage/Audio 8.2T 303k 8.2T 0% /storage/Audio
storage/Audio/xxxx 8.3T 113G 8.2T 1% /storage/Audio/xxxx
storage/Documents 8.2T 335k 8.2T 0% /storage/Documents
storage/Documents/xxxx 8.2T 5.3G 8.2T 0% /storage/Documents/xxxx
storage/Documents/xxxx 8.2T 20M 8.2T 0% /storage/Documents/xxxx
storage/Documents/xxxx 8.2T 2.6G 8.2T 0% /storage/Documents/xxxx
storage/Fotos 8.3T 20G 8.2T 0% /storage/Fotos
storage/Games 8.4T 125G 8.2T 1% /storage/Games
storage/Movies 9.5T 1.2T 8.2T 13% /storage/Movies
storage/Series 9.1T 922G 8.2T 10% /storage/Series
storage/Software 8.3T 42G 8.2T 0% /storage/Software
zfsguru 4.8G 152k 4.8G 0% /zfsguru
zfsguru/zfsguru 4.8G 160k 4.8G 0% /zfsguru/zfsguru
zfsguru/zfsguru/download 5.9G 1.2G 4.8G 19% /zfsguru/zfsguru/download
zfsguru/zfsguru/services 4.8G 160k 4.8G 0% /zfsguru/zfsguru/services
zfsguru/zfsguru/services/9.1-004 4.8G 7M 4.8G 0% /zfsguru/zfsguru/services/9.1-004
zfsguru/zfsguru/services/9.1-005 4.8G 38M 4.8G 1% /zfsguru/zfsguru/services/9.1-005
Iemand nog tips om de Samba-performance te verbeteren?
Als ik lees vanaf de share krijg ik eigenlijk altijd een stabiele 40 MB/s. Als ik schrijf naar de share begint ie op 240 MB/s (wut?), blijft dan een aantal seconden op 115 MB/s hangen (close enough), maar blijft na een tijdje altijd op zo'n 60-70 MB/s steken.
Dat moet beter kunnen, toch? M'n pool zou het makkelijk aan moeten kunnen (heb 283 MB/s read, 220 MB/s write volgens ZFSGuru benchmark) en met iperf haal ik de volle 1 Gb/s (==125 MB/s).
Hoe kom ik erachter waar de bottleneck zit?
Als ik lees vanaf de share gebruikte smbd gemiddeld zo'n 10% CPU en zit ie de hele tijd op de state select. Tijdens het schrijven naar de share verbruikt smbd iets meer (~20% CPU) en wisselt hij voornamelijk tussen de states RUN en sbwait. Mocht dat nuttige info zijn
Qua performance tweaks heb ik dit in m'n smb.conf staan:
Als ik lees vanaf de share krijg ik eigenlijk altijd een stabiele 40 MB/s. Als ik schrijf naar de share begint ie op 240 MB/s (wut?), blijft dan een aantal seconden op 115 MB/s hangen (close enough), maar blijft na een tijdje altijd op zo'n 60-70 MB/s steken.
Dat moet beter kunnen, toch? M'n pool zou het makkelijk aan moeten kunnen (heb 283 MB/s read, 220 MB/s write volgens ZFSGuru benchmark) en met iperf haal ik de volle 1 Gb/s (==125 MB/s).
Hoe kom ik erachter waar de bottleneck zit?
Als ik lees vanaf de share gebruikte smbd gemiddeld zo'n 10% CPU en zit ie de hele tijd op de state select. Tijdens het schrijven naar de share verbruikt smbd iets meer (~20% CPU) en wisselt hij voornamelijk tussen de states RUN en sbwait. Mocht dat nuttige info zijn
Qua performance tweaks heb ik dit in m'n smb.conf staan:
code:
1
2
3
4
5
6
7
8
9
10
11
12
| # Performance tweaks read raw = yes write raw = yes use sendfile = yes max log size = 50 log level = 1 socket options = IPTOS_LOWDELAY TCP_NODELAY SO_KEEPALIVE # asynchronous I/O (improves performance on multiqueue I/O) aio read size = 1 aio write size = 1 aio write behind = true |
Gewoon een heel grote verzameling snoertjes
Je kunt het max protocol ook nog op SMB2 zetten (Windows 7 SMB en hoger), dit lijkt bij mij iets vlotter.
Hier stond een dode link.
Ik geloof dat ZFS on Linux samen met een SSD cache goede resultaten begint te leveren
Het zat naar alle waarschijnlijkheid niet meer in RAM, aangezien mijn ARC op slechts 2GB staat ingesteld (standaard setting met ZoL). Wel is de meetmethode lekker nutteloos, dit is namelijk een Windows Vista VM waarbij alle IO via VirtIO gebeurd. Ik moet wel zeggen dat de VM een héél stuk soepeler aanvoelt na de switch van IDE naar VirtIO voor de schijven 

Pool status:
Ik moet alleen wél bekennen dat ik compressie aan heb staan, en dat dit waarschijnlijk een heel stuk helpt met het behalen van snelheden die boven de limieten van SATA3 en mijn schijven liggen

Pool status:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
| # zpool status tank pool: tank state: ONLINE scan: scrub canceled on Tue Sep 17 18:50:16 2013 config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 ata-HGST_HTS541010A9E680_JB100013J2RP1A ONLINE 0 0 0 ata-HGST_HTS541010A9E680_JB100013J3ST5B ONLINE 0 0 0 ata-HGST_HTS541010A9E680_JB100013J3TXGB ONLINE 0 0 0 ata-HGST_HTS541010A9E680_JB40001MGG3MJC ONLINE 0 0 0 ata-HGST_HTS541010A9E680_JB100013J4HGNB ONLINE 0 0 0 ata-HGST_HTS541010A9E680_JB100013J4J15B ONLINE 0 0 0 logs ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part1 ONLINE 0 0 0 cache ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part2 ONLINE 0 0 0 errors: No known data errors |
Ik moet alleen wél bekennen dat ik compressie aan heb staan, en dat dit waarschijnlijk een heel stuk helpt met het behalen van snelheden die boven de limieten van SATA3 en mijn schijven liggen
code:
1
2
3
4
| # zfs get compression,compressratio tank/vm_images NAME PROPERTY VALUE SOURCE tank/vm_images compression lzjb local tank/vm_images compressratio 1.50x - |
[ Voor 11% gewijzigd door Xudonax op 17-09-2013 22:20 ]
Thx, dit heeft al iets geholpen, ik kan nu lezen met een redelijk stabiele 66 MB/s. Maar vind nog steeds dat het hoger moet kunnenstrandbal schreef op dinsdag 17 september 2013 @ 08:04:
Je kunt het max protocol ook nog op SMB2 zetten (Windows 7 SMB en hoger), dit lijkt bij mij iets vlotter.
Zijn er überhaupt mensen hier die beter presterende Samba-setups hebben? Zo ja, hoe hoog en met welke tweaks?
[ Voor 18% gewijzigd door Compizfox op 17-09-2013 23:06 ]
Gewoon een heel grote verzameling snoertjes
Ik haal met een 1.05GB file (volgens windows) gemiddeld
65MB/s Server (ZFS) --> Win7
82MB/s Server (ZFS) <-- Win7
Gebruik ik de /tmp folder (boot partitie in adadm Mirror van 2 oudere HDD's) op de server ipv de 10 disk RaidZ2 pool dan kom ik ongeveer 20% hoger uit qua snelheid.
Wellicht wordt hij door de CPU beperkt, als zie ik hem nooit veel cycles verbruiken bij file transfer. Met 16GB Ram kan dat het ook niet echt zijn.
65MB/s Server (ZFS) --> Win7
82MB/s Server (ZFS) <-- Win7
Gebruik ik de /tmp folder (boot partitie in adadm Mirror van 2 oudere HDD's) op de server ipv de 10 disk RaidZ2 pool dan kom ik ongeveer 20% hoger uit qua snelheid.
Wellicht wordt hij door de CPU beperkt, als zie ik hem nooit veel cycles verbruiken bij file transfer. Met 16GB Ram kan dat het ook niet echt zijn.
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!
En wat vindt CiPHER daarvan?
CiPHER: schrijf even een mooi verhaal op nieuws: Nieuwe organisatie wil ontwikkeling zfs-bestandssysteem sturen waarom mensen ZFS moeten nemen
RaspberryPi, OMFG, dat gaat nooit performenOp de projectenpagina van OpenZFS wordt overigens gemeld dat de aangesloten developers, naar schatting iets meer dan honderd, werken aan een Raspberry Pi-versie van het filesystem en dat zfs beter moet gaan functioneren in combinatie met virtual machines.
Even niets...
Ik vond het ook wel een dappere zet. Misschien een gedistribueerde ZFS cluster over een stap RaspberryPi's met automatische failover en nog meer fancy shitFireDrunk schreef op woensdag 18 september 2013 @ 13:28:
[...]
RaspberryPi, OMFG, dat gaat nooit performen
Alle ZFS ontwikkelaars van de verschillende open systemen hadden elkaar natuurlijk allang gevonden (zie ZFS feature flags), maar het is mooi dat ze nu officieel samenwerken. Dit is zeer gunstig voor de toekomst van open source ZFS. Het zou nog mooier zijn als Oracle uiteindelijk samen ging werken met OpenZFS, maar dat zie ik niet gebeuren
Ik weet niet of dit interessant voor je is, maar ik gebruik gewoon samba (niet de in ZFS ingebouwde samba) en die werkt zeer vlot. Grote bestanden (50GB) leest hij aan 81MB/s, met pieken tot 86MB/s, schrijven doet hij aan 110MB/s, zowat de volledige ethernet snelheid hier. Deze samba config heeft niets van tuning of dergelijke, dus je kan dit ook even snel proberen om te zien wat dat geeftThx, dit heeft al iets geholpen, ik kan nu lezen met een redelijk stabiele 66 MB/s. Maar vind nog steeds dat het hoger moet kunnen
Zijn er überhaupt mensen hier die beter presterende Samba-setups hebben? Zo ja, hoe hoog en met welke tweaks?
Heeft ZFS ingebouwde Samba dan? Op welk OS? Ik gebruik FreeBSD.
Gewoon een heel grote verzameling snoertjes
Nee, dat heeft ZFS nooit. Het heeft alleen de mogelijkheid om SMB shares aan te maken op sommige platformen door middel van:
zfs set sharesmb=on
Dat werkt niet onder BSD (voor zover ik weet).
zfs set sharesmb=on
Dat werkt niet onder BSD (voor zover ik weet).
Even niets...
KloptFireDrunk schreef op woensdag 18 september 2013 @ 16:13:
Nee, dat heeft ZFS nooit. Het heeft alleen de mogelijkheid om SMB shares aan te maken op sommige platformen door middel van:
zfs set sharesmb=on
Dat werkt niet onder BSD (voor zover ik weet).
sharesmb=on | off | opts
The sharesmb property has currently no effect o FreeBSD.
"Religion is an insult to human dignity. With or without it you would have good people doing good things and evil people doing evil things. But for good people to do evil things, that takes religion." - Steven Weinberg
Mijn excuses daarvoor, zal me ergens slecht ingelezen hebben dan
maar de gevraagde resultaten heb je
Beste mensen,
Ik wil graag mijn server/NAS vervangen en wil deze keer ZFS gebruiken omdat mijn huidige server soms last heeft van bitrot
Daarom wil ik graag een systeem dat ECC geheugen ondersteunt (Intel Celeron G1610, Intel Server Board S1200KPR of Asus P8B-X en Kingston unbuffered ECC RAM 2x8GB).
Nu heb ik een systeem met 3x1TB in RAID5 waar Ubuntu server 11.04 op draait. Dit wil ik vervangen door 3x3TB (Seagate Barracuda ST3000DM001) in RAIDZ en dan een 4TB schijf (offsite) als backup.
Ik heb gelezen dat ZFS on Linux stabiel is, dus als ik weer linux op mijn server wil draaien dan is dat mogelijk, maar is dat wel verstandig? Ik wil een goed, stabiel systeem waar ik op kan vertrouwen en als dat betekent dat ik het beste FreeBSD/NAS/whatever kan draaien dan wil ik dat serieus overwegen, ook al heb ik er geen ervaring mee.
Ik wil graag mijn server/NAS vervangen en wil deze keer ZFS gebruiken omdat mijn huidige server soms last heeft van bitrot

Nu heb ik een systeem met 3x1TB in RAID5 waar Ubuntu server 11.04 op draait. Dit wil ik vervangen door 3x3TB (Seagate Barracuda ST3000DM001) in RAIDZ en dan een 4TB schijf (offsite) als backup.
Ik heb gelezen dat ZFS on Linux stabiel is, dus als ik weer linux op mijn server wil draaien dan is dat mogelijk, maar is dat wel verstandig? Ik wil een goed, stabiel systeem waar ik op kan vertrouwen en als dat betekent dat ik het beste FreeBSD/NAS/whatever kan draaien dan wil ik dat serieus overwegen, ook al heb ik er geen ervaring mee.
ZFS-on-Linux is stabiel. Als je dat wil draaien dan gaat dat prima. Ik zou wel een LTS versie van Ubuntu overwegen (heeft overigens niets met ZFS te maken).
Als je je server enkel als NAS gebruikt dan kan je aan iets als ZFS Guru denken, dan heb je nog minder werk en een web interface.
Heb je meer plannen en ben je thuis in linux dan zou ik daar voor gaan.
Hoe ga je die 4TB offsite backuppen? Lange kabel?
Als je je server enkel als NAS gebruikt dan kan je aan iets als ZFS Guru denken, dan heb je nog minder werk en een web interface.
Heb je meer plannen en ben je thuis in linux dan zou ik daar voor gaan.
Hoe ga je die 4TB offsite backuppen? Lange kabel?
[ Voor 7% gewijzigd door Durandal op 19-09-2013 23:34 ]
ZFS on Linux is wel stabiel (van horen zeggen, geen first-hand ervaring mee), maar als je bereid bent je wat te verdiepen in FreeBSD kan ik je dat zeker aanraden.Oguz286 schreef op donderdag 19 september 2013 @ 21:45:
Ik heb gelezen dat ZFS on Linux stabiel is, dus als ik weer linux op mijn server wil draaien dan is dat mogelijk, maar is dat wel verstandig? Ik wil een goed, stabiel systeem waar ik op kan vertrouwen en als dat betekent dat ik het beste FreeBSD/NAS/whatever kan draaien dan wil ik dat serieus overwegen, ook al heb ik er geen ervaring mee.
De ZFS-implementatie in FreeBSD is wat volwassener dan in Linux en je hebt als voordeel dat er distro's als ZFSGuru bestaan (met een fijne webinterface voor ZFS).
Ik zie verder ook geen nadeel als je de server niet hoeft te gebruiken voor dingen die niet of moeilijk op FreeBSD draaien. FreeBSD als OS wordt over het algemeen ook als stabieler beschouwd dan Linux
Gewoon een heel grote verzameling snoertjes
Dat kan je niet zondermeer zeggen. Buiten dat ze dezelfde solaris codebase hebben worden solaris en BSD ZFS patches snel in ZFS-on-Linix geimplementeerd en andersom ZoL patches ook naar BSD.De ZFS-implementatie in FreeBSD is wat volwassener dan in Linux
Hoe meet je dat? Ik heb in geloof ik 6 jaar linux nooit een crash gehad.FreeBSD als OS wordt over het algemeen ook als stabieler beschouwd dan Linux
[ Voor 23% gewijzigd door Durandal op 19-09-2013 23:41 ]
Dat weet ik, en dat ontken ik ook niet. Het enige wat ik zeg is dat ZFS al gewoon langer in FreeBSD zit en dat het daarom 'volwassener' is. Ik heb nooit beweerd dat ZFS on Linux niet stabiel is of zo.
Voorbeeldje: FreeBSD is één van de weinige OS'sen die ZFS-support in de bootloader heeft zitten. Je kunt dus booten vanaf een RAIDZ-pool. Probeer dat maar eens onder Linux
Voorbeeldje: FreeBSD is één van de weinige OS'sen die ZFS-support in de bootloader heeft zitten. Je kunt dus booten vanaf een RAIDZ-pool. Probeer dat maar eens onder Linux
Gewoon een heel grote verzameling snoertjes
Verwijderd
Hallo, ik heb net zfsguru geinstalleerd en hierin 2 pools aangemaakt:
ZFS: i/o error - all block copies unavailable
FreeBSD/x86 boot
Default: tank:/boot/kernel/kernel
boot: _
dus achter boot kan ik iets ingeven, maar weet niet goed wat ik hier moet ingeven. Heb al verschillende dingen geprobeerd waaronder, mijn os partitie verhuist zodat die deels op mijn ada0 schijf staat maar dit heeft niet veel geholpen. Verder heb ik ook nog een aantal keer zpool set bootfs=... met verschillende variaties geprobeerd, maar het heeft ook niet geholpen. Enig idee hoe ik kan booten van mijn juiste pool?
mvg,
Daan
- os - voor het OS zelf
- tank - voor men data op te plaatsen
ZFS: i/o error - all block copies unavailable
FreeBSD/x86 boot
Default: tank:/boot/kernel/kernel
boot: _
dus achter boot kan ik iets ingeven, maar weet niet goed wat ik hier moet ingeven. Heb al verschillende dingen geprobeerd waaronder, mijn os partitie verhuist zodat die deels op mijn ada0 schijf staat maar dit heeft niet veel geholpen. Verder heb ik ook nog een aantal keer zpool set bootfs=... met verschillende variaties geprobeerd, maar het heeft ook niet geholpen. Enig idee hoe ik kan booten van mijn juiste pool?
mvg,
Daan
Offsite backup is gewoon een 4TB schijf in een andere server. Via het internet en rsync oid worden backups gemaakt.
Mijn server fungeert verder als git repository, torrent bak, NAS en een simpele webserver. Omdat ik meer bedreven ben onder linux was dat mijn eerste overweging. Is er onder linux geen webinterface voor het beheren van ZFS-gerelateerde zaken zoals in FreeNAS? Ik heb FreeNAS 9.1 gedraaid in een VM maar ik vond het eerlijk gezegd niet heel lekker draaien (RAIDZ met drie schijven die effectief de helft van de totale capaciteit had ipv 2/3, niet updatende webinterface, etc.).
Ik neem aan dat het met de hardware i.i.g. wel goed zit. ECC ondersteuning en een sloot RAM.
Mijn voornaamste doel is om de server te laten fungeren als een synchronisatiepunt voor al mijn machines (Linux workstation, Windows laptop, iMac) zodat alle data altijd beschikbaar is op elk systeem. Dit moet uiteraard betrouwbaar zijn (RAIDZ + backup). De betrouwbaarheid vertrouw ik to aan ZFS en de rest kan met open source software wel gefixt worden.
Mijn server fungeert verder als git repository, torrent bak, NAS en een simpele webserver. Omdat ik meer bedreven ben onder linux was dat mijn eerste overweging. Is er onder linux geen webinterface voor het beheren van ZFS-gerelateerde zaken zoals in FreeNAS? Ik heb FreeNAS 9.1 gedraaid in een VM maar ik vond het eerlijk gezegd niet heel lekker draaien (RAIDZ met drie schijven die effectief de helft van de totale capaciteit had ipv 2/3, niet updatende webinterface, etc.).
Ik neem aan dat het met de hardware i.i.g. wel goed zit. ECC ondersteuning en een sloot RAM.
Mijn voornaamste doel is om de server te laten fungeren als een synchronisatiepunt voor al mijn machines (Linux workstation, Windows laptop, iMac) zodat alle data altijd beschikbaar is op elk systeem. Dit moet uiteraard betrouwbaar zijn (RAIDZ + backup). De betrouwbaarheid vertrouw ik to aan ZFS en de rest kan met open source software wel gefixt worden.
[ Voor 20% gewijzigd door Oguz286 op 20-09-2013 00:25 ]
U vraagt, wij draaien:Compizfox schreef op donderdag 19 september 2013 @ 23:41:
Voorbeeldje: FreeBSD is één van de weinige OS'sen die ZFS-support in de bootloader heeft zitten. Je kunt dus booten vanaf een RAIDZ-pool. Probeer dat maar eens onder Linux
https://github.com/zfsonl...ative-ZFS-Root-Filesystem
Het is misschien niet zo bekend, maar dat bestaat al geruime tijd.
Nee geen web interface voor ZFS onder linux, maar ik draai het nu een jaar en je hebt het echt niet nodig. Er is zo goed als geen onderhoud (net zo weinig als mdadm) en wat er is is een commandootje intikken als het zover komt.Oguz286 schreef op vrijdag 20 september 2013 @ 00:16:
Mijn server fungeert verder als git repository, torrent bak, NAS en een simpele webserver. Omdat ik meer bedreven ben onder linux was dat mijn eerste overweging. Is er onder linux geen webinterface voor het beheren van ZFS-gerelateerde zaken zoals in FreeNAS? Ik heb FreeNAS 9.1 gedraaid in een VM maar ik vond het eerlijk gezegd niet heel lekker draaien (RAIDZ met drie schijven die effectief de helft van de totale capaciteit had ipv 2/3, niet updatende webinterface, etc.).
De documentatie is heel behoorlijk maar niet te groot.
Ik heb zo ongeveer hetzelfde aan software draaien + TVHeadend + wat monitoring tools + ftp. Wel op Ubuntu 12.04LTS
Zover ik weet gaat dat over een enkele ZFS-partitie en niet over RAID-Z. Of mis ik iets?Durandal schreef op vrijdag 20 september 2013 @ 00:39:
[...]
U vraagt, wij draaien:
https://github.com/zfsonl...ative-ZFS-Root-Filesystem
Het is misschien niet zo bekend, maar dat bestaat al geruime tijd.
[ Voor 64% gewijzigd door Compizfox op 20-09-2013 00:48 ]
Gewoon een heel grote verzameling snoertjes
Maakt het uit?Compizfox schreef op vrijdag 20 september 2013 @ 00:47:
[...]
Zover ik weet gaat dat over een enkele ZFS-partitie en niet over RAID-Z. Of mis ik iets?
Hints:
# ls -la /dev/disk/by-id will list the aliases.
The root pool can be a mirror. For example, zpool create -o ashift=9 rpool mirror /dev/disk/by-id/scsi-SATA_disk1-part2 /dev/disk/by-id/scsi-SATA_disk2-part2
...
Ja.
Dat zijn zaken die zonder problemen onder FreeBSD kunnen.Oguz286 schreef op vrijdag 20 september 2013 @ 00:16:
Mijn server fungeert verder als git repository, torrent bak, NAS en een simpele webserver. Omdat ik meer bedreven ben onder linux was dat mijn eerste overweging.
Verder verschilt FreeBSD niet zo enorm veel van Linux. Zeker als je Linux al goed kent is de overstap niet erg groot omdat veel van de userland-software hetzelfde is.
Nope.Is er onder linux geen webinterface voor het beheren van ZFS-gerelateerde zaken zoals in FreeNAS?
Gewoon een heel grote verzameling snoertjes
Wat je ziet is boot2: http://www.freebsd.org/do...handbook/boot-blocks.htmlVerwijderd schreef op donderdag 19 september 2013 @ 23:54:
Hallo, ik heb net zfsguru geinstalleerd en hierin 2 pools aangemaakt:Nu krijg ik hem alleen niet geboot ... telkens bij het booten zit ik vast bij de bootloader (denk ik) van freeBSD. Hier staat dan het volgende:
- os - voor het OS zelf
- tank - voor men data op te plaatsen
ZFS: i/o error - all block copies unavailable
FreeBSD/x86 boot
Default: tank:/boot/kernel/kernel
boot: _
http://www.freebsd.org/do...-handbook/boot-boot2.html
Is 'tank' nog leeg? Zo niet: eventjes de schijven met die pool loskoppelen zodat je niks kwijtraakt.dus achter boot kan ik iets ingeven, maar weet niet goed wat ik hier moet ingeven. Heb al verschillende dingen geprobeerd waaronder, mijn os partitie verhuist zodat die deels op mijn ada0 schijf staat maar dit heeft niet veel geholpen. Verder heb ik ook nog een aantal keer zpool set bootfs=... met verschillende variaties geprobeerd, maar het heeft ook niet geholpen. Enig idee hoe ik kan booten van mijn juiste pool?
mvg,
Daan
Zoals je installatie verlopen is (of verlopen lijkt te zijn) wil zfsguru in plaats van 'os' van 'tank' opstarten: /boot/kernel/kernel wordt verwacht op tank aanwezig te zijn.
Heeft zfsguru wel bootcode naar de juiste plek geschreven? Hint: 'gpart bootcode ...'
man gpart: http://www.freebsd.org/cgi/man.cgi?gpart
[ Voor 5% gewijzigd door 0xDEADBEEF op 20-09-2013 04:15 ]
"Religion is an insult to human dignity. With or without it you would have good people doing good things and evil people doing evil things. But for good people to do evil things, that takes religion." - Steven Weinberg
Verwijderd
Mercie voor je reactie, zal deze avond eens kijken of ik het met die 'gpart bootcode' gefixed krijg.
Verder nog wat meer informatie over hoe ik het geïnstalleerd heb. Misschien dat ik het dan in de verkeerde volgorde gedaan heb waardoor die bootcode verkeerd staat. Ik heb dus ZFSGuru gebruikt en heb eerst op 2 van mijn schijven mijn tank partitie gemaakt met een reserve van +-1% ... van die 1% reserve heb ik daarna 2 os partities gemaakt en dus ook samen genomen om er een os pool van te maken (mirrored). Daarna heb ik het os hierop geïnstalleerd en daarna heb ik pas de tank pool gecreëerd op basis van die 2 partities naast de os partities en nog een aantal partities op andere schijven.
Doordat ik eerst die 2 tank partities gemaakt, staat deze op mijn schijven voor de os partities. Zou het daarmee kunnen dat hij van die tank probeert te booten ipv de os pool?
Verder nog wat meer informatie over hoe ik het geïnstalleerd heb. Misschien dat ik het dan in de verkeerde volgorde gedaan heb waardoor die bootcode verkeerd staat. Ik heb dus ZFSGuru gebruikt en heb eerst op 2 van mijn schijven mijn tank partitie gemaakt met een reserve van +-1% ... van die 1% reserve heb ik daarna 2 os partities gemaakt en dus ook samen genomen om er een os pool van te maken (mirrored). Daarna heb ik het os hierop geïnstalleerd en daarna heb ik pas de tank pool gecreëerd op basis van die 2 partities naast de os partities en nog een aantal partities op andere schijven.
Doordat ik eerst die 2 tank partities gemaakt, staat deze op mijn schijven voor de os partities. Zou het daarmee kunnen dat hij van die tank probeert te booten ipv de os pool?
3.1 Format the small boot partition created by Step 2.2 as a filesystem that has stage1 GRUB support like this:Durandal schreef op vrijdag 20 september 2013 @ 00:39:
[...]
U vraagt, wij draaien:
https://github.com/zfsonl...ative-ZFS-Root-Filesystem
Het is misschien niet zo bekend, maar dat bestaat al geruime tijd.
# mke2fs -m 0 -L /boot/grub -j /dev/disk/by-id/scsi-SATA_disk1-part1
Het is alleen Root on ZFS, geen ZFS Only... Je moet nog steeds een Ext2 boot partities maken.
Even niets...
Hmmm ik ben niet zo thuis in freenas / zfs, echter had een freenas server draaien met 3 HDD's in een zfs pool. Nu krijg ik bij het starten van mijn nas dat hij hangt tijdens het booten van de loader.conf.
Nu heb ik gelezen dat er diverse oplossingen zijn waaronder upgraden freenas, herinstalleren freenas. Ik heb echter geen backup van mijn data, en ik kan er nu ook niet bij.
Hoe kan ik nu het beste zorgen dat het loaden weer lukt en ik bij mijn data kan?
Nu heb ik gelezen dat er diverse oplossingen zijn waaronder upgraden freenas, herinstalleren freenas. Ik heb echter geen backup van mijn data, en ik kan er nu ook niet bij.
Hoe kan ik nu het beste zorgen dat het loaden weer lukt en ik bij mijn data kan?
Maar dat geldt toch net zo goed voor FreeBSD? Daar heb je toch ook een freebsd-boot slice?FireDrunk schreef op vrijdag 20 september 2013 @ 10:09:
[...]
3.1 Format the small boot partition created by Step 2.2 as a filesystem that has stage1 GRUB support like this:
# mke2fs -m 0 -L /boot/grub -j /dev/disk/by-id/scsi-SATA_disk1-part1
Het is alleen Root on ZFS, geen ZFS Only... Je moet nog steeds een Ext2 boot partities maken.
Gewoon een heel grote verzameling snoertjes
Bedankt voor de tips en ervaringen
Ik hoef niet te booten van de RAIDZ array want ik heb ook een 120GB 2.5" hardeschijf waar ik van boot. Dan bestel ik binnenkort mijn nieuwe systeem en zal dan mijn ervaringen hier posten.
Mwoh, niet helemaal, FreeBSD werkt met een multistage bootloader, waarvan het eerste gedeelte inderdaad compleet in het master boot record past. Dat vind ik eerlijk gezegd niet hetzelfde.Compizfox schreef op vrijdag 20 september 2013 @ 11:40:
[...]
Maar dat geldt toch net zo goed voor FreeBSD? Daar heb je toch ook een freebsd-boot slice?
Je hoeft overigens niet perse slices te gebruiken, je kan de first stage bootloader in je MBR zetten en daarna direct booten van ZFS. De kernel zelf staat dan ook echt zelf op ZFS.
Bij Linux, staat je kernel op die /boot partitie en word tijdens het laden van de kernel pas je ZFS root partitie gemount.
Grote verschil is dus, dat de kernel zelf op een niet ZFS partitie staat en nog vrolijk corrupt kan raken.
Even niets...
Als je SecureBoot gebruikt, dan weet je of je kernel is aangepast is of niet
Daar ben ik na lange tijd weer, want tja, een werkende NAS kijk je niet naar om 
Begin augustus bleek in mijn RAIDZ zpool een van de schijven 1 Current_Pending_Sector te hebben. Deze week liep dit op van 11 begin deze week tot 13 vandaag. Vandaag was mijn pool degraded en inderdaad, de betreffende schijf bleek offline. Na een hoop geneuzel toch de pool weer kunnen importeren (dit duurde heel lang) en draait alles weer.
De vraag is echter. Moet ik me zorgen gaan maken en schijven gaan vervangen of kan het een simpele kabelfout of iets dergelijks zijn geweest? Ik had namelijk begrepen Current_Pending_Sector normaal gesproken maar onschuldig is.
Begin augustus bleek in mijn RAIDZ zpool een van de schijven 1 Current_Pending_Sector te hebben. Deze week liep dit op van 11 begin deze week tot 13 vandaag. Vandaag was mijn pool degraded en inderdaad, de betreffende schijf bleek offline. Na een hoop geneuzel toch de pool weer kunnen importeren (dit duurde heel lang) en draait alles weer.
De vraag is echter. Moet ik me zorgen gaan maken en schijven gaan vervangen of kan het een simpele kabelfout of iets dergelijks zijn geweest? Ik had namelijk begrepen Current_Pending_Sector normaal gesproken maar onschuldig is.
Sinds de 2 dagen regel reageer ik hier niet meer
Schijven gaan stuk. Na de eerste drie jaar vallen de enterprise SATA schijven in onze servers bij bosjes, SAS houden het iets langer uit. Je hoeft je niet echt zorgen te maken, maar ik zou wel zorgen dat je spares op voorraad hebt en misschien een keer een scrub draaien.
De schijven geven een ouderdom aan van 2.3 jaar
Sinds de 2 dagen regel reageer ik hier niet meer
Current Pending Sectors is bij lage niet groeiende aantallen inderdaad niet zo erg, maar het is wel een indicatie van slijtage. Als ze voorkomen als de schijf nog maar jong is, kan het betekenen dat er iets tijdens productie fout gegaan, is bij oudere schijven is het 'gewoon' slijtage.
De stat is dus zeker wel belangrijk om in de gaten te houden.
(Als je technisch inhoudelijk wil weten wat betekend, stel ik voor dat je Wikipedia er even op naslaat
)
De stat is dus zeker wel belangrijk om in de gaten te houden.
(Als je technisch inhoudelijk wil weten wat betekend, stel ik voor dat je Wikipedia er even op naslaat
Even niets...
Oh, ik gebruik ZFSGuru en die maakt op elke schijf een freebsd-boot slice aan. Waar daar precies het nu van is snap ik dan niet helemaalFireDrunk schreef op vrijdag 20 september 2013 @ 12:14:
[...]
Mwoh, niet helemaal, FreeBSD werkt met een multistage bootloader, waarvan het eerste gedeelte inderdaad compleet in het master boot record past. Dat vind ik eerlijk gezegd niet hetzelfde.
Je hoeft overigens niet perse slices te gebruiken, je kan de first stage bootloader in je MBR zetten en daarna direct booten van ZFS. De kernel zelf staat dan ook echt zelf op ZFS.
Bij Linux, staat je kernel op die /boot partitie en word tijdens het laden van de kernel pas je ZFS root partitie gemount.
Grote verschil is dus, dat de kernel zelf op een niet ZFS partitie staat en nog vrolijk corrupt kan raken.
Gewoon een heel grote verzameling snoertjes
Dat kleine stukje freebsd-boot is toch geen officiele freebsd slice? Die 512KB is de first stage bootloader idd.
Even niets...
Zo pakketje 1 van 2 binnen. De IBM M1015, moet ik deze nog flashen of iets dergelijks om het te kunnen gebruiken met ZFS?
Een Current Pending Sector betekent een sector die onleesbaar is geworden. Dit is in principe normaal. Als die sector overschreven wordt, zal het duidelijk worden of de sector permanent beschadigd is of niet.CurlyMo schreef op vrijdag 20 september 2013 @ 13:23:
Begin augustus bleek in mijn RAIDZ zpool een van de schijven 1 Current_Pending_Sector te hebben. Deze week liep dit op van 11 begin deze week tot 13 vandaag. Vandaag was mijn pool degraded en inderdaad, de betreffende schijf bleek offline. Na een hoop geneuzel toch de pool weer kunnen importeren (dit duurde heel lang) en draait alles weer.
De vraag is echter. Moet ik me zorgen gaan maken en schijven gaan vervangen of kan het een simpele kabelfout of iets dergelijks zijn geweest? Ik had namelijk begrepen Current_Pending_Sector normaal gesproken maar onschuldig is.
Als de sector echt beschadigd is, zal de Current Pending Sector Count omlaag gaan met 1 en de Reallocated Sector Count omhoog gaan met 1. Dit betekent dat de firmware van de HDD de sector heeft aangemerkt als "onbruikbaar" en hem dus heeft verplaatst naar een spare sector.
Als het simpelweg een geval was van bitrot en er niets fysiek mis is met de sector, zal de Current Pending Sector Count omlaag gaan met 1 en gebeurt er verder niets. Die inhoud van de sector is logischerwijs wel weg, maar ZFS zal proberen dit te repareren als er genoeg parity beschikbaar is.
Als je een heleboel Reallocated Sectors hebt, duidt dit op slijtage van je HDD.
Gewoon een heel grote verzameling snoertjes
Ja, flashen naar IT mode, en de timeouts ophogen in het BIOS van de kaart.
Even niets...
Je moet in ieder geval cross flashen, maar dan heb je een aantal mogelijkheden. Staat allemaal in dit topic, een maandje of 10 terug, compleet met links.HMS schreef op vrijdag 20 september 2013 @ 14:31:
Zo pakketje 1 van 2 binnen. De IBM M1015, moet ik deze nog flashen of iets dergelijks om het te kunnen gebruiken met ZFS?
Zorg dat je het in een moederbord met oude (non-EUFI) BIOS doet.
Die informatie betreffende de Current Pending Sector komt overeen met wat ik erover wist. Is het uitvallen van diezelfde schijf dan gewoon een ongelukje of waarschijnlijk een falende schijf?
Nog even gechecked en de Current Pending Sectors zijn nu verhoogd naar 36. Reallocated Sector Count is 0.
Nog even gechecked en de Current Pending Sectors zijn nu verhoogd naar 36. Reallocated Sector Count is 0.
[ Voor 22% gewijzigd door CurlyMo op 20-09-2013 15:51 ]
Sinds de 2 dagen regel reageer ik hier niet meer
Dat de schijf compleet is uitgevallen kan ik niet echt verklaren. Kan gerelateerd zijn aan de bad sectors maar hoeft zeker niet.
Maar lees ik het nou goed dat de schijf het ondertussen weer gewoon doet? In dat geval wordt het helemaal weird (een schijf die uitvalt maar later weer tot leven komt, lolwut). Weet je zeker dat het niet zo is dat de schijf het gewoon altijd gedaan heeft, maar er een andere issue geweest is (falende controller, slecht contact SATA-kabel)?
Maar lees ik het nou goed dat de schijf het ondertussen weer gewoon doet? In dat geval wordt het helemaal weird (een schijf die uitvalt maar later weer tot leven komt, lolwut). Weet je zeker dat het niet zo is dat de schijf het gewoon altijd gedaan heeft, maar er een andere issue geweest is (falende controller, slecht contact SATA-kabel)?
Als je er zeker van wilt zijn, haal je de schijf even uit je pool (offline gooien), en zero-fill je hem. Op die manier worden alle sectoren overschreven en dan merk je wel of het permanente schade is of niet.CurlyMo schreef op vrijdag 20 september 2013 @ 15:43:
Nog even gechecked en de Current Pending Sectors zijn nu verhoogd naar 36. Reallocated Sector Count is 0.
[ Voor 31% gewijzigd door Compizfox op 20-09-2013 15:53 ]
Gewoon een heel grote verzameling snoertjes
Zou kunnen, maar ik merkte wel dat het importeren van de pool een stuk langer duurde dan normaal (idem met het opstarten).
Sinds de 2 dagen regel reageer ik hier niet meer
Ik heb mijn kaart destijds wel geflashed, maar in mijn beleving geen time out opgehoogd in de bios. Waar is dit voor nodig? Volgens mij heb ik zelfs de toegang tot het bios compleet weg gelaten, om de boot tijd te versnellen.FireDrunk schreef op vrijdag 20 september 2013 @ 14:32:
Ja, flashen naar IT mode, en de timeouts ophogen in het BIOS van de kaart.
Geen idee. Als het geen echte slice is, wat is het dan wel? En de first-stage bootloader staat toch in de MBR? Of heb ik dat mis?FireDrunk schreef op vrijdag 20 september 2013 @ 14:26:
Dat kleine stukje freebsd-boot is toch geen officiele freebsd slice? Die 512KB is de first stage bootloader idd.
Bij mij is ie 256 KiB van het type freebsd-boot, aangemaakt door ZFSGuru btw
[ Voor 8% gewijzigd door Compizfox op 20-09-2013 15:56 ]
Gewoon een heel grote verzameling snoertjes
Je begrijpt dat ik dat in geval van een RAIDZ opstelling een beetje risicovol vindt. Dan vervang ik hem liever tijdelijk even door een spare om daar later een RAIDZ2 mee te maken. Dan heb ik die vast in huis.Compizfox schreef op vrijdag 20 september 2013 @ 15:52:
Als je er zeker van wilt zijn, haal je de schijf even uit je pool (offline gooien), en zero-fill je hem. Op die manier worden alle sectoren overschreven en dan merk je wel of het permanente schade is of niet.
Sinds de 2 dagen regel reageer ik hier niet meer
Och, voor een uurtje of zo kan dat wel toch? Als die schijf uiteindelijk toch de geest blijkt te geven, zit je wel langer dan een paar uur met een degraded pool. (tenzij je een hotspare klaar hebt liggen)
[ Voor 69% gewijzigd door Compizfox op 20-09-2013 17:13 ]
Gewoon een heel grote verzameling snoertjes
Ik ben een build aan het samenstellen zodat ik op termijn mijn MDADM NAS kan vervangen door een ZFS NAS. Ik heb echter nog enkele vragen:
- Is ECC RAM een vereiste? Het is iets duurder dan NON-ECC, maar meer betrouwbaarheid kan nooit echt kwaad denk ik.
- CPU & mobo maken niet zo immens veel uit neem ik aan? Of zijn er toch bepaalde dingen waar ik moet op letten?
- Voor zuinigheidsredenen zou ik graag mijn systeem headless opzetten. Ik dacht aan Ubuntu Server aangezien ik vrij goed vertrouwd ben met Linux. Zijn er nog andere distro's die vallen aan te raden, of kijk ik toch beter naar FreeBSD, Solaris,..?
- Klopt het dat welke RAID-modi de controller juist ondersteunt nutteloos zijn en je het best zoekt naar een goedkope controller met veel poorten?
Nee, wel nice-to-have. Maar is inderdaad, zoals je zelf al aangeeft, duurder.SanderH_ schreef op vrijdag 20 september 2013 @ 17:43:
• Is ECC RAM een vereiste? Het is iets duurder dan NON-ECC, maar meer betrouwbaarheid kan nooit echt kwaad denk ik.
Kijk even 2 pagina's terug, daar stelde iemand exact dezelfde vraag• Voor zuinigheidsredenen zou ik graag mijn systeem headless opzetten. Ik dacht aan Ubuntu Server aangezien ik vrij goed vertrouwd ben met Linux. Zijn er nog andere distro's die vallen aan te raden, of kijk ik toch beter naar FreeBSD, Solaris,..?
Compizfox in "Het grote ZFS topic"
Ja, dat klopt volledig. Het beste gebruik je gewoon je onboard SATA-controller, dat werkt het beste aangezien die AFAIK altijd AHCI-compliant zijn.• Klopt het dat welke RAID-modi de controller juist ondersteunt nutteloos zijn en je het best zoekt naar een goedkope controller met veel poorten?
Je kunt eventueel zelf één pool (array) spannen over meerdere controllers.
[ Voor 16% gewijzigd door Compizfox op 20-09-2013 17:52 ]
Gewoon een heel grote verzameling snoertjes
Zijn er risicos bij het vervangen van een 30GB lun door één van 50GB met ZFS replace? Het lijkt me zo eng om data kwijt te raken.
Over falende schijven gesproken...
Ik check regelmatig via SMART scan en nu zie ik dat 2 schijven plots erg veel passive bad sectors (= reallocated sector count) hebben.
Nu is dit al een paar dagen wel niet meer omhoog gegaan... Terwijl het wel van 0 naar zoveel is gegaan op één dag tijd. :\
De ene (7,5 maanden lifetime) heeft er 11544 en de andere (die welgeteld 6 dagen lifetime heeft) 824..
Van de oudere schijf is de Power-Off_Retract_Count 16.
Van de nieuwste schijf is de Power-Off_Retract_Count op 10.
De rest van de SMART attributes zijn prima.
Wat wil dit precies zeggen? Zijn de schijven echt nu al aan het stukgaan of is dit een bug of te wijten aan éénmalige kabelfout ofzo... Die nieuwe schijf van 6 dagen oud en slechts 9 power cycles is aangesloten op een IBM M1015, kan dit daarmee te maken hebben?
Het is een RAIDZ2 opstelling van 6x3TB, dus ik kan me maar 2 defecte schijven veroorloven.
Ik check regelmatig via SMART scan en nu zie ik dat 2 schijven plots erg veel passive bad sectors (= reallocated sector count) hebben.
Nu is dit al een paar dagen wel niet meer omhoog gegaan... Terwijl het wel van 0 naar zoveel is gegaan op één dag tijd. :\
De ene (7,5 maanden lifetime) heeft er 11544 en de andere (die welgeteld 6 dagen lifetime heeft) 824..
Van de oudere schijf is de Power-Off_Retract_Count 16.
Van de nieuwste schijf is de Power-Off_Retract_Count op 10.
De rest van de SMART attributes zijn prima.
Wat wil dit precies zeggen? Zijn de schijven echt nu al aan het stukgaan of is dit een bug of te wijten aan éénmalige kabelfout ofzo... Die nieuwe schijf van 6 dagen oud en slechts 9 power cycles is aangesloten op een IBM M1015, kan dit daarmee te maken hebben?
Het is een RAIDZ2 opstelling van 6x3TB, dus ik kan me maar 2 defecte schijven veroorloven.
Reallocated sector count is het aantal sectoren dat slecht/niet meer te lezen was en welke vervangen zijn door reserve sectoren. Als je nog garantie hebt en het daadwerkelijk zo snel omhoog gaat zou ik eens kijken naar de omgevingsfactoren, zeker omdat je ook een schijf hebt die pas 6 dagen oud is... Heeft de kast bijvoorbeeld een (flinke) dreun gehad waardoor er problemen kunnen zijn ontstaan?
Als je niets dergelijks kunt vinden en de teller blijft oplopen dan zou ik eens contact opnemen met de shop om de schijf te vervangen. Ik heb hetzelfde gehad met één van mijn 6 schijven, deze vloog ook omhoog van 0 naar ~500 reallocated sectors in een periode van krap een week. Deze kon ik gewoon terugsturen naar de shop (op eigen kosten, dat wel, maargoed
) en deze werd binnen een week netjes vervangen.
Als je niets dergelijks kunt vinden en de teller blijft oplopen dan zou ik eens contact opnemen met de shop om de schijf te vervangen. Ik heb hetzelfde gehad met één van mijn 6 schijven, deze vloog ook omhoog van 0 naar ~500 reallocated sectors in een periode van krap een week. Deze kon ik gewoon terugsturen naar de shop (op eigen kosten, dat wel, maargoed
Als het een nieuwe disk is kan het gewoon een slechte schijf zijn. Disks worden in de fabriek slechts steeksproefsgewijs gechecked, tenzij je refurbished modellen hebt; die worden altijd getest.
De IBM 1015 heeft er niets mee te maken.
Alles boven een handjevol is veel en 11k is helemaal veel. Ik zou ze allebei terugsturen.
Hoewel de shop je garantie moet geven zou ik voor schijven toch direct naar de fabriek terug sturen. Dat gaat aardig snel en ze doen niet moeilijk.
De IBM 1015 heeft er niets mee te maken.
Alles boven een handjevol is veel en 11k is helemaal veel. Ik zou ze allebei terugsturen.
Hoewel de shop je garantie moet geven zou ik voor schijven toch direct naar de fabriek terug sturen. Dat gaat aardig snel en ze doen niet moeilijk.
Wat? 11544 reallocated sectors? Dat is echt bizar veel.Geckx schreef op vrijdag 20 september 2013 @ 21:17:
Over falende schijven gesproken...
Ik check regelmatig via SMART scan en nu zie ik dat 2 schijven plots erg veel passive bad sectors (= reallocated sector count) hebben.
Nu is dit al een paar dagen wel niet meer omhoog gegaan... Terwijl het wel van 0 naar zoveel is gegaan op één dag tijd. :\
De ene (7,5 maanden lifetime) heeft er 11544 en de andere (die welgeteld 6 dagen lifetime heeft) 824..
Van de oudere schijf is de Power-Off_Retract_Count 16.
Van de nieuwste schijf is de Power-Off_Retract_Count op 10.
De rest van de SMART attributes zijn prima.
Nee, die fouten worden 'geteld' door de firmware van de HDD en zijn dus echt bad sectors. Kabelfouten worden getoond als UDMA_CRC_Error_Count.Wat wil dit precies zeggen? Zijn de schijven echt nu al aan het stukgaan of is dit een bug of te wijten aan éénmalige kabelfout ofzo... Die nieuwe schijf van 6 dagen oud en slechts 9 power cycles is aangesloten op een IBM M1015, kan dit daarmee te maken hebben?
Het is een RAIDZ2 opstelling van 6x3TB, dus ik kan me maar 2 defecte schijven veroorloven.
Gewoon een heel grote verzameling snoertjes
Ik ben de afgelopen dagen dit topic en het zuinige ESXi-topic aan het doorlezen aangezien ik ook bezig ben een build uit te denken.
Mijn insteek is (op basis van prioriteit):
1 - betrouwbaarheid van de data die erop komt te staan (mikpunt ZFS + ECC)
2 - goedkoop (+/- 500)
3 - zuinig (50 watt max idle)
4 - performance (gigabit-speed, 32Gb RAM ESXi ivm test-omgevingen, snappy response VM's)
Het gaat hierbij om een setup voor het draaien van ZFS & ESXi (een veel voorkomende combi). Ik kan dit op 1 host samenvoegen, echter blijft de optie om het op 2 fysieke machines te draaien ook nog steeds aanwezig (heb dan geen VT-D of IOMMU nodig, dus lagere kosten (geen dure CPU, geen aparte HD-controller) voor de ESXi machine).
Ik zit nu wat te denken over het ZFS-verhaal, mijn insteek is om hier met name waardevolle data op te zetten, ik heb nu een Synology NAS (DS411) in raid-5 draaien, echter zie ik links en rechts in mijn data "stukke" foto's, dit wil ik natuurlijk niet (ik weet het niet zeker, maar ik vermoed omdat dit statische data is en al tijden hierop geparkeerd staat dat het wel eens te maken kan hebben met bit-rot/flips). Ik heb nu slechts +/- 50GB in mijn backup zitten waaronder de helft foto's (op een externe USB-drive aan de Synology). De overige data is met name films/muziek/tools, niet van vitaal belang (deze zijn bij uitval wel weer te downloaden).
Ik denk er nu over om middels ZFS de gevoelige data op te slaan (ontsloten via mijn Synology, want ik vind de manageability van deze NAS wel echt geweldig en photostation ruled om mijn prive foto's aan familie beschikbaar te maken, koppelen aan de NAS kan mooi middels NFS) middels een mirror-disk.
Ik lees in dit topic niet veel over de "default" performance van ZFS op 1 a 2 disken, het gaat vaak over een raidz-x, tot nog toe neem ik aan dat mirror net zo performed als single-disk-IO?
Ik zou graag voor ESXi gebruik maken van het SSD-IO voordeel, nou kan ik 2 dingen doen, de SSD apart aanbieden in zijn eigen pool oid (iig gescheiden van de mirror), of ik kan deze als cache gebruiken en hiermee de mirror versnellen waarmee ik ook snelheidswinst haal bij file-transacties (ik moet nog nadenken of ik dit wel wil, aangezien ik inmiddels begrijp dat je je SLOG niet op een samsung wilt maar op een Intel 320 oid, ivm het ontbreken van supercaps/MLC/etc op de samsung).
Na bovenstaande denkpunten, heb ik nog een overweging waar ik in twijfel.
Wanneer ik 2 aparte fysieke hosts neem voor de NAS en de ESXi, dan heb ik hiertussen gigabit-connectie, in hoeverre schaalt dit qua IOPS (mijn gedachte is dat een gevirtualiseerde NAS onder ESXi wellicht sneller kan dan 1Gbps omdat deze virtueel gekoppeld is via de VMWare Vswitch, zo ja, werkt dit dan alleen wanneer een vmxnet-3 adapter gebruikt wordt voor de NFS koppeling?). Ik denk dat ik in het geval van 2 fysieke hosts de SSD in de ESXi zou zetten zodat de NAS puur en alleen storage doet. Enige nadeel wat ik zou kunnen bedenken is dat er een wellicht hoger stroomverbruik kan zijn (hoe zit het eigenlijk met spindown van disken onder ZFS, zal dit werken wanneer je VM's op een pool hebt draaien die idle zijn, ik denk van niet aangezien je OS altijd wel wat IO zal veroorzaken).
Qua betrouwbaarheid wil ik ook ECC memory op de ZFS machine hebben, dit zorgt er ook weer voor dat de oplossing hiervoor weer duurder moet/kan zijn dan een default atom-bordje (ik heb nog niet erg goed gezocht naar cheap ECC supported mobo's met energiezuinige/lichte cpu).
Bovenstaande een heel verhaal, ik ben erg nieuwsgierig naar ervaringen en meningen hiermee/hierover. het gaat mij natuurlijk om de totaaloplossing (ZFS/ESXi/Synology -combi), maar de keuze voor betrouwbaarheid maakt het mijns inziens complexer dan de standaard-oplossingen die je vaak tegenkomt.
Mijn insteek is (op basis van prioriteit):
1 - betrouwbaarheid van de data die erop komt te staan (mikpunt ZFS + ECC)
2 - goedkoop (+/- 500)
3 - zuinig (50 watt max idle)
4 - performance (gigabit-speed, 32Gb RAM ESXi ivm test-omgevingen, snappy response VM's)
Het gaat hierbij om een setup voor het draaien van ZFS & ESXi (een veel voorkomende combi). Ik kan dit op 1 host samenvoegen, echter blijft de optie om het op 2 fysieke machines te draaien ook nog steeds aanwezig (heb dan geen VT-D of IOMMU nodig, dus lagere kosten (geen dure CPU, geen aparte HD-controller) voor de ESXi machine).
Ik zit nu wat te denken over het ZFS-verhaal, mijn insteek is om hier met name waardevolle data op te zetten, ik heb nu een Synology NAS (DS411) in raid-5 draaien, echter zie ik links en rechts in mijn data "stukke" foto's, dit wil ik natuurlijk niet (ik weet het niet zeker, maar ik vermoed omdat dit statische data is en al tijden hierop geparkeerd staat dat het wel eens te maken kan hebben met bit-rot/flips). Ik heb nu slechts +/- 50GB in mijn backup zitten waaronder de helft foto's (op een externe USB-drive aan de Synology). De overige data is met name films/muziek/tools, niet van vitaal belang (deze zijn bij uitval wel weer te downloaden).
Ik denk er nu over om middels ZFS de gevoelige data op te slaan (ontsloten via mijn Synology, want ik vind de manageability van deze NAS wel echt geweldig en photostation ruled om mijn prive foto's aan familie beschikbaar te maken, koppelen aan de NAS kan mooi middels NFS) middels een mirror-disk.
Ik lees in dit topic niet veel over de "default" performance van ZFS op 1 a 2 disken, het gaat vaak over een raidz-x, tot nog toe neem ik aan dat mirror net zo performed als single-disk-IO?
Ik zou graag voor ESXi gebruik maken van het SSD-IO voordeel, nou kan ik 2 dingen doen, de SSD apart aanbieden in zijn eigen pool oid (iig gescheiden van de mirror), of ik kan deze als cache gebruiken en hiermee de mirror versnellen waarmee ik ook snelheidswinst haal bij file-transacties (ik moet nog nadenken of ik dit wel wil, aangezien ik inmiddels begrijp dat je je SLOG niet op een samsung wilt maar op een Intel 320 oid, ivm het ontbreken van supercaps/MLC/etc op de samsung).
Na bovenstaande denkpunten, heb ik nog een overweging waar ik in twijfel.
Wanneer ik 2 aparte fysieke hosts neem voor de NAS en de ESXi, dan heb ik hiertussen gigabit-connectie, in hoeverre schaalt dit qua IOPS (mijn gedachte is dat een gevirtualiseerde NAS onder ESXi wellicht sneller kan dan 1Gbps omdat deze virtueel gekoppeld is via de VMWare Vswitch, zo ja, werkt dit dan alleen wanneer een vmxnet-3 adapter gebruikt wordt voor de NFS koppeling?). Ik denk dat ik in het geval van 2 fysieke hosts de SSD in de ESXi zou zetten zodat de NAS puur en alleen storage doet. Enige nadeel wat ik zou kunnen bedenken is dat er een wellicht hoger stroomverbruik kan zijn (hoe zit het eigenlijk met spindown van disken onder ZFS, zal dit werken wanneer je VM's op een pool hebt draaien die idle zijn, ik denk van niet aangezien je OS altijd wel wat IO zal veroorzaken).
Qua betrouwbaarheid wil ik ook ECC memory op de ZFS machine hebben, dit zorgt er ook weer voor dat de oplossing hiervoor weer duurder moet/kan zijn dan een default atom-bordje (ik heb nog niet erg goed gezocht naar cheap ECC supported mobo's met energiezuinige/lichte cpu).
Bovenstaande een heel verhaal, ik ben erg nieuwsgierig naar ervaringen en meningen hiermee/hierover. het gaat mij natuurlijk om de totaaloplossing (ZFS/ESXi/Synology -combi), maar de keuze voor betrouwbaarheid maakt het mijns inziens complexer dan de standaard-oplossingen die je vaak tegenkomt.
Ik zou even wachten op ESXi 5.5 (die komt begin oktober uit). Mogelijk komt hierin een nieuwe geëmuleerde AHCI-controller waardoor RDM weer een viable option wordt en IOMMU niet meer noodzakelijk is.wopie schreef op zaterdag 21 september 2013 @ 12:37:
Het gaat hierbij om een setup voor het draaien van ZFS & ESXi (een veel voorkomende combi). Ik kan dit op 1 host samenvoegen, echter blijft de optie om het op 2 fysieke machines te draaien ook nog steeds aanwezig (heb dan geen VT-D of IOMMU nodig, dus lagere kosten (geen dure CPU, geen aparte HD-controller) voor de ESXi machine).
Ja, en het lezen kan zelfs nog iets sneller gaan.Ik lees in dit topic niet veel over de "default" performance van ZFS op 1 a 2 disken, het gaat vaak over een raidz-x, tot nog toe neem ik aan dat mirror net zo performed als single-disk-IO?
Ja klopt, maar je kunt je SSD wel prima als L2ARC gebruiken.Ik zou graag voor ESXi gebruik maken van het SSD-IO voordeel, nou kan ik 2 dingen doen, de SSD apart aanbieden in zijn eigen pool oid (iig gescheiden van de mirror), of ik kan deze als cache gebruiken en hiermee de mirror versnellen waarmee ik ook snelheidswinst haal bij file-transacties (ik moet nog nadenken of ik dit wel wil, aangezien ik inmiddels begrijp dat je je SLOG niet op een samsung wilt maar op een Intel 320 oid, ivm het ontbreken van supercaps/MLC/etc op de samsung).
Ja, als je gebruik maakt van VMXNET3 (wel aan te raden), haal je snelheden groter dan 10 Gb/s.Na bovenstaande denkpunten, heb ik nog een overweging waar ik in twijfel.
Wanneer ik 2 aparte fysieke hosts neem voor de NAS en de ESXi, dan heb ik hiertussen gigabit-connectie, in hoeverre schaalt dit qua IOPS (mijn gedachte is dat een gevirtualiseerde NAS onder ESXi wellicht sneller kan dan 1Gbps omdat deze virtueel gekoppeld is via de VMWare Vswitch, zo ja, werkt dit dan alleen wanneer een vmxnet-3 adapter gebruikt wordt voor de NFS koppeling?).
Normaal veroorzaakt je OS geen IO op je "data" schijven, alleen op de schijf waarop het OS staat geïnstalleerd.Ik denk dat ik in het geval van 2 fysieke hosts de SSD in de ESXi zou zetten zodat de NAS puur en alleen storage doet. Enige nadeel wat ik zou kunnen bedenken is dat er een wellicht hoger stroomverbruik kan zijn (hoe zit het eigenlijk met spindown van disken onder ZFS, zal dit werken wanneer je VM's op een pool hebt draaien die idle zijn, ik denk van niet aangezien je OS altijd wel wat IO zal veroorzaken).
Gewoon een heel grote verzameling snoertjes
- Ik wil idd zowieso op ESXi 5.5 wachten voordat ik ga aanschaffenCompizfox schreef op zaterdag 21 september 2013 @ 13:21:
[...]
Ik zou even wachten op ESXi 5.5 (die komt begin oktober uit). Mogelijk komt hierin een nieuwe geëmuleerde AHCI-controller waardoor RDM weer een viable option wordt en IOMMU niet meer noodzakelijk is.
[...]
Ja, en het lezen kan zelfs nog iets sneller gaan.
[...]
Ja klopt, maar je kunt je SSD wel prima als L2ARC gebruiken.
[...]
Ja, als je gebruik maakt van VMXNET3 (wel aan te raden), haal je snelheden groter dan 10 Gb/s.
[...]
Normaal veroorzaakt je OS geen IO op je "data" schijven, alleen op de schijf waarop het OS staat geïnstalleerd.
- klopt het dat er in geval van VMXNET3 adapter er wordt aangeraden om deze als 2e V-NIC dedicated voor NFS aan de NAS-VM te koppelen (ergens gelezen)? Of wordt deze gelijk ook al als primary goed herkent door het OS?
- Ik begrijp dat je OS-disk geen IO's op losse data-schijven doet, echter wanneer je de VM's op de Mirror-pool zou zetten (die een SSD voor cache gebruikt) dan word het een ander verhaal aangezien je dan IO op de VMFS-file veroorzaakt die op de pool draait.
Nieuw idee,
Ik maak een pool voor de fysieke disken, hiernaast een pool voor de SSD, en van dezelfde SSD gebruik ik een deel voor de L2ARC om m'n diskpool te versnellen (kan dit zo, ik weet nog niet precies hoe de terminologie gebruikt moet worden pool vs dataset vs volume, moet dit nog verder uitzoeken). Op deze manier doe ik VM-bewerkingen binnen de SSD en versnel ik met diezelfde SSD toch nog de pool (volgens mij kun je met relatief kleine L2ARC toe, volgens mij heeft Cipher hier wel van die vuistregels voor gepost, kan ik dus prima nazoeken).
Ik lees er verder trouwens weinig over in dit topic, er wordt wel aangehaald om SSD's met supercaps te gebruiken, zijn er ook mensen die gewoon een UPS hanteren (ik zag van die mooie APC stopcontact UPS'sen online met 5 minuten capaciteit voor 300WATT verbruik)? Ik zit hier zelf over te denken namelijk, NAS4Free heeft hier ook ondersteuning voor (voor zover ik kan zien in de interface), ik neem aan dat wanneer NAS4Free van de UPS een "shutdown" krijgt dat netjes alle gecachete data gecommit wordt (indien ik gebruik zou maken van een aparte SSD-SLOG)?
Nee, VMXNET3 is een type geëmuleerde NIC. Welke fysieke NIC je in je fysieke server stopt, staat daar los van.wopie schreef op zaterdag 21 september 2013 @ 14:05:
[...]
- klopt het dat er in geval van VMXNET3 adapter er wordt aangeraden om deze als 2e V-NIC dedicated voor NFS aan de NAS-VM te koppelen (ergens gelezen)? Of wordt deze gelijk ook al als primary goed herkent door het OS?
Of ESXi overweg kan met je onboard NIC, zul je even moeten nazoeken.
Oh zo, je bent van plan je pool weer te gebruiken als datastore. Ja, in dat geval wordt downspinnen zo'n beetje onmogelijk.- Ik begrijp dat je OS-disk geen IO's op losse data-schijven doet, echter wanneer je de VM's op de Mirror-pool zou zetten (die een SSD voor cache gebruikt) dan word het een ander verhaal aangezien je dan IO op de VMFS-file veroorzaakt die op de pool draait.
Ja, dat kan.Nieuw idee,
Ik maak een pool voor de fysieke disken, hiernaast een pool voor de SSD, en van dezelfde SSD gebruik ik een deel voor de L2ARC om m'n diskpool te versnellen (kan dit zo,
ik weet nog niet precies hoe de terminologie gebruikt moet worden pool vs dataset vs volume, moet dit nog verder uitzoeken).
- Een vdev is een array, bijvoorbeeld 3 HDDs in RAIDZ of 2 HDDs in mirroring.
- Een pool is een set van vdevs die altijd gestriped worden. Je zou dus 2 RAIDZ-vdevs kunnen stripen. In jouw geval houdt je pool een mirror-vdev in + 1 L2ARC.
- Een filesystem is (zoals de naam al zegt) een filesystem op je pool. Je hebt altijd 1 'root' filesystem op je pool, maar je kunt daarbinnen (als je wilt) sub-filesystems maken met andere instellingen (denk aan compressie, dedup, checksums)
- Een volume is een 'container', ongeveer te vergelijken met een image (zoals een ISO). Dit gebruik je voor iSCSI of swap.
Dat is een mogelijkheid. Wel moet je er dan voor zorgen dat ESXi netjes alle VMs afsluit zodra hij het seintje krijgt van de UPS. Dit kan volgens mij niet out-of-the-box, maar er zijn wel trucjes voor als ik het goed heb.Op deze manier doe ik VM-bewerkingen binnen de SSD en versnel ik met diezelfde SSD toch nog de pool (volgens mij kun je met relatief kleine L2ARC toe, volgens mij heeft Cipher hier wel van die vuistregels voor gepost, kan ik dus prima nazoeken).
Ik lees er verder trouwens weinig over in dit topic, er wordt wel aangehaald om SSD's met supercaps te gebruiken, zijn er ook mensen die gewoon een UPS hanteren (ik zag van die mooie APC stopcontact UPS'sen online met 5 minuten capaciteit voor 300WATT verbruik)? Ik zit hier zelf over te denken namelijk, NAS4Free heeft hier ook ondersteuning voor (voor zover ik kan zien in de interface), ik neem aan dat wanneer NAS4Free van de UPS een "shutdown" krijgt dat netjes alle gecachete data gecommit wordt (indien ik gebruik zou maken van een aparte SSD-SLOG)?
BTW, supercaps heb je alleen nodig als je de SSD als SLOG (==ZIL op aparte SSD) gaat gebruiken. Als je hem alleen inzet als L2ARC (caching) is dat niet echt nodig.
Gewoon een heel grote verzameling snoertjes
Ik denk dat ik het verkeerd heb uitgelegd, de VMXNET3 adapter naast een bijv E1000 aanmaken voor je VM, deze krijgt hiermee 2 NIC's, maar na wat googlen kom ik erachter dat dit alleen nodig zou zijn wanneer je specifieke features wilt binnen een VM die niet door de VMXNET3 driver worden ondersteund, voor mij niet van toepassing.Compizfox schreef op zaterdag 21 september 2013 @ 14:18:
[...]
Dat is een mogelijkheid. Wel moet je er dan voor zorgen dat ESXi netjes alle VMs afsluit zodra hij het seintje krijgt van de UPS. Dit kan volgens mij niet out-of-the-box, maar er zijn wel trucjes voor als ik het goed heb.
BTW, supercaps heb je alleen nodig als je de SSD als SLOG (==ZIL op aparte SSD) gaat gebruiken. Als je hem alleen inzet als L2ARC (caching) is dat niet echt nodig.
L2ARC is toch alleen lees-cache? writes gaan gelijk naar disk toch (hiervoor zou je dan SLOG kunnen doen)?
Je hoeft geen 2 NICs aan te maken, je kunt gewoon VMXNET3 als enige NIC gebruiken.wopie schreef op zaterdag 21 september 2013 @ 14:32:
[...]
Ik denk dat ik het verkeerd heb uitgelegd, de VMXNET3 adapter naast een bijv E1000 aanmaken voor je VM, deze krijgt hiermee 2 NIC's, maar na wat googlen kom ik erachter dat dit alleen nodig zou zijn wanneer je specifieke features wilt binnen een VM die niet door de VMXNET3 driver worden ondersteund, voor mij niet van toepassing.
Jup. Ook writes worden normaal gesproken gecached in het RAM, maar synchrous writes gaan direct naar de disk. Dit is waar een SLOG van pas komt: Dan worden de synchrous writes gecached op je SSD.L2ARC is toch alleen lees-cache? writes gaan gelijk naar disk toch (hiervoor zou je dan SLOG kunnen doen)?
Gewoon een heel grote verzameling snoertjes
Help!
Vanmiddag is m'n server even uitgeweest (nette shutdown), maar nu blijkt m'n pool degraded.
Volgens ZFSGuru is er een disk weg.
"One or more devices has been removed by the administrator.
Sufficient replicas exist for the pool to continue functioning in a
degraded state."
Disk gewoon overleden; of kan er nog iets anders aan de hand zijn?
Met dit soort fouten:
Shit, na een power cycle zijn al m'n VMs op de datastore inaccessible; datastore ook overleden?
Vanmiddag is m'n server even uitgeweest (nette shutdown), maar nu blijkt m'n pool degraded.
Volgens ZFSGuru is er een disk weg.
"One or more devices has been removed by the administrator.
Sufficient replicas exist for the pool to continue functioning in a
degraded state."
Disk gewoon overleden; of kan er nog iets anders aan de hand zijn?
Met dit soort fouten:
code:
1
2
3
4
5
| ahcich2: AHCI reset: device not ready after 31000ms (tfd = 00000080) ahcich2: Timeout on slot 24 port 0 ahcich2: is 00000000 cs 01000000 ss 00000000 rs 01000000 tfd 80 serr 001a0000 ahcich0: Timeout on slot 22 port 0 ahcich0: is 00000000 cs 00400000 ss 00000000 rs 00400000 tfd 50 serr 00000000 |
Shit, na een power cycle zijn al m'n VMs op de datastore inaccessible; datastore ook overleden?

[ Voor 38% gewijzigd door RudolfR op 21-09-2013 19:55 ]
Brakke controller misschien? kan je de schijven op een andere controller/PC testen?
Dat zijn ATA timeouts, die kun je krijgen doordat je schijf bezig is met ECC bijvoorbeeld. Even de PC in de BIOS aanlaten staan voor een tijdje, dan heb je kans dat hij na een paar minuten/uren weer reageert. Om wat voor schijven gaat het eigenlijk?RudolfR schreef op zaterdag 21 september 2013 @ 19:32:
Help!
Vanmiddag is m'n server even uitgeweest (nette shutdown), maar nu blijkt m'n pool degraded.
Volgens ZFSGuru is er een disk weg.
"One or more devices has been removed by the administrator.
Sufficient replicas exist for the pool to continue functioning in a
degraded state."
Disk gewoon overleden; of kan er nog iets anders aan de hand zijn?
Met dit soort fouten:
code:
1 2 3 4 5 ahcich2: AHCI reset: device not ready after 31000ms (tfd = 00000080) ahcich2: Timeout on slot 24 port 0 ahcich2: is 00000000 cs 01000000 ss 00000000 rs 01000000 tfd 80 serr 001a0000 ahcich0: Timeout on slot 22 port 0 ahcich0: is 00000000 cs 00400000 ss 00000000 rs 00400000 tfd 50 serr 00000000
Shit, na een power cycle zijn al m'n VMs op de datastore inaccessible; datastore ook overleden?
Gewoon een heel grote verzameling snoertjes
Bedankt voor de suggesties; zal kijken of ik ze in een andere machine kan hangen.
De controller is de Panther Point AHCI controller van m'n moederbord.
Verwacht ik geen problemen mee, zal 'ns kijken of ik daar wat mee kan rommelen.
ESXi-host had al best een tijdje aangestaan voordat ik m'n VMs vanmiddag aanzette.
Dus die tijd heeft de schijf wel gehad, denk ik.
Dat die datastore niet meewerkt is eigenlijk nog veel erger. Daar heb ik geen backup van.
- Fixed.
Connector zat lossig.
Een van de disks zat op een SATA600 poort. Dus ik heb e.e.a herschikt; en nu zit die ene disk bij de andere 2 op de SATA300.
Disk wordt nu gewoon gevonden. En de pool is online. Resilver in progress.
Kan het SATA600 deel van de controller overlijden? Bord is nog geen jaar oud; dus dat valt misschien wel onder de garantie? Hoe controleer ik of het echt stuk is?
S.M.A.R.T. van de disk in kwestie; dat de Load Cycle Count (489667) aan de hoge kant is, is een bekend probleem met deze disks. APM is ingesteld op 254.
De controller is de Panther Point AHCI controller van m'n moederbord.
Verwacht ik geen problemen mee, zal 'ns kijken of ik daar wat mee kan rommelen.
3 | Samsung SpinPoint M8 HN-M101MBB, 1TB | € 61,45 | € 184,35 |
ESXi-host had al best een tijdje aangestaan voordat ik m'n VMs vanmiddag aanzette.
Dus die tijd heeft de schijf wel gehad, denk ik.
Dat die datastore niet meewerkt is eigenlijk nog veel erger. Daar heb ik geen backup van.

Een van de disks zat op een SATA600 poort. Dus ik heb e.e.a herschikt; en nu zit die ene disk bij de andere 2 op de SATA300.
Disk wordt nu gewoon gevonden. En de pool is online. Resilver in progress.
Kan het SATA600 deel van de controller overlijden? Bord is nog geen jaar oud; dus dat valt misschien wel onder de garantie? Hoe controleer ik of het echt stuk is?
S.M.A.R.T. van de disk in kwestie; dat de Load Cycle Count (489667) aan de hoge kant is, is een bekend probleem met deze disks. APM is ingesteld op 254.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
| # SMART attribute Flag Current Worst Thresh Failed RAW value 1 Raw_Read_Error_Rate 0x002f 100 100 051 - 15 2 Throughput_Performance 0x0026 252 252 000 - 0 3 Spin_Up_Time 0x0023 089 089 025 - 3462 4 Start_Stop_Count 0x0032 100 100 000 - 564 5 Reallocated_Sector_Ct 0x0033 252 252 010 - 0 7 Seek_Error_Rate 0x002e 252 252 051 - 0 8 Seek_Time_Performance 0x0024 252 252 015 - 0 9 Power_On_Hours 0x0032 100 100 000 - 12449 10 Spin_Retry_Count 0x0032 252 252 051 - 0 11 Calibration_Retry_Count 0x0032 100 100 000 - 305 12 Power_Cycle_Count 0x0032 100 100 000 - 86 181 Program_Fail_Cnt_Total 0x0022 098 098 000 - 62317280 191 G-Sense_Error_Rate 0x0022 252 252 000 - 0 192 Power-Off_Retract_Count 0x0022 252 252 000 - 0 194 Temperature_Celsius 0x0002 064 064 000 - 26 (Min/Max 17/40) 195 Hardware_ECC_Recovered 0x003a 100 100 000 - 0 196 Reallocated_Event_Count 0x0032 252 252 000 - 0 197 Current_Pending_Sector 0x0032 252 252 000 - 0 198 Offline_Uncorrectable 0x0030 252 252 000 - 0 199 UDMA_CRC_Error_Count 0x0036 200 200 000 - 0 200 Multi_Zone_Error_Rate 0x002a 100 100 000 - 0 223 Load_Retry_Count 0x0032 100 100 000 - 305 225 Load_Cycle_Count 0x0032 052 052 000 - 489667 |
[ Voor 56% gewijzigd door RudolfR op 22-09-2013 09:48 ]
Over wel of geen ECC RAM icm ZFS wordt hier wel een interssante discussie gevoerd: http://hardforum.com/showthread.php?t=1689724SanderH_ schreef op vrijdag 20 september 2013 @ 17:43:
Ik ben een build aan het samenstellen zodat ik op termijn mijn MDADM NAS kan vervangen door een ZFS NAS. Ik heb echter nog enkele vragen:[..]
- Is ECC RAM een vereiste? Het is iets duurder dan NON-ECC, maar meer betrouwbaarheid kan nooit echt kwaad denk ik.
Als de integriteit en beschikbaarheid van je data belangrijk is dan zou ik persoonlijk altijd voor ECC kiezen. Als het puur om een archief van films of iets dergelijks gaat is het wellicht geen vereiste.
Heb tot en met pagina 3 gelezen maar het klopt niet allemaal, er wordt gesteld dat (l2arc) ram caching met checksum zonder ecc onveilig is vanwege de mogelijkheid dat een checksum bit (met of zonder additionele data bit) flip resulteert in een false negative (hash collision). Dit is echter onmogelijk met het juiste algoritme.
In de discussie wordt het verschil tussen een foute read en foute write niet consistent besproken. Uiteindelijk gaat het enkel om de write problemen omdat je reads hoe dan ook corrupt(er of meer kans op) worden op je crappy clients.
In de discussie wordt het verschil tussen een foute read en foute write niet consistent besproken. Uiteindelijk gaat het enkel om de write problemen omdat je reads hoe dan ook corrupt(er of meer kans op) worden op je crappy clients.
[ Voor 10% gewijzigd door analog_ op 22-09-2013 18:28 ]
Zelfs *met* ECC kan je nog meerdere bitflips in 1 keer hebben in 1 adem. Dan kan je met maar 1 checksum bit / data bit ook niks meer doen.
ECC geheugen helpt, maar is nooit een 100% garantie. En omdat het nooit een garantie is, maar hooguit het verkleinen van de kans, is het een heel lastige keuze... Zekerheid is namelijk veel makkelijker te verantwoorden dan een verschil in kansen...
Even een sidenote: ECC helpt wel in het detecteren van multi bit errors, dus ZFS zal eerder steigeren, en gewoonweg niet meer willen werken. Dat is op zich wel een 'oplossing' voor het probleem van corrupte data, het helpt je alleen niet echt, omdat je ZFS bak gewoonweg stopt...
ECC geheugen helpt, maar is nooit een 100% garantie. En omdat het nooit een garantie is, maar hooguit het verkleinen van de kans, is het een heel lastige keuze... Zekerheid is namelijk veel makkelijker te verantwoorden dan een verschil in kansen...
Even een sidenote: ECC helpt wel in het detecteren van multi bit errors, dus ZFS zal eerder steigeren, en gewoonweg niet meer willen werken. Dat is op zich wel een 'oplossing' voor het probleem van corrupte data, het helpt je alleen niet echt, omdat je ZFS bak gewoonweg stopt...
[ Voor 26% gewijzigd door FireDrunk op 22-09-2013 21:20 ]
Even niets...
ECC is uiteraard niet perfect, maar biedt wel een enorme verbetering natuurlijk. Zonder ECC ben je er überhaupt niet van bewust dat er iets mis gaat, met ECC wordt het in veel gevallen opgelost of anders in ieder geval gedetecteerd voordat de fout gevolgen heeft.
Woei, ZFS Meetup group in Amsterdam. Lijkt me wel leuk om eens te gaan.
Update, ESXi 5.5 is gisteren uitgekomenCompizfox schreef op zaterdag 21 september 2013 @ 13:21:
[...]
Ik zou even wachten op ESXi 5.5 (die komt begin oktober uit). Mogelijk komt hierin een nieuwe geëmuleerde AHCI-controller waardoor RDM weer een viable option wordt en IOMMU niet meer noodzakelijk is.
Bedoel je die van NOSIG op de UvA op 1 Oct ?sphere schreef op maandag 23 september 2013 @ 11:51:
Woei, ZFS Meetup group in Amsterdam. Lijkt me wel leuk om eens te gaan.
You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.
Dat valt in het geval van ZFS dus wel mee, die ziet ook in ram corruptie dmv checksums.Bigs schreef op maandag 23 september 2013 @ 08:38:
ECC is uiteraard niet perfect, maar biedt wel een enorme verbetering natuurlijk. Zonder ECC ben je er überhaupt niet van bewust dat er iets mis gaat, met ECC wordt het in veel gevallen opgelost of anders in ieder geval gedetecteerd voordat de fout gevolgen heeft.
Even niets...
Ik snap er weinig van. Gisteren de schijf met de fouten vervangen door een nieuwe. Tijdens het proces van vervangen liep de teller van de Current Pending Sector op tot 151. Nadat de schijf succesvol was vervangen was even een zero-write gedaan op die falende schijf. De teller van de Current Pending Sector is weer 0, máár de Reallocated Sector Ct is ook 0 gebleven
. Weet iemand hoe dit kan?
Sinds de 2 dagen regel reageer ik hier niet meer
Dan waren die sectoren dus niet slecht als ik de uitleg hierboven goed gebruikt.CurlyMo schreef op maandag 23 september 2013 @ 14:04:
Ik snap er weinig van. Gisteren de schijf met de fouten vervangen door een nieuwe. Tijdens het proces van vervangen liep de tellen van de Current Pending Sector op tot 151. Nadat de schijf succesvol vervangen was even een zero-write gedaan op die falende schijf. De teller van de Current Pending Sector is weer 0, máár de Reallocated Sector Ct is ook 0 gebleven. Weet iemand hoe dit kan?
Lijkt van Byte te zijn: http://www.meetup.com/Amsterdam-ZFS-Meetup-Group/u_nix_we_all schreef op maandag 23 september 2013 @ 12:02:
Bedoel je die van NOSIG op de UvA op 1 Oct ?
Hmm bij de passthrough van de onboard AHCI SATA poorten (op PCH) gaat er iets mis, FreeBSD had er moeite mee en Debian 7 ook.
Ik gebruik ESXi 5.5. De M1015 wordt wel goed doorgegeven.
Ik gebruik ESXi 5.5. De M1015 wordt wel goed doorgegeven.
Misschien is dat een ietwat overhaaste conclusie? ESXi 5.5 is pas één dag uit, de mogelijkheid daarmee ook en wie weet wat we binnenkort tegenkomen.
Als je er geforceerd 0 naar schrijft, boeit het niet meer welke data er op stond, en schrijft je disk gewoon de data eroverheen.CurlyMo schreef op maandag 23 september 2013 @ 14:04:
Ik snap er weinig van. Gisteren de schijf met de fouten vervangen door een nieuwe. Tijdens het proces van vervangen liep de teller van de Current Pending Sector op tot 151. Nadat de schijf succesvol was vervangen was even een zero-write gedaan op die falende schijf. De teller van de Current Pending Sector is weer 0, máár de Reallocated Sector Ct is ook 0 gebleven. Weet iemand hoe dit kan?
Schijven kunnen last hebben van bitrot, dat wil zeggen dat na een hele tijd een 1-tje een 0-tje kan worden omdat het magnetisch veld te laag word.
Als je die sector uitleest en hij kan het niet met zekerheid zeggen, krijg je een Bad Sector. Je disk gaat dan proberen de sector te relocaten (binnen een afzienbare tijd).
Als je zelf in de tussentijd schrijft naar die sector kan het zo zijn dat hij op de oude sector gewoon nieuwe data plempt en de sector dus niet heeft hoeven te vervangen.
Je sector is dus nu blijkbaar weer goed omdat het magnetisch veld er opnieuw opgezet is.
Wel vind ik het vaag dat de sector niet meteen is gerelocate toen er problemen mee waren.
Even niets...
Bij verkenner kan ik \\ZFSGURU intypen en ik krijg mijn shares te zien ipv ip adres. Is dit ook mogelijk met Ubuntu?
Ja, even de goede workgroup instellen bij de Samba instellingen. (en de hostname wijzigen natuurlijk
)
[ Voor 24% gewijzigd door FireDrunk op 23-09-2013 15:57 ]
Even niets...
Ik ben overgestapt van ZFSguru naar Ubuntu. Ubuntu is dus m'n server en niet m'n client. Excuus dat ik dit niet duidelijk had vermeld.FireDrunk schreef op maandag 23 september 2013 @ 15:57:
Ja, even de goede workgroup instellen bij de Samba instellingen. (en de hostname wijzigen natuurlijk)
Dat begreep ik, en mijn antwoord geld nog steeds 
Samba gaat pas zijn hostname broadcasten als hij in de goede werkgroep zit, anders blijft het ip only.
Samba gaat pas zijn hostname broadcasten als hij in de goede werkgroep zit, anders blijft het ip only.
[ Voor 50% gewijzigd door FireDrunk op 23-09-2013 16:10 ]
Even niets...
Oké thanks ik heb het, weer wat geleerd.
Ja, maar het is een enorme tegenvaller. (Zie mijn posts op deze pagina van het Zuinige ESXi Server topic)
[ Voor 4% gewijzigd door Compizfox op 23-09-2013 16:33 ]
Gewoon een heel grote verzameling snoertjes
Blijkbaar willen ze dat hun software illegaal verdeeld wordt als je zo'n streek uithaalt.
Ik las (genoemd door CiPHER in deze thread en ook hier: http://www.freebsddiary.org/zfs-with-gpart.php) dat het aanbevolen is om toch wel een partitie te maken voor ZFS die niet de hele schijf in beslag neemt, kan ik het advies uit de link overnemen qua partitie indeling?
edit: Het gaat trouwens over ZFS on Linux
edit: Het gaat trouwens over ZFS on Linux
[ Voor 7% gewijzigd door HMS op 23-09-2013 18:04 ]
ZFS on Linux heb ik de hele schijf gegeven, deze maakt dan vanzelf partities aan. Natuurlijk kun je wel tegen problemen aanlopen als je nieuwe schijf net even een paar MB kleiner is dan je oude schijven, maarja...
Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.