Het grote ZFS topic

[SanderH_]

Geen idee of het hier al gepost is, maar volgens mij wel een interessante guide van FreeNAS die advies geeft over de hardware van een ZFS build:

• Part 1: purpose & best practices
• Part 2: hardware specifics
• Part 3: pools,performance & cache
• Part 4: network, notes & conclusion

Wat denken de ZFS gurus hiervan?

[jacovn]

Even een vraag. Ik prober een interl ixbge driver te installeren.

[root@zfsguru /home/ssh/ixgbe-2.5.8/src]# make
make: "/usr/share/mk/bsd.kmod.mk" line 12: Unable to locate the kernel source tree. Set SYSDIR to override.

Op de vorige FreeBSD 9 installs werkte het wel.

Is FreeBSD 10 anders (ik heb geen portstree geinstalleerd) ? Is het niet nodig om deze driver te installeren?

Ik draai: Running official system image 10.1-001 featuring FreeBSD 10.0-STABLE with ZFS v5000.
en de version: 0.2.0-beta10 gui.

[ Voor 3% gewijzigd door jacovn op 16-02-2015 11:40 ]

[Verwijderd]

Installeer de kernel sources; die heeft die nodig. Dit betekent dat je sourcecode in /usr/src moet staan, en deze moet ook exact overeenkomen met de geïnstalleerde BSD versie.

Met ZFSguru is dat vrij makkelijk: installeer de FreeBSD sourcecode addon. Daarna kun je je make-commando draaien.

Werkt de standaard ixgbe-driver niet voor jou?

[jacovn]

Hoe controleer ik of die erin zit ?

[Verwijderd]

De driver?

man ixgbe
kldload if_ixgbe

Permanent inschakelen:
echo >> /boot/loader.conf
echo "if_ixgbe_load=\"YES\"" >> /boot/loader.conf

[jacovn]

[root@zfsguru /home/ssh]# man ixgbe
zcat: /usr/share/man/man4/ixgbe.4.gz: unexpected end of file
zcat: /usr/share/man/man4/ixgbe.4.gz: unexpected end of file

[root@zfsguru /home/ssh]# kldload ixgbe
kldload: can't load ixgbe: No such file or directory

[Verwijderd]

Klinkt niet goed als je manpages niet kunt openen.

Maar het is 'kldload if_ixgbe'. Dus met 'if_' prefix ervoor.

[jacovn]

[root@zfsguru /usr]# kldload if_ixgbe
kldload: can't load if_ixgbe: module already loaded or in kernel

die lijkt er dus wel te zijn

[Verwijderd]

En je ziet hem niet met 'ifconfig' ?

Probeer eens:

dmesg | grep "no driver"
dmesg | grep ixgbe

En je kunt ook kijken:

pciconf -lv
Daar hoort je NIC ook bij te staan. Class network, subclass Ethernet.

[ Voor 15% gewijzigd door Verwijderd op 16-02-2015 13:52 ]

[jacovn]

De srouces geinstalleerd en een make gedaan, maar dat lijkt ook niet erg goed te gaan..

code:

[root@zfsguru /home/ssh/ixgbe-2.5.8/src]# make
Warning: Object directory not changed from original /home/ssh/ixgbe-2.5.8/src
@ -> /usr/src/sys
machine -> /usr/src/sys/amd64/include
x86 -> /usr/src/sys/x86/include
awk -f @/tools/makeobjops.awk @/kern/device_if.m -h
awk -f @/tools/makeobjops.awk @/kern/bus_if.m -h
awk -f @/tools/makeobjops.awk @/dev/pci/pci_if.m -h
:> opt_bdg.h
cc -O2 -pipe -DSMP -DIXGBE_FDIR -DINET -DINET6 -fno-strict-aliasing -Werror -D_KERNEL -DKLD_MODULE -nostdinc   -I. -I@ -I@/contrib/altq -fno-common  -fno-omit-frame-pointer -mno-omit-leaf-frame-pointer  -mno-aes -mno-avx -mcmodel=kernel -mno-red-zone -mno-mmx -mno-sse -msoft-float  -fno-asynchronous-unwind-tables -ffreestanding -fstack-protector -std=iso9899:1999 -Qunused-arguments  -fstack-protector -Wall -Wredundant-decls -Wnested-externs -Wstrict-prototypes  -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual  -Wundef -Wno-pointer-sign -fformat-extensions  -Wmissing-include-dirs -fdiagnostics-show-option  -Wno-error-tautological-compare -Wno-error-empty-body  -Wno-error-parentheses-equality -Wno-unused-function   -c ixgbe.c
ixgbe.c:4612:31: error: implicit conversion from 'int' to 'u16'
      (aka 'unsigned short') changes value from 201326592 to 0
      [-Werror,-Wconstant-conversion]
                u16 type = (CSUM_DATA_VALID | CSUM_PSEUDO_HDR);
                    ~~~~    ~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~
ixgbe.c:4615:11: error: implicit conversion from 'int' to 'u16'
      (aka 'unsigned short') changes value from 134217728 to 0
      [-Werror,-Wconstant-conversion]
                        type = CSUM_SCTP_VALID;
                             ~ ^~~~~~~~~~~~~~~
@/sys/mbuf.h:428:26: note: expanded from macro 'CSUM_SCTP_VALID'
#define CSUM_SCTP_VALID         CSUM_L4_VALID
                                ^~~~~~~~~~~~~
@/sys/mbuf.h:407:24: note: expanded from macro 'CSUM_L4_VALID'
#define CSUM_L4_VALID           0x08000000      /* checksum is correct */
                                ^~~~~~~~~~
2 errors generated.
*** Error code 1

Stop.
make: stopped in /home/ssh/ixgbe-2.5.8/src

code:

[root@zfsguru /home/ssh/ixgbe-2.5.8/src]# dmesg | grep "no driver"
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
pci0: <dasp> at device 31.6 (no driver attached)

[root@zfsguru /home/ssh/ixgbe-2.5.8/src]# dmesg | grep ixgbe
module_register: module pci/ixgbe already exists!
Module pci/ixgbe failed to register: 17

root@zfsguru /home/ssh/ixgbe-2.5.8/src]# pciconf -lv
- output removed -
igb0@pci0:5:0:0:        class=0x020000 card=0x153315d9 chip=0x15338086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = 'I210 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
igb1@pci0:6:0:0:        class=0x020000 card=0x153315d9 chip=0x15338086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = 'I210 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
ix0@pci0:7:0:0: class=0x020000 card=0x000a8086 chip=0x10fb8086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82599EB 10-Gigabit SFI/SFP+ Network Connection'
    class      = network
    subclass   = ethernet
ix1@pci0:7:0:1: class=0x020000 card=0x000a8086 chip=0x10fb8086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82599EB 10-Gigabit SFI/SFP+ Network Connection'
    class      = network
    subclass   = ethernet

Dus de kaart is er fysiek wel.

In de kernal log zie ik ook staan:

code:

igb0@pci0:5:0:0:        class=0x020000 card=0x153315d9 chip=0x15338086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = 'I210 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
igb1@pci0:6:0:0:        class=0x020000 card=0x153315d9 chip=0x15338086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = 'I210 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
ix0@pci0:7:0:0: class=0x020000 card=0x000a8086 chip=0x10fb8086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82599EB 10-Gigabit SFI/SFP+ Network Connection'
    class      = network
    subclass   = ethernet
ix1@pci0:7:0:1: class=0x020000 card=0x000a8086 chip=0x10fb8086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82599EB 10-Gigabit SFI/SFP+ Network Connection'
    class      = network
    subclass   = ethernet

en in de system log:

code:

Feb 16 12:46:38 zfsguru kernel: module_register: module pci/ixgbe already exists!
Feb 16 12:46:38 zfsguru kernel: Module pci/ixgbe failed to register: 17
Feb 16 12:46:38 zfsguru kernel: module_register: module pci/ixv already exists!
Feb 16 12:46:38 zfsguru kernel: Module pci/ixv failed to register: 17

Maar dat laatste komt door dat commando neem ik aan.

[Verwijderd]

Ik zie dat je ix0 en ix1 hebt. Dat zou betekenen dat je Intel 10 gigabit NIC gewoon werkt out of the box?

ifconfig staat je NIC daar tussen?

[jacovn]

Ja, en ook wel in de zfsguru main info page

[Verwijderd]

Dus wat is dan het probleem? Waarom wil je custom een driver compileren?

[jacovn]

Dacht maar een intel driver te gebruiken, moest ik op FreeBSD 9 ook doen.

Waarom is er geen man page ? Dan is de standard instal niet complete lijkt het.

[Verwijderd]

Of je hebt mogelijk iets gemold met het installeren van de manpages van die sourcecode; ook nog een mogelijkheid. Ik krijg gewoon de manpage in elk geval; maar ik draai dan ook 10.1-RELEASE en jij draait 10.0-STABLE.

Dat gezegd; als je netwerk interface werkt zou ik het lekker zo laten. Drivers installeren is op UNIX overigens enorm zeldzaam. In vrijwel alle gevallen zit de driver in het operating system en is het een kwestie van updaten als je nieuwere hardware hebt die mogelijk niet of niet goed wordt ondersteund door oudere versies.

[jacovn]

Ok draai nu een herinstall, heb de boot pool weg gegooid.
Zal de sfp+ erin steken en kijken of de link opkomt

Thx voor de hulp

[CurlyMo]

@CiPHER, is het een idee om mensen te vragen code tags gebruiken. Deze post wordt er zonder niet duidelijker op:
jacovn in "Het grote ZFS topic"

[Verwijderd]

Druk op F5; hij heeft het zelf al ge-edit binnen een minuut.

[jacovn]

CurlyMo schreef op maandag 16 februari 2015 @ 15:16:
@CiPHER, is het een idee om mensen te vragen code tags gebruiken. Deze post wordt er zonder niet duidelijker op:
jacovn in "Het grote ZFS topic"

Ja inderdaad gedaan je hebt groot gelijk.

Ik ben natuurlijk een ernstige beginner met ZFSguru, dus ik stel dome vragen. Maar het product was voor iedereen bedoeld dus ook voor mij

Gelukkig lukt Code tags met de hand zetten nog wel

[ Voor 5% gewijzigd door jacovn op 16-02-2015 15:45 ]

[hansdegit]

hansdegit schreef op zondag 15 februari 2015 @ 22:26:
Ik wil alle filesystems van mijn ZFS server backuppen naar mijn Google Drive.

De connectie naar Google wordt verzorgd door de Syno. Synology Cloud Sync spiegelt een -voor de Synology- lokale directory aan de inhoud van je Google Drive. Ik wil dus mijn filesystemen op die specifieke directory projecteren middels een NFS mount zonder dat ik een kopie hoef te maken van al mijn data.

Nu is het natuurlijk vrij simpel om dan maar een rechtstreekse mount te maken van de actuele filesystems op de zfs server, maar er zitten ook databases tussen die een bepaalde mate van consistentie vereisen. Daarvoor is een clone of een snapshot natuurlijk ideaal.

Dus, in essentie, wil ik clones/snapshots van mijn zfs systeem beschikbaar maken in de Cloud Sync directory van de Syno. En die zal het dan wel eens naar mijn Google Drive pompen @14k4 bps.

Schaamteloze self-quote...

Uiteindelijk bleek de nieuwe opzet best heel simpel. Gewoon van alles filesystemen periodiek een clone maken, die mounten op de Syno en de Syno lekker laten syncen.

De Syno mount de filesystemen aan de hand van een script dat ZFS zelf klaar zet voor de Syno, dus in de client hoef ik alleen maar een call te maken via de crontab opdat altijd alle shares gemount zijn.

Hij is nu aan het syncen, zal wel een half jaar duren

[jacovn]

Ik loop alweer tegen het volgende issue aan

Wil spindown achter LSI controllers doen, dus de spindown utility (werkt goed op mijn andere servers)

code:

[root@zfsguru /usr/ports/sysutils/spindown]# ls
Makefile  distinfo  files     pkg-descr
[root@zfsguru /usr/ports/sysutils/spindown]# make && make install
===>  spindown-0.4 pkg(8) must be version 1.3.8 or greater, but you have 1.2.7_2. You must upgrade the ports-mgmt/pkg port first.
*** Error code 1

Stop.
make: stopped in /usr/ports/sysutils/spindown

Kan ik de ports package upgraden op een eenvoudige manier. Ik heb de nieuwste ports tree maar genomen, maar als ik de melding snap is dit een te oude versie van de spindown package ?

[FREAKJAM]

hansdegit schreef op maandag 16 februari 2015 @ 15:53:
[...]

Schaamteloze self-quote...

Uiteindelijk bleek de nieuwe opzet best heel simpel. Gewoon van alles filesystemen periodiek een clone maken, die mounten op de Syno en de Syno lekker laten syncen.

De Syno mount de filesystemen aan de hand van een script dat ZFS zelf klaar zet voor de Syno, dus in de client hoef ik alleen maar een call te maken via de crontab opdat altijd alle shares gemount zijn.

Hij is nu aan het syncen, zal wel een half jaar duren

Opzich wel een mooie setup zo. Ik ga binnenkort maar weer eens een ownCloud servertje bouwen en mijn criticial data (die ik eigenlijk amper heb) hierop zetten en vervolgens kijken wat ik weer kan syncen naar een echte cloud. (Je ontkomt er eigenlijk niet aan helaas, tenzij je buddybackup hebt of iets dergelijks of een kennis waarmee je de boel kunt syncen).

[ Voor 5% gewijzigd door FREAKJAM op 16-02-2015 16:11 ]

[CurlyMo]

@jacovn, waarom gebruik je niet gewoon de pkg repository?

code:

pkg install spindown

[jacovn]

thx, dat is de nieuwe manier ?

code:

[root@zfsguru /usr/ports/sysutils/spindown]# pkg install spindown
Updating repository catalogue
digests.txz                            100% 2035KB   2.0MB/s   2.0MB/s   00:00
packagesite.txz                        100% 5211KB   5.1MB/s   5.1MB/s   00:00
Incremental update completed, 23975 packages processed:
0 packages updated, 0 removed and 23975 added.
New version of pkg detected; it needs to be installed first.
The following 1 packages will be installed:

        Upgrading pkg: 1.2.7_2 -> 1.4.10

The installation will require 865 KB more space

2 MB to be downloaded

Proceed with installing packages [y/N]: y
[root@zfsguru /usr/ports/sysutils/spindown]#

[matty___]

jacovn schreef op maandag 16 februari 2015 @ 16:22:
thx, dat is de nieuwe manier ?

Dit is de nieuwe package manager van FreeBSD.

[Verwijderd]

spindown zit al in ZFSguru - recente images in elk geval. Misschien 10.0-STABLE nog niet.

'pkg bootstrap -f' zou voldoende moeten zijn om pkg te updaten.

Je krijgt deze melding omdat je niet de officiële portstree gebruikt die bij je systeemversie hoort; i.e. je hebt niet de Portstree service geinstalleerd maar zelf een portstree opgehaald. Dan moet je ook zelf pkg updaten.

[ Voor 62% gewijzigd door Verwijderd op 16-02-2015 16:35 ]

[jacovn]

Ik heb in de zfsguru interface de portstree geïnstalleerd. Mag ik dan niet aannemen dat de juiste geïnstalleerd wordt ?

[CurlyMo]

Je kan simpelweg beter met pkg aan de slag dan met de portstree. De vraag waarom die functie nog in ZFSGuru zit is wel een legitieme

[Verwijderd]

Omdat je misschien dingen wilt compileren die kernel sources nodig heeft; daar zijn geen packages van. Of er zijn licentie-restricties waardoor er geen package van is. Of je wilt eigen opties compileren. Of of of... duizend redenen.

@jaconv: het kan zijn dat 'pkg' stiekem zelf remote kijkt of hij up to date is. Maar dat zou dan niet voor overige ports mogen gelden. Doe eens:

pkg version -vL =

Je hoort dan geen ports te zien die outdated zijn; want dat betekent dat je een nieuwere portstree hebt. Mogelijk heb je in een tutorial 'portsnap' gebruikt oid. Als je niets ziet met dit commando hierboven, of alleen pkg zelf, dan klopt mijn eerste vermoeden en is er verder niets aan de hand.

[jacovn]

Sorry als ik geïrriteerd klink of boos of zo, dat is niet zo, ik struikel alleen door mijn onkunde over deze dingen die voor anderen hier de normaalste zaak van de wereld zijn.
Als ik deze server goed heb lopen neem ik de andere 2 wel onder handen.
Ik wil geen verschillende versies hebben, dan raak ik maar van in de war.

[Verwijderd]

Wat is het probleem dan? Spindown hoort al geïnstalleerd te zijn en zo niet dan installeer je dat gewoon. Ik geef enkel een verklaring waarom je die pkg upgrade message krijgt. Maar je kunt gewoon spindown installeren via pkg of portstree en dan gewoon gebruiken. Recente images van ZFSguru hebben spindown al standaard geïnstalleerd.

[jacovn]

Verwijderd schreef op maandag 16 februari 2015 @ 20:03:
@jaconv: het kan zijn dat 'pkg' stiekem zelf remote kijkt of hij up to date is. Maar dat zou dan niet voor overige ports mogen gelden. Doe eens:

pkg version -vL =

Je hoort dan geen ports te zien die outdated zijn; want dat betekent dat je een nieuwere portstree hebt. Mogelijk heb je in een tutorial 'portsnap' gebruikt oid. Als je niets ziet met dit commando hierboven, of alleen pkg zelf, dan klopt mijn eerste vermoeden en is er verder niets aan de hand.

code:

[root@zfsguru /home/ssh]# pkg version -vL =
apr-1.5.0.1.5.3                    <   needs updating (port has 1.5.1.1.5.4)
bash-4.3.11                        <   needs updating (port has 4.3.33)
binutils-2.24                      <   needs updating (port has 2.25)
ca_root_nss-3.15.5                 <   needs updating (port has 3.17.4_1)
cdialog-1.1.20120215,1             <   needs updating (port has 1.2.20140219_1,2      )
curl-7.36.0                        <   needs updating (port has 7.40.0)
db48-4.8.30.0                      <   needs updating (port has 4.8.30.0_2)
expat-2.1.0                        <   needs updating (port has 2.1.0_2)
fcgi-devkit-2.4.0                  <   needs updating (port has 2.4.0_4)
freetype2-2.5.3_1                  <   needs updating (port has 2.5.5)
gcc46-4.6.4_1,1                    <   needs updating (port has 4.6.4_4,1)
gdbm-1.11                          <   needs updating (port has 1.11_2)
gettext-0.18.3.1                   <   needs updating (port has 0.19.4)
glib-2.36.3_2                      <   needs updating (port has 2.42.1)
gmp-5.1.3_1                        <   needs updating (port has 5.1.3_2)
gnutls-2.12.23_4                   <   needs updating (port has 3.2.21)
icu-52.1                           <   needs updating (port has 53.1)
jpeg-8_4                           <   needs updating (port has 8_6)
libffi-3.0.13_1                    <   needs updating (port has 3.2.1)
libgpg-error-1.12                  <   needs updating (port has 1.17)
libiconv-1.14_3                    <   needs updating (port has 1.14_6)
libidn-1.28_1                      <   needs updating (port has 1.29)
libslang2-2.2.4_6                  <   needs updating (port has 2.3.0)
libssh2-1.4.3_2,2                  <   needs updating (port has 1.4.3_5,2)
libtasn1-3.3                       <   needs updating (port has 4.2)
libxml2-2.8.0_4                    <   needs updating (port has 2.9.2_2)
lighttpd-1.4.35_1                  <   needs updating (port has 1.4.35_5)
lzo2-2.06_2                        <   needs updating (port has 2.09)
mc-4.8.12_1                        <   needs updating (port has 4.8.13_3)
mpc-1.0.2                          <   needs updating (port has 1.0.2_1)
mpfr-3.1.2_1                       <   needs updating (port has 3.1.2_2)
openldap-client-2.4.39             <   needs updating (port has 2.4.40_1)
p11-kit-0.20.2                     <   needs updating (port has 0.22.1)
p5-Locale-gettext-1.05_3           <   needs updating (port has 1.05_4)
pcre-8.34                          <   needs updating (port has 8.35_2)
perl5-5.16.3_9                     <   needs updating (port has 5.16.3_18)
pftop-0.7_2                        <   needs updating (port has 0.7_4)
php5-5.4.27_1                      <   needs updating (port has 5.4.37)
php5-gd-5.4.27_1                   <   needs updating (port has 5.4.37)
php5-session-5.4.27_1              <   needs updating (port has 5.4.37)
pkg-1.2.7_2                        <   needs updating (port has 1.4.12)
pkgconf-0.9.5                      <   needs updating (port has 0.9.7)
png-1.5.18                         <   needs updating (port has 1.6.16)
popt-1.16                          <   needs updating (port has 1.16_1)
pv-1.4.6_1                         <   needs updating (port has 1.5.7)
py27-setuptools27-2.0.1            <   needs updating (port has 5.5.1_1)
py27-sqlite3-2.7.6_3               <   needs updating (port has 2.7.9_6)
python-2.7_1,2                     <   needs updating (port has 2.7_2,2)
python2-2_2                        <   needs updating (port has 2_3)
python27-2.7.6_4                   <   needs updating (port has 2.7.9)
rawio-1.2_3                        ?   orphaned: benchmarks/rawio
samba36-3.6.23                     <   needs updating (port has 3.6.24_2)
screen-4.0.3_14                    <   needs updating (port has 4.2.1_5)
serf-1.3.4                         <   needs updating (port has 1.3.8)
smartmontools-6.2_2                <   needs updating (port has 6.3)
sqlite3-3.8.4.2                    <   needs updating (port has 3.8.8.2)
subversion-1.8.8_2                 <   needs updating (port has 1.8.11)
sudo-1.8.10.p2                     <   needs updating (port has 1.8.12)
t1lib-5.1.2_2,1                    <   needs updating (port has 5.1.2_4,1)
talloc-2.1.0                       <   needs updating (port has 2.1.1)
tdb-1.2.12,1                       <   needs updating (port has 1.3.4,1)
tevent-0.9.21                      <   needs updating (port has 0.9.22)
unzip-6.0_1                        <   needs updating (port has 6.0_4)
xmbmon-205_10                      <   needs updating (port has 205_14)

De portstree die ik geinstalleerd heb is: system-portstree-latest
(dit leek me de nieuwste van de 2, maar wellicht is dat dus niet zo)

Moet ik nu dingen als samba gaan updaten ?
Of gewoon alles ?

[Verwijderd]

Ah oke. Die 'latest' versie van de portstree installeert de nieuwste portstree door deze te downloaden van de officiële BSD repo; de normale versie installeert dezelfde portstree als ZFSguru system + services mee zijn gebakken. Die wil je meestal hebben; de normale dus. Die is van ZFSguru afkomstig.

Maar maakt niet uit. Ga vooral niet alles updaten dat is onzinnig. Gewoon:

pkg install spindown

Is voldoende. Omdat spindown geen dependencies heeft, hoef je niet andere dingen ook te updaten, etc.

[jacovn]

thx, dan wipe ik het system weer en neem de andere wel, dan is het dezelfde versie neem ik aan.
Zo veel werk is het niet, zit 1 SSD in de server, en destroy de pool en maak een nieuwe pool, en reinstall.

[Verwijderd]

Maar waarom zou je dat doen? Je kunt de service ook uninstallen. Waarom zo moeilijk doen? Je wilde gewoon spindown hebben toch? Ik zou het lekker simpel houden.

[ Voor 11% gewijzigd door Verwijderd op 17-02-2015 07:14 ]

[FireDrunk]

_{brrr... Alles updaten onzin vinden...}

[jacovn]

Verwijderd schreef op dinsdag 17 februari 2015 @ 07:13:
Maar waarom zou je dat doen? Je kunt de service ook uninstallen. Waarom zo moeilijk doen? Je wilde gewoon spindown hebben toch? Ik zou het lekker simpel houden.

Ik had nooit uninstall zien staan in de GUI, maar gevonden na wat klikken op de service
Uninstall gedaan en de andere portstree en nu zijn er geen conflicten meer.
Spindown is aanwezig, de 10-GE nic heft een IP adres.

Nog Fancontroller erin bouwen en dan is hij klaar.

[SanderH_]

Ik heb nog een leuke 2.5" drive (160GB Hitachi) uit een Macbook rondslingeren. Zou een tweede 2.5" van dezelfde capaciteit niet een iets goedkopere oplossing zijn dan 2 duurdere SSD's, of blijf ik het toch beter bij het idee om 2 SSD's te kopen om er dan dit mee te doen:

• Mirror van O/S
• Mirror van sLOG
• Stripe van L2ARC
• Reserve

Is het bovenstaande trouwens niet ondertussen zo een beetje de "standaard procedure" geworden bij ZFS builds?

[ Voor 14% gewijzigd door SanderH_ op 17-02-2015 22:18 ]

[GioStyle]

Je postte gisteren een complete guide van FreeNAS, heb je hem zelf al een keer doorgenomen?

[SanderH_]

Jij duidelijk niet aangezien het allesbehalve een complete guide was, eerder wat aanbevelingen van FreeNAS.

SSD's lijken me inderdaad een evidente optie maar ik vind het stiekem jammer om die schijf niet te gebruiken. Ik vraag me alleen af of het verschil in performantie zo gruwelijk slecht zou zijn.

[ Voor 8% gewijzigd door SanderH_ op 17-02-2015 23:29 ]

[GioStyle]

Volgens mij ben jij naar de verkeerde dingen aan het kijken.

Ik weet niet of je al ZFS gebruikt, maar begin eens met je pool. Hoe komt/ziet die eruit? Wat voor data zet je daarop? Denk je dat je pool te weinig performance biedt?

[jacovn]

Volgens mij heb ik helemaal geen L2ARC nodig met films te streamen.
Het enige effect wat ik zag was dat ik sneller door de yadis videowall heen kan scollen op mijn HDI dune afspeler. Alleen heb ik nu een SSD met die yadis data in de dune gezet, om meerdere servers in 1 keer te kunnen doen, dus dat voordeel valt ook weg.

Ook was die hele yadis tree maar 8 GB en met 32 GB geheugen kan dat toch ook wel in de normale ARC ?

[yamahabest]

Welke schijven zijn er op dit moment aan te raden voor ZFS? Ik zag een tijdje geleden dat de Western Digital Reds niet aan te raden zijn door TLER.

Alternatief, WD Green, of andere schijven? Het zou gaan om 3 of 5TB schijven.


Daarnaast, is de LSI 3008 op het SuperMicro X10SRH-CLN4F moederbord ook te gebruiken voor ZFS?

[Verwijderd]

Kijk even in de startpost daar staat het omschreven in het kopje Hoe zit het precies met TLER-disks in combinatie met ZFS?

[yamahabest]

Ja, dat klopt, maar daar staat niet welke schijven nu de voorkeur hebben

[ Voor 8% gewijzigd door yamahabest op 18-02-2015 16:33 ]

[Pantagruel]

SanderH_ schreef op dinsdag 17 februari 2015 @ 22:14:
Ik heb nog een leuke 2.5" drive (160GB Hitachi) uit een Macbook rondslingeren. Zou een tweede 2.5" van dezelfde capaciteit niet een iets goedkopere oplossing zijn dan 2 duurdere SSD's, of blijf ik het toch beter bij het idee om 2 SSD's te kopen om er dan dit mee te doen:

• Mirror van O/S
• Mirror van sLOG
• Stripe van L2ARC
• Reserve

Is het bovenstaande trouwens niet ondertussen zo een beetje de "standaard procedure" geworden bij ZFS builds?

Het is al vaker aan bod gekomen en de conclusie is dat voor een thuis situatie SSD caching (SLOG/L2ARC) min of meer in t hoekje 'spielerei' thuis hoort. Het biedt meerwaarde in de zakelijk omgeving waar een server meer onder beschot ligt, maar om films of audio te streamen heb je er bitter weinig aan. Mocht je vm's hosten vanaf je ZFS machine dan kun je altijd overwegen om een dedicated SSD array voor je vm's aan te schaffen.

Je OS mirrored draaien biedt wel meerwaarde, in het geval van een disk crash heb je een tweede disk en het geeft de mogelijkheid om de disks in je data array te laten inslapen (spindown) wat energie zuiniger is . Spindown werkt niet op moment dat je OS geïnstalleerd is op de disks die deel uit maken van je data array

[CurlyMo]

Verwijderd schreef op zondag 15 februari 2015 @ 22:37:
Ik ga ervanuit dat die patch uit 2012 allang is verwerkt. Zijn issue is dat die clone mountpoint geeneens gemount wordt; de client heeft enkel de hoofd filesystem gemount.

Na een controle van de source blijkt dat ik toch gelijk had. Dat had jij natuurlijk ook kunnen doen Dit is op een verse zfsonlinux clone:

code:

# patch -p1 < /media/rpi/0001-Fixes-for-accessing-snapshots-over-NFS.diff
patching file config/kernel-kern-path.m4
patching file config/kernel.m4
Hunk #1 succeeded at 97 (offset 2 lines).
patching file include/sys/zfs_ctldir.h
patching file include/sys/zfs_vfsops.h
patching file module/zfs/zfs_ctldir.c
patching file module/zfs/zfs_vfsops.c
Hunk #1 succeeded at 1296 (offset 4 lines).
Hunk #2 succeeded at 1320 (offset 4 lines).
Hunk #3 succeeded at 1432 (offset 4 lines).
patching file module/zfs/zfs_vnops.c
Hunk #1 succeeded at 2404 (offset -18 lines).
Hunk #2 succeeded at 4352 (offset -3 lines).
Hunk #3 succeeded at 4394 (offset -3 lines).
patching file module/zfs/zpl_ctldir.c
Reversed (or previously applied) patch detected!  Assume -R? [n]
Apply anyway? [n]
Skipping patch.
3 out of 3 hunks ignored -- saving rejects to file module/zfs/zpl_ctldir.c.rej
patching file module/zfs/zpl_export.c
patching file module/zfs/zpl_inode.c

Hetzelfde geldt voor de source van illumos.

[ Voor 3% gewijzigd door CurlyMo op 18-02-2015 19:09 ]

[Verwijderd]

Maar ook met die patch moet je de sub-filesystems mounten in Linux, toch? Het probleem van hansdegit was volgens mij dat hij enkel de hoofd filesystem mount. Dus het probleem is niet dat het mounten niet werkt; het is nooit geprobeerd. Enkel voor het hoofd filesystem.

[CurlyMo]

Ik heb al aangegeven dat dat werkt, máár de vraag is waarom het nodig is. Je hoort gewoon bestaande mappen structuren te zien.

[Verwijderd]

Alleen als je NFSv4 gebruikt met de cross-mountoptie. Bij BSD wordt dat sowieso niet ondersteunt op NFSv3. En dat heeft volgens mij niets met ZFS te maken want hetzelfde geldt voor UFS shares.

[CurlyMo]

Je hebt het de hele tijd over cross-mounting, maar bij direct mounting werkt het ook niet. Dus gewoon een NFS share maken naar de /tank/.zfs/snapshots/ folder.

[Verwijderd]

Ik snap je niet helemaal. Met direct mounting bedoel je gewoon dat je 2x keer mount één keer het hoofd FS andere keer het sub-filesystem waar hij enkel een lege directory zag. Ik heb niets vernomen dat hij dit inderdaad geprobeerd had; ik zag maar één mount. Of heb ik dat verkeerd begrepen?

Verder share je filesystems; geen directories. Maar je kunt wel prima met de -alldirs direct subdirectories mounten. Dus als /tank/backup je filesystem is, dan kun je direct mounten naar /tank/backup/.zfs/snapshots zolang je -alldirs hebt ingeschakeld op de server.

Maar dat cross-mounting verhaal is toch echt zijn probleem voor zover ik het begrijp. Hij kan met één mount van het hoofd filesystem niet bij de data van de overige filesystems komen.

[CurlyMo]

Ja, wat ik probeer te zeggen is dat er ook problemen zijn met de -alldirs situatie. Als je /tank/backup shared via NFS, dan is /tank/backup/.zfs/snapshots leeg via NFS ondanks eventuele aanwezigheid van snapshots en zfs snapdir=visible.

[nMad]

Is het handig om elk type data in een specifieke dataset weg te zetten?

Dus bijvoorbeeld:
tank/ (pool)
tank/data (root dataset)
tank/data/Afbeeldingen (child dataset)
tank/data/Documenten (child dataset)
tank/data/Muziek (child dataset)
tank/data/Videos (child dataset)

Dan kan ik van de child dataset 'Documenten' bijvoorbeeld uurlijks een snapshot maken, terwijl ik dit voor de child dataset 'Videos' nooit doe.

Je kan dan niet op een 'snelle' manier bestanden verplaatsen tussen de child datasets omdat de data opnieuw weggeschreven moet worden.

Zijn er nog meer nadelen?

[ikkeenjij36]

Ff een kelin vraagje,ik ga het nog eens wagen met zfsguru,welke systeem image is op dit moment het beste om te instaleren?

[Verwijderd]

10.1-002 totdat GuruDB komt in begin maart. Stond volgens mij ook wat over in mijn laatste DM aan je.

[ Voor 41% gewijzigd door Verwijderd op 21-02-2015 21:41 ]

[FREAKJAM]

ikkeenjij36 schreef op zaterdag 21 februari 2015 @ 21:10:
Ff een kelin vraagje,ik ga het nog eens wagen met zfsguru,welke systeem image is op dit moment het beste om te instaleren?

Ik dacht dat je Xpenology als een tierelier draaide ;-)

[ikkeenjij36]

Mm ja idd ot vanmiddag,updaten en complete crash en alles weg,dus nu weer nieuwe poging voor zfsguru

[Verwijderd]

offtopic:
Je kunt ook naar zo'n voodoo-tent gaan om die vloek die over je rust uit te bannen.

[ikkeenjij36]

Verwijderd schreef op zaterdag 21 februari 2015 @ 23:41:

offtopic:
Je kunt ook naar zo'n voodoo-tent gaan om die vloek die over je rust uit te bannen.

[Keiichi]

Wie draait er hier allemaal ZFS met l2arc op FreeBSD?

[jacovn]

Ik draai met L2arc op SSD, maar dat zal haast iedereen met ZFS wel doen. Hoe zinvol het is voor mijn toepassing (films opslaan) twijfel ik wel eens aan.

[Keiichi]

jacovn schreef op maandag 23 februari 2015 @ 04:26:
Ik draai met L2arc op SSD, maar dat zal haast iedereen met ZFS wel doen. Hoe zinvol het is voor mijn toepassing (films opslaan) twijfel ik wel eens aan.

Het ging er mij om dat ik nog steeds tegen een bepaalde bug aanloop (Andere ook http://comments.gmane.org/gmane.os.freebsd.stable/94797 ). Ik probeer andere te vinden die tegen hetzelfde probleem aanlopen.

Ik loop er vrij snel tegenaan als ik snel veel data wegschrijf, meestal na 2TB en paar miljoen bestanden/mappen vind het al plaats.

[FireDrunk]

Update:

Mensen: ik heb de topic start geupdatet (kutwoord... )
Ik heb bij de geadviseerde configs de oude configs vervangen voor een generiek stukje.
Mochten mensen graag willen dat hun mooi uitgedachte ZFS build in de TS een plaatsje krijgt, staat het je vrij om die config (met begeleidend schrijven) even per DM naar mij te sturen.

Mocht het echt een goed uitgedachte config zijn, zal ik hem een plekje geven in de TS


_{PS: Voel je vrij om configs door te sturen, maar verwacht niet dat ik alle configs in de TS ga zetten. Ze moeten generiek zijn voor een groot gedeelte van de lezers van dit topic. Ik probeer zo objectief mogelijk te beoordelen of de config voor meer dan 1 persoon geschikt is.}

[wmn79]

wmn79 schreef op vrijdag 13 februari 2015 @ 18:55:
Ik wil binnenkort de Proliant Microserver G1610T gaan kopen en deze in gaan zetten om mijn oude Conceptronic CH3SNAS met Alt-F firmware te vervangen. Ik wil op de server of Freenas of ZFSguru gaan draaien. Daarbij wil ik het liefst de twee schijven uit mijn oude NAS (2x Samsung Spinpoint F4 EG HD204UI, 2TB) hergebruiken en er een derde 2TB disk bij te kopen zodat ik de drie schijven in raidz1 kan zetten. Qua data red ik dat makkelijk, momenteel zit ik nog net niet op 1TB.

Nu vraag ik me nog twee dingen af:

• Is het handig om voor die derde schijf een identieke schijf 2ehands te kopen of kan ik gewoon iedere willekeurige 2 TB schijf kopen en deze gebruiken in combinatie met de twee Samsung schijven?
• Hoeveel geheugen zal ik er bij prikken 4GB of 8GB? Met 8GB ben ik meteen toekomstvast en kan ik in de toekomst de server eventueel ook nog inzetten voor andere taken. Met 4GB (dus 6GB) moet het alleen voor de NAS functionaliteiten prima werken volgens mij. Wat zijn jullie ideeën daarover?

Even een bump van mijn vorige post. De vraag m.b.t. geheugen ben ik inmiddels uit, heb 8GB gekocht. De vraag met betrekking tot de 3e schijf en eventueel 4e schijf staat nog steeds. Wat raden jullie aan? Een of twee van dezelfde Samsungs tweedehands kopen of 1 a 2 nieuwe 2TB schijven? Nog zaken waarop ik dan moet letten?

Qua ZFS array ben ik er ook nog niet uit, eerst dacht ik een RAIDZ1 op te bouwen van drie disks toen las ik over issues bij het stukgaan van een van de schijven dat een tweede dan vaak snel volgt ivm de grote load tijdens het heropbouwen van de array. Dus nu twijfel ik tussen een RAID1 van twee disks, een RAIDZ1 van drie of vier disks of een RAIDZ2 van vier disks. Wat raden jullie aan?

[ Voor 38% gewijzigd door wmn79 op 24-02-2015 14:30 ]

[FireDrunk]

2TB is een beetje old-fashioned... Als je 'maar' 2 schijven hebt, kan je dan niet beter switchen naar 4TB schijven?

[wmn79]

FireDrunk schreef op dinsdag 24 februari 2015 @ 14:29:
2TB is een beetje old-fashioned... Als je 'maar' 2 schijven hebt, kan je dan niet beter switchen naar 4TB schijven?

Heb twee schijven en ruimte voor 4 in de microserver. Momenteel gebruik ik 1TB van de 2TB (die in RAID1 staan) dus heb niet heel veel noodzaak voor extra terrabytes.

Gaat er mij vooral om dat de data veilig is en als ik de schijven in RAIDZ1 zet dan ga ik er ook nog iets op vooruit qua ruimte voor de toekomst. Ben geen enorme verzamelaar van Films e.d. dus voorzie geen grote veranderingen in datagebruik. Wat is in mijn situatie dan de beste en meest veilige oplossing?

[ Voor 27% gewijzigd door wmn79 op 24-02-2015 14:34 ]

[CurlyMo]

Ik zou kiezen voor een degraded RAIDZ2 met drie schijven of gelijk voor een RAIDZ2. Als je nu al data op je 2 2TB schijven hebt staan, dan zou ik een degraded RAIDZ2 met 2 schijven maken. Daarna data kopiëren en dan langzaam de overige schijven toevoegen aan je RAIDZ2.

[jacovn]

FireDrunk schreef op maandag 23 februari 2015 @ 10:19:

Update:

Mensen: ik heb de topic start geupdatet (kutwoord... )
Ik heb bij de geadviseerde configs de oude configs vervangen voor een generiek stukje.
Mochten mensen graag willen dat hun mooi uitgedachte ZFS build in de TS een plaatsje krijgt, staat het je vrij om die config (met begeleidend schrijven) even per DM naar mij te sturen.

Ik heb een vraag/suggestie
Mijn idee is dat de meeste gebruikers hier met een wat grotere NAS meest waarschijnlijk video op slaan.

Wat betreft de L2ARC, gebruik je die dan wel ?

Ik zie maar 1 voordeel, ik heb Yadis in gebruik voor een Dune afspeler.en als ik 1 maal door de index gescrolled heb (die fysiek van disk gelezen wordt) gaat het daarna sneller)
Dit is statische data.

Voor de test zal er waarschijnlijk weinig in de L2ARC opgeslagen worden. Heeft het dus voor een NAS waar films op staan wel zin een L2ARC te maken ?

Aangezien je toch boot van SSD kun je natuurlijk altijd wel wat ruimte vinden voor de L2ARC, dus het is wellicht een zinloos idee er niet 1 te maken...

[FireDrunk]

Ik snap je punt niet zo goed: In mijn tekstje rep ik geen woord over L2ARC?
Wat jij zegt klopt helemaal hoor, L2ARC is voor DIY Thuisgebruik eerder een gimmick dan een nuttige feature...

[jacovn]

Het is ook meer algemeen over de intro, dan specifiek het door jou aangepaste stuk.

Voor beginners is het toch wel een stuk wat begrijpelijk alles uitlegt (althans dat was het voor mij)
Ik heb in die tijd wel wat gevraagd over een SLOG.
Maar de L2ARC heeft minder zin lijk ik nu achter.te komen, dus vandaar.

[wmn79]

CurlyMo schreef op dinsdag 24 februari 2015 @ 14:41:
Ik zou kiezen voor een degraded RAIDZ2 met drie schijven of gelijk voor een RAIDZ2. Als je nu al data op je 2 2TB schijven hebt staan, dan zou ik een degraded RAIDZ2 met 2 schijven maken. Daarna data kopiëren en dan langzaam de overige schijven toevoegen aan je RAIDZ2.

En qua schijven, maakt het dan nog uit welke 2TB schijven ik koop t.o.v. de twee huidige schijven die ik al heb?

[FireDrunk]

jacovn schreef op dinsdag 24 februari 2015 @ 14:57:
Het is ook meer algemeen over de intro, dan specifiek het door jou aangepaste stuk.

Voor beginners is het toch wel een stuk wat begrijpelijk alles uitlegt (althans dat was het voor mij)
Ik heb in die tijd wel wat gevraagd over een SLOG.
Maar de L2ARC heeft minder zin lijk ik nu achter.te komen, dus vandaar.

Ahzo, tja, het enige wat ik er van vind is: Als je graag iets concreets in de startpost wil hebben, geef het aan, dan kan ik het er in zetten.

Voel je vrij om een voorschotje te nemen op wat je er graag in wil hebben!

[CurlyMo]

@wmm79, ik heb hier 4 WD RED 2TB schijven geselecteerd op verschillende productie data.

[wmn79]

CurlyMo schreef op dinsdag 24 februari 2015 @ 15:11:
@wmm79, ik heb hier 4 WD RED 2TB schijven geselecteerd op verschillende productie data.

Als in je hebt ze in de aanbieding? Of als tip van let op de productie data bij het aanschaffen van de 2 extra schijven?

Met RAIDZ2 en 4x 2TB schijven kom ik dan op 4TB totaal te gebruiken toch?

[CurlyMo]

Als tip. Dit is RAIDZ2 met 4x 2TB:

code:

$ zfs list data
NAME   USED  AVAIL  REFER  MOUNTPOINT
data  1.57T  1.88T   267K  /data

Met een zooi snapshots e.d.

[ Voor 9% gewijzigd door CurlyMo op 24-02-2015 16:07 ]

[wmn79]

CurlyMo schreef op dinsdag 24 februari 2015 @ 16:07:
Als tip. Dit is RAIDZ2 met 4x 2TB:

code:

$ zfs list data
NAME   USED  AVAIL  REFER  MOUNTPOINT
data  1.57T  1.88T   267K  /data

Met een zooi snapshots e.d.

Top dank je wel. Dan bestel ik denk ik nog 2x 2TB van die WD Red of Green serie.

[FREAKJAM]

Deze calculator is best handig anders!

RAID-Z2
*Raw Storage: 8.0 TB / 8000.0 GB
*Usable Storage: 3.6 TB / 3725.3 GB
RAID-Z2 uses two disks for Parity and requires at least four drives to be used.

[Verwijderd]

RAID-Z vereist minimaal twee disks
RAID-Z2 vereist minimaal drie disks
RAID-Z3 vereist minimaal vier disks.

Het is enkel dat zo weinig disks geen zin heeft voor RAID-Z-familie, dat je beter mirror kunt draaien. Maar het minimum van RAID-Z2 is dus geen vier disks.

Ook klopt de rest niet; usable storage moet in TiB worden aangegeven; niet in TB.

[ Voor 13% gewijzigd door Verwijderd op 24-02-2015 16:27 ]

[FREAKJAM]

* FREAKJAM shoots servethehome.com

[Verwijderd]

Is wel leuke site hoor; van Patrick van HardOCP. Maar niet alle informatie die je online kunt vinden, klopt ook.

[FREAKJAM]

Ja klopt, erg toffe kerel volgens mij. Hele tijd terug topic daar gemaakt over mijn toen nog niet aangekochte setup en toen was hij oprecht geïnteresseerd ook.

[wishmaster1986]

Wat raden jullie voor disken aan? Loop een beetje te bladeren door het topci maar kan er niet echt iets over vinden. Huidige situatie is namelijk dat we nu 34x 3TB Seagate schijven hebben maar steeds vaker errors gaan geven of compleet uitvallen.

Nu gaan alle schijven dus vervangen gaan worden door NON Seagate disken. Het mogen 3TB of 4TB disken zijn. De WD Red schijven hebben TLER wat dus eigenlijk niet erg geschikt is voor ZFS. Dit is ook niet uit te zetten las ik in het topic. WD Green zijn 5400 RPM wat de performance weer niet ten goeden komt. HGST daar lees ik wel weer goede verhalen over maar zijn weer erg aan de prijs als er daar 34 van gekocht moeten worden.

Wat is jullie advies hierin?

[CurlyMo]

WD Red zijn juist gemaakt voor NAS doeleinden en ook gewoon 5400 RPM. Ik draai ze hier zonder enige problemen.

[Mystic Spirit]

wishmaster1986 schreef op donderdag 26 februari 2015 @ 11:06:
Wat raden jullie voor disken aan? Loop een beetje te bladeren door het topci maar kan er niet echt iets over vinden. Huidige situatie is namelijk dat we nu 34x 3TB Seagate schijven hebben maar steeds vaker errors gaan geven of compleet uitvallen.

Nu gaan alle schijven dus vervangen gaan worden door NON Seagate disken. Het mogen 3TB of 4TB disken zijn. De WD Red schijven hebben TLER wat dus eigenlijk niet erg geschikt is voor ZFS. Dit is ook niet uit te zetten las ik in het topic. WD Green zijn 5400 RPM wat de performance weer niet ten goeden komt. HGST daar lees ik wel weer goede verhalen over maar zijn weer erg aan de prijs als er daar 34 van gekocht moeten worden.

Wat is jullie advies hierin?

Ik draai nu al ruim een jaar met WD Red een Z2 config van 7 disks zonder enige problemen. Zou niet willen zeggen dat het professioneel gebruikt wordt, maar het draait wel helemaal prima en ben nog niet tegen problemen aangelopen.

[tweedebas]

Op freenas.org staat een stuk waarin juist wel TLER drives worden aangeraden.

Ik maak daar tenminste uit op dat ze TLER bedoelen.

"In a desktop, if an I/O fails, all is lost. For this reason, desktop drives will retry I/Os endlessly. In a storage device, you want redundancy at the storage level. If an individual drive fails an I/O, ZFS will retry the I/O on a different drive."

[ Voor 0% gewijzigd door tweedebas op 26-02-2015 11:24 . Reden: typo ]

[Verwijderd]

Weer een hoop geklets van FreeNAS...

In a desktop, if an I/O fails, all is lost

De poorten van de Hemel storten in! Het einde der tijden!

desktop drives will retry I/Os endlessly

Dat doen ze niet. Als een hardeschijf de I/O niet kan verwerken; stuurt het I/O error terug. Als er een bad sector is, kan het afhandelen van de I/O wel tot 120 seconden duren; maar dat is wat anders. Er is één I/O request en één I/O failure; niet meerdere. Het is de host die nogmaals een I/O request stuurt; niet de hardeschijf.

If an individual drive fails an I/O, ZFS will retry the I/O on a different drive.

Dus... er is niets aan de hand?! Waarom dan 'all is lost'?

Dit stukje draait het allemaal om:

The faster that happens, the faster the array will be able to cope with hardware faults.

Aha, dus er wordt TLER aanbevolen omdat bij bad sectors het dan een aantal seconden minder lang duurt voordat ZFS de volgende disk pakt. Kijk! We hebben het over gemak; niet over veiligheid laat staan 'all is lost'.

En ipv duurdere hardeschijven te kopen met een vieze hack, kun je ook gewoon je operating system configureren om hetzelfde te doen. Binnen 7 seconden geen reactie van de hardeschijf? Dan een device reset en opnieuw proberen. Immers: de host bepaalt wat er gebeurt, niet de hardeschijf. Als de host niet wilt dat de hardeschijf 120 seconden gaat recoveren, heeft de host alle macht om in te grijpen. Dus doe dat dan ook!

code:

# mimic TLER behavior
# note: error recovery is useful in cases where you lost your redundancy!
kern.cam.ada.default_timeout="7"
kern.cam.da.default_timeout="7"
kern.cam.ada.retry_count="2"
kern.cam.da.retry_count="2"

Als je bang bent voor timeouts, dan kun je beter advies geven om LSI controllers te vermijden. Deze hebben namelijk quirks waardoor een timeout op één disk alle I/O voor andere disks blokkeert. Dit is zeker niet normaal en zal niet plaatsvinden op een normale AHCI controller.

[Bigs]

TLER is toch geen 'vieze hack'? Het is gewoon een andere instelling in de firmware van de harde schijf, namelijk dat hij het eerder opgeeft.

[FireDrunk]

Inderdaad... Het is een 'voorkeur', niet een hack... Maar goed, CiPHER kan wat... geëmotioneerd reageren

Probleem van die mimic in BSD is volgens mij dat schijven die reset niet altijd honoreren is mij ooit eens verteld...

[Verwijderd]

Dat is dus een 'hack' oftewel een workaround. Het is om een tekortkoming aan de kant van de host te verzachten.

TLER is voornamelijk nodig voor hardware RAID en andere slechte RAID engines, zoals Windows FakeRAID. Die gooien disks uit de array als ze niet binnen 10 seconden reageren. Een disk die een bad sector probeert te recoveren, wordt dus over één kam gescheerd met een gefaalde disk die helemaal niets meer doet.

Dat is gewoon een brak ontwerp - met andere firmware op de RAID controller zou dit probleem helemaal niet bestaan. Dus zou er ook geen TLER nodig zijn.

Voorheen kreeg je TLER 'gratis' als feature; totdat de fabrikant bedacht de klanten daarvoor te laten betalen. Leuke is ook dat WD Red als 'NAS' schijf wordt aangeprezen. Maar juist vrijwel alle NAS systemen hebben helemaal geen TLER nodig; omdat ze door software RAID worden gedreven.

Vroeger had je zogenaamde RE (RAID Edition) schijven die populair waren - WD Red was er toen niet. Maar voor de meerprijs kreeg je naast extra garantie ook een fysiek andere schijf. Bij WD Red is dat niet zo en betaal je in feite voor een ultrasimpele firmwarefunctie, die eerst alle consumentenmodellen gratis kregen.

CCTL bij Samsung en Hitachi is nog steeds 'gratis' maar dit moet - in tegenstelling tot TLER - wel handmatig geactiveerd worden na elke power-cycle.

[FireDrunk]

Een disk die een bad sector probeert te recoveren, wordt dus over één kam gescheerd met een gefaalde disk die helemaal niets meer doet.

En daar zit juist de crux... Een OS ziet het verschil niet tussen een reguliere IO request die faalt omdat de kop aan het tikken is, of omdat de disk een sector aan het recoveren is...

Juist met die reden gaat een OS niet 120s wachten. Omdat de schijf net zo goed stuk kan zijn...

* FireDrunk gaat binnenkort ook upgraden qua schijven, maar weet het ook nog niet zo goed.

Ik zit te twijfelen om de nieuwe Seagate Archive v2 schijven te kopen

[ Voor 17% gewijzigd door FireDrunk op 26-02-2015 12:39 ]

[Verwijderd]

FireDrunk schreef op donderdag 26 februari 2015 @ 12:35:
En daar zit juist de crux... Een OS ziet het verschil niet tussen een reguliere IO request die faalt omdat de kop aan het tikken is, of omdat de disk een sector aan het recoveren is...

Hoeft de host ook helemaal niet te weten; heeft de host helemaal niets mee te maken.

Hoe een opslagapparaat zijn data kan leveren is zijn eigen business. De host wilt simpelweg dat het opslagapparaat zich aan de ATA-standaard houdt.

En dan is het simpel; duurt het te lang voor de host; dan kan het de interface resetten en opnieuw I/O's sturen. Reageert een hardeschijf niet op een reset, dan volgt een 'device detach' wat betekent dat het apparaat onzichtbaar wordt en geldt als niet-aangesloten.

Kortom, het is aan de host hoe lang een opslagapparaat over een I/O mag doen. Het is ook niet zo dat de host geen mogelijkheid heeft om een hardeschijf met bad sector recovery te onderscheiden van een echt gefaalde hardeschijf. De laatstgenoemde zal niet op een channel reset reageren.

FireDrunk schreef op donderdag 26 februari 2015 @ 12:35:
Ik zit te twijfelen om de nieuwe Seagate Archive v2 schijven te kopen

Zou je dat wel doen? Dat zijn zogenaamde SMR-schijven. Die kunnen niet simpelweg een sector beschrijven. Die moeten eerst omliggende data inlezen voordat een sector kan worden geschreven. In feite de eerste hardeschijven die geen echte 'sectoren' hebben zoals de definitie van de kleinst mogelijke eenheid die in zijn geheel in één handeling kan worden uitgelezen of weggeschreven. Net als SSDs in feite.

Ik zie dat niet zitten. Als het nou 16TB versus 6TB is; maar ik blijf voorlopig liever bij 6TB PMR-schijfjes. Die hebben zich al ruim bewezen. Met SMR wordt je hardeschijf steeds meer een tapestreamer waarbij enkel sequential I/O een redelijke snelheid heeft. Hardeschijven hadden al 4K sectors met emulatie gekregen; nu komt daar weer een gimmick bij. Ik ben er niet heel blij mee.

Dat gezegd; ik sluit niet uit dat ik ooit naar de 10TB SMR-schijfjes ga, maar kijk liever eerst de kat uit de boom. Voorlopig vind ik het voordeel veels te klein om de stap naar SMR te wagen.

[ Voor 34% gewijzigd door Verwijderd op 26-02-2015 12:51 ]

[FireDrunk]

Hoeft de host ook helemaal niet te weten; heeft de host helemaal niets mee te maken.

Niet helemaal waar. Je wil het liefst dat je array zo snel mogelijk weer fatsoenlijk werkt/presteert.
Tuurlijk heb je volgens de letter van het protocol gelijk, maar dan zou FakeRAID gewoon na 2 seconden een device reset sturen, en om de dag (elke URER van een consumenten disk ofzo) een disk uit een RAID5 array trappen...

Dat is ook niet wat je wil... De waarheid zit ergens in het midden...

Over de seagates:
Leuke is, €/GB zijn ze goedkoper. Meer garantie (5j ipv 3). Lager verbruik per GB.

Dus eigenlijk is het enige risico: Slechtere UBER/URER en (te) lange rebuild tijden...

Tja... Afweging...

[ Voor 57% gewijzigd door FireDrunk op 26-02-2015 13:24 ]

[Verwijderd]

Nouja voor 'deep storage' zijn die schijven in principe heel goed. Zeker als je ZFS voor bit-rot hebt.

Over een paar jaar verwacht ik dat ik mijn 24/7 NAS enkel nog met SSDs heb uitgerust. Dan zijn de hardeschijven enkel voor offline storage. Dan is zuinigheid ook niet meer een issue. Ik heb nu ook mijn ouderwetse 250/320/500/640/750GB schijven in gebruik in een oudere ZFS NAS die enkel snapshots maakt 's nachts. Twee van die dingen. Dat de schijven onzuinig zijn per GB maakt niet uit omdat ze alleen eventjes draaien 's nachts.

[FireDrunk]

Ik wil wel always-on storage... Dat kunnen ze volgens de specsheet prima hebben... Ze zijn gewoon rated op 24/7 aan staan... Alleen is de IO load lager rated dan gewone schijven...

Ik denk niet dat ik aan de 180TB per jaar kom...

Datasheet in kwestie:
http://www.seagate.com/ww...e-hdd-dS1834-3-1411us.pdf

Toch 3j, ik dacht ergens 5j gelezen te hebben...

[ Voor 30% gewijzigd door FireDrunk op 26-02-2015 13:33 ]

[Verwijderd]

24/7 kan wel; maar ze zijn niet goed in random seeks. En dat is nu juist waar mijn 24/7 NAS voor dient. Kleinere files, zeker niet enkel block storage. Random writes zullen ook vele langere latency hebben omdat eerst data moet worden gelezen. Vergelijk het met een 4K schijf die je met foute partities misaligned hebt; zelfde verhaal.

Dat gezegd; bij normaal gebruik hoef je het wellicht niet zo te merken. Dus misschien valt het allemaal reuze mee. Maar ik ben wat huiverig...

[FireDrunk]

Het is natuurlijk een beetje prehistorisch om random seeks op harddisks te doen
Enige random IO die er gebeurt op mijn harddisks is PAR en UNRAR verkeer (dat wil soms nog wel eens wat random IO opleveren...)

Voor de rest: SSD's...

[hansdegit]

Ik wil graag wat experimenteren met iSCSI voor mijn database server. Probleem is dat ik niet zo goed weet hoe ik dat draaiende kan krijgen onder ZFSGuru.

"Running official system image 11.0-002 featuring FreeBSD 11.0-CURRENT with ZFS v5000."
"version: 0.2.0-beta10"

Als ik de iSCSI target service start, stopt -ie meteen weer.

In /var/log/messages zie ik:

code:

Feb 26 20:26:31 zfsguru root: /etc/rc.d/ctld: WARNING: Unable to load kernel module ctl
Feb 26 20:26:31 zfsguru kernel: KLD ctl.ko: depends on icl - not available or version mismatch
Feb 26 20:26:31 zfsguru kernel: linker_load_file: Unsupported file type
Feb 26 20:26:31 zfsguru root: /etc/rc.d/ctld: WARNING: failed precmd routine for ctld

Waar kan ik beginnen met troubleshooten?

[Verwijderd]

Er zijn zeer veel commits voor de kernel-implementatie van iSCSI-target in 11-CURRENT gekomen laatste maanden - de oudere 11.x image zou een probleem kunnen hebben. Heb je ook de reguliere 10.1.x geprobeerd? Die zullen minder features hebben maar wel werkend.

[hansdegit]

Hmm, ben een beetje huiverig om terug te gaan naar 10.x, ben allang blij dat deze setup lekker stabiel draait. Heb je een idee of en wanneer de iSCSI functionaliteit (weer) beschikbaar komt in ZFSGuru?