Het grote ZFS topic

[FREAKJAM]

Schijnbaar zit er een nasty bug in FreeNAS 9.2.1. Je kunt geen VMimage jails aanmaken. Probeer nu zelf toevallig mysql in een jail te installeren en mijn FreeNAS VM freezed elke keer. Ga nu de laatste nighty installeren dan maar, ik heb toch nog niets op mijn pool staan.

topic op irc:
Try http://download.freenas.org/nightly/ if you are having problems with VIMAGE jails.

edit:
Iemand die me kan vertellen hoe ik mijn VM toch kan booten zodat ik ZFSGuru kan gebruiken? Wil hier toch eens mee spelen. Omdat ik ZFSGuru alleen op mijn pool kan installeren, kan ik dus mijn VM niet booten. Wordt ook verteld in dit topic trouwens. Hoe kan ik via een omweg toch ZFSGuru installeren op de VM? Of moet ik mijn VM gewoon altijd booten van .iso?

[ Voor 179% gewijzigd door FREAKJAM op 18-02-2014 11:08 ]

[indian]

Is ZFS goed te gebruiken met een Truecrypt container? Hebben er hier mensen ervaring mee?
Ik wil namelijk een Truecrypt container maken en deze sharen via SMB. Binnen Nas4Free heb je alleen de mogelijkheid om complete disken te kunnen encrypten.

[FireDrunk]

Truecrypt doet toch zijn eigen encryptie? Waarom zou je dan nog meer encryptie willen?

[indian]

FireDrunk schreef op dinsdag 18 februari 2014 @ 21:21:
Truecrypt doet toch zijn eigen encryptie? Waarom zou je dan nog meer encryptie willen?

Ik wil niet ZFS encryptie en Truecrypt encryptie, maar ik wil alleen zeggen dat een container maken (zoals bij Truecrypt) niet (goed) mogelijk is met N4F (allen hele disken encrypten).

[Tsurany]

Waarom zou je dat dan ook met N4F willen doen? Daar is juist software zoals Truecrypt voor. Je moet niet vanuit je filesystem een container op je filesystem willen maken.

[A1AD]

FREAKJAM schreef op maandag 17 februari 2014 @ 20:46:
Schijnbaar zit er een nasty bug in FreeNAS 9.2.1. Je kunt geen VMimage jails aanmaken. Probeer nu zelf toevallig mysql in een jail te installeren en mijn FreeNAS VM freezed elke keer. Ga nu de laatste nighty installeren dan maar, ik heb toch nog niets op mijn pool staan.

je hebt een ESX omgeving, dan ga je toch niet met jails prullen? installeer een ubuntu vm en laat je NAS lekker doen waarin hij goed is.

[FireDrunk]

@Indian, ik ben het inderdaad eens met Tsurany, je kan Truecrypt toch gewoon over Samba laten lopen?

[Paul]

A1AD schreef op dinsdag 18 februari 2014 @ 22:14:
je hebt een ESX omgeving, dan ga je toch niet met jails prullen? installeer een ubuntu vm en laat je NAS lekker doen waarin hij goed is.

*klik* *klik* klaar -> bittorrent client, *klik* *klik* klaar -> nzb client versus VM aanmaken, Linux installeren, torrent client installeren, SMB of NFS-mounts maken naar je FS etc etc

Al zou ik het voor MySQL of een mailserver wel via VMware oplossen ja

[DXaroth]

Paul schreef op woensdag 19 februari 2014 @ 08:44:
[...]
*klik* *klik* klaar -> bittorrent client, *klik* *klik* klaar -> nzb client versus VM aanmaken, Linux installeren, torrent client installeren, SMB of NFS-mounts maken naar je FS etc etc

Al zou ik het voor MySQL of een mailserver wel via VMware oplossen ja

je bedoelt dat je niet 1 image klaar hebt staan die je kan klonen?

*klik* *klik* apt-get install *enter* klaar.

[Paul]

<@insomnia> it only takes three commands to install Gentoo
<@insomnia> cfdisk /dev/hda && mkfs.xfs /dev/hda1 && mount /dev/hda1 /mnt/gentoo/ && chroot /mnt/gentoo/ && env-update && . /etc/profile && emerge sync && cd /usr/portage && scripts/bootsrap.sh && emerge system && emerge vim && vi /etc/fstab && emerge gentoo-dev-sources && cd /usr/src/linux && make menuconfig && make install modules_install && emerge gnome mozilla-firefox openoffice && emerge grub && cp /boot/grub/grub.conf.sample /boot/grub/grub.conf && vi /boot/grub/grub.conf && grub && init 6
<@insomnia> that's the first one

Sowieso zul je eerst dat image moeten hebben om überhaupt te kunnen klonen, waar dat bij FreeNAS / NAS4Free door anderen al voor je is gedaan, daarnaast zul je alles (_alles_... Waarbij je dus al redelijk diepe kennis van MySQL / Apache / whatever er aan dependencies is moet hebben) met de hand in nano / vi / emacs moeten gaan configureren (of je moet een GUI op je VM zetten, dan is er iets meer te klikken).

Maar, je hebt helemaal gelijk, na een 'apt-get install' heb je inderdaad de bestandjes al op je server staan.

[Mystic Spirit]

FREAKJAM schreef op maandag 17 februari 2014 @ 20:46:
Schijnbaar zit er een nasty bug in FreeNAS 9.2.1. Je kunt geen VMimage jails aanmaken. Probeer nu zelf toevallig mysql in een jail te installeren en mijn FreeNAS VM freezed elke keer. Ga nu de laatste nighty installeren dan maar, ik heb toch nog niets op mijn pool staan.

topic op irc:
Try http://download.freenas.org/nightly/ if you are having problems with VIMAGE jails.

edit:
Iemand die me kan vertellen hoe ik mijn VM toch kan booten zodat ik ZFSGuru kan gebruiken? Wil hier toch eens mee spelen. Omdat ik ZFSGuru alleen op mijn pool kan installeren, kan ik dus mijn VM niet booten. Wordt ook verteld in dit topic trouwens. Hoe kan ik via een omweg toch ZFSGuru installeren op de VM? Of moet ik mijn VM gewoon altijd booten van .iso?

Ik heb ZFS guru gewoon in een VM gehad. Je maakt een virtual disk aan installeert met de iso naar de virtualdisk. Daarbij wordt er een pool aangemaakt op je virtual disk en installeerd hij naar die single disk pool. Vervolgens kan je andere disken aankoppelen voor je daadwerkelijke storage pool.

[FREAKJAM]

Klinkt logisch thanks! Ik had gelijk alle disks aan me VM gehangen. Eigenlijk moet je dus 2x een pool installeren. 1 waar de ZFSGuru instalaltie soort van op draait in een single disk pool en vervolgens hang je je andere schijven via passthrough aan je VM en definieer je daar de daadwerlijke pool.

[Mystic Spirit]

Dat is precies hoe ik het gedaan heb Ik hang mijn pool nog wel eens om van het ene besturingssysteem naar het andere en op die manier kan ik heel makkelijk switchen. Momenteel zit ik op FreeNas, maar ga binnenkort weer eens kijken wat de nieuwste ZFSguru doet.

[ilovebrewski]

Ik heb het ook zo gedaan. Mijn aanwijzingen waren alleen niet zo duidelijk als die van Mystic Spirit

[indian]

Tsurany schreef op dinsdag 18 februari 2014 @ 21:32:
Waarom zou je dat dan ook met N4F willen doen? Daar is juist software zoals Truecrypt voor. Je moet niet vanuit je filesystem een container op je filesystem willen maken.

In die combinatie heb ik toch de voordelen van ZFS (snapshot, selfhealing), samen met de encryptie van Truecrypt?

[Paul]

Het zijn 2 losse zaken. ZFS is een filesystem net als FAT, NTFS, EXT3 etc. Daar sla je bestanden op op. Encyptie die je daar gebruikt is voor het geval je server wordt gestolen of je een harde schijf RMA moet sturen.

Een TrueCrypt container is zelf een bestand met daarin een filesystem, waar je met een programmaatje bij kunt. Je zult dat programmaatje dus op de computer moeten hebben staan waar je van de bestanden in de container bij wilt. Dit gebruik je wanneer je bepaalde bestanden wilt versleutelen zodat niet iedereen erbij kan.

Als je die container serverside wil openen en dan delen met je netwerk dan kun je net zo goed de encryptie van ZFS gebruiken, dat doet dan hetzelfde en draait native

[indian]

Paul schreef op woensdag 19 februari 2014 @ 11:31:
Het zijn 2 losse zaken. ZFS is een filesystem net als FAT, NTFS, EXT3 etc. Daar sla je bestanden op op. Encyptie die je daar gebruikt is voor het geval je server wordt gestolen of je een harde schijf RMA moet sturen.

Een TrueCrypt container is zelf een bestand met daarin een filesystem, waar je met een programmaatje bij kunt. Je zult dat programmaatje dus op de computer moeten hebben staan waar je van de bestanden in de container bij wilt. Dit gebruik je wanneer je bepaalde bestanden wilt versleutelen zodat niet iedereen erbij kan.

Als je die container serverside wil openen en dan delen met je netwerk dan kun je net zo goed de encryptie van ZFS gebruiken, dat doet dan hetzelfde en draait native

Dat het 2 verschillende zaken snap ik.
Het gaat mij er meer om dat bij een eventuele bit-rot van een truecrypt container, ik alles kwijt ben binnen de container. Als ik die container plaats in een ZFS filesystem, dan kan ik snapshots maken en heb ik de voordelen van het zfs filesystem.

De container plaats ik binnen samba share, dus die gaat client side gedecrypt worden.

Binnen N4F kan ik geen containers aanmaken (zodat ik eventueel kan transporteren) en daarbij kijk ik naar de combinatie van N4F & TC.

[Paul]

Op een ZFS filesystem heb je de voordelen van ZFS. Dit is onafhankelijk van het type bestand dat je er op zet. Met TrueCrypt heb je de voordelen van TrueCrypt. Dit is onafhankelijk van het filesystem waar het op staat.

Dus, by all means, leef je uit Wel kan het zijn (maar dat is bij alle database-achtige zaken) dat iets niet overweg kan met snapshots, die zijn namelijk crash-consistent en niet (met bijvoorbeeld VSS) 'quiesced'.

[FireDrunk]

Dat kan ook prima als je TrueCrypt container op Samba ligt? Je kan immers het filesystem wat er onder ligt gewoon snapshotten.

Voorbeeld:

Je hebt een pool genaamd pietje, daarop maak je een filesystem wat heet: truecrypt.
Dat krijgt dan het pad: /pietje/truecrypt.

In samba share je dit filesystem als truecrypt.

Dan maak je in windows een netwerkverbinding (Z: bijvoorbeeld) naar \\hostname\truecrypt.

Nu heb je een disk op ZFS. Op deze disk maak je met TrueCrypt een container, die noem je bijvoorbeeld: Wachtwoorden.tc.

Je mikt je wachtwoorden erin, en ze staan automatisch via Samba op ZFS.

[ilovebrewski]

Ik probeer nu Rsync werkend te krijgen onder ZFSguru 10.0-002. Je moet hiervoor ook de Graphics Server installeren.
Onder de Services pagina staan dat ze beide niet draaien. Je kan ze ook niet via de webinterface aanzetten.
Moet je dit via de Graphics Server aanzetten/configureren, omdat je deze ook moet installeren voor Rsync? (ik heb namelijk geen beeldscherm naast mijn server staan )

[]Byte[]

Ik zou het dan gewoon buiten de X-schil om installeren.
'pkg install rsync' en de configuratie naar wens invullen in de '/usr/local/etc/rsyncd.conf'
service opnemen in de startup en klaar...

Of je kan iets als VNC-server op je ZFSguru-bakje installeren...

Scheelt je in ieder geval weer wat gehannes en gepruts met extra keyboard en monitor...
(zo heb ik het gedaan met mijn Raspberry Pi's)

[ Voor 35% gewijzigd door ]Byte[ op 19-02-2014 14:00 ]

[ilovebrewski]

Thnx, is gelukt nu nog ff zoeken hoe precies de configuratie in te vullen.

[zzattack]

Ik hou me al een tijd niet meer echt bezig met ZFS en de NAS. Waarom zou ik ook? Ruimte zat, en FreeBSD draait zo ontzettend lekker dat ik er absoluut geen omkijken naar heb. Af en toe de automatisch gedownloade series weer in hun mapjes flikkeren en verder lekker z'n gang laten gaan.

Onlangs heb ik dan wel de upgrade naar 10.0 gemaakt, dat was stap 1 van het upgradeprocess. Stap 2 wordt het uitbreiden van de capaciteit, want er is nog "maar" 2.5TB vrij. Echter, ik heb ik me sinds de overstromingen in Thailand ruim 2 jaar geleden niet meer bezig gehouden met disks, ze waren toch te duur en ik had ruimte zat. Hiervoor zoek ik wat advies.

Momenteel heb ik 20 schijven van 2TB verdeeld over 2 raidz-2 vdevs. Deze configuratie bevalt me wel, dus ik denk eraan om de ene vdev te vervangen voor een nieuwe van 10 schijven van 4TB each. Voorheen was het naar ik herinner een nobrainer om Hitachi schijven te nemen. De Deskstar 5K4000 staat voor 150 in de pricewatch. Lijkt me een prima grootte/prijsverhouding. Is Hitachi nog steeds goed aan te raden, of kan ik beter uitwijken naar een andere schijf?

[FireDrunk]

EINDELIJK!!!



Werd tijd grmbl...

Host: Gentoo Linux Kernel 3.10.25 met SCST icm 4* 1Gb NIC
Storage: 2* 840Pro in mirror onder ZFSonLinux
ESXi host: G1610, 2*1Gb Intel NIC

[]Byte[]

[Q]

FireDrunk schreef op woensdag 19 februari 2014 @ 15:56:
EINDELIJK!!!

[afbeelding]

Werd tijd grmbl...

Host: Gentoo Linux Kernel 3.10.25 met SCST icm 4* 1Gb NIC
Storage: 2* 840Pro in mirror onder ZFSonLinux
ESXi host: G1610, 2*1Gb Intel NIC

Dual-gigabit netjes gesatureerd

Wil jij je SCST config delen? Kunnen wij vast wat van opsteken.

[FireDrunk]

NAS ~ # cat /etc/scst.conf
HANDLER vdisk_fileio {
        DEVICE lun0 {
                filename /dev/zvol/zroot/vm
        }
}

TARGET_DRIVER iscsi {
        enabled 1
        TARGET iqn.2014-02.NAS:tgt {
                enabled 1
                LUN 0 lun0
        }
}

Die is gelukkig niet zo lang

[Q]

FireDrunk schreef op woensdag 19 februari 2014 @ 20:43:
Die is gelukkig niet zo lang

Dat is fucking simpel , ook maar eens testen, tnx!

[FireDrunk]

Compileren van SCST is ingewikkelder...

[InflatableMouse]

Sorry was vraagje voor ander topic .

[ Voor 84% gewijzigd door InflatableMouse op 20-02-2014 21:10 ]

[secretdk]

Hoe belangrijk is het om ECC geheugen te hebben voor ZFS?

[Verwijderd]

Oh nee, niet weer.

@secretdk: dat is een onderwerp van intens discussie.

[]Byte[]

"moeten" is een groot woord...
Ik zou het extreem wenselijk noemen.
Lees maar eens een pagina of 10 terug in dit topic.
Er is al heel veel over gesproken.
In mijn vorige config had ik non-ECC. Nu in mijn nieuwe bord heb ik wel ECC genomen.
Ik zou zeggen: DOEN!

[secretdk]

Verwijderd schreef op donderdag 20 februari 2014 @ 23:08:
Oh nee, niet weer.

@secretdk: dat is een onderwerp van intens discussie.

Voor mijn thuisserver met films en series etc. Is het nodig? of kan ik prima zonder af. Heb nu 2 x 8 GB non-ECC erin en wil er 2 bij kopen om naar 32 GB te gaan.

Maar als er echt aangeraden word dat ik beter 4x 8 GB ECC kan kopen dan stap ik over daarop.
Ga je het merken?

[Ultraman]

ECC is er juist zodat je het hopelijk niet merkt
Ik ben trouwens ook voorstander van kamp doen en ik heb daarom ook 16GB ECC DDR3 in mijn ZFS bakkie zitten. Het is waarschijnlijk data die je wilt behouden, anders zou je het niet op ZFS zetten. Investeer dan ook in degelijk geheugen, want daar kan ZFS je niet volledig beschermen.

[Q]

FireDrunk schreef op woensdag 19 februari 2014 @ 23:53:
Compileren van SCST is ingewikkelder...

Heb net eens in een VM getest zonder de kernel de hercompileren, binnen 5 minuten aan de praat. Wat win je er mee om die kernel zooi ook mee te compileren?

[Q]

Ultraman schreef op donderdag 20 februari 2014 @ 23:14:
Investeer dan ook in degelijk geheugen, want daar kan ZFS je niet volledig beschermen.

Het lijkt een beetje zwart-wit maar zo is het wel: als je meent dat je data het waard is om met ZFS te beschermen zou je ook ECC moeten gebruiken, anders geef je jezelf maar een vals gevoel van veiligheid.

Is het erg als door een bitflip in je geheugen het file system corrupt raakt en alles in 1x weg is?

Het was niet de bedoeling om te dubbelposten.

[ Voor 15% gewijzigd door Q op 20-02-2014 23:44 ]

[FREAKJAM]

FreeNAS 9.2.1.1 release is aanstaande denk ik zo
https://bugs.freenas.org/versions/78

tada:
http://download.freenas.org/9.2.1.1/RELEASE/

Samba (SMB/CIFS support) upgraded to version 4.1.4, with select key fixes cherry-picked from 4.1.5. This version adds support for SMB3, the ability for FreeNAS to be a Windows Domain Controller, and advanced features like server-side copy support in Windows 2012 and later, along with multiple years worth of improvements over the version of Samba that shipped in 9.2.0. Samba4 also enables SMB protocol version 3. Previous versions of FreeNAS limited samba to SMB2 because of random crashes that would occur using SMB3. We also fixed a number of Samba issues specific to FreeNAS in 9.2.1.1

[ Voor 90% gewijzigd door FREAKJAM op 21-02-2014 09:23 ]

[secretdk]

Q schreef op donderdag 20 februari 2014 @ 23:42:
[...]


Het lijkt een beetje zwart-wit maar zo is het wel: als je meent dat je data het waard is om met ZFS te beschermen zou je ook ECC moeten gebruiken, anders geef je jezelf maar een vals gevoel van veiligheid.

Is het erg als door een bitflip in je geheugen het file system corrupt raakt en alles in 1x weg is?

Het was niet de bedoeling om te dubbelposten.

Ben je bij 1 bitflip alles kwijt dan?

[Phuncz]

Q schreef op donderdag 20 februari 2014 @ 23:42:
Is het erg als door een bitflip in je geheugen het file system corrupt raakt en alles in 1x weg is?

Maar goed dat het dan één van de 64.000.000.000.000 bitjes zijn die bij mij mogen omvallen !
Maar ik ben wel benieuwd naar dat grote gat in de zekerheid als je een complete zpool onschadelijk kan maken door 1 bitje dat niet correct is.

[FireDrunk]

De grootte van de kans willen berekenen van het stukgaan van je ZPOOL door bitflips is koffiedik kijken. Dat is een onmogelijk ingewikkelde berekening met een belachelijke hoeveelheid factoren om rekening mee te houden.

Studies (meerdere) zeggen dat ECC helpt tegen een hele hoop vage problemen. Er zijn (nog) geen studies gedaan in combinatie met ZFS die een daadwerkelijke kansberekening doen over het daadwerkelijk kapot gaan van je ZPOOL.

Weten we zeker dat ECC helpt: Ja.
Weten we zeker dat het het kapot gaan van je ZPOOL voorkomt: Nee.

(Maar we weten ook niet zeker of een grote meteoor de aarde vernietigd, maar we weten zeker dat het pijn doet...)

[]Byte[]

1 ding is zeker...
Alles helpt om het risico in ieder geval te verlagen!

Hoewel je je moeilijk kan ingraven tegen de meteoriet van FireDrunk...

[Q]

secretdk schreef op vrijdag 21 februari 2014 @ 08:11:
Ben je bij 1 bitflip alles kwijt dan?

Wat specifieker: 1 kapotte bit in je RAM kan vele bits corrupt maken in je data, dat is wat ik bedoel, sorry voor de onduidelijkheid.

[FireDrunk]

@Q, die kernel aanpassingen voor scst leveren vooral performance winst op. Onder andere zero memory copy voor iscsi schijnt veel uit te maken.

Als jij vergelijkbare tests kan doen onder ubuntu (2*1Gb iSCSI) hou ik mij zeer aanbevolen!

Een groot nadeel van SCST (inc die kernel aanpassingen) is dat je een custom kernel moet draaien.
Onder Gentoo vrij normaal, maar onder Ubuntu nogal vervelend (en lang werk). Als de wijzigingen maar procentuele verbeteringen opleveren is het zeker interresant om geen custom kernel te draaien onder Ubuntu.

Dan kan ik zelf ook naar Ubuntu icm ZFSonLinux en SCST voor iSCSI. Dat maakt het draaien van een NAS op Ubuntu Linux zeer aantrekkelijk

[ Voor 65% gewijzigd door FireDrunk op 21-02-2014 12:44 ]

[Q]

Ik ken SCST niet goed genoeg, ik weet niet of het een vinkje in de kernel is, een module, of dat je de kernel echt moet patchen. Een debian kerneltje hercompileren duurt even maar dat proces is te doen en beheersbaar. Maar een kernel patchen geeft een erg vieze smaak in mijn mond.

ik ga er 'een keer' naar kijken als ik tijd/zin heb Ik heb ook geen esxi om te testen oid.

[FireDrunk]

Het zijn wel echt 'patches' op bestaande kernel componenten. Deze worden niet permanent toegevoegd gok ik omdat LIO / IET nu de default is, en ze daar vast niet mee werken.

Ik installeer zelf wel een keer Ubuntu en test het wel, dan weet ik zeker hoeveel de patches uit maken (ook specifiek in mijn setup).

[secretdk]

Haal hele lage read snelheden over samba op ubuntu server 13.10 vanaf mijn Server2012R2
Iemand enig idee hoe dit op te lossen is?

[FireDrunk]

Wat voor storage hangt er onder?

[secretdk]

FireDrunk schreef op vrijdag 21 februari 2014 @ 17:05:
Wat voor storage hangt er onder?

3x 3TB WD Reds
1x 4TB WD Red
In RAIDZ

Op de machine zelf haal ik gewoon 240 MB/s read en 220 MB/s write dus neem aan dat er bij samba iets mis gaat.

[FireDrunk]

Heb je die test ook vandaag nog uitgevoerd of haal je dat normaal gesproken...?

[secretdk]

FireDrunk schreef op vrijdag 21 februari 2014 @ 17:40:
Heb je die test ook vandaag nog uitgevoerd of haal je dat normaal gesproken...?

Alles vandaag. Net nieuwe opstelling neergezet. Schijven zijn ook nog leeg tot alles goed draait.

[Paul]

2 verschillende groottes? Heb je die 1 TB verlies genomen of hoe zit je array in elkaar?

[secretdk]

Paul schreef op vrijdag 21 februari 2014 @ 18:10:
2 verschillende groottes? Heb je die 1 TB verlies genomen of hoe zit je array in elkaar?

Verlies genomen

[FireDrunk]

Welke samba versie heb je geinstalleerd?

[secretdk]

FireDrunk schreef op vrijdag 21 februari 2014 @ 18:46:
Welke samba versie heb je geinstalleerd?

Samba 3.6.18

Kreeg 4 niet werkend

[ Voor 11% gewijzigd door secretdk op 21-02-2014 19:05 ]

[FireDrunk]

Wat staat er in je smb.conf?

[FireDrunk]

Speelgoed!

[secretdk]

FireDrunk schreef op vrijdag 21 februari 2014 @ 19:11:
Wat staat er in je smb.conf?

#======================= Global Settings =======================

[global]
log file = /var/log/samba/log.%m
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
obey pam restrictions = yes
map to guest = bad user
encrypt passwords = true
passdb backend = tdbsam
passwd program = /usr/bin/passwd %u
dns proxy = no
server string = %h server (Samba, Ubuntu)
path = /storage
default = Data
unix password sync = yes
workgroup = WORKGROUP
os level = 20
security = user
syslog = 0
panic action = /usr/share/samba/panic-action %d
usershare allow guests = yes
max log size = 1000
pam password change = yes


[Data]
comment = Tims File Server Share
path = /storage/data
browseable = yes
writeable = yes
guest ok = yes
read only = no
create mask = 0644
directory mask = 2777

volledige versie;
http://pastebin.com/mYpd45YW

[ Voor 92% gewijzigd door secretdk op 21-02-2014 23:31 ]

[nMad]

Weet niet of dit al eens gepost is, maar deze presentatie kwam ik tegen via het forum van FreeNas:

https://dl.dropboxusercon...eeNAS%20Guide%209.2.0.pdf

Staat vrij gemakkelijk en uitgebreid beschreven hoe ZFS 'werkt'. Ik vond het iig interessant om door te lezen!

[FireDrunk]

@secretdk, kijk hier anders eens:
http://www.eggplant.pro/b...b-cifs-share-performance/

Je hoeft ze niet allemaal toe te passen, maar degene die ik zou gebruiken:

use sendfile
en
aio read

Rest kan je proberen mochten die twee niet helpen.

[Xudonax]

FireDrunk schreef op vrijdag 21 februari 2014 @ 23:05:
Speelgoed!

[afbeelding]

Twee stuks maar? Daar is toch geen leuke pool mee te bouwen

[DXaroth]

FireDrunk schreef op zaterdag 22 februari 2014 @ 00:15:
@secretdk, kijk hier anders eens:
http://www.eggplant.pro/b...b-cifs-share-performance/

Je hoeft ze niet allemaal toe te passen, maar degene die ik zou gebruiken:

use sendfile
en
aio read

Rest kan je proberen mochten die twee niet helpen.

Dat was zowaar nuttig; nog net dat kleine beetje extra performance kunnen halen uit mn huidige opslag bak..

[FireDrunk]

Xudonax schreef op zaterdag 22 februari 2014 @ 00:33:
[...]


Twee stuks maar? Daar is toch geen leuke pool mee te bouwen

Klopt, ze gaan dan ook als ZIL (en L2ARC waarschijnlijk) gebruikt worden
Maar ik denk dat mijn 8GB RAM binnenkort wel echt een bottleneck gaat worden

DXaroth schreef op zaterdag 22 februari 2014 @ 00:40:
[...]


Dat was zowaar nuttig; nog net dat kleine beetje extra performance kunnen halen uit mn huidige opslag bak..

Mooi zo!

[]Byte[]

FireDrunk schreef op zaterdag 22 februari 2014 @ 01:03:
[...]
Maar ik denk dat mijn 8GB RAM binnenkort wel echt een bottleneck gaat worden
[...]

Op naar de 64?

Zijn er eigenlijk risico's aan 5400rpm en 7200rpm disken van dezelfde size te mixen binnen eenzelfde Z2-array?

[ Voor 20% gewijzigd door ]Byte[ op 22-02-2014 07:52 ]

[FireDrunk]

Er stond van de week wel een bloedmooi setje met een dual s2011 bord en 64GB geheugen in V&A, maar goed, ik heb een esxi cluster, dus de rekenkracht hoeft niet in mijn Nas te zitten...

[ItsValium]

FireDrunk schreef op vrijdag 21 februari 2014 @ 23:05:
Speelgoed!
...

Vandaar dat de verkoper niet meer reageerde op mijn bericht dat ik zijn vraagprijs wou betalen ervoor

[nMad]

FireDrunk schreef op zaterdag 22 februari 2014 @ 01:03:
Klopt, ze gaan dan ook als ZIL (en L2ARC waarschijnlijk) gebruikt worden
Maar ik denk dat mijn 8GB RAM binnenkort wel echt een bottleneck gaat worden

Niet dat ik er erg veel verstand van heb hoor, maar wat ik tot nu toe heb gelezen over ZFS kun je volgens mij beter eerst je RAM upgraden tot het maximale wat je moederbord ondersteunt, voordat je SSD's in gaat zetten voor L2ARC en ZIL.

[DXaroth]

nMad schreef op zaterdag 22 februari 2014 @ 12:08:
[...]

Niet dat ik er erg veel verstand van heb hoor, maar wat ik tot nu toe heb gelezen over ZFS kun je volgens mij beter eerst je RAM upgraden tot het maximale wat je moederbord ondersteunt, voordat je SSD's in gaat zetten voor L2ARC en ZIL.

Kwestie van geld; een 200GB ssd kost.. 100 euro.. 200GB aan ram kost.. iets meer plus dat een ZIL ook helpt qua performance

[FireDrunk]

Je hebt helemaal gelijk hoor, wat jij zegt geld alleen voor L2ARC, niet voor ZIL.
Dat komt omdat L2ARC ook referentie in je gewone geheugen nodig heeft (de ARC Meta gegevens).

Voor ZIL geld dit niet, en ZIL kan je in principe al gebruiken met een minimale hoeveelheid RAM.

Maar het klopt dat ik gewoon mijn RAM moet upgraden... Voorheen was het alleen een 'domme' NAS met 4*4TB storage... Nu zit er veel meer in:

2*128GB 840 Pro
4*80GB x25-M
2 * DC3700 200GB
4*4TB Storage

En mijn pool is > 75% vol, dus ik moet misschien binnenkort er eens 4*4TB bijzetten... Maar dan heb ik weer te weinig sata poorten...

[secretdk]

FireDrunk schreef op zaterdag 22 februari 2014 @ 00:15:
@secretdk, kijk hier anders eens:
http://www.eggplant.pro/b...b-cifs-share-performance/

Je hoeft ze niet allemaal toe te passen, maar degene die ik zou gebruiken:

use sendfile
en
aio read

Rest kan je proberen mochten die twee niet helpen.

Nauwelijks verschil. Iets hogere performance maar nog steeds een veel te lage read.

[FireDrunk]

Hoe zit het met je CPU load tijdens die transfers?

[secretdk]

FireDrunk schreef op zaterdag 22 februari 2014 @ 17:29:
Hoe zit het met je CPU load tijdens die transfers?

CPU usage 4% user, 61% kernel, 34% IO, 1% idle

smbd 87% cpu useage

Hoe kan het dat samba zoveel CPU verbruikt?



EDIT: Meer cores toegewezen en hierdoor wat meer snelheid gekregen.
Zit nog wel op zeer hoge cpu verbruik door samba (nog steeds 90%)

Is dit normaal>?

[ Voor 37% gewijzigd door secretdk op 22-02-2014 18:57 ]

[mkroes]

Ik kan het probleem reproduceren... maar waar de oplossing zit? geen idee...
Hyper-V Core 2012 R2 met Ubuntu. de write-snelheden zijn beduidend hoger dan de lees-snelheden.
Terwijl je juist andersom zou verwachten. Maar dit zit hem niet alleen in samba, met iscsi (iet) heb ik hetzelfde probleem.
iperf laat van ubuntu naar ubuntu over de vswitch heen en terug snelheden zien tussen de 2-2.5 gb/s..

[A1AD]

secretdk schreef op zaterdag 22 februari 2014 @ 17:52:

EDIT: Meer cores toegewezen en hierdoor wat meer snelheid gekregen.
Zit nog wel op zeer hoge cpu verbruik door samba (nog steeds 90%)

Is dit normaal>?

Samba is toch single threaded?

[ Voor 23% gewijzigd door A1AD op 22-02-2014 19:02 ]

[secretdk]

A1AD schreef op zaterdag 22 februari 2014 @ 19:02:
[...]


Samba is toch single threaded?

Geen idee, misschien dat de processen van andere taken daarop over gingen.
Haal in ieder geval nu een instabiele snelheid van 60-90 MB/s met af en toe een piek net boven de 100 MB/s, waar dit eerst nog 30-50 MB/s was.

[ Voor 6% gewijzigd door secretdk op 22-02-2014 19:08 ]

[FireDrunk]

Ligt het niet aan de NIC zelf? Gebruiken jullie een paravirtuele NIC?

[secretdk]

FireDrunk schreef op zaterdag 22 februari 2014 @ 19:27:
Ligt het niet aan de NIC zelf? Gebruiken jullie een paravirtuele NIC?

ik weet niet waar paravirtueel voor staat, maar de VM waar ik ubuntu op heb staan met samba gaat wel via een virtuele NIC van Hyper-V. Net als bij mkroes

[ Voor 3% gewijzigd door secretdk op 22-02-2014 19:30 ]

[FireDrunk]

Welk type is het? (Welk type NIC zie je in de VM?)

[mkroes]

lshw geeft aan: 'ethernet interface'. mooi ruim begrip.

[secretdk]

FireDrunk schreef op zaterdag 22 februari 2014 @ 19:35:
Welk type is het? (Welk type NIC zie je in de VM?)

Weet niet of je hier naar zocht..

[nMad]

Even een vraagje tussendoor. Ik ben na het urenlang lezen van informatie over ZFS erg enthousiast geworden. Ik wil mijn server met WS2008R2 dan ook gaan vervangen met een besturingssysteem dat ZFS ondersteunt. Nu zijn er voor mij 3 mogelijke besturingssystemen overgebleven, die tot nu toe in deze volgorde staan:

1) FreeNAS
2) ZFSguru
3) NAS4Free

Waarom FreeNAS als eerste keuze? Ik heb heel veel nuttige en helder uitgelegde informatie op de forums van FreeNAS gevonden, de community lijkt erg betrokken. Daarnaast is er een hele uitgebreide handleiding beschikbaar die alle opties van ZFS in FreeNAS erg uitgebreid van duidelijk uitlegt. Ook de mogelijke plugins dekken exact mijn huidige applicaties af die ik het meest gebruik op mijn WS2008R2.

Ik ben een 'simpele' Windows gebruiker zonder grondige kennis van Linux, laat staan FreeBSD. Dus een duidelijke GUI waarbij sommige zaken 'automatisch' worden ingesteld is voor mij belangrijker dan net die laatste MB's / IOP's eruit te persen door in de commandline bepaalde tweaks uit te voeren. Het is de bedoeling om het goed te configureren en voor de rest met rust te laten.

De reeds aanwezige hardware waar het op gaat draaien, evt met een extra 8gb RAM:

#	Product	Prijs	Subtotaal
1	Intel Pentium G2020 Boxed	€ 45,-	€ 45,-
1	ASRock B75 Pro3-M	€ 49,64	€ 49,64
3	Western Digital Red WD30EFRX, 3TB	€ 106,94	€ 320,82
1	Cooler Master Elite 342	€ 25,90	€ 25,90
1	Kingston HyperX Dual Channel 8GB (KHX1600C9D3LK2/8GX)	€ 79,40	€ 79,40
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 571,76

Het is de bedoeling om een raidz1 pool te gaan maken met die 3 WD reds. De belangrijke data (afbeeldingen etc) wil ik via Crashplan elke nacht naar de server van een vriend gaan backuppenj. Dit doe ik momenteel ook. Eventueel wil ik nog een tweede pool aanmaken met twee 2.5" hdd's in mirror, om belangrijke data / snapshots naar te 'backuppen' vanaf de raidz1 pool.

De applicaties die de NAS, naast zijn primaire taak als dataopslag, moet uit kunnen voeren zijn:
SABnzbd
Sickbeard
Bittorrent client die ondersteunt wordt op private trackers
Crashplan (of iets soortgelijks)

Maak ik met FreeNAS dan de juiste keuze? Zijn er nog dingen waar ik op moet letten?

[Verwijderd]

De applicaties die de NAS, naast zijn primaire taak als dataopslag, moet uit kunnen voeren zijn:
SABnzbd
Sickbeard
Bittorrent client die ondersteunt wordt op private trackers
Crashplan (of iets soortgelijks)

Maak ik met FreeNAS dan de juiste keuze? Zijn er nog dingen waar ik op moet letten?

Wat ik er zelf over gelezen heb is dat Crashplan best moeilijk is om aan de gang te krijgen op Freenas. Er bestaat wel een plugin maar die werkt niet zomaar dus als je liever niet in de command line zit lijkt me dat moeilijk. Op ZFSGuru kan je wel heel eenvoudig een grafische virtualbox installeren en dan daarin crashplan draaien (weet niet of dat zo simpel met Freenas kan). Volgens mij kun je dan ook je zfs data wel doorgeven aan virtualbox maar dat weet ik niet zeker. Je kan 'm ook gewoon op je workstation zetten maar volgens mij werkt de crashplan app niet met netwerk shares.

Je zou natuurlijk ook met Rsync over SSH je data naar de andere server kunnen sturen. Dat kan je volgens mij wel in de gui van Freenas configureren. Je verliest dan wel de encryptie op die server van je vriend indien je dat zou willen maar dat valt misschien op een ander manier op te lossen.

[ Voor 13% gewijzigd door Verwijderd op 22-02-2014 22:44 ]

[FireDrunk]

secretdk schreef op zaterdag 22 februari 2014 @ 19:45:
[...]


Weet niet of je hier naar zocht..

[afbeelding]

Raar, zou het zo niet durven zeggen, maar ik verwacht eerlijk gezegd dat het daar aan ligt. Probeer eens met iperf te testen, misschien dat dat iets meer inzicht geeft.

[secretdk]

FireDrunk schreef op zaterdag 22 februari 2014 @ 22:41:
[...]


Raar, zou het zo niet durven zeggen, maar ik verwacht eerlijk gezegd dat het daar aan ligt. Probeer eens met iperf te testen, misschien dat dat iets meer inzicht geeft.

C:\iperf>iperf.exe -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 4] local 192.168.1.217 port 5001 connected with 192.168.1.229 port 50940
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-30.0 sec 1.82 GBytes 521 Mbits/sec

C:\iperf>

Ik zit nu dus gewoon op me max. Haal nu ook gewoon snelheid van 70-90 MB. Gewoon het maximale van me netwerk verbinding dus. In ieder geval meer dan de 30 MB waarmee ik begon.

[ Voor 48% gewijzigd door secretdk op 22-02-2014 23:26 ]

[FireDrunk]

520Mb voor lokale transfers? Dat is toch veel te traag?

Hmm, ben het hier aan het testen met mijn ESXi hostjes, en daar haal ik max iets van 650Mbit. Dus het zal wel niet zo heel slecht zijn. (hoewel mijn ESXi hostjes op Realtek netwerkkaartjes draaien )

[ Voor 65% gewijzigd door FireDrunk op 23-02-2014 09:59 ]

[DXaroth]

secretdk schreef op zaterdag 22 februari 2014 @ 22:56:
[...]


C:\iperf>iperf.exe -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 4] local 192.168.1.217 port 5001 connected with 192.168.1.229 port 50940
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-30.0 sec 1.82 GBytes 521 Mbits/sec

C:\iperf>

Ik zit nu dus gewoon op me max. Haal nu ook gewoon snelheid van 70-90 MB. Gewoon het maximale van me netwerk verbinding dus. In ieder geval meer dan de 30 MB waarmee ik begon.

probeer es de client met -P 4 oid .. ik krijg ook rond de 600Mbit/s met 1, maar met meer kom ik ruim boven de 700 uit

also, probeer het ook de andere kant op; linux => windows geeft hier 700+ mbit/s ; windows => linux geeft 900+ mbit/s

[ Voor 6% gewijzigd door DXaroth op 23-02-2014 10:25 ]

[secretdk]

FireDrunk schreef op zondag 23 februari 2014 @ 09:08:
520Mb voor lokale transfers? Dat is toch veel te traag?

Hmm, ben het hier aan het testen met mijn ESXi hostjes, en daar haal ik max iets van 650Mbit. Dus het zal wel niet zo heel slecht zijn. (hoewel mijn ESXi hostjes op Realtek netwerkkaartjes draaien )

Heb dankzij die ene post van jou (http://www.eggplant.pro/b...b-cifs-share-performance/) in ieder geval me snelheid omhoog gekregen van 30 MB/s naar 70-90 MB/s.

De rest ligt dus gewoon aan mijn huidige netwerk, wat ik zelf maar even moet gaan optimaliseren. Bedankt voor je hulp en de moeite in ieder geval.

EDIT:

Als ik naar het netwerkverbruik van WIndows Explorer kijk tijdens file transfers, zie ik hem wel schommelen tussen 600-900 Mbps.

[ Voor 9% gewijzigd door secretdk op 23-02-2014 14:36 ]

[ilovebrewski]

Nu ZFSguru 10.0-002 draaien op SSD. HDD's in mijn pool gaan standby. Echter wanneer ik inlog in de web-interface spinnen al mijn HDD's op. Waarom??

Is hier een oplossing voor?

[FireDrunk]

Misschien door het opvragen van smart of temperatuur?

[ilovebrewski]

Nope, niet opgevraagd. Webinterface versie beta8 of beta9 maakt trouwens ook niet uit.
En staat ook niet ingesteld dat het systeem om de zoveel min moet checken.
Ze spinnen al op als ik naar het beginscherm gaat. Dit was in versie 9.1-005 ook al een issue en had gehoopt dat dit nu opgelost zou zijn.

[ Voor 11% gewijzigd door ilovebrewski op 23-02-2014 15:32 ]

[FireDrunk]

Staat ZFSguru op je pool?

[ilovebrewski]

Nope, zoals in mijn andere bericht staat ZFSguru op een aparte pool op mijn SSD.

[DennusB]

Ik heb een vraagje : Ik heb thuis een HP N54L servertje staan met tot nu toe Hyper-V er op. Eigenlijk wil ik om naar ESXi. Maar is het 'voordelig' om ZFS virtueel te draaien of moet dat bare metal?

[secretdk]

DennusB schreef op zondag 23 februari 2014 @ 17:46:
Ik heb een vraagje : Ik heb thuis een HP N54L servertje staan met tot nu toe Hyper-V er op. Eigenlijk wil ik om naar ESXi. Maar is het 'voordelig' om ZFS virtueel te draaien of moet dat bare metal?

Ik heb ZFS virtueel draaien op een Ubuntu machine onder Hyper-V. Werkt hier geweldig tot nu toe.

[Verwijderd]

ilovebrewski schreef op zondag 23 februari 2014 @ 14:34:
Nu ZFSguru 10.0-002 draaien op SSD. HDD's in mijn pool gaan standby. Echter wanneer ik inlog in de web-interface spinnen al mijn HDD's op. Waarom?

ZFSguru leest de pool configuratie via 'zpool list'. Dat kan je pool doen opspinnen. Het hangt er wel vanaf welke pagina's je klikt. De statuspagina zou je disks niet moeten opspinnen; maar bijvoorbeeld de Pools pagina wel.

In mijn geval gebruik ik een script waarmee ik een pool exporteer en daarna pas de disks downspin. Dat betekent ook wel weer handmatig activeren, terwijl dat anders automatisch gaat.

[Quindor]

Over de performance van een virtuele NIC. Dit is tussen mijn virtuele Win8 met vnmxnet3 (op VMware 5.5) en mijn fysieke Ubuntu 13.10 ZFS machine.

code:

C:\temp>iperf -c 10.10.128.254 -w 1MB -r -t 10
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 1.00 MByte
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 10.10.128.254, TCP port 5001
TCP window size: 1.00 MByte
------------------------------------------------------------
[  4] local 10.10.128.5 port 52966 connected with 10.10.128.254 port 500
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  1.10 GBytes   943 Mbits/sec
[  4] local 10.10.128.5 port 5001 connected with 10.10.128.254 port 5677
[  4]  0.0-10.0 sec  1.09 GBytes   934 Mbits/sec

Als je de paravirtuele NIC's gebruikt kan het dus iig prima performen. Mijn Ubuntu ZFS machine gebruikt een Intel server I350 NIC en mijn ESXi machine een onboard intel desktop NIC (I217v) met een apart geïnstalleerde .vib file.

Wel moet ik zeggen dat het na enkele keren te testen best kan variëren dus dat een langere tijd (120 seconden voor elke kant op?) beter is. Misschien de volgende keer eventjes inloggen in het management console. Ik had net een paar re-sync's gestart van bepaalde zaken en mijn zielige CPU zat door andere VM's al op 100% Dat verklaart de verschillen.

[ Voor 13% gewijzigd door Quindor op 23-02-2014 21:31 ]

[FireDrunk]

Het ging vooral om Hyper-V...

[Quindor]

FireDrunk schreef op zondag 23 februari 2014 @ 21:28:
Het ging vooral om Hyper-V...

I know, maar ik kan het toch eventjes testen en iig laten zien hoe ESXi het (kan) doen.

[FireDrunk]

Zo:

Even flink aan het testen geweest:

ZIL = 2* 8GB Intel DC3700 SSD



Ookal gaat NFS over een Realtek NIC, iSCSI is hier wel de grote winnaar...
Op Intel NIC's staat ook Jumbo Frames aan, dat maakt ook nog wel uit.

Niet echt zin om de Realteks ook nog eens uitgebreid te testen icm Jumbo Frames.

Morgen alle tests nogmaals doen met een ZFS Recordsize van 4k (nu 128k).

[ Voor 40% gewijzigd door FireDrunk op 23-02-2014 22:21 ]

[jadjong]

Wat zegt iostat over je SLOG wanneer je iSCSI gebruikt? Bij mij vreet dat ding dan uit z'n neus.