Het grote ZFS topic

[Verwijderd]

Alles in de 'config' directory is de configuratie zoals ZFSguru hem out-of-the-box meelevert. Kortom, de configuratie ten tijde van installatie. De configuratie die daadwerkelijk wordt gebruikt, kun je vinden in:

/var/db/mysql/my.cnf

Die dien je dan ook aan te passen; staan ook instructies als het goed is hoe je met IP kunt binden. Dat betekent wel dat MySQL een stuk minder veilig wordt. Maar dat terzijde.

Overigens: als je op 0.0.0.0 instelt kan het zijn dat de panel interface hem weer herschrijft. Het beste kun je binden op hetzelfde IP; dus ipv 0.0.0.0 vul je dan het IP van de server in (zoals 192.168.0.100).

[ilovebrewski]

ok thnx. Ik ga ermee aan de slag.

Echter blijft ik wel de volgende melding houden. Maakt dit niet uit. Mijn server is gewoon te bereiken onder mijn ip 192.168.2.20. Ik vind dit verwarrend. Waar komt dit door?

Web-interface is running at http://0.0.0.0 (loop) 

[ Voor 8% gewijzigd door ilovebrewski op 12-02-2014 18:27 ]

[ilovebrewski]

Hmm.. Nu als volgt ingevuld. Echter geen succes

#
## ZFSguru-provided MySQL configuration
#

[mysqld]
bind-address = 192.168.2.20

# set default storage engine to MyISAM instead of InnoDB
default-storage-engine=MyISAM

# set default character collation to something neutral instead of swedish
collation_server=utf8_unicode_ci
character_set_server=utf8

# do not listen for TCP/IP connections at all but only allow UNIX sockets
skip-networking

Advies?

[Verwijderd]

Running at 0.0.0.0 (loop) betekent dat er geen netwerkinterface is gevonden. Kun je me de output van 'ifconfig' sturen in een DM bericht? Kan zijn dat je netwerkinterface een afwijkende naam heeft; wat niet conform [a-z]+[0-9]+ patroon werkt. Proprietary drivers zijn dat vaak die BSD devs zelf niet hebben geschreven.

Welke foutmelding krijg je bij het starten van MySQL?

service mysql-server start

Kun je ook de spaties weghalen? Conform de overige statements zitten er geen spaties voor en na de =-karakter.

Edit: zie hieronder; lees ik er helemaal overheen.

[ Voor 5% gewijzigd door Verwijderd op 12-02-2014 19:17 ]

[Verwijderd]

Probeer eens
# skipnetworking.

[ilovebrewski]

Verwijderd schreef op woensdag 12 februari 2014 @ 19:07:
Probeer eens
# skipnetworking.

Thnx!!!!

Dit heeft het um gedaan. Wat houd het precies in, zodat ik er ook nog wat van leer?

[Verwijderd]

Met skip-networking kun je alleen localhost connectie maken met MySQL via een UNIX socket. Dus niet via IP adres. In de praktijk kan dit als de applicaties die MysQL moeten bereiken op dezelfde server draaien. Het voordeel is véél veiligere MySQL service. Allereerst omdat je SQL server alleen localhost te bereiken is, en ten tweede omdat MySQL vulnerabilities heeft gehad die niet werken met skip-networking.

Nog niet zo lang geleden kon MySQL gecompromitteerd worden op afstand via login, waarbij de gebruiker zelf geen rechten hoefde te hebben. Dat soort vulnerabilities werken niet met skip-networking.

[]Byte[]

Als ik een kabel in mijn IB-adapter heb zitten en de andere kant in mijn ZFSguru, maar hij blijft 'Down' aangeven...

Kan dit komen doordat opensm nog niet geïnstalleerd/geconfigureerd is of is er misschien wat anders aan de hand?
(hoe heet de package van opensm onder ZFSguru? 'pkg install opensm' geeft geen hit)

[update]
De LED's branden wel op de HCA's zodra de kabels gekoppeld zijn.

[ Voor 22% gewijzigd door ]Byte[ op 13-02-2014 08:43 ]

[FireDrunk]

Je wil IB tussen 2 ESXi hosts? Dat gaat volgens mij niet werken, want die Subnet Manager moet volgens mij op driver niveau draaien... Volgens mij heeft de ESXi driver geen ingebouwede Subnet Manager.

[]Byte[]

Neenee... 1 HCA in ESX en de andere zit in ZFSguru.
* ]Byte[ heeft zijn 2e ML110 gekannibaliseerd voor testen...

Ik wil dus de opensm in ZFSguru draaien.

* ]Byte[ voelt zich beetje noob met IB... maarja, het geeft wel weer veel leermomenten.

[ Voor 79% gewijzigd door ]Byte[ op 13-02-2014 10:59 ]

[FireDrunk]

Denk dat je inderdaad zelf OpenSM zult moeten builden en installeren.

[]Byte[]

Laatste build-actie met FC ligt mij nog redelijk vers in het geheugen.
(en niet omdat het allemaal lekker vlekkeloos en goed ging)

Maar misschien dat CiPHER er nog iets over kan roepen...
IB-support bleek standaard ook al aanwezig te zijn in ZFSguru, maar dat ik een 'brak' board had wat er niet lekker mee om kon gaan.
Ik kan mij voorstellen dat ik misschien ergens een 'vinkje moet omzetten'...

[FireDrunk]

OpenSM is alleen maar een programma, niet een kernel module.

[mkroes]

Heeft er iemand ervaring met de onderstaande setting op ZoL:

code:

zfs set xattr=sa (pool)

[]Byte[]

Alleen dat er mensen zijn die kernel-panics krijgen bij het gebruikt er van...

[mkroes]

]Byte\[ schreef op donderdag 13 februari 2014 @ 12:12:
Alleen dat er mensen zijn die kernel-panics krijgen bij het gebruikt er van...

Het merendeel van die berichten zijn meer dan een (half) jaar oud. Volgens deze bron moet dit ondertussen opgelost wezen.
Ik haal er wel iets performance winst mee maar heb het helaas nog niet echt aan tijd om dit eens uitvoerig te testen.
Ben bezig met een nieuwe 'storage' (met wederom ubuntu met ZoL) en probeer dit wat te tunen. Tips zijn welkom!

[]Byte[]

@FireDrunk

Het is gelukt!
OpenSM had verder geen config nodig lijkt het.
Zodra opensm gestart was, was de link ook gelijk 'up' op de ESX-doos.

[update]
krijg alleen nog geen antwoord op m'n pings...

[ Voor 17% gewijzigd door ]Byte[ op 13-02-2014 14:51 ]

[Extera]

Hoi jongens.

Zojuist is een disk van mijn Nexenta box gefaald.
Hij is netjes begonnen aan een resilver. Maar nu is na de resilver de status nog steeds degraded.

Is er niets fout gegaan? Ik had verwacht dat de pool in online status zou gaan, en de faulted disk nog 'uit de pool' verplaatst, zodat ik deze kan vervangen.

wat output:
Resilvering

code:

admin@Nextenta01:~$ zpool status
  pool: VMware
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
 scan: resilver in progress since Thu Feb 13 11:17:08 2014
    876G scanned out of 964G at 56.2M/s, 0h26m to go
    292G resilvered, 90.91% done
config:

        NAME          STATE     READ WRITE CKSUM
        VMware        DEGRADED     0     0     0
          mirror-0    ONLINE       0     0     0
            c3t4d0    ONLINE       0     0     0
            c3t5d0    ONLINE       0     0     0
          mirror-1    DEGRADED     0     0     0
            spare-0   FAULTED      0     0     0
              c3t1d0  FAULTED      0     0     0  too many errors
              c3t0d0  ONLINE       0     0     0  (resilvering)
            c3t3d0    ONLINE       0     0     0
          mirror-2    ONLINE       0     0     0
            c0d0      ONLINE       0     0     0
            c1d0      ONLINE       0     0     0
        spares
          c3t0d0      INUSE     currently in use

errors: No known data errors

  pool: syspool
 state: ONLINE
 scan: scrub repaired 0 in 0h2m with 0 errors on Sun Feb  9 03:02:38 2014
config:

        NAME        STATE     READ WRITE CKSUM
        syspool     ONLINE       0     0     0
          c3t2d0s0  ONLINE       0     0     0

errors: No known data errors

Ready, nog steeds in degraded state

code:

admin@Nextenta01:~$ zpool status
  pool: VMware
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
 scan: resilvered 316G in 4h41m with 0 errors on Thu Feb 13 15:58:14 2014
config:

        NAME          STATE     READ WRITE CKSUM
        VMware        DEGRADED     0     0     0
          mirror-0    ONLINE       0     0     0
            c3t4d0    ONLINE       0     0     0
            c3t5d0    ONLINE       0     0     0
          mirror-1    DEGRADED     0     0     0
            spare-0   FAULTED      0     0     0
              c3t1d0  FAULTED      0     0     0  too many errors
              c3t0d0  ONLINE       0     0     0
            c3t3d0    ONLINE       0     0     0
          mirror-2    ONLINE       0     0     0
            c0d0      ONLINE       0     0     0
            c1d0      ONLINE       0     0     0
        spares
          c3t0d0      INUSE     currently in use

errors: No known data errors

  pool: syspool
 state: ONLINE
 scan: scrub repaired 0 in 0h2m with 0 errors on Sun Feb  9 03:02:38 2014
config:

        NAME        STATE     READ WRITE CKSUM
        syspool     ONLINE       0     0     0
          c3t2d0s0  ONLINE       0     0     0

errors: No known data errors

Ik vraag me daarnaast af waarom ik 2 devices faulted zie. Zijn er 2 disks defect? Of is de hot-spare disk ook defect?

[FireDrunk]

Volgens mij moet je die mirror breken voordat Faulted er af gaat...

Welk commando heb je gebruikt om de nieuwe schijf toe te voegen?

[Extera]

Geen, die draaide als hot-spare is is vanzelf toegevoegd.

[FireDrunk]

zpool history?

[Extera]

geeft niet echt veel output...

code:

History for 'VMware':
2014-01-21.20:19:15 zpool create -m /volumes/VMware -f -o autoreplace=on VMware mirror c3t4d0 c3t5d0 mirror c3t1d0 c3t3d0 mirror c0d0 c1d0 spare c3t0d0
2014-01-21.20:19:15 zfs set compression=off VMware
2014-01-21.20:19:16 zpool set failmode=continue VMware
2014-01-21.20:25:12 zfs set nms:dedup-dirty=off VMware
2014-01-21.20:30:44 zfs create -V 2650g VMware/vol1
2014-01-21.20:30:54 zfs set nms:swap=no VMware/vol1

Ik zelf wel wat beter mogen googlen trouwens:
http://nexentastor.org/boards/1/topics/4348

Hot spares are just meant to keep your data intact until you can replace the faulted drive.

What you'd do is replace the faulted disk and return the hot spare back to it's unused status.

Once the resilver has completed you detach the faulted drive, then the spare becomes an active member of the pool rather than being a spare. This avoids having to complete two lengthy resilvering tasks.

[ Voor 35% gewijzigd door Extera op 13-02-2014 19:56 ]

[FireDrunk]

Precies, je moet gewoon die mirror breken en de faulted disk eruit halen.

[Extera]

Gelukt!

Hopelijk morgen een nieuwe schijf binnen welke als nieuwe hot spare mag meedraaien.
wel jammer, 2 van de 8 schijven draaien in ata mode. Daardoor kan ik de serienummer niet uitlezen van die schijven. Ik meen met te herinneren dat ik het hele systeem niet aan de praat kreeg met die 2 ook in ahci mode.

Ook een les voor de volgende keer. serienummers op de hendels van de hotswap bay's labelen. Nu moet ik het hele systeem down brengen (en dus ook de aangesloten vmware host) om 1 voor 1 te kijken welke disk dat serienummer heeft Aan het label te zien de disk aan poort 2 van de 6 poort controller (onboard, asrock B75 pro3-m).

code:

root@Nextenta01:/export/home/admin# zpool detach VMware c3t1d0
root@Nextenta01:/export/home/admin# zpool status
  pool: VMware
 state: ONLINE
 scan: resilvered 316G in 4h41m with 0 errors on Thu Feb 13 15:58:14 2014
config:

        NAME        STATE     READ WRITE CKSUM
        VMware      ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            c3t4d0  ONLINE       0     0     0
            c3t5d0  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            c3t0d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0
          mirror-2  ONLINE       0     0     0
            c0d0    ONLINE       0     0     0
            c1d0    ONLINE       0     0     0

errors: No known data errors

  pool: syspool
 state: ONLINE
 scan: scrub repaired 0 in 0h2m with 0 errors on Sun Feb  9 03:02:38 2014
config:

        NAME        STATE     READ WRITE CKSUM
        syspool     ONLINE       0     0     0
          c3t2d0s0  ONLINE       0     0     0

errors: No known data errors
root@Nextenta01:/export/home/admin#

Hier zeggen ze doodleuk dat je de oude faulted disk terug kan plaatsen als hot-spare.
Domme vraag misschien, maar dat lijkt me niet helemaal de bedoeling?...
Ik koop gewoon een nieuwe, en zal die oude scannen op bad sectors. Vermoed dat hij op de stapel test schijven beland.

[ Voor 9% gewijzigd door Extera op 13-02-2014 20:27 ]

[FREAKJAM]

Ik ben bij de stap beland om een ZFS-vm op te gaan zetten in ESXi 5.5, maar ik weet niet zo goed hoe ik mijn storage het beste kan aanbieden. Ik heb mijn LSI op mijn X10SL7 al naar IT-mode geflashed en mijn netwerk ziet er op dit moment als volgt uit:



Wat adviseren jullie? iSCSI, NFS? Ik mis eigenlijk een goed artikel op het net die mij verder helpt. Ben nu twee uurtjes aan het rondneuzen, maar weet niet zo goed waar ik moet beginnen. Zoals je kunt zien in mijn config heb ik 2 netwerkkaarten. vSwitch0 betreft mijn LAN, die mijn TP-Link in gaat. vSwitch1 betreft mijn WAN (verbonden met modem van UPC die in bridge modus draait). Ik vond deze artikelen nog wel het meest interessant: NAS4Free MPIO with VMWare ESXi 5.1 & Configuring iSCSI on ESXi 5.1 (standard vswitch) & Installing FreeNAS for NAS/SAN Storage

Misschien wel het belangrijkste waar ik de storage voor nodig heb: Ik wil meerdere shares maken op het filesystem zodat ik hier mijn media op kan slaan die ik moet kunnen benaderen vanaf mijn HTPC (Windows 8 met XBMC). Verder wil ik graag mijn snapshots van mijn VM's kunnen opslaan en een backup solution om mijn vm's te kunnen backuppen.

En hoe te denken over VMXNET3? NAS4Free ondersteunt VMXNET3, maar die ondersteunt naar mijn weten niet het installeren van plugins zoals FreeNAS dat weer doet. Vanaf FreeNAS 9.2 schijnt de VMXNET3 "hack" ook niet meer te werken, maar of VMXNET3 nu echt daadwerkelijk nodig is weet ik ook niet.

Aangezien mijn beiden nics ook op dit moment al in use zijn, heb ik dus geen dedicated nic over om als iSCSI target in te zetten om het maximale te halen qua performance op ZFS-gebied. Dus, wat is wijsheid?

edit:
ga nu eerst spelen met cifs/windows shares. Zojuist 6x3TB RAIDZ2 aangemaakt in FreeNAS 9.2.1, waarmee ik 10,7TB ruimte over hou.

edit2:
eerste "benchmark"

[root@freenas ~]# dd if=/dev/zero of=/dev/null bs=1M count=128000
128000+0 records in
128000+0 records out
134217728000 bytes transferred in 4.060099 secs (33057748531 bytes/sec)

Volgens mij moet dat veel beter kunnen. Laatste FreeNAS in ESXi 5.5, 16GB ram toegewezen, Intel Xeon CPU.

[ Voor 58% gewijzigd door FREAKJAM op 14-02-2014 00:41 ]

[Quindor]

VMXNET3 is tegenwoordig voor alle workloads sowieso aan te raden. Als je de mogelijkheid bezit om daarmee te draaien moet je dat altijd doen! Het zorgt voor een hogere doorvoer snelheid bij een lagere CPU (en interrupt) belasting, ondersteund VLAN's, jumbo frames, etc.

Verder de benchmark die er staat lijkt op 30GB per seconde? Daar lijkt me niets mis mee. Ik weet niet precies wat voor systeem je hebt maar mijn Sandy Bridge systeem, Quad-Core, 24GB memory, etc. doet "maar" 18.5GB/sec en mijn systeem draait niet eens in VMware.

Wel test het puur de snelheid dat je geheugen zaken kan verwerken en heeft niets te maken met hoeveel je disks kunnen verwerken. Wellicht is dat interessanter om te testen?

[Verwijderd]

FreeBSD 10+ heeft standaard vmxnet3 in de kernel config, dus daar hoef je niets voor te doen.

[Paul]

FREAKJAM schreef op donderdag 13 februari 2014 @ 22:18:
Aangezien mijn beiden nics ook op dit moment al in use zijn, heb ik dus geen dedicated nic over om als iSCSI target in te zetten om het maximale te halen qua performance op ZFS-gebied. Dus, wat is wijsheid?

Wil je aan nog meer zaken iSCSI aanbieden dan? Of alleen aan de host waar je VM op draait?

Met MPIO heb je mijns inziens ook niet te maken aangezien je nu al NICs tekort komt om een dedicated pNIC in te zetten voor iSCSI, laat staan twee of meer

Als je naar VMware een dedicated NIC voor iSCSI in wil zetten dan moet je aan de VM een extra netwerkkaart toevoegen, deze zet je op een nieuwe vSwitch, en aan die vSwitch hang je ook een VMkernel
('Management Network'). Deze twee geef je een eigen subnet, aan je iSCIS target geef je aan dat het alleen moet binden op het IP in je iSCSI-netwerk, aan VMware geef je op wat dat IP is en je hebt connectie

Wil je ook iSCSI aanbieden aan een andere fysieke machine dan moet je inderdaad naar buiten toe op één of andere manier, met de huidige setup zou ik daar vmnic0 / LAN voor nemen Als het alleen is om WSB / W7B te gebruiken dan is het delen van die NIC geen probleem, zoveel data is het niet (als het goed is meestal alleen diffs) en je kunt die backups 's nachts doen. In dat geval zou ik ook geen dedicated iSCSI-netwerk richting de host maken, intern babbelt de host toch 10GE met de VM en het maakt het alleen complexer ipv veiliger, sneller en/of simpeler.

[A1AD]

FREAKJAM schreef op donderdag 13 februari 2014 @ 22:18:
Wat adviseren jullie? iSCSI, NFS?

En hoe te denken over VMXNET3? NAS4Free ondersteunt VMXNET3, maar die ondersteunt naar mijn weten niet het installeren van plugins zoals FreeNAS dat weer doet. Vanaf FreeNAS 9.2 schijnt de VMXNET3 "hack" ook niet meer te werken, maar of VMXNET3 nu echt daadwerkelijk nodig is weet ik ook niet.

Aangezien mijn beiden nics ook op dit moment al in use zijn, heb ik dus geen dedicated nic over om als iSCSI target in te zetten om het maximale te halen qua performance op ZFS-gebied. Dus, wat is wijsheid?

1: Ga je de virtuele ZFS storage terug aanbieden aan ESX? > ISCSI is the way to go, NFS is trager door het wachten op de synced writes

2: Ik draai Freenas 9.2 met de VMXNET3 driver. De driver is gecompiled voor freebsd 9.2. Pluk hem maar van men dropbox. Edit: Niet vergeten om onder System > Tunables een variable "vmxnet3_load" aan te maken met value "YES".

3. Als je gewoon je ISCSI storage wil terug geven, dan maak je een 4de vSwitch aan, zonder nic en die voeg je dan toe aan je ESX en Freenas.
edit:

CIFS stuur je gewoon via je LAN, tenzij je met 30man oid thuis gebruikt maakt van je shares

[ Voor 12% gewijzigd door A1AD op 14-02-2014 08:50 ]

[Extera]

A1AD: wat voor snelheden haal je hier mee?

De beperking lijk me ofwel je VM kernel port (ik kan nergens vinden hoe snel deze moet zijn, maar lijkt me minimaal 10Gbit?) Of je storage.

[FREAKJAM]

Quindor schreef op vrijdag 14 februari 2014 @ 02:54:
Wel test het puur de snelheid dat je geheugen zaken kan verwerken en heeft niets te maken met hoeveel je disks kunnen verwerken. Wellicht is dat interessanter om te testen?

Daar heb je een punt, ik zal eens een file op mijn pool zetten en dan eens benchmarken. Ik heb een Intel Xeon 1230V3 met 32GB ram (16GB toegewezen aan FreeNAS op dit moment).

CiPHER schreef op vrijdag 14 februari 2014 @ 03:10:
FreeBSD 10+ heeft standaard vmxnet3 in de kernel config, dus daar hoef je niets voor te doen.

FreeNAS 9.2.1 in dit geval is toch nog niet FreeBSD 10+ based?

Paul schreef op vrijdag 14 februari 2014 @ 08:10:
[...]
Wil je aan nog meer zaken iSCSI aanbieden dan? Of alleen aan de host waar je VM op draait?

Met MPIO heb je mijns inziens ook niet te maken aangezien je nu al NICs tekort komt om een dedicated pNIC in te zetten voor iSCSI, laat staan twee of meer

Als je naar VMware een dedicated NIC voor iSCSI in wil zetten dan moet je aan de VM een extra netwerkkaart toevoegen, deze zet je op een nieuwe vSwitch, en aan die vSwitch hang je ook een VMkernel
('Management Network'). Deze twee geef je een eigen subnet, aan je iSCIS target geef je aan dat het alleen moet binden op het IP in je iSCSI-netwerk, aan VMware geef je op wat dat IP is en je hebt connectie

Wil je ook iSCSI aanbieden aan een andere fysieke machine dan moet je inderdaad naar buiten toe op één of andere manier, met de huidige setup zou ik daar vmnic0 / LAN voor nemen Als het alleen is om WSB / W7B te gebruiken dan is het delen van die NIC geen probleem, zoveel data is het niet (als het goed is meestal alleen diffs) en je kunt die backups 's nachts doen. In dat geval zou ik ook geen dedicated iSCSI-netwerk richting de host maken, intern babbelt de host toch 10GE met de VM en het maakt het alleen complexer ipv veiliger, sneller en/of simpeler.

Ik wil eigenlijk enkel puur mijn local storage (onboard LSI 2308, waar 6x3TB disks aan hangen) doorgeven aan mijn vm (op dit moment FreeNAS 9.2.1 die ik aan het testen ben). Vervolgens wil ik deze storage gebruiken om hier voornamelijk mijn media op te slaan (voor XBMC). Is het wel verstanding om iSCSI te koppelen aan mijn huidige LAN? (wat ik bedoel te zeggen, kun je iSCSI niet beter inrichten op een apart subnet?)

Klopt dat MPIO geen uitkomst biedt, maar het artikel was wel enorm interresant, en wellicht kon ik met behulp van dat artikel mijn setup inrichten op basis van 1 nic.

A1AD schreef op vrijdag 14 februari 2014 @ 08:19:
[...]


1: Ga je de virtuele ZFS storage terug aanbieden aan ESX? > ISCSI is the way to go, NFS is trager door het wachten op de synced writes

2: Ik draai Freenas 9.2 met de VMXNET3 driver. De driver is gecompiled voor freebsd 9.2. Pluk hem maar van men dropbox. Edit: Niet vergeten om onder System > Tunables een variable "vmxnet3_load" aan te maken met value "YES".

3. Als je gewoon je ISCSI storage wil terug geven, dan maak je een 4de vSwitch aan, zonder nic en die voeg je dan toe aan je ESX en Freenas.
edit:
[afbeelding]
CIFS stuur je gewoon via je LAN, tenzij je met 30man oid thuis gebruikt maakt van je shares

Het is local storage die ik via passthrough ga aanbieden aan mijn vm (ESXi dus inderdaad). Ik had trouwens wel mijn zil disabled(zfs set sync=disabled media, Ik heb geen L2ARC/SLOG in mijn setup). Ik gebruik een SSD voor mijn VM-storage en ben niet van plan L2ARC/SLOG te gaan gebruiken. Ik draai verder alleen nog maar pfSense in een VM en een Windows 2012R2 VM waar ik een beetje mee test, maar die staat op dit moment eigenlijk niks te doen. Er is dus niet veel activiteit op mijn SSD.

Cool, thanks voor je driver, eens kijken of ik hem aan de gang krijg.

Dus eigenlijk wat je zegt is dat ik enkel een virtuele switch moet aanmaken met een vkernel. Ik zie trouwens ook dat je VLANS gebruikt, iets wat ik niet gebruik op dit moment. Is dat ook aan te raden wanneer je met iSCSI/ZFS gaat werken?

[FireDrunk]

Lokaal schelen NFS en iSCSI niet zo veel. NFS kost voor mijn gevoel wat minder CPU, maar iSCSI is een fractie sneller. Beide wachten ze (normaal gesproken) op synced writes, maar die heb jij uit staan dus dat maakt ook geen bal meer uit.

NFS is FILE based storage, (NAS) iSCSI is BLOCK based storage (SAN).
Het verschil is wel te vinden in een aantal vmware knowledge base artikelen.

Maar simpel gezegd: Test het eens uit? Draai een paar benchmarks en kijk hoe ver je komt...

[Paul]

FREAKJAM schreef op vrijdag 14 februari 2014 @ 09:22:
Ik wil eigenlijk enkel puur mijn local storage (onboard LSI 2308, waar 6x3TB disks aan hangen) doorgeven aan mijn vm (op dit moment FreeNAS 9.2.1 die ik aan het testen ben).

Het is local storage die ik via passthrough ga aanbieden aan mijn vm (ESXi dus inderdaad)

We bedoelen andersom Je hebt een VM met heel veel storage, maar waar ga je je iSCSI-target aan aanbieden? Wie worden de Initiator(s)?

Is het wel verstanding om iSCSI te koppelen aan mijn huidige LAN? (wat ik bedoel te zeggen, kun je iSCSI niet beter inrichten op een apart subnet?)

Tenzij je er een apart VLAN voor zou maken is het alleen maar security through obscurity (want ik neem aan dat je in pfSense geen port-forward maakt voor iSCSI iSCSI en NAT gaat overigens ook niet zo goed samen meen ik) en biedt het dus geen performance- of beveiligingsvoordelen Een extra netwerkkaart zou meer bandbreedte kunnen geven, maar dan zou ik eerst kijken of je het nu te langzaam vindt.

Ik had trouwens wel mijn zil disabled(zfs set sync=disabled media, Ik heb geen L2ARC/SLOG in mijn setup)

Waarom zou je dat doen? ZIL kan ook (/is standaard) zonder SLOG, hence the S, en je haalt de waarborging van je data onderuit. Een device wil niet voor niks synced schrijven. Dat VMware over NFS alles synced wil doen, tja, maar jij hebt het steeds over iSCSI. Wat is dan het nut van synced writes uitzetten? Zoveel zijn het er niet...

Dus eigenlijk wat je zegt is dat ik enkel een virtuele switch moet aanmaken met een vkernel.

Als je ene VMware-host je enige initiator is dan is dat wel het beste

Ik zie trouwens ook dat je VLANS gebruikt, iets wat ik niet gebruik op dit moment. Is dat ook aan te raden wanneer je met iSCSI/ZFS gaat werken?

In dit geval voegt het niets toe, het is maar een getalletje. Als je een pNIC aan de vSwitch hangt dan gaat het meespelen (en dan moet je switch er ook iets mee kunnen etc etc, meestal zit je dan aan een infrastructure design te werken).

[A1AD]

FREAKJAM schreef op vrijdag 14 februari 2014 @ 09:22:
Ik zie trouwens ook dat je VLANS gebruikt, iets wat ik niet gebruik op dit moment. Is dat ook aan te raden wanneer je met iSCSI/ZFS gaat werken?

Nee in dit geval heeft dit geen enkele toegevoerde waarde Beetje macht der gewoonte, mijn vNetwerk ziet er zo uit:



Edit:

FREAKJAM schreef op vrijdag 14 februari 2014 @ 09:22:
[...]
Cool, thanks voor je driver, eens kijken of ik hem aan de gang krijg.

Eum even iets rechtzetten, credits gaan naar pbucher van het freenas forum!

Extera schreef op vrijdag 14 februari 2014 @ 09:18:
A1AD: wat voor snelheden haal je hier mee?

De beperking lijk me ofwel je VM kernel port (ik kan nergens vinden hoe snel deze moet zijn, maar lijkt me minimaal 10Gbit?) Of je storage.

Gemeten op een win7 virtuele machine.



Er draaien momenteel wel 5 vm's op de ISCSI storage. (3*4TB seagate's)

[ Voor 46% gewijzigd door A1AD op 14-02-2014 10:47 ]

[A1AD]

_{Edit: oeps.. quote ipv edit, sorry}

[ Voor 112% gewijzigd door A1AD op 14-02-2014 10:03 ]

[A1AD]

pfff ik mag niet meer reageren als ik aan het werken ben.

Mod: kan je deze 2 berichten wissen aub

[ Voor 85% gewijzigd door A1AD op 14-02-2014 10:46 ]

[Extera]

Dat is niet verkeerd!

Je schijven staan in Zraid1? De bechmark gedraaid vanaf een VMFS?
Door dit soort grafieken wil ik een nieuwe poging doen het werkend te krijgen...

[A1AD]

Extera schreef op vrijdag 14 februari 2014 @ 11:16:
Dat is niet verkeerd!

Je schijven staan in Zraid1? De bechmark gedraaid vanaf een VMFS?
Door dit soort grafieken wil ik een nieuwe poging doen het werkend te krijgen...

In RaidZ1 en idd van een VMFS (ESX is de initiator)

[FireDrunk]

Prima getallen inderdaad, maar op zich voorspelbaar, want we hebben het hier over best een dik systeem

Wat had je anders verwacht Extera?

[Extera]

Ik meen me te herinneren dat ik (veel) lagere cijfers had.

Mogelijk heb ik toen het verkeer per ongeluk buitenom laten gaan. De FreeNAS box uit mijn (fysieke) LAN op en terug de VMware host in.... het is al even geleden.

Ik probeerde net even alles om te bouwen (remote) maar heb mezelf buiten gesloten

Zal kijken of ik het dit weekend aan de praat krijg. Dan ben ik van die nexenta doos af. Hoewel fibrechannel stiekem wel heel stoer is, is het niet echt handig doordat ik nexenta moet gebruiken. Ik zie geen makkelijk manier om backups te maken van die doos. Met Freenas is dat piece of cake.

Op deze manier zou ik vergelijkbare resultaten moeten halen als het goed is. Ik heb een 5x 4TB zRaid1 setup.

Edit: even benchmark van mn fibrechannel setup opgezocht... via een interne iSCSI koppeling zou ik dus sneller uit zijn.



Dit was wel met een andere diskset (in theorie sneller; 3x2 disk mirror, 1TB spinpoint F1 disks).

Edit: Ik krijg het niet voor elkaar een iSCSI adapter aan te maken zonder fysieke adapter aan de vswitch

[ Voor 22% gewijzigd door Extera op 14-02-2014 17:11 ]

[ikkeenjij36]

Hallo na een weekje werken kijk ik vandaag weer op mijn server en wat scherts mijn verbazing:
Virtual box is niet meer werkend met deze melding:
readyState: "4"
responseText: "


500 - Internal Server Error


500 - Internal Server Error


"
status: "500"
statusText: "Internal Server Error"
Er is in de tussentijd niks gebeurt met de server en niks aan veranderd.
Ook mysql draaide niet meer,na een reboot draait mysql wel weer maar de db die erin stonden zijn verdwenen en ik kan weer inloggen met admin en geen pw.
De reboot heeft niet geholpen om virtualbox weer draaiend te krijgen.
Wat kan er verkeerd gegaan zijn hier bij mij?
Draai met zfsguru

[Verwijderd]

Logs al bekeken? Feit dat zowel MySQL als VirtualBox niet meer draaien kan betekenen dat er iets gezamenlijks is misgegaan. Denk aan een te volle pool, bijvoorbeeld.

[ikkeenjij36]

Denk dat je gelijk hebt zo te zien is de pool1 voor alleen os te vol geraakt.
Maar hoe dat gekomen is geen idee en ook hoe om het op te lossen niet.

[ Voor 12% gewijzigd door ikkeenjij36 op 14-02-2014 17:38 ]

[Verwijderd]

Een te volle pool kan betekenen dat je database corrupt is; of je de MySQL databases nog kunt gebruiken weet ik niet. Verder kan ik me ook voorstellen dat virtualbox images het niet leuk vinden, vooral als je ze dynamisch hebt gemaakt.

Voortaan kun je overwegen een quotum in te stellen; dan mogen bepaalde filesystems zoals je service filesystem maar beperkte ruimte gebruiken. Je root pool zou nooit vol mogen zitten dat kan tot serieuze problemen leiden.

[ikkeenjij36]

Ja en bij dat punt ben ik dus belandt.
Heb jij misschien tips om dit te bereiken of wordt het weer een clean install en van 0 af beginnen?
En dan maar niet met zil1 en l2arc maken en daar mee wachten tot er een 2e ssd erbij geplaatst is?

[ Voor 26% gewijzigd door ikkeenjij36 op 14-02-2014 17:46 ]

[Verwijderd]

VirtualBox opnieuw installeren maar ik denk vooral de data directory opschonen, waar de configuratie in wordt bijgehouden.

Verder kan het zijn dat er nog meer dingen brak zijn; logs bekeken helpt. Vers installeren werkt natuurlijk ook altijd, maar is niet altijd nodig.

[ikkeenjij36]

[sub2014-02-14 16:53:02: (mod_fastcgi.c.3326) response not received, request sent: 1584 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1570 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1580 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1584 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1573 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1575 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1579 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:08: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:08: (mod_fastcgi.c.3326) response not received, request sent: 1584 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:16: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:16: (mod_fastcgi.c.3326) response not received, request sent: 1570 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:17: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:17: (mod_fastcgi.c.3326) response not received, request sent: 1580 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:17: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:17: (mod_fastcgi.c.3326) response not received, request sent: 1584 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:17: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:17: (mod_fastcgi.c.3326) response not received, request sent: 1573 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:17: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:17: (mod_fastcgi.c.3326) response not received, request sent: 1575 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:17: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:17: (mod_fastcgi.c.3326) response not received, request sent: 1579 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:04:17: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:04:17: (mod_fastcgi.c.3326) response not received, request sent: 1584 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection
2014-02-14 17:07:43: (mod_fastcgi.c.2540) unexpected end-of-file (perhaps the fastcgi process died): pid: 1204 socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0
2014-02-14 17:07:43: (mod_fastcgi.c.3326) response not received, request sent: 1570 on socket: unix:/var/spool/lighttpd/sockets/php-fastcgi-1.socket-0 for /interface/virtualbox/lib/ajax.php?, closing connection][/sub]

Klein stukje uit webserver log.
Weet niet of je er wat aan hebt?
Anders moet je even zeggen wat je nodig hebt.

[ikkeenjij36]

Vegeet de posts maar,opnieuw geinstaleerd en alles draait weer.
Nu nog even een andere vraag,heb ook weer virtualbox geinstaleerd alleen krijgt die geen eigen ip adres?
Hoe kan ik dat voor elkaar krijgen?
Vorige keer werkte het out the box en kon ik hem als gewoon als aparte machine benaderen met eigen ip dus.

[]Byte[]

[root@zfsguru ~]# iperf -c 10.183.10.41 -t 60 -i 5
------------------------------------------------------------
Client connecting to 10.183.10.41, TCP port 5001
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[  3] local 10.183.10.10 port 21042 connected with 10.183.10.41 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 5.0 sec  1.71 GBytes  2.93 Gbits/sec
[  3]  5.0-10.0 sec  1.43 GBytes  2.45 Gbits/sec
[  3] 10.0-15.0 sec  1.37 GBytes  2.35 Gbits/sec
[  3] 15.0-20.0 sec  1.49 GBytes  2.56 Gbits/sec
[  3] 20.0-25.0 sec  1.48 GBytes  2.54 Gbits/sec
[  3] 25.0-30.0 sec  1.49 GBytes  2.56 Gbits/sec
[  3] 30.0-35.0 sec  1.47 GBytes  2.53 Gbits/sec
[  3] 35.0-40.0 sec  1.49 GBytes  2.55 Gbits/sec
[  3] 40.0-45.0 sec  1.45 GBytes  2.49 Gbits/sec
[  3] 45.0-50.0 sec  1.43 GBytes  2.46 Gbits/sec
[  3] 50.0-55.0 sec  1.45 GBytes  2.49 Gbits/sec
[  3] 55.0-60.0 sec  1.39 GBytes  2.39 Gbits/sec
[  3]  0.0-60.0 sec  17.6 GBytes  2.53 Gbits/sec

Dat ik de volle 10 Gb niet zou halen, oke. Maar dit...
Wat zie ik over het hoofd

[strandbal]

Voor iedereen die ZFS draait icm Samba op FreeBSD, en klaagt over de snelheid van filetransfers, dit is misschien het proberen waard. Mijn NAS:

- Intel Atom 330 NAS, 4GB ram en RAIDZ van 3x1TB
- 2x1TB oude Samsung, 1x1TB WD Green (4K)

Lekker misaligned en niet al te snel allemaal dus

Met flink wat tuning aan samba36 haalde ik zo'n 50-60 MB/sec hieruit. Sinds ik op samba41 zit haal ik 75-80MB/sec strak, met alle tuning uitgeschakeld. Ik moet wel zeggen dat ik Windows 8.1 clients heb (SMB3 protocol).

[Verwijderd]

@ikkeenjij: wat bedoel je met VirtualBox die een IP adres krijgt? Je kunt IP addressen aan VMs toewijzen, VM properties en dan NEtworking. NAT en Bridged zijn het meestgebruikt. Bridged is alsof je de kabel op de switch hebt aangesloten.

@Byte: is dat met Windows? Want zoals altijd bij het testen met Windows zie ik een extreem lage TCP Window Size. Waarom wilt Windows zo kleine buffers gebruiken? Zeker met 10 gigabit schiet dat niet op omdat je extreem aan latency bent gebonden met zo'n kleine TCP buffer. Draai iperf maar eens met een normale Windows size en je ziet denk ik veel hogere scores.

Verder, Netmap in FreeBSD zou dit sterk moeten verbeteren. Ik heb er zelf nog niet mee gespeeld; kon eigenlijk ook weinig documentatie erover vinden. Maar het zou zeer hoge packagerates met zeer lage CPU-belasting mogelijk moeten maken.

@strandbal: wat bedoel je met misaligned? Bedoel je ashift=9 of bedoel je een misaligned partitie? Dat is nogal een verschil.

[Extera]

Ik krijg het niet voor elkaar, om zoals A1AD laat zien een nieuwe vSwitch te maken voor iSCSI zonder dat daar een fysieke adapter aan gekoppeld is.

@ A1AD, hoe heb jij dit gedaan?

[strandbal]

Verwijderd schreef op zaterdag 15 februari 2014 @ 10:17:

@strandbal: wat bedoel je met misaligned? Bedoel je ashift=9 of bedoel je een misaligned partitie? Dat is nogal een verschil.

Ik had het inderdaad over de ashift. Daar geeft zpool status ook een melding over, dat er "non-native block sizes" worden gebruikt en dat ik "reduced performance" kan verwachten. Valt mee dus

[]Byte[]

Verwijderd schreef op zaterdag 15 februari 2014 @ 10:17:
@Byte: is dat met Windows? Want zoals altijd bij het testen met Windows zie ik een extreem lage TCP Window Size. Waarom wilt Windows zo kleine buffers gebruiken? Zeker met 10 gigabit schiet dat niet op omdat je extreem aan latency bent gebonden met zo'n kleine TCP buffer. Draai iperf maar eens met een normale Windows size en je ziet denk ik veel hogere scores.

Dat is tussen ZFSguru en ESX.

Ook met een window-size van 1M kan ik er nog geen warm gevoel aan overhouden.

[root@zfsguru ~]# iperf -c 10.183.10.41 -t 60 -i 5 -w 1M
------------------------------------------------------------
Client connecting to 10.183.10.41, TCP port 5001
TCP window size: 1.00 MByte (WARNING: requested 1.00 MByte)
------------------------------------------------------------
[  3] local 10.183.10.10 port 29494 connected with 10.183.10.41 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 5.0 sec  1.90 GBytes  3.26 Gbits/sec
[  3]  5.0-10.0 sec  1.53 GBytes  2.63 Gbits/sec
[  3] 10.0-15.0 sec  1.48 GBytes  2.54 Gbits/sec
[  3] 15.0-20.0 sec  1.48 GBytes  2.54 Gbits/sec
[  3] 20.0-25.0 sec  1.38 GBytes  2.38 Gbits/sec
[  3] 25.0-30.0 sec  1.49 GBytes  2.57 Gbits/sec
[  3] 30.0-35.0 sec  1.47 GBytes  2.52 Gbits/sec
[  3] 35.0-40.0 sec  1.45 GBytes  2.49 Gbits/sec
[  3] 40.0-45.0 sec  1.46 GBytes  2.50 Gbits/sec
[  3] 45.0-50.0 sec  1.51 GBytes  2.60 Gbits/sec
[  3] 50.0-55.0 sec  1.52 GBytes  2.61 Gbits/sec
[  3] 55.0-60.0 sec  1.45 GBytes  2.49 Gbits/sec
[  3]  0.0-60.0 sec  18.1 GBytes  2.59 Gbits/sec

[Verwijderd]

Hm dan kan het iets heel anders zijn; in mijn gevallen kon ik een hoge doorvoer behalen met een grote TCP window size. Latency was het enige probleem waardoor je de bandbreedte niet vol kreeg. Maar probeer het anders eens met de optie '-p 10' - maakt dat nog wat uit?

[Extera]

Gelukt!



Gewoon aangemaakt met een fysieke adapter gekoppeld, en daarna de adapter verwijderd

De volgende stap is de boel weer uit elkaar trekken, FreeNAS op een fysieke machine, met 10Gb over CX4 er tussen. Zou dezelfde performance moeten geven, maar die 8GB mem die FreeNAS inneemt op mn host vind ik best veel, en FreeNAS kan best 16GB gebruiken.

[ Voor 40% gewijzigd door Extera op 15-02-2014 12:36 ]

[Midas.e]

Omdat ik de vraag kreeg over mn atom c2550 en performance qua SMB hier even een postje. Voor de duidelijkheid, ik heb thuis geen windows machines, ik heb alleen mac's en linux bakken. SMB is niet getuned.

[ Voor 11% gewijzigd door Midas.e op 15-02-2014 13:57 ]

[]Byte[]

Verwijderd schreef op zaterdag 15 februari 2014 @ 11:15:
Hm dan kan het iets heel anders zijn; in mijn gevallen kon ik een hoge doorvoer behalen met een grote TCP window size. Latency was het enige probleem waardoor je de bandbreedte niet vol kreeg. Maar probeer het anders eens met de optie '-p 10' - maakt dat nog wat uit?

Nope... maakt niets uit.
Of ik er nu 2, 4, 10 of 12 doe... sum blijft (ongeveer) hetzelfde.

[Quindor]

]Byte\[ schreef op zaterdag 15 februari 2014 @ 16:26:
[...]

Nope... maakt niets uit.
Of ik er nu 2, 4, 10 of 12 doe... sum blijft (ongeveer) hetzelfde.

Heb je overal jumbo frames goed geconfigureerd? Dus op 2 plekken in ESXi en ook nog in je VM zelf?

[]Byte[]

Hmmm...
Het lukt me niet om de MTU van de adapter en vSwitch aan te passen
Als ik het via de cli probeer:

[root@esx1 ~]# esxcfg-vswitch -m 9000 vSwitch1
Unable to set MTU to 9000 the following uplinks refused the MTU setting: vmnic32.p1 
[root@esx1 ~]# 

to be continued...

[FireDrunk]

Gewoon in de GUI doen? Je kan daarna vaak in dmesg of /var/log/vmkernel zien waarom de adapter dat niet aan wil zetten (kan best zijn omdat er link is...)


---

Vandaag een Atom bakje geinstalleerd met 8GB RAM en FreeNAS. Daarin 4*80GB Intel x25-M G2 gezet en daar een Striped ZPOOL van gemaakt. iSCSI aangemaakt en aan ESX gehangen...

Ik haal echt betreurende resultaten... Over 1 * 1Gb zonder Jumbo Frames, haal ik 100MB/s lezen (nog wel acceptabel uiteraard), maar maar 40MB/s schrijven... En dat richting een pool van alleen SSD's....

Nou maakt FreeNAS (nog) wel gebruik van de 'oud' istgt, maar dat zou toch geen 60MB/s moeten uitmaken

Random was het iets van 28MB/s lezen (7000 iops) en 8MB/s schrijven (1500 iops).

[ Voor 140% gewijzigd door FireDrunk op 15-02-2014 17:34 ]

[Midas.e]

Mn Avaton Atom doet het prima hier.
Aangezien geen windows machines zit alles hier via NFS
lezen:

schrijven:


En omdat ik net nog even check, alle tests sofar zijn van een degraded raid array gedaan, altijd lekker om een stekkertje los te trekken..

[ItsValium]

@ Firedrunk zou je dezelfde test eens kunnen doen met NFS?

[slooffmaster]

Heb vandaag even zitten zoeken en mijn probleem kwam blijkbaar door een mix van libzfs1 en libzfs2 packages. Het verwijderen van libzfs1 loste het probleem op.

FireDrunk schreef op zaterdag 08 februari 2014 @ 14:30:
@Slooffmaster, klinkt als een bugje in ZFSonLinux... Want volgens mij zou dat gewoon moeten werken...
Heb je data gezet op de root van je pool zonder dat daar een filesystem tussen zat? Dat schijnt een bekende bug te zijn onder ZoL...

[FireDrunk]

Goed bezig! Klinkt haast als iets voor in de topicstart
@ItsValium, benchmark loopt.

[ Voor 51% gewijzigd door FireDrunk op 15-02-2014 20:14 ]

[sphere]

strandbal schreef op zaterdag 15 februari 2014 @ 09:48:
Voor iedereen die ZFS draait icm Samba op FreeBSD, en klaagt over de snelheid van filetransfers, dit is misschien het proberen waard. Mijn NAS:

- Intel Atom 330 NAS, 4GB ram en RAIDZ van 3x1TB
- 2x1TB oude Samsung, 1x1TB WD Green (4K)

Lekker misaligned en niet al te snel allemaal dus

Met flink wat tuning aan samba36 haalde ik zo'n 50-60 MB/sec hieruit. Sinds ik op samba41 zit haal ik 75-80MB/sec strak, met alle tuning uitgeschakeld. Ik moet wel zeggen dat ik Windows 8.1 clients heb (SMB3 protocol).

Wat draai je precies? Ik heb wel gelezen dat ZFS kan op 32 bit, maar dat je behoorlijk wat moet tunen om het soepel te krijgen?

[strandbal]

De Atom 330 is 64 bits capable. Ik draai dan ook FreeBSD 10-RELEASE 64 bits. 4GB geheugen is helaas wel de max (3,6GB bruikbaar door de Atom).

[sphere]

OK. Ik verwoord het verkeerd. ZFS kan op systemen met max 4GB, maar je moet behoorlijk tunen

Ik heb zelf de AT3N7A-I, dus ik ben bekend met het platform.

https://wiki.freebsd.org/ZFSTuningGuide#i386 - wat heb jij moeten tunen?

[ Voor 6% gewijzigd door sphere op 15-02-2014 22:11 ]

[ikkeenjij36]

@Cipher het is intussen opge0lost.
Nu echter het volgende na spotweb draaiende gekregen te hebben was eerst de phpmyadmin niet meer te bereiken,daarna reboot gedaan en nu wel heel de server niet meer online komen?
HELP PANIEK HIER WEER

Aaagh ik weet al weer wat er gebeurt is,wel de data pool geupgrade naar v5000 maar vergeten mijn ospool te upgraden naar v5000.
Das wel errug stom van mij .
Hoe kan ik dit nu weer oplossen?
Kan dit via de livecd van zfsguru of moet ik het anders doen?
Ik hoop op nog een reactie.

Nou weer gerepareerd met de livecd en weer werkend.
Wat een heerlijk os toch dat zfsguru!!!!

[ Voor 47% gewijzigd door ikkeenjij36 op 16-02-2014 00:14 ]

[FireDrunk]

Als je nou eens wat rustiger doet, en gewoon normale posts maakt waarin je je probleem uitlegt, en verteld wat je allemaal gedaan hebt, zouden je posts een stuk minder vervelend zijn om te lezen

/rant

[strandbal]

sphere schreef op zaterdag 15 februari 2014 @ 22:10:
OK. Ik verwoord het verkeerd. ZFS kan op systemen met max 4GB, maar je moet behoorlijk tunen

Ik heb zelf de AT3N7A-I, dus ik ben bekend met het platform.

https://wiki.freebsd.org/ZFSTuningGuide#i386 - wat heb jij moeten tunen?

Ik heb niets getuned. Heb zelfs prefetching weer aangezet (zit net een paar honderd MB onder de 4GB grens waarbij dit standaard aangezet wordt, en mijn systeem wordt toch niet heel zwaar belast).

Je linkt naar een wiki entry over een 32-bits OS. Die kan wel 4GB geheugen adresseren, maar zit anders in elkaar qua kernel adres ruimte etc. Ik draai een 64-bits OS, daar is voor zover ik weet eigenlijk geen tuning vereist in de meeste gevallen (mits een recente FreeBSD kernel gedraaid wordt).

Mijn scrubs lopen ruim over de 100MB/sec.

[sphere]

Leuk zal eens gaan testen op dat gebakje.

[A1AD]

Extera schreef op zaterdag 15 februari 2014 @ 12:17:
Gelukt!

[afbeelding]

Gewoon aangemaakt met een fysieke adapter gekoppeld, en daarna de adapter verwijderd

De volgende stap is de boel weer uit elkaar trekken, FreeNAS op een fysieke machine, met 10Gb over CX4 er tussen. Zou dezelfde performance moeten geven, maar die 8GB mem die FreeNAS inneemt op mn host vind ik best veel, en FreeNAS kan best 16GB gebruiken.

8GB vergeleken met een volledige machine 24/7 aan laten staan is toch een mooie trade-off?

FireDrunk schreef op zaterdag 15 februari 2014 @ 19:02:
benchmark

[afbeelding]

Ik heb hier ook nog een systeem met 3*1.5TB schijven in Stripe waarvan ik vermoed dat de performance niet is wat het moet zijn.
Heb je al een een bench gedraaid op de FreeNAS bak zelf? (dd)

[ Voor 30% gewijzigd door A1AD op 16-02-2014 13:22 ]

[EnerQi]

Midas.e schreef op zaterdag 15 februari 2014 @ 13:56:
Omdat ik de vraag kreeg over mn atom c2550 en performance qua SMB hier even een postje. Voor de duidelijkheid, ik heb thuis geen windows machines, ik heb alleen mac's en linux bakken. SMB is niet getuned.
[afbeelding]

Bedankt voor het testen Midas.e. Jammer dat de score zo laag is . Hierdoor twijfel ik dus nog meer of dit wel de juiste opvolger wordt van mijn NAS. Twijfel, twijfel, twijfel

[jacovn]

]Byte\[ schreef op zaterdag 15 februari 2014 @ 09:47:

[root@zfsguru ~]# iperf -c 10.183.10.41 -t 60 -i 5
------------------------------------------------------------
Client connecting to 10.183.10.41, TCP port 5001
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[  3] local 10.183.10.10 port 21042 connected with 10.183.10.41 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 5.0 sec  1.71 GBytes  2.93 Gbits/sec
[  3]  5.0-10.0 sec  1.43 GBytes  2.45 Gbits/sec
[  3] 10.0-15.0 sec  1.37 GBytes  2.35 Gbits/sec
[  3] 15.0-20.0 sec  1.49 GBytes  2.56 Gbits/sec
[  3] 20.0-25.0 sec  1.48 GBytes  2.54 Gbits/sec
[  3] 25.0-30.0 sec  1.49 GBytes  2.56 Gbits/sec
[  3] 30.0-35.0 sec  1.47 GBytes  2.53 Gbits/sec
[  3] 35.0-40.0 sec  1.49 GBytes  2.55 Gbits/sec
[  3] 40.0-45.0 sec  1.45 GBytes  2.49 Gbits/sec
[  3] 45.0-50.0 sec  1.43 GBytes  2.46 Gbits/sec
[  3] 50.0-55.0 sec  1.45 GBytes  2.49 Gbits/sec
[  3] 55.0-60.0 sec  1.39 GBytes  2.39 Gbits/sec
[  3]  0.0-60.0 sec  17.6 GBytes  2.53 Gbits/sec

Dat ik de volle 10 Gb niet zou halen, oke. Maar dit...
Wat zie ik over het hoofd

Ik haal tussen wintel en zfsguru server max 450 mbyte/sec als ik van een ramdisk af test.
Daar is ook niets aan getuned, behalve dat dat ik wat buffers in freebsd in moest stellen om 10 GE werkend te krijgen.

Ik zou ook nog tussen 2 zfsguru machnes kunnen testen, maar dan moet je me uitleggen hoe..

[]Byte[]

Dit heeft nog niets met disk i/o te maken.
Dit is nog plat bandbreedte uit mem. naar mem. van de ene naar de andere doos.
Ik ben op dit moment nog bezig om de mtu-size van ESX 4.1 op 9000 te krijgen. (wat niet wil lukken op de interface (wel op de vSwitch - maar kan dan geen interface koppelen omdat de mtu-size niet overeen komen tussen vSwitch en interface))

[FREAKJAM]

Iemand op FreeNAS forums heeft inmiddels een vmxnet3.ko gecompiled voor FreeNAS 9.2.1 en ESXi 5.5 en tevens uitgebreid gepost hoe je het zelf kan compileren voor toekomstige nieuwe versies van FreeNAS.

Je kunt hem hier downloaden van mijn Google drive, voor degene die geen FreeNAS forum account hebben.

[ Voor 47% gewijzigd door FREAKJAM op 16-02-2014 23:03 ]

[FireDrunk]

]Byte\[ schreef op zondag 16 februari 2014 @ 20:52:
Dit heeft nog niets met disk i/o te maken.
Dit is nog plat bandbreedte uit mem. naar mem. van de ene naar de andere doos.
Ik ben op dit moment nog bezig om de mtu-size van ESX 4.1 op 9000 te krijgen. (wat niet wil lukken op de interface (wel op de vSwitch - maar kan dan geen interface koppelen omdat de mtu-size niet overeen komen tussen vSwitch en interface))

Probeer het anders eens met een kale ESXi 5.5 Ik verwacht dat de driver van Mellanox gewoon geen grotere MTU doet onder ESXi 4.1.

Dat is immers ook alweer uit het stenen tijdperk...

[ilovebrewski]

Ik heb nu ZFSguru image 10.0-002 draaien onder ESXi 5.5.

Spindown ingesteld (met hulp van hier )en werkt (volgens mijn energiemonitor dan)
In de webinterface blijft de Power status van de hhd's op READY staan. Wanneer ik via de webinterface op Spindown druk geeft hij een melding dat de hdd in spindown gaat, echter zie je dit niet aan de Power status. Het maakt trouwens niks uit of je webinterface beta8 of beta9 hebt draaien.
Onder 9.2-001 had ik dit probleem niet.
Iemand een idee?

[FireDrunk]

Welke controller heb je?

[Extera]

FREAKJAM schreef op zondag 16 februari 2014 @ 23:01:
Iemand op FreeNAS forums heeft inmiddels een vmxnet3.ko gecompiled voor FreeNAS 9.2.1 en ESXi 5.5 en tevens uitgebreid gepost hoe je het zelf kan compileren voor toekomstige nieuwe versies van FreeNAS.

Je kunt hem hier downloaden van mijn Google drive, voor degene die geen FreeNAS forum account hebben.

nice! thanks!

Zaterdag was ik bezig met het opzetten van iSCSI over VMXnet3, en toen ik klaar was dacht ik met mn suffe hoofd, laat ik gelijk Freenas even upgraden

Gelukkig een snapshot gemaakt, dus was zo weer terug naar 9.1.
Van t weekend denk ik een nieuwe poging wagen!

[FREAKJAM]

FireDrunk schreef op maandag 17 februari 2014 @ 09:38:
Welke controller heb je?

Hij heeft een X10SL7 met onboard LSI2308 net als ik dacht ik.

[ilovebrewski]

Klopt!

[FREAKJAM]

Ik heb zojuist een nieuwe benchmark gedaan met CrystalMark en ik haal de volgende waardes:
(X10SL7, 16GB ram, 6 disks, RAIDZ2, FreeNAS 9.2.1 met VMXNET3). Verder geen tweaks op dit moment ingesteld, ik heb wel autotune gebruikt in FreeNAS. Nog tweaks die jullie me kunnen aanraden voor mijn loader.conf? Zoals wellicht bekend, heb ik geen dedicated device voor mijn slog/l2arc.

code:

dd if=/dev/zero of=/dev/null bs=1M count=128000         
128000+0 records in                                                       
128000+0 records out                                                       
134217728000 bytes transferred in 4.099205 secs (32742379910 bytes/sec)

code:

dd if=/dev/zero of=test.bin bs=1M count=50000   
50000+0 records in                                                           
50000+0 records out                                                         
52428800000 bytes transferred in 12.667484 secs (4138848710 bytes/sec)

code:

dd if=test.bin of=/dev/null bs=1M               
50000+0 records in                                                           
50000+0 records out                                                         
52428800000 bytes transferred in 5.091876 secs (10296558614 bytes/sec

[ Voor 52% gewijzigd door FREAKJAM op 17-02-2014 17:30 ]

[matty___]

FREAKJAM schreef op maandag 17 februari 2014 @ 10:43:
Ik heb zojuist een nieuwe benchmark gedaan met CrystalMark en ik haal de volgende waardes:
(X10SL7, 16GB ram, 6 disks, RAIDZ2, FreeNAS 9.2.1 met VMXNET3). Verder geen tweaks op dit moment ingesteld, ik heb wel autotune gebruikt in FreeNAS. Nog tweaks die jullie me kunnen aanraden voor mijn loader.conf? Zoals wellicht bekend, heb ik geen dedicated device voor mijn slog/l2arc.

[afbeelding]

Is toch een nette score

[ilovebrewski]

@FireDrunk,

Zou dit aan FreeBSD 10 kunnen liggen?

[FireDrunk]

ZFSguru's spindown werkt (voor zover ik weet) alleen met AHCI, niet bij SAS -> SATA.
Voor SAS->SATA spindown heb je de spindown utility uit de ports tree nodig.

[ Voor 31% gewijzigd door FireDrunk op 17-02-2014 12:52 ]

[ilovebrewski]

Echter heb ik het probleem op systeem image 9.2-001 niet.

[FireDrunk]

Dan zal het inderdaad aan de driver liggen die in 10.0 zit. (of natuurlijk aan ZFSguru )

[ Voor 21% gewijzigd door FireDrunk op 17-02-2014 13:04 ]

[ilovebrewski]

FireDrunk schreef op maandag 17 februari 2014 @ 12:51:
ZFSguru's spindown werkt (voor zover ik weet) alleen met AHCI, niet bij SAS -> SATA.
Voor SAS->SATA spindown heb je de spindown utility uit de ports tree nodig.

Weet ik. Je hebt mij hiermee toen geholpen in onderstaande topic. Dit was onder systeem image 9.2-001.

Spindown Samsung hdd's in FreeBSD onder ESXi

Hieronder een plaatje om het wat duidelijker te maken. Nu zijn de hdd's standby echter wordt dit niet zo aangegeven.

[ Voor 7% gewijzigd door ilovebrewski op 17-02-2014 13:11 ]

[FireDrunk]

Oooh, maar dat klopt, want het wordt volgens mij ook op de verkeerde manier uitgelezen.

[ilovebrewski]

Maar ligt dit dan aan FreeBSD 10?? Het is verwarrend omdat ik alles precies hetzelfde had aangesloten in image 9.2-001 onder ESXi. En hier stonden netjes kruisjes onder 'Power status'.

EDIT:
Of inderdaad iets in ZFSguru

[ Voor 10% gewijzigd door ilovebrewski op 17-02-2014 13:30 ]

[Phuncz]

Hmm, een schijf van mijn 6-disk RAID-Z2 lijkt te sterven:
Device: /dev/ada5, 313 Currently unreadable (pending) sectors
Device: /dev/ada5, 313 Offline uncorrectable sectors

Nu wil ik deze wel vervangen, maar aangezien het 6 disks van 2TB zijn zou ik deze kunnen vervangen door een 4TB en later, als alle disks vervangen zijn door 4TB, een tweede zpool maken van die extra 2TB "partities" ? Ik zie het niet meteen bij NAS4Free, dus misschien zoek ik iets dat niet kan.

[syl765]

Als je alle schijven hebt vervangen door 4TB schijven, zal zfs deze als autoexpand aan staat op de pool zelf de extra ruimte toevoegen.

gr

[Verwijderd]

FireDrunk schreef op maandag 17 februari 2014 @ 12:51:
ZFSguru's spindown werkt (voor zover ik weet) alleen met AHCI, niet bij SAS -> SATA.
Voor SAS->SATA spindown heb je de spindown utility uit de ports tree nodig.

ZFSguru gebruikt 'smartctl' (smartmontools) voor het bepalen of een schijf slaapt of niet, en camcontrol standby om daadwerkelijk down te spinnen; dat laatste werkt ook voor SCSI (da) disks. Het is juist lastig om spindown in te stellen met een inactivity timer. Maar dat gebruikt ZFSguru ook niet; hooguit APM.

Spindown en APM/AAM is op dit moment nog niet zo mooi geregeld onder FreeBSD vind ik. Zo is het bepalen of APM is ingeschakeld erg moeilijk omdat de codering op 6 verschillende manieren kan gebeuren; niet echt gestandaardiseerd terwijl ZFSguru gewoon op zoek is naar waarde 0 tot waarde 255.

Ik kan er nog eens naar kijken; maar het zou wel fijn zijn als FreeBSD hun camcontrol beter fixt. Sowieso dat camcontrol ook gewoon op LSI controllers werkt; dat zou wel fijn zijn.

Wat betreft ilovebrewski, ik denk inderdaad dat het verschil in BSD-versie hem doet, want ZFSguru zelf is niet veranderd in dit opzicht en doet ook geen dingen anders op BSD9 versus BSD10.

[Phuncz]

syl765 schreef op maandag 17 februari 2014 @ 17:31:
Als je alle schijven hebt vervangen door 4TB schijven, zal zfs deze als autoexpand aan staat op de pool zelf de extra ruimte toevoegen.

Super, autoexpand staat default op "off", dus heb die ge-enabled. Dan ga ik maar eens bij de 4TB'tjes winkelen.

Ik las ook dat het kan dat ik de pool moet exporten en weer terug importen, zou het niet lukken als alle schijven vervangen zijn door grotere exemplaren.

[Verwijderd]

Gewoon een zpool online -e <pool> <disk> commando is voldoende om ZFS alle ruimte van die disk te laten gebruiken; export en import is niet nodig.

[Phuncz]

Aha handig. Voorlopig ga ik het nog bij een 2TB disk houden omdat ze prijs/GB eigenlijk hetzelfde zijn (0,035 €/GB) en omdat mijn zpool nog makkelijk 30% vrije ruimte heeft wat bij mij niet snel groeit. Maar toch is het een vraag beantwoord die ik had.

[A1AD]

FREAKJAM schreef op maandag 17 februari 2014 @ 10:43:
Ik heb zojuist een nieuwe benchmark gedaan met CrystalMark en ik haal de volgende waardes:
(X10SL7, 16GB ram, 6 disks, RAIDZ2, FreeNAS 9.2.1 met VMXNET3). Verder geen tweaks op dit moment ingesteld, ik heb wel autotune gebruikt in FreeNAS. Nog tweaks die jullie me kunnen aanraden voor mijn loader.conf? Zoals wellicht bekend, heb ik geen dedicated device voor mijn slog

[afbeelding]

Die CDM score is van een VM met een VMFS op je SSD of via iSCSI op je NAS??

[ Voor 41% gewijzigd door A1AD op 17-02-2014 19:43 ]

[FREAKJAM]

Het eerste. Ik heb een Windows 2012 VM op dezelfde SSD-datastore als waar FreeNAS draait. Vervolgens in de Windows 2012 VM een drivemapping gedaan naar een cifs-share gedefinieerd op mijn zfs-pool. (dat verklaart ook de snelle read speeds I guess).

[ Voor 11% gewijzigd door FREAKJAM op 17-02-2014 20:08 ]