Het grote DIY RAID NAS topic deel 3

[Xudonax]

Zijn er meer mensen die hun NAS gebruiken voor Time Machine backups van hun Apple computers? Ik heb sinds gisteren ineens dat de backups mislukken. Voor zover ik weet geen updates gedraait, dus waar het in zit ik weet het niet. OS X 10.9 zegt na belachelijk lang "Preparing backup" dat het niet lukt. Console verteld ook weinig extra's... Iemand enig idee?

EDIT: En nadat ik SMB2 enable op Samba kan ik ineens via netatalk wel een backup draaien... Vervelende is alleen dat OS X nu vind dat ik een volledige backup moet doen in plaats van een incrementele. Naja, so be it dan.

En Sjoerdfoto, als ik even reken dat 200GB grofweg 48 uur gaat duren, dan kom ik op ~4,2GB per uur (ok ok, 4,16666666... GB/uur). Oftewel 71MB per minuut, dus om en nabij de 1,8MB/s. Je zit niet toevallig op 54Mbit/s WiFi? Want 1,8MB/s * 8 is ~15Mbit/s, een hele nette score voor als je over een 54Mbit/s connectie bezig bent. Steek d'r eens een netwerkkabel in als dat even kan

Vraag 1 laat ik even zitten, dat is te afhankelijk van de hardware dat ik me daar niet aan durf te branden Simpele check: leg je hand op de NAS als je net het ding gebruikt hebt. Waarschijnlijk voel je deze "trillen". Doe dit nogmaals na een nacht niet gebruikt te hebben en je weet het.

Voor wat betreft vraag 3, dit is iets waar je even goed over na moet denken. De eenvoudigste methode is FTP, maar het directe nadeel hieraan is dat je bestanden onversleuteld over het net gaan. Dit geld ook voor je inloggegevens. Als de NAS het aankan dan is FTPS (FTP met SSL versleuteling) of SFTP (over SSH) het handigste. Voor FTP en FTPS zit je wel nog met het punt dat je twee poorten moet forwarden in je router (20 en 21 meen ik), terwijl je met SFTP enkel poort 22 hoeft te forwarden.

Wat je echt absoluut niet moet willen, is Windows bestandsdeling doen over het internet, al is het maar omdat iedere fatsoenlijke provider dit blokkeert. Dit is namelijk ook onveilig. Als je NAS het aankan dan zou ik eens kijken naar SSH/SFTP. Dat is IMO de mooiste oplossing. Een programma om dat extern te benaderen is bijvoorbeeld WinSCP of FileZilla. Mijn voorkeur gaat naar WinSCP, maar FileZilla werkt an sich net zo goed. Net afhankelijk van welk programma je zelf fijner vind werken

Het adres wat je buiten je eigen netwerk vervolgens invult is jouw externe IP adres, dat je bijvoorbeeld vind op http://www.watismijnip.nl/.

[ Voor 75% gewijzigd door Xudonax op 15-11-2013 00:20 ]

[Durandal]

Sjoerdfoto schreef op donderdag 14 november 2013 @ 23:35:
Weer wat vraagjes...
Ik heb nu 2x 1TB WD10EARX schijven in RAID 1 staan. In principe werkt het intern, d.w.z. Ik kan mappen maken en hierop bestanden plaatsen en lezen.

Ik zit echter met de volgende dingen/vragen:
- Als ik de NAS een poosje niet gebruik, blijft hij dan altijd draaien (de schijven) of gaan ze vanzelf op een soort stand by modus?

Kan je misschien in de NAS instellen. Lees in ieder geval de handleiding. In princiepe kunnen disks in power down gaan als je ze zo ingesteld hebt.

- De lees/schrijf snelheid is ontzettend traag. 200gb schrijven duurt geschat "2 dagen". Dat gaan we mooi niet doen dus. Ook als ik wat foto's wil bekijken op mijn pc vanaf de NAS dan duurt het überhaupt al lang voordat ik door alle folders heengeworsteld ben, en voorvertoning van de foto duurt ook nog een eeuwigheid.

Wees eens wat specifieker. Wat is je lees en schrijfsnelheid (in SI eenheden)? Gebruik als het kan een bestand van een paar GB.

Mijn netwerk/systeemspecs:
MacBook Pro Intel core 2 Duo - mid 2010
8 GB RAM - 256GB SSD + 320GB HDD

NAS: Sitecom MD-254
Router 1 (Aansluiting internet): Sitecom N300 X4
Router 2 (Accespoint): Sitecom N600 X5 (hierop is de NAS direct aangesloten en heeft IP adres 192.168.0.106 (statisch).
Netwerk: UPC alles in 1, 120mb/s.

Wel een Sitecom fan he?
Hoe is je netwerk op elkaar aangesloten?
Is alles bedraad of zit er ook Wifi in het pad, en zo ja welke snelheid?
Hoe is je snelheid als je de NAS direct aan je PC hangt, los van de rest van het netwerk?
Heeft die NAS een web interface? Kan je daar de I/O en CPU belasting aflezen tijdens het transferren?

vraag 3:
- Hoe kan ik de bestanden nu van buitenaf benaderen? Is dat simpelweg door mijn laptop te gebruiken op een netwerk ergens (op school, op werk etc..), en dan een verbind met server te doen? Welk adres? Wat moet ik instellen op mijn router? Port forwarding? En wat op de NAS? Ik snap er niks van, heb vanalles geprobeerd.

Hiermee moet het een en ander wel wat duidelijker worden.

[ Voor 5% gewijzigd door Durandal op 15-11-2013 05:06 ]

[Sjoerdfoto]

Xudonax en Durandal bedankt voor de reply's! Heb het een en ander gedaan en de situatie is nu als volgt:

De lees/schrijf snelheden bleken dus te zitten in de kabels. Ik was het aan het proberen om 200gb via een cat5 kabeltje in de NAS en WiFi op m'n macbook te verzenden.
Nieuwe poging met een cat6 kabel in de NAS en een cat6 kabel in de macbook, en warempel vannacht heeft hij in 7 uur 180 gig overgeschreven. Ging dus wat sneller :-) Nu dus maar eens nieuwe kabels cat6a SFTP bestellen om het algehele netwerk wat stabieler en sneller te maken. Dit probleem is dus zo goed als verholpen. Het lezen gaat ook wat sneller (niet supersnel maar oké).

De schijven gaan denk ik gewoon vanzelf in sluimerstand. Ik heb dat nu nog niet kunnen testen omdat het geheel nog niet uit of niet belast is geweest, maar dat komt vanzelf.

Dat FTP moet ik echt nog beter gaan uitzoeken. Ik heb allerlei poorten open gezet in beide routeren, 21, 22, 80 etc. Ik kom er alleen nog niet in...

[Extera]

Ik ben bezig met een filetransfer van FreeNAS naar FreeNAS via zfs send / receive.

Toch grappig om te zien dit. De LACP trunk naar 1 van de FreeNAS servers doet netjes aan load balacing, de andere trunk gaat naar mn ESXi server, moet daar toch nog even naar kijken.

code:

HP-2900al-Home# sho int port
 Status and Counters - Port Utilization

                                 Rx                           Tx           
 Port      Mode     | --------------------------- | ---------------------------
                    | Kbits/sec   Pkts/sec  Util  | Kbits/sec  Pkts/sec   Util 
 --------- -------- + ---------- ---------- ----- + ---------- ---------- -----
 35-Trk3   1000FDx  | 394912     32054      39.49 | 848        0          00.08
 36-Trk3   1000FDx  | 327096     26478      32.70 | 57456      72585      05.74

 41-Trk2   1000FDx  | 60128      73048      06.01 | 735288     59837      73.52
 42-Trk2   1000FDx  | 5000       2          00.50 | 5064       7          00.50
 43-Trk2   1000FDx  | 0          0          0     | 0          0          0    
 44-Trk2   1000FDx  | 4800       5          00.48 | 3480       0          00.34

[tvwes]

@Extera
Wat mij opvalt is dat je niet de volle bandbreedte weet te benutten. Kan de ontvangende zpool niet sneller schrijven?
Tweede punt zfs send is maar een enkele stream, LACP kan niet een enkele TCP connectie parallel versturen. De max snelheid per connectie is die van een enkele interface. LACP tussen switches heeft meer zin want over het algemeen heb je daar meer sessies tegelijk. Je zfs send en receive zal nooit sneller gaan dan een enkele gbit poort. Maar als je tegelijk een tweede stream naar je nas stuurt dan heeft LACP wel effect.

zfs send is heel bursty. Iets als mbuffer kan enorm helpen.
# eerst op de receiver, met een 1GB buffer en 128KB blocks
mbuffer -s 128k -m 1G -I 9022 | zfs receive zpool/dataset

# Daarna op de verzender
zfs send -i zpool/dataset@gisteren zpool/dataset@vandaag | \
mbuffer -s 128k -m 1G -O 10.0.0.1:9022

Je kan hier ook een oneliner van maken met ssh, zet wel de encryptie wat lager want standaard ssh krijgt meestal geen gbit vol.
Houd er rekening mee dat zfs send alle data in zijn oorspronkelijke afmeting verstuurd. Dus geen dedup op compressie. Wel kan je na de zfs send een extra pipe opnemen voor compressie.

[Extera]

Hmm cool, bedankt voor de tips!

Dat LACP per sessie load balacing doet had ik moeten weten. Toch is het vreemd 1 kant wel netjes load-balanced. Deze staat toch echt op LACP.

Ik moet me eens verdiepen in de beschikbare switches voor zfs send / recv.
Nu heb ik het heel simpel gedaan:

zfs send tank@auto-20131114.1608-1w | ssh 192.168.33.1 zfs recv backup/tank

Zal me er laten eens verder in verdiepen.
Nu eerst even 8x 1TB vrij krijgen door deze filetransfer, dan kan ik die disks gebruiken om wat performance tests te doen met fibrechannel.

Ik neem aan dat deze in een stripe toch behoorlijke performance moeten opleveren?

[tvwes]

load balance is nu als round-robin ingesteld, packetje over de ene link packetje over de andere. Geen twee packetjes tegelijk, wat overigens nooit gaat werken voor een enkele stream. Het werkt naar behoren zo te zien.

zfs send en receive hebben niet zoveel switches. eigenlijk alleen belangrijk zijn -R voor recursief alle datasets en -i of -I voor incrementeel (tussen twee snapshots) voor zfs send.

jouw oneliner zal niet echt van de vlotte gaan, zeker met 8TB. Probeer even mijn suggestie. 8TB over gbit kost minimaal 18uur. Zoek/installeer/compileer mbuffer op beide systemen. Start eerst de receive op het ene systeem. Daarna de zfs send. Je eigen commands zijn inprincipe goed, mits je niet een tree van datasets wil oversturen. Alleen even mijn mbuffer command's eraan toevoegen.
Kijk eens op je switch hoe onregelmatig de belasting nu is zonder de mbuffer.

Mbuffer laat ook zien hoe goed de buffer werkt.

Wat betreft je vraag over de 8x1TB ik snap hem nog niet helemaal.
Maar als je bedoelt een zpool bestaande uit 8 drives (zonder redundancy net als RAID0) dan ja. Je hebt maximale random en streaming i/o performance.
Random i/o hangt af van de aantal vdevs (losse drives, mirrors of raidz). Beter dan 8 losse drives kan niet. Slechter dan 8 drives in een enkel raidz vdev kan ook niet. Let wel dit geldt alleen voor random i/o. Streams zijn minder erg en is bijna altijd je netwerk de botleneck. Maar meerdere streams van 1 grote raidz zpool is eigenlijk weer random en zal daardoor zo goed of slecht presteren als een enkele drive uit de zpool.

Hier zijn twee uitgebreide artikelen over performance van vdevs
https://blogs.oracle.com/roch/entry/when_to_and_not_to
http://constantin.glez.de...zfs-vdevs-and-performance

[ Voor 31% gewijzigd door tvwes op 15-11-2013 15:51 ]

[onox]

Hoe regel je dit als je in sshd PermitRootLogin uit hebt staan? Kun je een gewone user rechten geven om zfs receive te gebruiken voor bepaalde datasets?

[analog_]

Er is toch een mogelijkheid om een gebruiker via SSH te locken tot enkele bepaalde commandos die hij mag uitvoeren. Herinner me dat ik vroeger rdiff-backup gebruikers zo had ingesteld.

[FireDrunk]

@onox, je kan via sudo een user rechten geven op het zfs commando?

Alleen kan hij dan ook zfs destroy doen...

dan krijg je dus: zfs send * | ssh user@host sudo zfs receive

[ Voor 22% gewijzigd door FireDrunk op 15-11-2013 16:04 ]

[Extera]

tvwes schreef op vrijdag 15 november 2013 @ 15:22:
load balance is nu als round-robin ingesteld, packetje over de ene link packetje over de andere. Geen twee packetjes tegelijk, wat overigens nooit gaat werken voor een enkele stream. Het werkt naar behoren zo te zien.

zfs send en receive hebben niet zoveel switches. eigenlijk alleen belangrijk zijn -R voor recursief alle datasets en -i of -I voor incrementeel (tussen twee snapshots) voor zfs send.

jouw oneliner zal niet echt van de vlotte gaan, zeker met 8TB. Probeer even mijn suggestie. 8TB over gbit kost minimaal 18uur. Zoek/installeer/compileer mbuffer op beide systemen. Start eerst de receive op het ene systeem. Daarna de zfs send. Je eigen commands zijn inprincipe goed, mits je niet een tree van datasets wil oversturen. Alleen even mijn mbuffer command's eraan toevoegen.
Kijk eens op je switch hoe onregelmatig de belasting nu is zonder de mbuffer.

Mbuffer laat ook zien hoe goed de buffer werkt.

Wat betreft je vraag over de 8x1TB ik snap hem nog niet helemaal.
Maar als je bedoelt een zpool bestaande uit 8 drives (zonder redundancy net als RAID0) dan ja. Je hebt maximale random en streaming i/o performance.
Random i/o hangt af van de aantal vdevs (losse drives, mirrors of raidz). Beter dan 8 losse drives kan niet. Slechter dan 8 drives in een enkel raidz vdev kan ook niet. Let wel dit geldt alleen voor random i/o. Streams zijn minder erg en is bijna altijd je netwerk de botleneck. Maar meerdere streams van 1 grote raidz zpool is eigenlijk weer random en zal daardoor zo goed of slecht presteren als een enkele drive uit de zpool.

Hier zijn twee uitgebreide artikelen over performance van vdevs
https://blogs.oracle.com/roch/entry/when_to_and_not_to
http://constantin.glez.de...zfs-vdevs-and-performance

Ik ga je tips een volgende keer zeker gebruiken, maar de transfer (6 TB, het is een 8 x 1TB RaidZ2) ga ik nu niet meer onderbreken, deze loopt namelijk al sinds vanochtend .

[tvwes]

@Extera
Laat je even weten hoelang de send en receive er over gedaan heeft? Ik denk heel wat langer dan 14 uur...
ZFS send en receive laten geen progress zien zonder extra voorzieningen. Wat wel kan is kijken naar je netwerk verkeer. Hoeveel bytes zijn er verzonden voordat je zfs send start? Na een uur kijk je opnieuw. Als je in de buurt van de 6TB komt zal zfs send ook wel bijna klaar zijn. Als er verder geen ander verkeer is kan dit een aardige indicatie zijn.

[Extera]

ik houd de ontvangen server in de gaten met zfs list backup
Daar zie ik de used space langzaam oplopen...

Vanaf 08:30 bezig... nu op 3,4TB

De interfaces van de switch, en beide FreeNAS servers staan in cacti, dus ik zou daar ook terug kunnen kijken wanneer de transfer klaar is.

[tvwes]

Ouch, iets over de helft. Dan schat ik je gemiddelde transfer snelheid op zo'n 550mbit.
Probeer ook nog eens een keer test send en receive met mijn mbuffer en ssh tips.
Mocht ik je hulp daarbij nodig hebben dan hoor ik het wel. Maar geloof me, met dit soort grote overdrachten is dat halfuurtje mbuffer downloaden installeren en even testen echt de moeite waard.
Succes en ik lees morgen wel hoe lang het heeft geduurd...

[analog_]

Ik heb van de week nog een kleine send/receive van 500GB gedaan over gigabit tussen twee native debian zol bakken zonder ssh met mbuffer, constant >100MB/sec. SSH kost vrij veel CPU cycles voor degelijke hoeveelheden data, tenzij je hardware acceleratie hebt ga je moeite hebben met wirespeed. De encryptie is mij de extra tijd niet waard.

[ Voor 37% gewijzigd door analog_ op 15-11-2013 21:56 ]

[tvwes]

I rest my case.

@analog_ wat voor mbuffer settings gebruik je? Ik gebruik vaak voor plain send en receive mbuffer -s 128k -m 1G Wist je dat je ook een compressie programma kan opnemen in de pipe? Nog beter een paralle versie die al je cores gebruikt als bijv pxz. Letwel op dat je het niet te heftig comprimeert. De truc is een setting te vinden die zo'n 120MB/sec oplevert. Anders gezegd het compressie programma mag niet de bottleneck worden. Beter minder compressie dan een ergere bottleneck dan je gbit.

[analog_]

Nee, gewoon s128m1g, wat je post. Niks bijzonders, binnengetrokken via aptitude. Ik zit natuurlijk wel met een SSD volume als source bron. Compressie is wel een slimme zet natuurlijk, klinkt als iets waar een bash scriptje ideaal voor zou zijn om te testen. Ben trouwens bezig met Omni en ESXi nu, ik hoop IB aan de praat (driver) te hebben op het einde van het weekend. Login komt nog.

[ Voor 48% gewijzigd door analog_ op 15-11-2013 22:13 ]

[Extera]

hij is zojuist gestopt met een error... de disks aan de ontvangende kant zijn vol

code:

[root@FreeNAS] ~# zfs list backup
NAME     USED  AVAIL  REFER  MOUNTPOINT
backup  7.10T  34.4G   144K  /mnt/backup

WTF, 7,01T? ik stuur

code:

[root@freenas-backup] ~# zfs list                                               
NAME        USED  AVAIL  REFER  MOUNTPOINT
tank       6.05T   160G  6.05T  /mnt/tank

Ik ben geneigd om alles maar via FTP te gaan doen

[FireDrunk]

Compressie?

[Extera]

nee, ik gebruik geen compressie

[tvwes]

@Extera,

wil je hulp?

[Sjoerdfoto]

Ben ik weer...

Inmiddels druk in de weer met de FTP functie. Situatie is nu als volgt:

- Disk 1 en 2 in Raid 1 (130GB gebruikt).
- Statisch IP toegewezen aan NAS (192.168.0.XXX). FTP Functie enabled, erbij staat "PASV mode port range 65400-65420". Ik neem aan dat dit de poorten zijn op welke de FTP functie draait, welke dus forward moet worden.

in de router de volgende instellingen:
- Virtual server > Local IP 192.168.0.XXX, Local Port 21, type BOTH (TCP/UCP), Public Port 65401.

Als ik dan dit wil testen door op mijn iPhone via 3G in te typen "MIJNIP:21", dan krijg ik de melding "Safari kan de pagina niet openen. Fout: 'geen toestemming om beperkt toegankelijke netwerkpoort te gebruiken'. "

Wat moet ik doen?

[webfreakz.nl]

@Sjoerdfoto:

Probeer in plaats van de webbrowser Safari eens een echte FTP client? Ik weet dat je met browsers FTP read-only kan openen.

Wat je ook nog kan proberen is een public port (65401) buiten je range van je PASV (65400 - 65420) te nemen?

[FireDrunk]

Port forwarding voor FTP is:

21 buiten -> 21 -> FTP Server binnen
PASV port range buiten -> zelfde range binnen -> FTP Server

Verifieer even of die PASV range ook echt hard ingesteld staat op je FTP Server.

Wat er gebeurt: Je client (Safari / FileZIlla / whatever) maakt connectie via poort 21, en krijgt daarna (na login) via het PASV commando de poorten te horen waarover hij moet gaan communiceren. Clients connecten dus op poort 21 en loggen daar in, maar daadwerkelijke data transfers (ook directory inhoud) gebeurt over de andere poorten.

[Panzy]

Welk besturingssysteem raden jullie aan voor het volgende:

-Thuis fileserver, ding hoeft alleen data te kunnen serven naar een andere bak die het dan weer kan sharen als SMB NFS mediaserver of wat dan ook.
-LSI Logic MegaRAID controller, moet ondersteund worden door OS want deze bevat nu alle data.
-mogelijkheid voor ZFS voor als ik meer opslagruimte nodig heb, wil ik dit kunnen doen via ZFS dus disks kopen en er een ZFS array van bouwen (of hoe je het ook noemt).
-server draait nu op standaard pc hardware, die moet eenvoudig te upgraden zijn het liefst net als bij Linux dat je de systemdisk in een andere rig drukt en dat voila alles werkt.
-Ik heb tot nu toe Fedora gedraait op de server, op zich werkte het goed maar toch een hoop geklooi met dingen die zouden moeten werken volgens allerlei guides etc. maar in de praktijk typ je dan de command in en gebeurt er niks. Ook nog best veel bugs en daar houd ik absoluut niet van.

Het moet stabiel zijn en niet dingen gaan doen waar ik niet om heb gevraagt, ik vraag niet allerlei ingewikkelde functies want daarvan weet ik het bestaan niet eens (heb regelmatig dit topic en het zfs topic gelezen en dan wordt ik meestal gek van alle termen en dingen en mogelijkheden haha). Wel moet het gewoon zonder bottleneck te vormen data kunnen pompen op de max snelheid die mijn hardware toelaat. Ook wil ik een system wat onderhoudsvrij is (qua software), dus 1 keer instellen en dan blijft het oneindig lang werken zonder dat er allerlei dingen fout gaan zonder goede reden (zoals hw failure)

Als ik moet kiezen tussen 1.(Ouderwets, bewezen en rock solid) en 2. (Cutting-edge, oneindig veel mogelijkheden, nieuwste van het nieuwste) dan kies ik absoluut voor 1.

Ik weet dus echt niet waar ik moet beginnen met kiezen want er zijn zoveel honderden besturings systemen en ik weet de details niet ervan. Waar ik op hoop is dat iemand mij een zet in de (voor mij) goede richting kan geven zodat ik een begin kan maken.

[FireDrunk]

Debian of CentOS in het geval van Linux, maar ZFS draait toch altijd het beste op Solaris en FreeBSD. Solaris is nogal een steile learning curve, maar FreeBSD valt prima mee. Wel zul je heel wat op de commandline moeten doen, maar het kan alles wat jij opnoemt.

Er zijn genoeg guides te vinden om dat allemaal te doen.

[ Voor 3% gewijzigd door FireDrunk op 17-11-2013 14:09 ]

[Sjoerdfoto]

Ik geloof dat het nu werkt. Heb een ftp client gedownload voor iPhone om het even te testen.

Ingesteld staat dus dat hij een virtual server draait met de doorverwijzing tussen poort 21 op de router en 65401 op de NAS. Via 3G inloggen op de NAS en ik zie mijn bestanden! Dus gok dat het werkt morgen op school via de laptop maar eens proberen!

Bedankt voor al jullie hulp, niet meer gedacht dat het nog zou lukken!

[Panzy]

@FireDrunk

Bedankt voor de reactie, ik zat zelf ook al te denken aan FreeBSD. Ik ga het meteen uitproberen.

UPDATE
Heb inmiddels een installatie disk liggen voor FreeBSD, maar het is nogal wat. Weer allemaal andere commands etc, en de installatie werkt geeneens. Ook geen idee waarom niet. Als ervaren Windows gebruiker en Linux beginner valt FreeBSD tot nu toe niet mee moet ik zeggen. Dat wordt nog heel wat lezen en forums volspammen alvorens ik het draaiende heb ben ik bang.

[ Voor 81% gewijzigd door Panzy op 17-11-2013 20:48 ]

[nero355]

Panzy schreef op zondag 17 november 2013 @ 14:27:
Als ervaren Windows gebruiker en Linux beginner valt FreeBSD tot nu toe niet mee moet ik zeggen. Dat wordt nog heel wat lezen en forums volspammen alvorens ik het draaiende heb ben ik bang.

Handbook @ http://www.freebsd.org kan je veel uit leren dus lees die een paar keer door

[Verwijderd]

Panzy, waarom begin je niet eens met ZFSguru. Dat is juist bedoeld voor personen als jij die niet gelijk in het diepe willen springen. Volwaardig FreeBSD maar met een gebuiksvriendelijk schilletje eromheen. En wat je niet met de WebUI kunt, kan je dan handmatig zelf doen zoals je onder normaal FreeBSD ook kunt. Maar de leercurve is veel minder stijl op deze manier, dan dat je met installaties moet gaan klooien dat vind ik geen fijn startpunt om met FreeBSD te beginnen.

[analog_]

Gezien de hoeveel broken-ness van ZFSguru in dit topic (of de manier waarop GoT hun software tortured) lijkt mij NexentaStor (voorlopig) de betere oplossing. Hoewel een BSD approach met GEOM wat voordeel geeft als je thuis met SSD caches wilt spelen. Heeft ook flawless AD integratie en standaard EACLS. Moet je natuurlijk wel onder de 18TB voorlopig blijven.

[ Voor 22% gewijzigd door analog_ op 18-11-2013 01:30 ]

[Extera]

tvwes schreef op zaterdag 16 november 2013 @ 19:30:
@Extera,
wil je hulp?

Bedankt voor je aanbod.
Ik had graag willen uitzoeken wat er nu fout ging, maar omdat ik zsm de data wil overzetten, heb ik de disks uiteindelijk maar uit de FreeNAS box gehaald en aan een Windows machine gehangen, om zo de data over te pompen. Bijna alles is nu over.

Van het weekend is mijn bestelde 10Gb NIC (Myricom 10G-PCIE-8AL-C) binnen gekomen. Deze wordt direct herkent door FreeBSD, en ook onder Windows 7 krijg ik hem prima aan de praat. Helaas niet onder ESXi, maar dat was een gokje, gezien de NIC niet op de HCL staat.

Eens kijken wat daar de verdere mogelijkheden nog voor zijn...

[Pantagruel]

Extera schreef op maandag 18 november 2013 @ 09:16:
[...]


Bedankt voor je aanbod.
Ik had graag willen uitzoeken wat er nu fout ging, maar omdat ik zsm de data wil overzetten, heb ik de disks uiteindelijk maar uit de FreeNAS box gehaald en aan een Windows machine gehangen, om zo de data over te pompen. Bijna alles is nu over.

Van het weekend is mijn bestelde 10Gb NIC (Myricom 10G-PCIE-8AL-C) binnen gekomen. Deze wordt direct herkent door FreeBSD, en ook onder Windows 7 krijg ik hem prima aan de praat. Helaas niet onder ESXi, maar dat was een gokje, gezien de NIC niet op de HCL staat.

Eens kijken wat daar de verdere mogelijkheden nog voor zijn...

Even goed bij Myricom kijken in de download sectie, daar staan ESX driver voor de Myri 10GE range.

[Extera]

klopt, ik heb de installatie hiervan uit uitgevoerd, maar de kaart wordt niet herkent binnen ESXi.
Ik zal straks een mail sturen naar Myricom.

De kaart staat niet op de HCL van VMware, ik hoopte dat de kaart toch ging werken met de aangeleverde driver van Myricom. Misschien doe ik iets verkeerd...

Anders kan ik proberen de driver zelf te compileren, dat heb ik echter nog nooit gedaan, en lijkt me redelijk complex... maargoed, beetje offtopic hier

[Verwijderd]

analog_ schreef op maandag 18 november 2013 @ 01:27:
Gezien de hoeveel broken-ness van ZFSguru in dit topic

Heb ik iets gemist? Ik heb tot april dit jaar teruggelezen in dit topic zoekende op 'zfsguru'; maar ik kom enkel deze post tegen: gassiepaart in "Het grote DIY RAID NAS topic deel 3". Hier betreft het een issue in combintie met ESXi die zich ook voordoet bij FreeNAS; die gebruikt een andere versie van FreeBSD dus het lijkt hier te gaan om een heel specifiek issue van een user. Kan ook prima de schuld van zijn hardware zijn, of de combinatie met ESXi.

lijkt mij NexentaStor (voorlopig) de betere oplossing.

Voor iemand die nieuw is met ZFS? Bovendien is Solaris niet echt het makkelijkste OS om te leren, en biedt NexentaStor ook niet veel addons. Het kan zeker prima werken en vooral de commerciele support is iets waar Nexenta zich kan onderscheiden. Maar het is denk ik niet het gemakkelijkste instap ZFS platform. Dan denk ik eerder aan FreeNAS/NAS4Free en ZFSguru.

Niet iedereen wil Active Directory, High Availability en Access Control Lists. Sommigen willen gewoon iets wat werkt; bestanden opslaan over het netwerk. Om dat met zo'n ingewikkeld systeem te beginnen is wellicht niet de fijnste kennismaking met ZFS. Daarom denk ik dat een ZFS platform beter geschikt is dan een vanilla OS als FreeBSD.

Dat gezegd, hij kan beide uitproberen in VirtualBox. Het beste nog met FreeNAS en NAS4Free erbij. Zelf uitproberen is vaak de beste ervaring. En zo goed ken ik b.v. NexentaStor ook niet. Maar de laatste keer dat ik er mee bezig was, vond ik het aardig lijken op napp-it. Nerdy interfaces.

[u_nix_we_all]

Verwijderd schreef op maandag 18 november 2013 @ 17:13:
[...]
Dat gezegd, hij kan beide uitproberen in VirtualBox. Het beste nog met FreeNAS en NAS4Free erbij. Zelf uitproberen is vaak de beste ervaring. En zo goed ken ik b.v. NexentaStor ook niet. Maar de laatste keer dat ik er mee bezig was, vond ik het aardig lijken op napp-it. Nerdy interfaces.

Nexenta heeft een mooie grafische installer, en ook de GUI ziet er gewoon gelikt uit, en is wat dat betreft niet te vergelijken met bijv. openindiana i.c.m. napp-it IMHO. Met Nexenta hoef je ook helemaal niet in de CLI te duiken, en features die je niet gebruikt, zitten ook niet in de weg. Ik denk dat de leercurve niet steiler is dan die van ZFSGuru, of FreeNAS bijv. Gewoon de installer draaien, en gaan.

Maar, zoals gezegd, is makkelijk even in een VM te bekijken

[Extera]

Yeah!
/me Extera heeft het voor elkaar

10GbE op m'n ESXi server.

Nu vlug een 2e kaart bij bestellen voor in de NAS, en dan heb ik een heerlijk snelle verbinding.
Daarna de datastore migreren

Om te testen heb ik ook (4x 4Gb) fibre channel kaartjes klaar liggen, kijken wat sneller is.

[FireDrunk]

Waar heb je die kaartjes vandaan, en wat heb je er voor betaald? Ik zie ze hier langskomen voor $600 maar ook een paar van $100,-

$100,- is nog een keer leuk

[Extera]

omgerekend 107 euro van ebay

Myricom 10G-PCIE-8AL-C

Ik weet niet of ze zomaar aan elkaar te knopen zijn eigenlijk!
Ik heb een switch met 4 10Gb CX4 poorten.

[FireDrunk]

Ook leuk! Welke switch heb je?

Hmm, full CX4... Daar ben ik nog niet aan toe

Ik wil ooit wel naar CAT6 kabels en gewone 10Gb netwerkkaarten gaan, maar al dat exotische... brrr...

[ Voor 72% gewijzigd door FireDrunk op 19-11-2013 13:07 ]

[Extera]

ProCurve J9050A Switch 2900-48G

Het is wel een herrieschopper, maar dat heb ik met andere fans en een soldeerbout opgelost

[Panzy]

Verwijderd schreef op maandag 18 november 2013 @ 17:13:


Dat gezegd, hij kan beide uitproberen in VirtualBox. Het beste nog met FreeNAS en NAS4Free erbij. Zelf uitproberen is vaak de beste ervaring. En zo goed ken ik b.v. NexentaStor ook niet. Maar de laatste keer dat ik er mee bezig was, vond ik het aardig lijken op napp-it. Nerdy interfaces.

Bedankt voor de tip, goeie dat Virtualbox. Omdat iedereen het heb over Freebsd wil ik dat eens uitproberen, en het liefst dan de 'gewone' versie. Het enige jammerlijke aan FreeBSD is dat het probleemloos installeert op de Virtualbox, maar weigert op mijn echte server

[Verwijderd]

ZFSguru gebruikt een eigen Root-on-ZFS installatie. Dat is veel moderner omdat je dan niet meer boot van een ouderwets UFS filesystem maar 100% alles ZFS hebt. Dus ook al weet ik niet wat voor probleem je tegenaan liep, kan het zomaar zijn dat je die problemen niet tegenkomt bij Root-on-ZFS. Valt te proberen.

BTW ZFSguru is puur FreeBSD met wat voorgeïnstalleerde dingen. FreeNAS is een gestripte versie van FreeBSD waar je niet zoveel mee kunt buiten de GUI om. Wil je dus zo dicht mogelijk tegen vanilla BSD aanzitten is ZFSguru een goede keus. Bovendien is de GUI geschreven om handmatig editen van config files prima te laten samenwerken met het gebruik van de web-interface; iets wat problemen kan geven bij bijvoorbeeld FreeNAS/NAS4Free omdat die ZFS pool data cachen en niet realtime data gebruiken. Ik vind het zelf juist leuk dat ik de WebUI heb, maar handmatig zelf ook nog kan prutsen zonder dat het één het ander bijt.

[FireDrunk]

FreeBSD heeft vanaf 10.0 ook prima Root-on-ZFS support in de installer (gemaakt door Allan Jude van BSDNow en TechSnap )

[Extera]

Even wat eerste testjes gedaan met Fibre channel.

Setup FC Target:
Nexentastor
asrock b75 pro3-m
Intel 2020g
8GB mem

5x 1TB striped (puur als test)
4Gb FC kaart

ESXi 5.1 als initiator met 4Gb FC kaart.

Ik heb niet zoveel ervaring met dd, maar hier de output van de simpele commandotjes welk ik zo snel kon vinden.

code:

root@nexenta01:/volumes/vmware# dd bs=1M count=8000 if=/dev/zero of=test conv=fdatasync
8000+0 records in
8000+0 records out
8388608000 bytes (8.4 GB) copied, 21.7452 seconds, 386 MB/s
root@nexenta01:/volumes/vmware# dd bs=4M count=8000 if=/dev/zero of=test conv=fdatasync
8000+0 records in
8000+0 records out
33554432000 bytes (34 GB) copied, 78.3365 seconds, 428 MB/s

De aangemaakte LUNs laten zien zien in VMware:



Via RDM doorgegeven aan een Windows 7 VM:



En wat snelle benchmarks



onderstaand de ZFS setup

code:

root@nexenta01:/volumes/vmware# zpool status
  pool: syspool
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        syspool     ONLINE       0     0     0
          c1t0d0s0  ONLINE       0     0     0

errors: No known data errors

  pool: vmware
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        vmware      ONLINE       0     0     0
          c1t1d0    ONLINE       0     0     0
          c1t2d0    ONLINE       0     0     0
          c1t3d0    ONLINE       0     0     0
          c1t4d0    ONLINE       0     0     0
          c1t5d0    ONLINE       0     0     0

errors: No known data errors

root@nexenta01:/volumes/vmware# zpool list
NAME      SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
syspool   928G  6.64G   921G     0%  1.00x  ONLINE  -
vmware   4.53T  4.02G  4.53T     0%  1.00x  ONLINE  -

root@nexenta01:/volumes/vmware# zfs list  
NAME                     USED  AVAIL  REFER  MOUNTPOINT
syspool                 7.67G   906G  34.5K  legacy
syspool/dump            5.38G   906G  5.38G  -
syspool/rootfs-nmu-000  1.25G   906G   858M  legacy
syspool/rootfs-nmu-001  36.5K   906G   815M  legacy
syspool/rootfs-nmu-002  37.5K   906G   858M  legacy
syspool/swap            1.03G   907G    16K  -
vmware                  4.43T  33.0G    31K  /volumes/vmware
vmware/vol1             2.06T  2.10T    16K  -
vmware/vol2             2.06T  2.10T    16K  -
vmware/vol3              309G   338G  4.02G  -

Niet verkeerd dacht ik.

Mochten jullie nog meer testjes willen zien, of tips hebben voor de benchmarks, let me know!

[onox]

Zie ik nou dat je geen RAIDz(1|2) gebruikt bij de vmware pool?

[jadjong]

onox schreef op donderdag 21 november 2013 @ 15:27:
Zie ik nou dat je geen RAIDz(1|2) gebruikt bij de vmware pool?

Extera schreef op donderdag 21 november 2013 @ 14:48:
5x 1TB striped (puur als test)

Doe eens een mirror en test dan de snelheid. In theorie zou dat factor 2 in moeten zakken, maar in de praktijk?

[Extera]

Ik heb inderdaad een striped pool gemaakt om zoveel mogelijk snelheid er uit te krijgen, en zo limiet van de FC connectie op te zoeken. Bij gebrek aan SSD's.

Ik ga een aantal verschillende configuraties testen, zal de resultaten hier wel posten.

[DeKemp]

Ik heb nu een aantal maanden Freenas draaien op m'n nas. Maar alle sata poorten op het moederbord zitten vol. Nu heb ik dus een kaart nodig om meer poorten te krijgen.
Ik heb een nog een areca 1220 liggen, alleen las ik dat een raid kaart (al is het in passtrough mode) hier niet echt geschikt voor is. Moet ik dan zoeken naar een hba? en zo ja. Wat zal dan een goede optie zijn met 8 poorten.

[Xudonax]

De IBM M1015 is in dat opzicht een hele goede, alleen moet je er wel andere firmware op flashen. Maar dat kan eigenlijk niet serieus foutlopen als je de stappen voor het flashen van je M1015 naar een LSI 9211-8i in IT mode gewoon volgt.

[Extera]

Ik heb nog wat benches gedraaid met m'n FC setup.
Voor de geïnteresseerden:

7 disk RAIDz3

code:

root@Nexenta01:/volumes/vmware# dd bs=1M count=8000 if=/dev/zero of=test conv=fdatasync
8000+0 records in
8000+0 records out
8388608000 bytes (8.4 GB) copied, 43.5003 seconds, 193 MB/s
root@Nexenta01:/volumes/vmware# dd bs=4M count=8000 if=/dev/zero of=test conv=fdatasync
dd: writing `test': No space left on device
4786+0 records in
4785+0 records out
20071186432 bytes (20 GB) copied, 128.527 seconds, 156 MB/s

2 x 3 disk Raidz1

code:

root@Nexenta01:/volumes/vmware# dd bs=1M count=8000 if=/dev/zero of=test conv=fdatasync
8000+0 records in
8000+0 records out
8388608000 bytes (8.4 GB) copied, 31.6217 seconds, 265 MB/s
root@Nexenta01:/volumes/vmware# dd bs=4M count=8000 if=/dev/zero of=test conv=fdatasync
8000+0 records in
8000+0 records out
33554432000 bytes (34 GB) copied, 117.515 seconds, 286 MB/s

3 x 2 disk mirror

code:

root@Nexenta01:/volumes/vmware# dd bs=1M count=8000 if=/dev/zero of=test conv=fdatasync
dd: writing `test': No space left on device
7201+0 records in
7200+0 records out
7550271488 bytes (7.6 GB) copied, 89.1545 seconds, 84.7 MB/s
root@Nexenta01:/volumes/vmware# dd bs=4M count=8000 if=/dev/zero of=test conv=fdatasync
dd: writing `test': No space left on device
1801+0 records in
1800+0 records out
7549878272 bytes (7.5 GB) copied, 96.4652 seconds, 78.3 MB/s

Sommige dd tests zijn niet goed gegaan, ik heb daar de test per ongelijk pas uitgevoerd nadat ik het LUN als RDM aan de VM heb gekoppeld, daar komt denk ik de no space left on device vandaan (?).

tot nu toe lijkt de 2 x 3 disk Raidz1 de snelste oplossing. 1 van de disks kan ik dan als hotspare defineren.
De ATTO benches laten weinig verschil zien, die wil ik opnieuw draaien met een hogere testsize.

[ Voor 17% gewijzigd door Extera op 25-11-2013 09:33 ]

[FireDrunk]

Als ik Atto mag geloven is juist je 3*2 disk mirror het snelst? 410MB/s zal het limiet zijn van de FC kaart (4Gb), en qua random iops zit je veel hoger met 3 mirrors?

Heb je trouwens een handleiding gevolgd om het geheel werkend te krijgen in Nexenta? Ben wel benieuwd of ik dit ook werkend kan krijgen met mijn Quad Port FC kaartjes

[ Voor 34% gewijzigd door FireDrunk op 25-11-2013 09:47 ]

[tvwes]

ZFS vuistregel voor random iops:
het aantal random iops schaalt met het aantal vdevs (losse drive, mirror of RaidZn)

RaidZn levert capaciteit ten koste van performance.

Voor sequential io liggen de zaken anders, maar ook daar zijn mirrors bijna altijd sneller.

Nog een vuistregel met betrekking tot betrouwbaarheid
-gewone mirrors heb een iets hogere betrouwbaarheid tov raidz1
-een drievoudige mirror heeft een iets hogere betrouwbaarheid dan raidz2
-een viervoudige mirror een iets hogere betrouwbaarheid dan raidz3

Een viervoudige mirror ben ik nog nooit tegengekomen in de praktijk

[Extera]

Je moet even de standaard driver van nexenta van de kaart halen en de nieuwe laden.

Deze guide heb ik daar voor gevolgd.

Ik heb een 1:1 verbinding naar mijn ESX host gemaakt, dus gewoon een 50/125 LC LC fibertje er tussen, en de ESX host ziet gelijk de LUN.

[FireDrunk]

Ah, Nexenta zag standaard geen hba in hba-info icm met mijn LSI kaart, maar die zijn wel supported onder Solaris (volgens de site van LSI). Met die handleiding kan ik dus ook prima de driver installeren gok ik.

Misschien binnenkort eens proberen.

[ Voor 3% gewijzigd door FireDrunk op 25-11-2013 11:19 ]

[Extera]

Ik heb inderdaad niet goed op zitten letten 3 mirros lijkt de way to go.
Dat krijg je als je alles tussen werk en prive in probeert te proppen

voordeel van die setup is dat ik 1 schijf als hot-spare kan defineren.

[soulcrusher]

Hoe kan ik zfsguru installeren zonder gebruik te maken van een cd? Het zal toch niet zo lastig zijn om een bootable usb stick te maken met zfsguru, maar ik kan echt niet vinden hoe.

[FireDrunk]

VirtualBox of VMWare Workstation -> ZFSguru VM maken (2GB RAM minimaal), USB stick doorgeven via reguliere wegen. VM Opstarten vanaf de CD. ZFS pool aanmaken op USB stick, en installeren naar USB stick. (Vink ook even copy system image to pool aan, wel zo makkelijk).

Daarna kan je die USB stick weer gebruiken om ZFSguru te installeren op een ander systeem.
Het is dan welliswaargeen Live USB stick meer, maar hij werkt 999/1000 keer prima op een ander systeem, omdat er helemaal geen specifieke instellingen gedaan worden tijdens de installatie behalve het feit dat hij niet meer van de CD boot, maar van USB.

PS: Je hoeft in de Virtual Machine dus geen lokale disk toe te voegen, veel wizards in VirtualBox en Workstation doen dit wel standaard, maar dat is helemaal niet nodig omdat je direct op USB installeert.

[ Voor 16% gewijzigd door FireDrunk op 25-11-2013 16:26 ]

[soulcrusher]

Ah bedankt, het is gelukt.

Nu heb ik zfsguru up and running maar nu zie ik dat mijn gloednieuwe WD Red 3TB heel erg veel load cycle counts heeft. Mijn één maand oude Red heeft 10 load cycles gehad terwijl de nieuwe er al 140 heeft in 19 uur. Het klinkt ook alsof hij met bursts doet lezen en schrijven, je hoort hem een seconde ratelen en dan is hij een seconde stil, en dat steeds opnieuw.

Is het verstandig de schijf te retourneren of kan ik nog wat instellen? (Red's doen toch niet aan headparking?)

[FireDrunk]

Kijk eens met:

top -m io

gstat -f gpt

of er daadwerkelijk reads/writes gebeuren, of dat het de disk zelf is.

[ Voor 3% gewijzigd door FireDrunk op 25-11-2013 20:09 ]

[soulcrusher]

De installatie is nu nog helemaal kaal, alleen php-cgi en lighttpd schrijven een beetje als ik door de web interface blader of als ik smart uitlees (zfsguru staat op de vdev). De load cycle counter loopt wel alleen op als er wat gelezen of geschreven wordt. Als ik 10 minuten wacht en smart uitlees is de teller met 2 opgelopen, die ik een minuut later weer smart uitlezen dan is hij weer met 2 opgelopen.

[Durandal]

Lijst er haast op dat het een green is met een rooie sticker, of een rooie met groene firmware oid.
Als je de SMART headers naast elkaar legt, zie je dan verschillen?

Hier is er een van mij, ook 3TB, 1 jaar oud.

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD30EFRX-68AX9N0
Serial Number:    WD-WMC1Txxxxxxx
LU WWN Device Id: 5 0014ee 058aed511
Firmware Version: 80.00A80
User Capacity:    3,000,592,982,016 bytes [3.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   9
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Mon Nov 25 22:17:39 2013 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Al mijn cycles zitten rond de 50 en ik heb er gek genoeg ook een met load cycle=0

[Verwijderd]

Heb je toevallig APM ingeschakeld? Doe eens een 'camcontrol identify ada2' ofzo. (vervang ada2)

[soulcrusher]

Daar zou het wel op lijken ja, hij maakt ook meer lawaai dan de andere. Ook hebben ze niet hetzelfde modelnummer:
De oude Red die naar behoren werkt: WDC WD30EFRX-68AX9N0
De nieuwe Red met alle load cycles: WDC WD30EFRX-68EUZN0

@Cipher, Ik heb zelf niks aan de schijven geconfigureerd. APM staat dan ook in beide gevallen uit. Het enige verschil tussen de twee schijven wat die camcontrol aangeeft is dat de nieuwe een extra item heeft: media RPM 5400

[Verwijderd]

Kunnen gewoon model- en/of firmwareverschillen zijn. Je kunt met APM instelling 254 (niet 255!) de headparking uitschakelen. Je kunt dit in ZFSguru instellen in het /etc/rc.conf bestand: ee /etc/rc.conf

Zoek dan naar zfsguru_enable en pas aan naar iets als:
zfsguru_enable="YES"
zfsguru_apm_enable="YES"
zfsguru_apm_disks="ada1 ada2 ada3"
zfsguru_apm_level="254"

Dan rebooten en kijken of de LCC nog verder oploopt.

[ Voor 8% gewijzigd door Verwijderd op 25-11-2013 23:06 ]

[soulcrusher]

APM wordt niet ondersteund door Reds
Ik had het iig aangezet maar het had dus geen effect
Ik zal eens kijken of ik het met wdidle3 uit kan zetten dan.

Edit: Het lijkt wel of het nu minder geworden is na het instellen van APM.

[ Voor 44% gewijzigd door soulcrusher op 25-11-2013 23:45 ]

[Durandal]

Vreemd. Mijn refurbished red van 3 maanden oud heeft nog het oude/originele typenummer.

BTW, probeer het eerst eens met hdparm (als dat er is voor BSD)


Update: Je bent niet de eerste blijkbaar
Ze zeggen dat het een firmware verschil aan geeft, maar dan moet je mij eens vertellen waar dat firmware nummer op slaat..

Hier meer met hetzelfde probleem. Ik zie verder berichten van mensen met een NAS waarbij hij uit de raid set valt (kan ook toeval zijn).
WDidle zou overigens moeten werken. Default voor de disk lijkt 8 (!!!) seconden te zijn.
Hebben ze niets geleerd van de problemen met de green?

[ Voor 109% gewijzigd door Durandal op 25-11-2013 23:48 ]

[soulcrusher]

Misschien een foute batch, verkeerde sticker erop ofzo.
Blijkbaar is dat laatste stuk het batchnummer:

[ Voor 65% gewijzigd door soulcrusher op 25-11-2013 23:52 ]

[Durandal]

Zou wel een hele grote faal zijn. Ik denk het niet overigens, want het eerste stuk van het typenummer is van een Red, niet van een green.
Dit is bewust gekozen.

1st HDD: WDC WD30EFRX-68AX9N0
2nd HDD: WDC WD30EFRX-68EUZN0 (parking heads)

According to the HD Sentinel: Acoustic management and Advanced Power management are not supported on these drives.

http://www.readynas.com/f...opic.php?t=73417&p=411564

Vraag ik me af wat dan nog het verschil is t.o.v. een green, behalve de prijs.
Misschien hadden ze tekorten en hebben ze greens gebruikt met Red typenummer en sticker. WD houdt zich er al een tijdje stil over.

[ Voor 60% gewijzigd door Durandal op 25-11-2013 23:58 ]

[soulcrusher]

En idd, hij stond ingesteld op 8 seconde. De load cycle count gaat nu niet meer omhoog.
Bedankt voor het meedenken

[Patatjemet]

In Duitsland kan je nu de Asrock C2550D4I verkrijgen voor 260 euro (hier). Hopelijk binnenkort voor rond dezelfde prijs in Nederland!

[Kek]

Patatjemet schreef op woensdag 27 november 2013 @ 13:29:
In Duitsland kan je nu de Asrock C2550D4I verkrijgen voor 260 euro (hier). Hopelijk binnenkort voor rond dezelfde prijs in Nederland!

wat is nu het grote voordeel van dit bordje als ik esxi wil draaien, geen vt-d want atom... is het alleen omdat hij zuinig is en en ziek veel sata poorten heeft?

[DennusB]

Even een schaamteloze crosspost hopende dat er hier Tweakers zitten die goed advies hebben :

Hi Tweakers,

Ik zit een beetje in de knoop met hoe ik dingen in moet richten thuis om mijn storage op orde krijgen.
Ik heb sinds vorige week een HP N54L als vervanger van een Synology DS410J. De HP54L is ingericht met DSM 4.2 (native) en dat draait als een trein. Probleem : Kwam er vandaag achter dat ik mijn filesystem niet kan expanden (bug in de linux kernel hoorde ik). Dat is dus niet fijn, want dan kan ik gewoon 1TB niet gebruiken.
Er zitten 4 1TB schijven in.

Nu begon ik een beetje te twijfelen of DSM wel een goede oplossing is. Ik kies er voornamelijk voor omdat de apps er zijn, Photo Station, Cloud station enz. Mijn ouders maken daar extern ook nog wel eens gebruik van om de foto's te bekijken enzo.

Nu zie ik een paar optie's die ik nu kan doen om het probleem met het expanden op te lossen :

- Met Fs2tune het journal vergroten en hem dan expanden, met kans op problemen binnen DSM/data corruptie.
- Een andere distro bare metal installeren, bijvoorbeeld ZFSGuru, maar dan mis ik de handige apps van DSM
- ESXI installeren en daar DSM/ZFSGuru op draaien, maar dan is de snelheid denk ik een stuk slechter

Ik wil eigenlijk niet teveel op I/O inleveren, want nu trekt hij netjes m'n gigabit vol.
Hebben jullie nog geniale ideeën om dit goed in te richten?

[Tsurany]

ESXI heeft weinig invloed op performance, enkel wat overhead op geheugengebied. Alleen ESXI moet je enkel doen met de juiste hardware, dat gaat met die HP niet fijn werken. Je mist dan bijvoorbeeld VT-D.
Kijk anders eens naar FreeNAS. Dan kan je Owncloud makkelijk als plugin installeren en heb je veel features uit DSM beschikbaar via Owncloud.

[Minaril]

Patatjemet schreef op woensdag 27 november 2013 @ 13:29:
In Duitsland kan je nu de Asrock C2550D4I verkrijgen voor 260 euro (hier). Hopelijk binnenkort voor rond dezelfde prijs in Nederland!

Klopt maar dat is zonder 19% BTW en zonder verzendkosten (vanaf 6,90)
Dus netto kom je uit rond de 315 euro

[Patatjemet]

Kek schreef op woensdag 27 november 2013 @ 14:15:
[...]


wat is nu het grote voordeel van dit bordje als ik esxi wil draaien, geen vt-d want atom... is het alleen omdat hij zuinig is en en ziek veel sata poorten heeft?

Volgens mij hebben zowel deze en de 8 core variant vt-d, dus voor een low power esxi wel geschikt. Ik zou hem meer aanraden voor een low power storage server omdat een low power esxi server veel goedkoper te maken is. Voordeel voor een storage server is inderdaad zuinig, passief, veel sata poorten, 4 geheugen sloten en compact.

Minaril schreef op woensdag 27 november 2013 @ 14:33:
[...]
Klopt maar dat is zonder 19% BTW en zonder verzendkosten (vanaf 6,90)
Dus netto kom je uit rond de 315 euro

Bedankt voor de toevoeging.

[ Voor 17% gewijzigd door Patatjemet op 27-11-2013 14:40 ]

[Verwijderd]

Wel een duur bordje dan van ASrock. Ik zie dat de Intel Avoton chip voor 86 dollar de deur uit gaat (MSRP). Dus zeg 50 euro kost de processor, dan komt het neer op bijna 300 euro voor het moederbord zelf. Daar moet een flinke winstmarge op zitten lijkt mij. SuperMicro kan bordjes veel goedkoper maken, en staat in principe hoger aangeschreven dan ASRock dacht ik zo.

Zou juist leuk zijn als het bordje 175 euro zou kosten. 225 zou eventueel nog kunnen. 350 euro is erg duur en 450 euro voor de 8-core versie; pff. Voor die prijs koop je twee servers die nog veel krachtiger zijn. Het leuke is er zo wel af aan Avoton. Bovendien nauwelijks verkrijgbaar. Zo jammer dat AMD vrijwel is uitgespeeld. Ook bij AMD zijn er leuke producten, maar ook die mag je niet kopen. ASrock had bijvoorbeeld prima ook een Kabini bordje kunnen maken in de stijl van het Avoton bordje. Maar dat soort producten zie je dus nergens.

Het is wel erg jammer dat zelfbouw NAS of zelfbouw server vrijwel nergens aanbod lijkt te krijgen. Ofwel je zit met semi-professioneel spul ofwel met desktophardware. Het ASRock bordje van Avoton had leuk voor de zelfbouwer kunnen zijn. Maar als we een jaar moeten wachten voordat we hem 'mogen' kopen en de prijs ook belachelijk duur is, dan valt het ook af voor het gros van de geïnteresseerden.

[Kek]

Patatjemet schreef op woensdag 27 november 2013 @ 14:38:
[...]


Volgens mij hebben zowel deze en de 8 core variant vt-d, dus voor een low power esxi wel geschikt. Ik zou hem meer aanraden voor een low power storage server omdat een low power esxi server veel goedkoper te maken is. Voordeel voor een storage server is inderdaad zuinig, passief, veel sata poorten, 4 geheugen sloten en compact.

ik heb nog nergens kunnen vinden dat deze atoms ineens wel vt-d ondersteunen, da tzou namelijk volledig nieuw zijn voor atoms.

Edit, beter nog het antwoord is nee er zit geen vt-d op deze bordjes met deze atoms

[Patatjemet]

Je hebt gelijk, ik heb de compatibiliteit met esxi 5.1 verward met vt-d.

Edit: je link werkt overigens niet.

[ Voor 21% gewijzigd door Patatjemet op 27-11-2013 15:05 ]

[Extera]

In hoeverre mag je verwachten dat FreeBSD überhaupt wil draaien op dit bordje eigenlijk?

[Patatjemet]

Dat staat wel vermeld bij "support os" dus je mag verwachten dat het draait.

[FireDrunk]

Makkelijker is om te zeggen: Waarom zou het *niet* draaien?

[Verwijderd]

Niet goed ondersteunde netwerkpoorten kom je nog wel eens tegen, vooral de PHY is dan het probleem ipv de MAC. Ik geloof dat dit ook voor sommige Intel poorten geldt; de MAC is van Intel maar b.v. de PHY kan door Marvell zijn geleverd. Niet al die PHYs werken onder BSD, of in elk geval niet allemaal even goed. Zo heeft Realtek (re) met sommige PHYs het probleem dat onder load de link steeds down gaat eventjes (link state changed to DOWN; link state changed to UP).

Afgezien van dat, gaat het gewoon werken hoogstwaarschijnlijk. De Marvell SATA poorten zullen ook wel werken aangezien die volgens mij gewoon via AHCI werken. Dus dat betekent 12 keer goed bruikbare en ondersteunde poorten voor BSD.

Wel jammer dat hij vt-d mist. Dat had icm. ESXi een leuke feature geweest voor dit bord, zodat je de 2-port Marvell aan ESXi kunt geven en de 6-port Intel AHCI en 4-port Marvell AHCI via vt-d doorgeeft aan je VM. Ik neem aan dat dat kan met ESXi? Maarja dan heb je dus wel vt-d nodig, wat Avoton mist. Jammer jammer jammer!

[FireDrunk]

Intel die niet zelf zowel de PHY als de MAC levert? Echt nog nooit gezien
Maar goed, als jij het zegt

Met de komst van ESXi 5.5 en de Virtual AHCI (SATA) controller is RDM (in mijn ogen) weer een prima optie.
Dus je zou wel ESXi kunnen gebruiken op dit bordje, alleen moet je gebruik maken van RDM.

[Kek]

FireDrunk schreef op woensdag 27 november 2013 @ 15:58:
Intel die niet zelf zowel de PHY als de MAC levert? Echt nog nooit gezien
Maar goed, als jij het zegt

Met de komst van ESXi 5.5 en de Virtual AHCI (SATA) controller is RDM (in mijn ogen) weer een prima optie.
Dus je zou wel ESXi kunnen gebruiken op dit bordje, alleen moet je gebruik maken van RDM.

om dat goed werkend te krijgen moet je wel door een aantal (virtuele) hoepels springen hoor.

[FireDrunk]

Hoezo?

ESXi installeren
vCenter appliance deployen
VM aanmaken met AHCI controller
ZFSguru / FreeNAS / NAS4Free / FreeBSD installeren
RDM's aanmaken en doorgeven.
ZFS pool aanmaken.
vCenter appliance verwijderen/uitzetten.

Bij wijzigingen vm weer opstarten, of nieuwe vCenter Appliance deployen.

PS: Je zou zelfs met de PowerCLI aan de slag kunnen, die kan wel gewoon je VM wijzigen zonder vCenter volgens mij.

[DennusB]

Tsurany schreef op woensdag 27 november 2013 @ 14:32:
ESXI heeft weinig invloed op performance, enkel wat overhead op geheugengebied. Alleen ESXI moet je enkel doen met de juiste hardware, dat gaat met die HP niet fijn werken. Je mist dan bijvoorbeeld VT-D.
Kijk anders eens naar FreeNAS. Dan kan je Owncloud makkelijk als plugin installeren en heb je veel features uit DSM beschikbaar via Owncloud.

Werkt dat doorgeven van disks ook niet met een losse RAID controller? Die heb ik toevallig nog liggen!

[Xudonax]

Nee, om hardware van de host door te geven heb je VT-d nodig (of AMD's equivalent daarvan bij een AMD CPU). Zonder dat gaat het helaas niet werken

[FireDrunk]

RDM kan volgens mij ook prima met volumes die van een RAID controller af komen.
Aan te raden is anders.

[DennusB]

FireDrunk schreef op woensdag 27 november 2013 @ 21:34:
RDM kan volgens mij ook prima met volumes die van een RAID controller af komen.
Aan te raden is anders.

Dus storage niet virtualiseren en gewoon bare metal een distro draaien raad je aan?

[FireDrunk]

Dat is in veel gevallen wel beter ja. Maar dat ligt compleet aan je eisen.

[Verwijderd]

FireDrunk schreef op woensdag 27 november 2013 @ 15:58:
Intel die niet zelf zowel de PHY als de MAC levert? Echt nog nooit gezien
Maar goed, als jij het zegt

Volgens mij geldt dit voor alle Intel chipsets? Die bieden een Intel gigabit ethernet MAC, maar niet de PHY. Die kan dan door third party worden geleverd, zoals Marvell in mijn bordje. In elk geval voor Z87 is dat zo, maar volgens mij voor alle in de chipset aanwezige gigabit MACs.

Zelfde geldt voor AMD overigens. De i210 lijkt wel een MAC+PHY singlechip solution te zijn. Dus wel 100% Intel.

Met de komst van ESXi 5.5 en de Virtual AHCI (SATA) controller is RDM (in mijn ogen) weer een prima optie.
Dus je zou wel ESXi kunnen gebruiken op dit bordje, alleen moet je gebruik maken van RDM.

Oke dat is wel weer goed nieuws voor ESXi-gebruikers. Al vraag ik me af of features als APM/spindown/TRIM ook werken via AHCI? Misschien hadden we het daar al eens over gehad.

Toch wel vreemd dat features als ECC weer wel mogen maar vt-d niet. Gezien de server positionering had dat best gemogen vind ik. Desnoods een duurder model met die feature. Dan wordt AMD straks ook interessant met hun <10W SoC-chips. Als die dan ook eindelijk te koop zijn, zoals bij Brazos het geval was. IOMMU heeft Kabini helaas niet, maar volgens wat bronnen zou de 2014 refresh dat wel hebben. Als dan ook de availability goed is, kan dit weer een leuk platform worden voor een instap server.

[r3play]

Hallo,

Ik ben al enkele weken XPEnology aan het testen op een oude pc met nog een paar HDD's die ik had liggen. XPEnology is een port van de DSM software van Synology. Deze bevalt me zeer goed en heeft veel opties en packages. Ook ben ik onder de indruk van de performance.

Met al dat geknutsel met oude hardware is het eens tijd geworden om alles fatsoenlijk te doen met recente hardware met als doel dat alles een stuk energiezuiniger zal worden.

Als ik de prijzen zie van een deftige Synology nas waar ik nog enkele jaren mee verder kan kost dit me al direct hopen geld terwijl ik met datzelfde geld iets veel krachtiger zelf in elkaar kan zetten.

Ik heb zeer veel intresse voor de HP MicroServer Gen8. Deze is zeer interessant omdat die niet zoveel plaats in beslag neemt. Ook kunnen hier 4 schijven in een hot swap drive bay. Er zit er een iLo interface op en dual lan. Dit is deftige server hardware. Hier kan ik ook altijd nog iets anders op installeren indien ik de XPEnology beu ben of er weer iets beter is.

Wat denken jullie, heeft iemand al ervaring met deze microserver in combinatie met XPEnology of iets dergelijks? Ik zou hier dan de WD RED 4TB NAS schijven in steken. Ondersteund de microserver dit of is max 3 of 2TB?

De NAS gaat vooral dienen voor.
- Download bak
- couchpotato
- VPN server
- sickbeard
- Opslag film en serie collectie
- backups voor de pc's en server
- LUN en iSCSI target voor VMware ESXi server

Ik ben ook aan het denken als de microserver goed werkt er nog één aan te schaffen extra ram en een xeon processor in steken en ESXi erop en mijn huidige VM's overzetten. Dan heb ik 2 dezelfde mooie compacte bakjes op elkaar die hopelijk een stuk energiezuiniger zijn dan mijn huidige hardware (anno 2007-2008)

Graag wat advies en of betere ideeën of oplossingen zijn altijd welkom

[Panzy]

Panzy schreef op zondag 17 november 2013 @ 14:27:
@FireDrunk

Bedankt voor de reactie, ik zat zelf ook al te denken aan FreeBSD. Ik ga het meteen uitproberen.

UPDATE
Heb inmiddels een installatie disk liggen voor FreeBSD, maar het is nogal wat. Weer allemaal andere commands etc, en de installatie werkt geeneens. Ook geen idee waarom niet. Als ervaren Windows gebruiker en Linux beginner valt FreeBSD tot nu toe niet mee moet ik zeggen. Dat wordt nog heel wat lezen en forums volspammen alvorens ik het draaiende heb ben ik bang.

Ik heb toch besloten om voor Debian te gaan, en heb het inmiddels draaien op de server. Reden is dat FreeBSD kapt tijdens het booten vanaf de disc, met errors die ik niet begrijp. Hij komt dus nooit in de installatie. Dit zal ongetwijfeld een hardware incompatibiliteit zijn, want in Virtualbox op mijn laptop werkt hij prima. Ik heb nu geen tijd om dit allemaal uit te zoeken, de server moet wel eens gaan draaien nu. Debian voelt erg solide aan tot nu toe, stukken beter als Fedora, meteen al vanaf de installatie. Als alles draait kan ik me op mijn gemak eens verdiepen in FreeBSD en Solaris, want daar wil ik uiteindelijk wel naar toe.

Jammer van dat Avaton moederbord, keek ik ook wel naar uit. Gaat het waarschijnlijk toch een Supermicro worden met dikke Opteron of Xeon. Maar dat komt wel.

Over de WD head parking, ik heb hier meerdere green drives met load-cycle-count van 120.000+, deze werken nog wel maar hebben een read-error-rate van rond de 25 dus goed is het allemaal niet.

De WD Red drives zouden niet hetzelfde mogen zijn hardwarematig als de Green drives, volgens de spec sheets zouden ze behoorlijk moeten verschillen. WD heeft het voor mij een beetje verpest met die Greens, ik vertrouw het merk niet meer zo. Ik ga volgende keer eens Toshiba proberen.

[analog_]

Fedora is dan ook meer een desktop distro, vergelijk debian eerder met centos binnen de redhat familie.

[Verwijderd]

Nu de Norco 4220 in de aanbieding van 320,= voor 259,= EUR excl BTW.
Leuk kerst kado?
https://ri-vier.eu/4u-rac...220-p-18.html?cPath=1_3_7

[Verwijderd]

Panzy schreef op donderdag 28 november 2013 @ 23:41:
Reden is dat FreeBSD kapt tijdens het booten vanaf de disc, met errors die ik niet begrijp.

Zou je graag willen helpen, maar ik heb geen foutmeldingen gezien in één van je posts.

Over de WD head parking, ik heb hier meerdere green drives met load-cycle-count van 120.000+, deze werken nog wel maar hebben een read-error-rate van rond de 25 dus goed is het allemaal niet.

LCC en RER hebben niets met elkaar te maken. Hooguit zouden LCC en SER iets met elkaar te maken kunnen hebben, maar mediumkwaliteit en headparking zie ik geen correlatie tussen.

De WD Red drives zouden niet hetzelfde mogen zijn hardwarematig als de Green drives, volgens de spec sheets zouden ze behoorlijk moeten verschillen. WD heeft het voor mij een beetje verpest met die Greens, ik vertrouw het merk niet meer zo. Ik ga volgende keer eens Toshiba proberen.

Welke specs vergelijk je dan? Hoogstwaarschijnlijk ben je 1000GB Red met 750GB platter Green aan het vergelijken. Er zijn van de Greens namelijk 750GB en 1000GB versies. Echter krijg je nu alleen maar 1000GB versies volgens mij, dus hardwarematig 100% identiek aan de Red.

Hoezo heeft WD het verpest, wat doen ze verkeerd? De WD Green is naar mijn oordeel momenteel de beste schijf. 4TB voor 150 euro is prima te doen. Zeer laag verbruik van 3,3 watt. Dat betekent ook heerlijk koel. Bovendien ook heerlijk stil, veel stiller dan mijn 7200.14 Seagate schijven. Die Seagates zijn namelijk best ruk vanwege background scanning; helemaal niet zo geschikt voor een thuis ZFS NAS. Je kunt dat ook niet tunen ofzo.

Kortom, meningen prima maar met argumentatie wordt het interessanter.

[thof]

Verwijderd schreef op vrijdag 29 november 2013 @ 14:02:
Nu de Norco 4220 in de aanbieding van 320,= voor 259,= EUR excl BTW.
Leuk kerst kado?
https://ri-vier.eu/4u-rac...220-p-18.html?cPath=1_3_7

Laatst contact gehad met Ri-Vier, ze krijgen pas laat 2013 weer nieuwe Norco kasten. Lijkt er een beetje op dat ze de focus verleggen naar hun eigen merk kasten.

[FireDrunk]

Daarom zal hij waarschijnlijk de voorraad weg doen

[Panzy]

CiPHER schreef op vrijdag 29 november 2013 @ 14:27:

Zou je graag willen helpen, maar ik heb geen foutmeldingen gezien in één van je posts.


Ik ga jullie niet lastig vallen hier met specifieke FreeBSD vragen, ik vind het wel uit maar alles op zijn tijd.
Hele waslijst errors tijdens het proben van de hardware, zag eruit alsof het niet ff 1 2 3 ging werken.

LCC en RER hebben niets met elkaar te maken. Hooguit zouden LCC en SER iets met elkaar te maken kunnen hebben, maar mediumkwaliteit en headparking zie ik geen correlatie tussen.

Mischien omdat de head fysiek slijt door het voortdurend parken, en dat daardoor errors optreden. Er is niet voor niets een rating voor LCC hoe vaak het moet kunnen. Tegenwoordig is dat 300.000 als ik mij niet vergis, maar de schijven die ik heb zijn ouder en zitten waarschijnlijk al over de max. Bij WD is een RER van >0 niet goed in elk geval. Ik heb vier 1TB green schijven van WD die allemaal rond de 25 zitten in de RER value. En deze hebben nog geen jaar aan draaiuren.

Welke specs vergelijk je dan? Hoogstwaarschijnlijk ben je 1000GB Red met 750GB platter Green aan het vergelijken. Er zijn van de Greens namelijk 750GB en 1000GB versies. Echter krijg je nu alleen maar 1000GB versies volgens mij, dus hardwarematig 100% identiek aan de Red.

Green vs Red. Hier zie je een verschil in Load Cycle Count en in max. operating temp. Het zijn kleine verschillen maar ze lijken mij dus niet gelijk. Ik denk dat de heads verschillen.

Hoezo heeft WD het verpest, wat doen ze verkeerd? De WD Green is naar mijn oordeel momenteel de beste schijf. 4TB voor 150 euro is prima te doen. Zeer laag verbruik van 3,3 watt. Dat betekent ook heerlijk koel. Bovendien ook heerlijk stil, veel stiller dan mijn 7200.14 Seagate schijven. Die Seagates zijn namelijk best ruk vanwege background scanning; helemaal niet zo geschikt voor een thuis ZFS NAS. Je kunt dat ook niet tunen ofzo.

Het is inderdaad een erg goede prijs maar ik vind de betrouwbaarheid gewoon te laag, uitgaand van mijn eigen ervaring. De schijven die ik heb zijn door de RER >25 en LLC >120.000 eigenlijk al aan vervanging toe na nog geen jaar draaiuren te hebben. Dit is niet alleen volgens SMART, maar ook uit de praktijk. Ik gebruikte ze icm. een RAID controller, en dat werkte in het begin heel lange tijd prima. Als ik ze er nu aan hang dan 'FAIL'-en ze binnen een dag, wat dus wil zeggen dat ze er niet beter op geworden zijn in dat jaar. Een even oude RE drive heeft nergens last van. Ik vind dit eigenlijk best wel slecht omdat je bij het kopen van een HDD (ik tenminste) ervan uit gaat dat het gewoon goed betrouwbaar is.
Wat bedoel je met background scanning? Gisteren had ik een Green 1TB rechtstreeks aan mijn laptop hangen via e-SATA, na het ejecten en unpluggen van de kabel bleef de drive gewoon door ratelen, allerlei dingen dus aan het doen terwijl hij geeneens aangekoppeld was aan een pc. Waarom is dat?

Als je ZFS draait snap ik dat het allemaal goed te doen is, maar toch vraag ik me af of je op den duur niet goedkoper uit bent met betere schijven die het waarschijnlijk langer uithouden. Of mischien zijn de Greens wel beter geworden of ik heb gewoon pech gehad, dat kan natuurlijk ook. Maar dan nog ben ik klaar met WD.