Het grote DIY RAID NAS topic deel 3

[FireDrunk]

Vreemd, blijf die mfgpage2 error krijgen. Heb stoute schoenen aangetrokken, en ticket bij LSI ingelegd en gezegd dat ik een 9240-8i heb

Afwachten nu

[Pantagruel]

FireDrunk schreef op donderdag 13 oktober 2011 @ 23:34:
Vreemd, blijf die mfgpage2 error krijgen. Heb stoute schoenen aangetrokken, en ticket bij LSI ingelegd en gezegd dat ik een 9240-8i heb

Afwachten nu

You cheeky little b*st*rd

Ik ben wat bescheidener en probeer een full height bracket voor m'n 'bevrijde' LSI 9240-8i (reflashed IBM M1015) los te peuteren. (een grotere hamer helpt niet, een low profile bracket is en blijft te kort voor een full sized slot plaatje. De plaatjes van de restant PCI kaarten die ik heb passen niet qua positie van de lipjes of de lipjes zijn te kort mbt afstand slotplaatje-schroefgat tov de afstand rand kaart-bevestigingsgaatje)
LSI Europa kan me er niet aan helpen, kijken of the US of A te paaien is .

Mocht dat niet werken dan maar eens flink in de buis blazen (€11), deze ↓ bestellen en hopen dat de lipjes op de juiste plek zitten.


of de externe variant, een ontsierend gaatje, maar dat zit toch aan de achterkant van de kast (en daar leven enkel de stofnesten) en is met €7 nog goedkoper.

[ Voor 41% gewijzigd door Pantagruel op 14-10-2011 00:08 ]

[FireDrunk]

Als je even de maat opneemt kijk ik of ik nog een bracket heb liggen (zou namelijk best kunnen )

LSI mailde net terug, ze zeggen dat een 9240-8i geen IT mode heeft.
Toch maar even l*l-verhaal ophangen dat ik niet zeker weet of het een 9240-8i is, maar dat ik wel zeker weet dat hij een LSI2008 chip heeft Misschien vallen ze ervoor

[_-= Erikje =-_]

Verwijderd schreef op donderdag 13 oktober 2011 @ 16:39:
RAID-Z is niet zo heel veilig. Je hebt dan wel 6 disks parity maar als twee disks binnen één RAID-Z falen dan ben je alles kwijt. Dus wat dan wel?

Twee RAID-Z2 arrays van elk 10 disks is een goede keuze, met name voor 4K sector disks. Ook heb je dan maar 4 disks redundantie maar wel goede bescherming.

Overigens ben ik niet zo'n voorstander van expanders; dat lijkt me geen goede setup. Veel beter is meerdere HBAs; dat moet toch lukken met 24 disks? Ik weet niet welke hardware je al hebt, maar een SuperMicro bord met 14 SATA heb je met één controller dus al 22 SATA poorten. ZFS is juist de oplossing die het meeste performanceverlies kent bij gebruik van expanders en andere technieken die de dedicated pipe naar elke fysieke disk verstoren.

Dat is inderdaad ook een goed punt, mijn huidige overweging is dat ik nu een mini itx bordje met maar 1 PCI-e slot heb draaien. Performance is niet zo heel belangrijk voor me, opslag wel.
Daarnaast wil ik graag de kosten spreiden, dus ik zou eerst beginnen met de kast. Moederbord overzetten, schijven overzetten, daarna pas een HBA aanschaffen en als laatste pas die expander. Maar idd met 2 12 Disk Z2 arays is het een stuk handiger (al moet ik dan wel 12 schijven tegelijk kopen). Ik zag ook niet direct een HBA met 24 poorten voor weinig Intel SASUC8 kost je rond de 140, die expander haal je op ebay voor een vergelijkbaar bedrag, dan zit je grofweg op 300 euro LSI 9201-16i kost je al rond de 350 voor 16 poorten. Of ik moet over een leuk alternatief heen kijken.

[FireDrunk]

Maar het grote verschil is dus dat die expander een veel lagere performance levert dan die 9201-16i omdat die dedicated lanes naar de disks heeft.

Als performance je niet uitmaakt, kan je prima voor 1068e controllers gaan. Die werken prima, en zijn erg goedkoop te krijgen.

[Pantagruel]

FireDrunk schreef op vrijdag 14 oktober 2011 @ 08:25:
Als je even de maat opneemt kijk ik of ik nog een bracket heb liggen (zou namelijk best kunnen )

LSI mailde net terug, ze zeggen dat een 9240-8i geen IT mode heeft.
Toch maar even l*l-verhaal ophangen dat ik niet zeker weet of het een 9240-8i is, maar dat ik wel zeker weet dat hij een LSI2008 chip heeft Misschien vallen ze ervoor

Thanks, vanavond ff de meetlat er langs leggen.

Erhhmm, een van de twee M1015's die ik terug heb geflashed denkt toch echt dat hij een 9240-8 in IT mode is.
Wellicht dat de daarvoor gebruikte firmware niet origineel LSI is, dat kan ik nu niet achterhalen, en dat LSI daarom roept dat ze geen 9240-8i in IT mode hebben.

[FireDrunk]

Hmm, kan je die SBR en flashimage er eens vanaf halen? Ben vooral benieuwd welke SBR je er op gezet hebt?

[Pantagruel]

FireDrunk schreef op vrijdag 14 oktober 2011 @ 09:03:
Hmm, kan je die SBR en flashimage er eens vanaf halen? Ben vooral benieuwd welke SBR je er op gezet hebt?

Ik zal de firmware files die ik gebruikt heb voor die flash wel op de server kwakken zodat je er bij kunt.

Een sloot koffie later begint de grijze massa op stoom te komen, flash instructies en files te vinden op lime-tech de m1015.rar van mediafire.

Mocht je de firmware etc die nu in mijn controller zit willen hebben dan laat mnaar weten dan trek ik er de .sbr wel uit mbv megacli/etc.

[ Voor 37% gewijzigd door Pantagruel op 14-10-2011 09:47 . Reden: download lokatie ]

[heuveltje]

FF een vraagje.
Ik heb ook een supermicro variant van die LSI2008, die als het goed is in it mode draait.
Alleen zie ik mijn drives nog steeds als scsi-variant en ook kan ik er geen smart data uitlezen,
Is dit gewoon een beperking van IT mode, of mis ik iets ?

Pantagruel schreef op donderdag 13 oktober 2011 @ 23:44:
[...]
You cheeky little b*st*rd

Ik ben wat bescheidener en probeer een full height bracket voor m'n 'bevrijde' LSI 9240-8i (reflashed IBM M1015) los te peuteren. (een grotere hamer helpt niet, een low profile bracket is en blijft te kort voor een full sized slot plaatje.

bekend probleem : pci-e bracket hoe te verkrijgen.
Uiteindelijk toen een oude s3 vid kaart gevonden die paste.
Daarnaast heb ik op cz iemand ontmoet met hetzelfde probleem, daar hebben ik toen bij de plaatselijke kringloopwinkel een modem-kaart gevonden met precies de goede afmetingen meegenomen voor 3E
(verkoopster was nog heel bezorgd over de garantie en dat ik hem terug kon brengen, "ik zal hem eens testen !"breek voor haar ogen die kaart doormidden, "ja hij doet precies wat ik wil !" )

[ Voor 64% gewijzigd door heuveltje op 14-10-2011 09:57 ]

[FireDrunk]

Pantagruel schreef op vrijdag 14 oktober 2011 @ 09:36:
[...]


Ik zal de firmware files die ik gebruikt heb voor die flash wel op de server kwakken zodat je er bij kunt.

Een sloot koffie later begint de grijze massa op stoom te komen, flash instructies en files te vinden op lime-tech de m1015.rar van mediafire.

Mocht je de firmware etc die nu in mijn controller zit willen hebben dan laat mnaar weten dan trek ik er de .sbr wel uit mbv megacli/etc.

Graag

Ik heb nu IT firmware gevonden van de H200 die sas2flsh gebruikt om de firmwar erop te zetten.
Eens kijken of ik ergens een H200i SBR kan vinden, misschien dat dat werkt

[ Voor 12% gewijzigd door FireDrunk op 14-10-2011 10:09 ]

[Sneezydevil]

FireDrunk schreef op vrijdag 14 oktober 2011 @ 08:59:
Maar het grote verschil is dus dat die expander een veel lagere performance levert dan die 9201-16i omdat die dedicated lanes naar de disks heeft.

Als performance je niet uitmaakt, kan je prima voor 1068e controllers gaan. Die werken prima, en zijn erg goedkoop te krijgen.

Zoveel lager is die performance toch ook niet? Wanneer zul je dit het ergste merken?

[_-= Erikje =-_]

je gaat dan 1 3Gbit poortje delen over 5 apparaten ipv over 1 apparaat (tenzij je 'm met 2 poorten aan die expander hangt, dan is het 6 gbit delen over 4 poorten)
Maar even grofweg, 3 gbit delen door 5 blijft er 3/5*1000/8=75 mbyte/s over per poort (ja ja kort door de bocht )

[FireDrunk]

En dan hebben we het nog niet over de overhead van het SATA protocol. Kijk maar naar SSD's die blijven op een 3Gbps aansluiting steken op ~250MB/sec, terwijl de interface 384MB/s aan zou kunnen.
Dat betekend dus een overhead van ruim 30%.

Reken dus op 50MB/s op een expander link. 6Gbps is dus veel leuker, want daar heb je veel meer ruimte op de link. 100MB/s is namelijk prima per disk.

[HarmoniousVibe]

FireDrunk schreef op vrijdag 14 oktober 2011 @ 11:11:
En dan hebben we het nog niet over de overhead van het SATA protocol. Kijk maar naar SSD's die blijven op een 3Gbps aansluiting steken op ~250MB/sec, terwijl de interface 384MB/s aan zou kunnen.
Dat betekend dus een overhead van ruim 30%.

Reken dus op 50MB/s op een expander link. 6Gbps is dus veel leuker, want daar heb je veel meer ruimte op de link. 100MB/s is namelijk prima per disk.

Nou ja, de theoretische max van SATA 3Gbit/s is 300MB/s vanwege de 10b/8b encoding.

[FireDrunk]

Dan is het dus 25% verlies

[HarmoniousVibe]

FireDrunk schreef op vrijdag 14 oktober 2011 @ 17:20:
Dan is het dus 25% verlies

Ik zie niet in hoe je op die 25% uitkomt maar goed. Verder denk ik dat je ook nog MB/s naar MiB/s moet omrekenen om te vergelijken.

Neemt overigens niet weg dat die 10b/8b-encoding in zichzelf ook gewoon overhead is. Met reden, maar het is wel overheid.

[ Voor 17% gewijzigd door HarmoniousVibe op 14-10-2011 20:04 ]

[Pantagruel]

FireDrunk schreef op vrijdag 14 oktober 2011 @ 09:55:
[...]

Graag

Ik heb nu IT firmware gevonden van de H200 die sas2flsh gebruikt om de firmwar erop te zetten.
Eens kijken of ik ergens een H200i SBR kan vinden, misschien dat dat werkt

Ik heb de fw uit beide M1015 SAS controllers getrokken en in een zipje gestopt.

panta0.sbr
fw dd. 2011-02-13 IBM M1015 meldt zich als LSI 9210-8i
panta.sbr
fw dd. 2011-05-15 IBM M1015 meldt zich als LSI 9211-8i

Hopelijk kun je wat met een van deze twee IT mode fw's.

Morgen de oudste zoon eens vragen waar hij de rolmaat heeft gelaten, zag hem bij thuiskomst er mee in de weer en nu ik hem nodig heb om de bracket op te meten is t kreng spoorloos.

[ Voor 12% gewijzigd door Pantagruel op 14-10-2011 23:40 ]

[vso]

1 van de dingen waar ik nieuwsgierig naar ben omdat ik wat "nare" ervaringen had met mijn vorig project.
bleek achteraf de Intel nic gewoon RMA waardig was (zelfbouw nas)

hoe zwaar doet Linux/Bsd aan "hardware offloading" ? of hoe kom ik erachter?

Wat ik wil is een "zelfbouw nas" + transcoding device

met Windows 2008 R2 + mediaportal zou ik een heel end kunnen komen. en de dual
Intel® Gigabit ET Dual Port Server Adapter bied zelfs extra offloading voor hyper-V (wat ik zou gebruiken voor "servers" die aparte diensten doen .. zoals download of andere diensten ..

1 van de dingen waar ik erg van gechameerd was tijdens het bouwen van de FreeBSD oplossing was dat ZFS OS reinstall overleefde

Mij gaat het om stabiliteit versus performance met een budget,
BV ik zou graag de workstations in huis "diskless" via ISCSI booten (zie GpXE project) daarvoor is 130Mbit+ wel gewenst .. nu is de netwerkinfra al aanwezig

Zo heb ik bv een quad core 6GB AM3+ machine staan die dienst moet gaan doen als "server"
daarin zitten ook 2x PCIe x1 sata kaartjes .. en onboard heb ik er ook nog 5 ?
het is dat 4gb modules niet beschikbaar waren vandaag anders had er 16gb in gezeten.
ook heb ik 11x 1TB disks tot mijn beschikking (gift van iemand die wat over had)

maar goed ..netwerk technisch heb ik er wel vertrouwen in .. dat een raid 10 zfs oplossing redelijk moet gaan lukken in performance enzv .. (tips zijn welkom:) )

wat leuk zou zijn is als ik naar DNLA, android of Ipod touch/Iphone wat films zou kunnen streamen ..
bij wijze een Blueray disk (op schijf) direct naar een DNLA tv of GSM .. nu kan ik me aardig indenken dat de server aardig "werk" moet gaan verzetten maar .. hoe ver kan ik dat "offloaden"

[Verwijderd]

vso schreef op zaterdag 15 oktober 2011 @ 03:44:
hoe zwaar doet Linux/Bsd aan "hardware offloading" ? of hoe kom ik erachter?

Simpelweg ifconfig.

code:

options=8210b<RXCSUM,TXCSUM,VLAN_MTU,TSO4,WOL_MAGIC,LINKSTATE>

Hier zie je dus dat de NIC de gebruikelijke checksum acceleration ondersteunt (receive + transmit checksumming) en de meer complexe TSO ofwel TCP Segmentation Offload die geloof ik grote segmenten opspaart zodat de NIC er kleinere pakketjes van kan maken. Dit alles zou de CPU belasting naar beneden moeten halen. Wel moet ik zeggen dat gigabit qua CPU belasting wel meevalt ook zonder enige offload. Maar bij 10 gigabit ethernet zou het wel eens significant kunnen worden. De netwerk drivers kunnen hier ook invloed op hebben; maar daar heb ik minder kaas van gegeten.

1 van de dingen waar ik erg van gechameerd was tijdens het bouwen van de FreeBSD oplossing was dat ZFS OS reinstall overleefde

Maar dat geldt voor alle filesystems toch? Ik kan ook een NTFS disk in een andere Windows PC stoppen en dan kan die Windows er ook op komen. Of bedoelde je wat anders? Wat ik zelf gaaf vind is dat FreeBSD (eigenlijk alles behalve Windows) zomaar op andere hardware kan draaien zonder over de zeik te gaan. Je kunt dus alle disks in een ander systeem zetten en andere controllers en wat dan ook en het werkt gewoon. Hooguit je netwerk moet je even aanpassen maar verder aardig plug and play.

BV ik zou graag de workstations in huis "diskless" via ISCSI booten (zie GpXE project) daarvoor is 130Mbit+ wel gewenst .. nu is de netwerkinfra al aanwezig

Zo'n setup draai ik zelf ook, maar dan met Linux als clients. Welke clients wil je diskless booten? Met Windows moet je dan geloof ik commerciële software gebruiken.

wat leuk zou zijn is als ik naar DNLA, android of Ipod touch/Iphone wat films zou kunnen streamen ..
bij wijze een Blueray disk (op schijf) direct naar een DNLA tv of GSM .. nu kan ik me aardig indenken dat de server aardig "werk" moet gaan verzetten maar .. hoe ver kan ik dat "offloaden"

Hier heb ik geen ervaring mee, maar normaal kun je transcoden door je GPU te gebruiken voor het harde werk; bijvoorbeeld onder Windows hebben de AMD drivers zo'n 'on the fly transcode' functionaliteit en wellicht nVidia ook zoiets. Of hardware transcoding ook onder Linux en FreeBSD werkt durf ik niet te zeggen. Maar er zijn aardig wat mensen die dit zo draaien dus het zal met of zonder acceleratie best moeten lukken. Met een quadcore heb je ook aardig wat SMP performance mocht er geen acceleratie zijn.

Weet je al welke FreeBSD je wilt draaien?

[vso]

Verwijderd schreef op zaterdag 15 oktober 2011 @ 04:14:
[...]

Simpelweg ifconfig.

code:

options=8210b<RXCSUM,TXCSUM,VLAN_MTU,TSO4,WOL_MAGIC,LINKSTATE>

Hier zie je dus dat de NIC de gebruikelijke checksum acceleration ondersteunt (receive + transmit checksumming) en de meer complexe TSO ofwel TCP Segmentation Offload die geloof ik grote segmenten opspaart zodat de NIC er kleinere pakketjes van kan maken. Dit alles zou de CPU belasting naar beneden moeten halen. Wel moet ik zeggen dat gigabit qua CPU belasting wel meevalt ook zonder enige offload. Maar bij 10 gigabit ethernet zou het wel eens significant kunnen worden. De netwerk drivers kunnen hier ook invloed op hebben; maar daar heb ik minder kaas van gegeten.

ik dacht meer aan GPU achtige zaken, maar elke offloading is er 1 minder

Maar dat geldt voor alle filesystems toch? Ik kan ook een NTFS disk in een andere Windows PC stoppen en dan kan die Windows er ook op komen. Of bedoelde je wat anders? Wat ik zelf gaaf vind is dat FreeBSD (eigenlijk alles behalve Windows) zomaar op andere hardware kan draaien zonder over de zeik te gaan. Je kunt dus alle disks in een ander systeem zetten en andere controllers en wat dan ook en het werkt gewoon. Hooguit je netwerk moet je even aanpassen maar verder aardig plug and play.

erhm nee, windows heeft een leuk "advanced" disk feature (van win2k of 2k3) dat doe je software raid daar dan kan je bij het overzetten zonder backup naar je data fluiten ..
zfs is het enige FS wat "transporteerbaar is zonder "problemen" teminste wat ik gemerkt heb ..
en eigenlijk vind ik dit het belangrijkste van een zelfbouw nas ..

Als de data niet te redden is dan ik heb geopt voor raid5, nu kan ik voor raid 10 of 50, of zo .. das ook de reden waarom ik een ups er tussen heb zitten. en inderdaad het is ideaal als je je kapotte hardware vervangt en door kan draaien ..

Zo'n setup draai ik zelf ook, maar dan met Linux als clients. Welke clients wil je diskless booten? Met Windows moet je dan geloof ik commerciële software gebruiken.

http://etherboot.org/wiki/start <-- check dit, hiermee kan je elke white box machine diskless booten ..
bij windows moet je de Iscsi target client installeren .. (of via NliteOS meeverpakken en dan installeren..)
overgens kan je ook een bestaande disk met ghost.exe of ghost32.exe 1 op 1 naar een iscis lun verplaatsen ..

voor het testen heb ik een usbstick bebruikt, flashen van de rom had ik geen zin in omdat mijn huidige NAS dat gewoon niet trekt .. (rot QNAP)

meest ideale is een "beest" van een machine met ISCSI voor "clients" en een VM hoster zoals Xen, vmware/hyperv die de clients ook in staat steld van USB/GPU gebruik te maken .. (usb/gpu passthrough)

de NAS functie zorgt dat je 1 locatie alle disks hebt (storage) freebsd in dit geval met ZFS om maximum redundantie te hebben .. (hardware uitval)
en als de VM optie er is .. kan je een media monster bouwen op elk ander gewenst OS ..
en wat andere services hosten ..

SSD is te duur en daarnaast, een NAS performance van 150+ MB per sec over het netwerk .. is ruim zat om windows/linux te booten en hosten .. alles meer is beter

Weet je al welke FreeBSD je wilt draaien?

degene die werkt

[Da_maniaC]

vso schreef op zaterdag 15 oktober 2011 @ 06:26:
http://etherboot.org/wiki/start <-- check dit, hiermee kan je elke white box machine diskless booten ..
bij windows moet je de Iscsi target client installeren .. (of via NliteOS meeverpakken en dan installeren..)
overgens kan je ook een bestaande disk met ghost.exe of ghost32.exe 1 op 1 naar een iscis lun verplaatsen ..

voor het testen heb ik een usbstick bebruikt, flashen van de rom had ik geen zin in omdat mijn huidige NAS dat gewoon niet trekt .. (rot QNAP)

meest ideale is een "beest" van een machine met ISCSI voor "clients" en een VM hoster zoals Xen, vmware/hyperv die de clients ook in staat steld van USB/GPU gebruik te maken .. (usb/gpu passthrough)

Is het mogelijk om op de machine waar etherboot + Xen zelf op draait ook een virtual machine op te starten?
Zou deze virtual machine voor het dagelijks gebruik dan nadelen bieden?

[vso]

Da_maniaC schreef op zaterdag 15 oktober 2011 @ 11:14:
Is het mogelijk om op de machine waar etherboot + Xen zelf op draait ook een virtual machine op te starten?
Zou deze virtual machine voor het dagelijks gebruik dan nadelen bieden?

kort gezegd: als je goed tweaked zou in de perfecte situatie alles naast elkaar kunnen draaien.
Er is een groot verschil tussen "diskless" draaien of VM, dat zijn 2 complete verschillende werelden.

Even 2 dingen splitsen, wat er gebeurt is de machine waar "etherboot" draait is de machine zonder schijf.
de "server" bied alleen een schijf aan met een grote die jij toegewezen aan de "etherboot" machine

In dit hele verhaal is je Interne performance erg belangrijk, je loopt gewoon tegen de limitaties van je hardware aan. Wat geen probleem hoeft te zijn.

Diskless boot --> hardware van de "client" maar schijf op de server
XEN (of ander hypervisor ding) ---> centrale hardware
NAS ---> centrale opslag.

Het grootste voordeel van Diskless(ISCSI) is dat je geen gigabytes "verspilt" op clients lokaal. maar HD intensieve taken zijn nu niet bevordelijk van de performance van de NAS.
VM's draaien op 1 punt kan je diensten die je 24/7 in de lucht draaien naar 1 machine verplaatsen en dus hardware verminderen. (ik doe bv download's in een VM)

[RvV]

Hoi allemaal, ik heb een vraagje en misschien hebben jullie nog wel leuk een idee.

Ik wil voor een vmware omgeving tot begin volgend jaar +- 1,5TB aan extra storage kunnen aanbieden (iSCSI of FC). Dit zullen +- 50 VMware View VM's zijn, dus veel IOPS nodig!

Dit jaar heb ik geen Netapp / EMC / Equalogic geld meer te besteden.

Nu zat ik eens te denken:

1) Een simpel pctje bouwen, 8 SSD's bestellen van 256GB per stuk en aan de onboard RAID controller hangen in RAID5. Ik weet alleen niet hoe goed die onboard controllers presteren en kunnen die wel 8 SSD's aansturen? Dit is een beetje een wilde gok zonder ook maar enig idee te hebben hoe dit gaat presteren. Anders een fatsoenlijke sata raid controller bestellen?

2) Qnap 1279u? bestellen en daar SSD's in stoppen. Zo heb je toch nog wat redundantie in de PSU's en NIC's en waarschijnlijk een betere kans op succes?

3) ??

Mijn idee is namelijk dat ik met 6-8 SSD's meer iops kan trekken dan met profi 15 x 450GB 15K FC disks wat ook nog eens duurder gaat zijn.

[Verwijderd]

Met één SSD trek je al meer IOps dan 15x 15.000rpm schijven in RAID0, als het om kleine request sizes gaat. Wat voor OS wil je gaan draaien; je weet dat Onboard RAID alleen op Windows werkt; voor alle andere OS is dat gewoon een SATA controller waarop je de OS eigen software RAID kunt gebruiken. RAID5 is natuurlijk niet zo sexy onder Windows platform, maar ZFS weer wel. Overigens kun je onder Windows platform ook gewoon RAID0 overwegen met HDD als backup, mits downtime niet zo'n probleem is. En geen onbetrouwbare Sandforce SSDs gebruiken naturlijk.

SSDs van 256GB zou ik zelf ook niet doen; beter is 16 SSDs van 128GB en het beste is 32 SSDs van 64GB, alhoewel je dan aardig wat controllers nodig hebt. Je zit dan aan 50k * 32 = 1,6 miljoen theoretisch maximale random read IOps, iets wat je overigens alleen haalt met extreem hoge queue depths. In de praktijk is het schalen van RAID0 iets wat enorm goed werkt onder SSDs voor meerdere VMs die veel random access verrichten.

[RvV]

Dan zou ik bijvoorbeeld een Freenas servertje kunnen bouwen. (Installatie op USB disk?? wat mij een beetje een raar gevoel geeft, maar goed). En dan een aantal SSD's in raid5 (raid-z) draaien met ZFS?

[Jormungandr]

Aangezien je zegt dat je tot begin volgend jaar behoefte hebt aan zelfbouw, dan neem ik aan dat je in 2012 wel budget hebt voor een SAN box? In dat geval zou ik niet TE wild gaan en gewoon lekker zien dat je je doel fatsoenlijk haalt zonder teveel overhead.

Das geld dat je dan volgend jaar lekker in je VNX kan steken

[Verwijderd]

.

[ Voor 99% gewijzigd door Verwijderd op 15-10-2011 19:43 ]

[RvV]

pd5rmv is een ander account van mij...grmbl..

Maar wat ik wou zeggen:

Dat het voor nu even belangrijk is om iets in elkaar te knutselen voor de minder kritische VM View pc's die je, indien het fout gaat, weer snel genoeg opnieuw kunt provisionen, desnoods op local storage van de ESXi hosts zelfs. Maar je hebt wel een punt hoor.

[vso]

een zelfbouw nas in het bedrijfsleven ???

Dat zou ik alleen inzetten als budget goedkope storage .. waar space belangrijker is dan snelheid of andere zaken ..

Smallnetbuilder heeft leuke vergelijkingen en waarom niet een NAS maar ipv SAS Sata disks ?

ga je voor IOPS dan moet het bedrijf maar gewoon dokken of helaas pindakaas .. voor een custom build ben je altijd de pisang als het fout gaat.

[NIK0]

Ik heb de builds links en rechts 'ns zitten bekijken het valt me op dat er nogal een groot verschil bestaat in de voedingen die geselecteerd worden.
De ene heeft 25 disks met een 1200 Watt voeding, de ander 20 disks met 520 Watt en weer een ander noemt in het geheel de PSU niet (alsof die er niet toe doet)

Hoe bepalen jullie in het algemeen welke voeding het beste past bij je opstelling?

Heb via Quindor al wat tips gehad ( ) maar ben na het lezen van de diverse builds nog nieuwsgieriger geworden wat de gedachtengang bij diverse Tweakers is omtrent het PSU vraagstuk.

[vso]

NIK0 schreef op zaterdag 15 oktober 2011 @ 21:32:
Heb via Quindor al wat tips gehad ( ) maar ben na het lezen van de diverse builds nog nieuwsgieriger geworden wat de gedachtengang bij diverse Tweakers is omtrent het PSU vraagstuk.

Het gaat meestal om de "piek" belasting .. wat trekken alle disks als ze "opstarten" het zogeheten gestappeld starten .. scheelt veel in het vermogen wat er nodig is.
en dat ligt weer aan de controller(s) die je hebt voor je disk(s) en natuurlijk het aantal disks ..

het gaat eigenlijk om de ruimte die nodig hebt, budget en "tijdperk" wanneer je, de meuk koopt die je nodig hebt.

[Quindor]

NIK0 schreef op zaterdag 15 oktober 2011 @ 21:32:
Ik heb de builds links en rechts 'ns zitten bekijken het valt me op dat er nogal een groot verschil bestaat in de voedingen die geselecteerd worden.
De ene heeft 25 disks met een 1200 Watt voeding, de ander 20 disks met 520 Watt en weer een ander noemt in het geheel de PSU niet (alsof die er niet toe doet)

Hoe bepalen jullie in het algemeen welke voeding het beste past bij je opstelling?

Heb via Quindor al wat tips gehad ( ) maar ben na het lezen van de diverse builds nog nieuwsgieriger geworden wat de gedachtengang bij diverse Tweakers is omtrent het PSU vraagstuk.

Nou, laten we hier verder gaan zou ik zeggen.

Een 1200 Watt voeding is echt de grootste onzin ter wereld, behalve als je wellicht SLI draait met 2xGTX590 (Quad-GPU) met daarbij 10 disks en 2 overclockte CPU's. Verder zou ik niet weten wat je er mee wilt. Sterker nog, je wilt het liever niet vanwege het stroomverbruik. Hoe zuiniger een server, hoe beter voor de portemonnee!

Voor mijn server heb ik alles apart gemeten (opgezocht) en bekeken om te bedenken hoeveel stroom ik nodig zou hebben. Mijn mobo + cpu + geheugen gebruiken zo'n 30 Watt (Q67 + i5-2500 + 16GB) idle. Maar tijdens boot zo'n 80 Watt. Met 2x SSD (Vertex2) erbij komt de idle op zo'n 32 Watt en tijdens boot rond de 85 Watt.

Met 8x2TB F3EG erbij zit ik tijdens boot rond de 180 Watt en idle rond de 85 Watt.

Zo zie je dus dat ik nooit boven de 200 Watt kan komen met een fully loaded server! Volgens de specs van de F3EG's zouden deze zo'n 13 Watt tijdens boot moeten gebruiken. Zou je in plaats van 8 disks naar 20 disks gaan, dan heb je nog steeds maar zo'n 220 Watt voor de disks + 80 voor system = 300 Watt nodig hebben.

Nou is dat wat 'on the edge'. Als je serieus 300 Watt gaat trekken tijdens het booten is een voeding van minimaal zo'n 500 Watt aan te raden. Je wilt je load ten alle tijden tussen de 20% en 80% houden vanwege de efficiëntie curve en drain op je voeding tijdens het opstarten. De 500 Watt kan de 300 Watt piek makkelijk opvangen, en idle zou je rond de 100 Watt voor disks + 32 voor system = 132 Watt. Wat prima tussen de 100 (20%) en 400 (80%) valt. Ook zijn opties zoals staggered spinup te bekijken welke er voor zorgt dat je piek klap op je voeding niet zo hoor is.

Deze berekeningen zijn idle voor cpu, etc. maar toch, max van cpu is zo'n 60 Watt. Verder moet je nog denken aan fans, eventuele leds, etc.

Uiteindelijk heb ik zelf een SeaSonic X-560 genomen. Helaas hadden ze daar geen lagere Wattage versie van, anders was die beter geweest. Wel is dit een 80 plus Gold voeding en komt zeer goed uit de tests, ook bij laag verbruik. En ik vind SeaSonic gewoon top.

Anyway, my 2 cents. Uiteindelijk moet je met de Wattage welke er in de spec sheet staat en welke er uit het stopcontact getrokken worden rekening houden met de efficiëntie factor. Maar toch. Anyway, dus, genoeg tips.

[vso]

Q schreef op donderdag 03 september 2009 @ 19:41:
Okee,

Kom ik aanzetten met 18 TB maar dit is andere koek:

http://blog.backblaze.com...uild-cheap-cloud-storage/

67 TB voor krap $8000

Nu is die hoeveelheid data erg veel, maar ik vraag me af als discussie .. als je poort multipliers gebruikt .. met FIS based switching en ncq enabled .. waar zitten nu echt je bottle necks .. ?

zeker Bits/Bytes maken het niet makkelijjker

[Verwijderd]

Zij zullen geen peak performance nodig hebben Daarnaast hebben ze de capaciteit inmiddels verder opgevoerd.

[Jormungandr]

Backblaze is puur voor opslag. Geen fancy replication ed maar gewoon backup. (zie wel dat ze dedup doen, ben ik benieuwd naar)

Hun volgende bewering:

Before realizing that we had to solve this storage problem ourselves, we considered Amazon S3, Dell or Sun Servers, NetApp Filers, EMC SAN, etc. As we investigated these traditional off-the-shelf solutions, we became increasingly disillusioned by the expense. When you strip away the marketing terms and fancy logos from any storage solution, data ends up on a hard drive.

Is in se wel waar maar nogal kort door de bocht gegrepen. Dat terzijde, mooi om te zien dat ze het lef hebben om alles op zelfbouw te baseren.

Ontopic vraagje even. Ik ben van plan om men NAS samen met een toekomstige ESXi server op zolder te zetten en op 1 gigabit switch te zetten. Nu ben ik echter benieuwd wat de impact op de throughput gaat zijn als zowel de NAS als de ESXi server over die ene GigE lijn van de router naar de modem-op-zolder lopen. Storage voor de ESXi bak gaat via NFS op de NAS lopen.

Best 2 lijntjes trekken tussen de Router en de switch-op-zolder?

[DumbAss]

Heeft iemand ervaring met een Jetway JNC9C-550-LF in combinatie met FreeNAS? Op het forum kon ik er niet veel over vinden. Zijn er op dit moment populaire atom moederborden voor FreeNAS?

[Verwijderd]

Waarom zou je nu nog Atom willen gaan? Brazos bordjes zijn veel beter; kun je 8GiB RAM op prikken, zeker de helft zuiniger in idle (bij gebruik van PicoPSU) en je hebt echt PCI-express 2.0 erop zitten. Bovendien mooie 6Gbps SATA poorten.

Asus E35M1-I (niet deluxe) kun je eens naar kijken.

[Wim-Bart]

Al een tijdje was ik op zoek naar een NAS systeem voor een redelijke prijs. Helaas zijn de meeste kant en klare systemen best aan de prijs wil je meer dan 2 disks er in stoppen.

Om toch iets leuks in elkaar te zetten besloot ik om zelf te gaan bouwen. Waarbij dit het resultaat is geworden.

Stap 1, de hardware.

Wat ik wilde was een zo economisch goedkoop systeem in elkaar zetten met redelijke performance. Daarnaast moest het systeem software kunnen draaien met een aantal functionaliteiten welke ik nu op mijn losse servertjes had draaien.

De keuze was om vanuit Pricewatch een systeem samen te stellen op basis van de volgende componenten:

#	Product	Prijs	Subtotaal
1	Recom RC-8BS	€ 20,90	€ 20,90
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 59,90	€ 239,60
1	AMD Athlon II X2 220 Tray	€ 58,71	€ 58,71
1	Transcend TS8GSSD25H-M 8GB	€ 17,79	€ 17,79
1	Corsair Vengeance CML8GX3M2A1600C9 Low Profile	€ 41,90	€ 41,90
1	MSI GF615M-P33	€ 46,60	€ 46,60
Bekijk collectie Importeer producten		Totaal	€ 425,50

Zelf had ik al een Gold 80 voeding liggen van 400 Watt wat voldoende zou moeten zijn.

Omdat ik voor een kennis ook op zoek was naar een systeem wat goedkoop moest zijn voor basis internetten ging ik eens aan de slag met "Vraag en Aanbod" waar mijn oog viel op dit systeem bestaande uit de volgende componenten:

Processor: Intel C2D E6320, 1,86Ghz
Geheugen: 2GB DDR2
Moederbord: Asus P5L-1394 Moederbord
Harddisk: 160GB, 7200RPM Sata hardeschijf
CD/DVD: Asus DVD-RW (IDE)
Kast: Aopen H450E Kast

En dat voor de prijs van € 60,00.

Deze opstelling had echter als nadeel dat er onvoldoende bay's waren voor de disks (daarover later) waar ik later achter kwam en het MB geen hardware raid ondersteunde (ICH chipset zonder raid). Tijdens de bouw paste ik mijn idee aan en ging ik even op zaterdag naar Alternate om wat spullen te halen:

#	Product	Prijs	Subtotaal
4	[Kingston ValueRAM 1 GB DDR2-667 (Retail, KVR667D2N5/1G)	€ 12,49	€ 49,96
1	DeLOCK Dual poort Serial-ATA 3G/s PCIe adapter (RAID 0/1)	€ 11,99	€ 11,99
4	2TB Refurbished harddisk SATA	€ 49,99	€ 199,96
-	Totaal	-	€ 261,91

Totaal kwam het NAS dus op € 321,00.

2. De bouw

De bouw was niet zo spectaculair, ik had nog een fan liggen om de boel wat extra te koelen.

Als eerste de voeding vervangen door de Corsair CX400. Dit was vrij simpel. Kabels een beetje netjes wegwerken. Het voordeel van deze voeding was dat er plenty SATA voeding kabels aan zitten.

In tweede instantie de extra fan inbouwen aan de voorkant van het systeem, dit is nodig om de 6 harddisks te koelen. Ja, 6 disks.

Daarna 2 disks van 160GB in RAID 1 aansluiten op de separate contoller. Dit worden de OS disks. Door de keuze van de controller viel helaas de keuze voor Linux af, doordat er geen drivers waren.

Daarna 2 maal een 10/100 PCI netwerkkaart erbij, gewoon omdat ik ze had liggen.

Geheugen vervangen (MB ondersteund helaas maar 4GB).

Daarna een 4 disk bay bouwen met behulp van twee houten plankjes voor de 4 2TB disks.

Alles aansluiten en de BIOS goed instellen.

Hieronder wat bouwfoto's:





3. Installatie OS

Zoals al eerder duidelijk werd heb ik niet gekozen voor Linux of een Unix variant. Nee ik ben eigenwijs. Omdat ik zelf in bezit ben van Microsoft Technet besloot ik aan de gang te gaan met Windows Storage Server. Na de installatie dacht ik, nee ik ga gewoon voor Windows 2008 R2 standaard Edition wat het uiteindelijk ook geworden is.

De installatie van Windows 2008 R2 ging als een speer, alleen had ik problemen met de management software van de Raid controller. Na wat speurwerk kwam ik er achter dat de beste drivers en software opgehaald kon worden bij Silicon Image.

4. Configuratie en setup

De uiteindelijke configuratie is geworden:
Controller 0 - Sil3132r5 - 2x 160 GB in Raid 1 voor OS en swap.

Interne contollers - 4 x 2TB in Software Raid 5 voor data.
Disk 0: WDC WD20EADS-00R6B0
Disk 1: WDC WD20EARS-00MBWB0
Disk 2: WDC WD2002FYPS-01U1B1
Disk 3: WDC WD20EADS-00R6B0


De netwerkkaarten zijn als volgt verdeeld:
1000/100/10 Interne netwerkkaart - LAN
2 x 100/100 PCI kaart voor Hyper-V

De volumes zijn netjes met Diskpart aangemaakt en alligned op 64MB.

5. Performance en verbruik

Heel veel mensen raden Windows Server RAID-5 af. Om dit te testen heb ik wat zitten kopieeren. Hieronder de performance over de 1Gbps netwerkkaart vanaf mijn PC.


In bovenstaande afbeelding zijn er twee dingen te zien:
1e kopieslag was vanaf NAS naar lokale RAID-1 partitie op mijn werkstation, hierbij kwam ik niet boven de 50% netwerk. 2e kopieerslag was naar een RAID-0 partitie op mijn werkstation, hierbij trek ik de volle 1Gbps volledig vol.

Op de server draaien ondertussen: Kerio Connector Mail, FTP server en wat andere services.

Diskmarks:
De RAID-1 disk (C:)

De Software RAID-5 disk (D:)



Temperaturen:


Verbruik:
Op het moment van schrijven verbruikt het systeem rond de 140 Watt, bij belasting en VM's draaien gaat dit omhoog, bij booten trekt het iets over de 200 Watt (moet nog exacte meting doen met een professionele meter en niet met een gammading).

6. Conclusie

Een Windows 2008 R2 Software RAID 5 configuratie is geen enkel probleem. Alleen bij heel veel kleine bestanden kan het problemen opleveren qua performance. Ik gebruik zelf altijd "last access time" wat je handmatig moet aanzetten voor gebruik binnen Storage reporting services zodat ik usage kan monitoren. Dit heeft geen noemenswaardige impact.

Daarnaast is recovery van de disks ook geen probleem. Ik had eerst de volumes aangemaakt onder storage server. Nadat ik nieuw OS had geïnstalleerd hoefde ik de RAID-5 alleen maar te importeren via Diskpart. Geen zware klus.

De bouwtijd inclusief OS is relatief weinig, ongeveer 2 uur, het maken van een RAID-5 volume van deze size is een ander verhaal. Totale build/rebuild duurt tegen de 41 uur.

[DumbAss]

Verwijderd schreef op zondag 16 oktober 2011 @ 14:57:
Waarom zou je nu nog Atom willen gaan? Brazos bordjes zijn veel beter; kun je 8GiB RAM op prikken, zeker de helft zuiniger in idle (bij gebruik van PicoPSU) en je hebt echt PCI-express 2.0 erop zitten. Bovendien mooie 6Gbps SATA poorten.

Asus E35M1-I (niet deluxe) kun je eens naar kijken.

Ik ga eens naar de Brazos kijken. Ik dacht dat de atom het sumum van energiezuinig x86 was

[NIK0]

Top informatie Quindor!

Geinspireerd door diverse tweakers hier ben van plan een archief servertje te gaan opbouwen. (Films, Foto's, Video's)
Alle prio-data wordt ook buiten de deur bewaard. Ga van deze setup verder geen backup maken maar zal de redundantie van flexraid gaan gebruiken.
Ik had nog "ouder" spul liggen en sinds een aantal dagen heb ik ook nog een kast kunnen regelen, dit is wat ik tot nu toe heb:

Kast Stacker STC-01

Mobo MSI P965 Platinum

CPU Intel Core2Duo E6300 met VTx

RAM Kingston 6GB PC5300 DDR2

Voeding ???

NIC Onboard + misschien nog een Intel kaartje

Controller IBM M1015 is al via ebay besteld moet nog binnen komen

OS Windows 2008 R2 of Windows 7

RAIDConfig Zal flexraid gaan worden, meer hierover voor het hoe en waarom komt nog

Het liefst had ik er nog een hypervisor tussengezet maar ik kan maar geen goedkoop Socket 775 bordje vinden wat Intel VT-D ondersteunt. (DDR2 support met X38 of X48 chipset met het liefst 2 PCIe x8 poorten voor 2 raidcontrollers). eigenlijk schandalig dat die features allemaal allang bestaan maar dat mobo makers die zooi gewoon uit zetten in de bios.

Heb inmiddels wat zaken ingevoerd in de eXtreme Power Supply Calculator
Ik ga bij deze setup uit van max 18 harddisks(haal ik denk ik nooit maar goed). De calculator komt uit op +/- 400Watt
Ben dus op zoek naar een Modulaire PSU waarmee ik socket 775 + de nieuwste socket mobo's in de toekomst kan aansluiten.
Neig naar een Seasonic M12II, 620Watt (SATA x9, Molex x6) of een Corsair Professional Series HX650 650W ATX (SATA x9, Molex x8).
Dat is de informatie die ik tot nu heb verzameld en aangezien een foutje snel gemaakt is en je maar zo lang naar die hardware kan blijven staren zijn tips/trucs en opmerkingen welkom!

[Dadona]

De energie(on)zuinigheid volgens CiPHER is iets kort door de bocht. De Atom op zich is niet slecht, het probleem is de chipset. De betaalbare, losse, moederborden hebben een waardeloze chipset bij zich. Maar kun je een goede deal voor een Atom met een US15W chipset maken dan heb je wel degelijk een zuinige samenstelling. Maar feit is dat je ovor minder een zuinigere Brazos opstelling krijgt, die ook nog eens de eerder genoemde voordelen heeft.
Einde van de rit zou ik dus ook voor de Brazos gaan.

[DumbAss]

OK. Ik ga me eens verdiepen in de Brazos. Wilde FreeNAS gaan gebruiken en ik heb hier nog een pandaboard liggen maar FreeNAS werkt (nog) niet met ARM

[Verwijderd]

Ik heb ook een US15W Atom setup en een Brazos setup. Het verschil is toch aardig groot. Ik kan met Brazos onder de 10W komen (stopcontact gemeten; kaal) terwijl Atom toch tegen de 20W aanzit; hoeveel precies ben ik even kwijt maar meer als ik dacht toen ik het setje kocht.

Daarnaast is US15W erg uitgekleed qua SATA poorten en PCIe, terwijl Brazos best wel featured is met 6 SATA/600 en PCIe 2.0 en HDMI video output want analoog kun je tegenwoordig niet zo veel meer mee.

@dumbass: kun je iets meer vertellen over dat ARM bordje? Typenummer waarop ik kan googlen? Want FreeBSD doet in principe wel ARM.

Ik gebruik dit plankje:
pricewatch: MSI E350IS-E45
(irritant is wel die fan; die zelf al 0.9W gebruikt! Die moet ik er nog afslopen)

Maar je kunt ook kijken naar dit bordje die heeft 6SATA ipv 4:
pricewatch: Asus E35M1-I

[ Voor 34% gewijzigd door Verwijderd op 16-10-2011 19:24 ]

[DumbAss]

Welk moederbord gebruik je?

[DumbAss]

pandaboard.org
Volgens de specs zou het 3-5 watt moeten trekken maar dat zou ik eigenlijk eens na moeten kijken (heb nog niet zo'n verbruikmeter).

[FireDrunk]

Die panda dingen zijn leuk, maar wel reteduur... Als ze zoiets nou hadden voor $50 zonder 1080p en 4 sata aansluitingen (of een PCIe x1 aansluiting) was ik verkocht

[Verwijderd]

Daarom wacht ik op http://www.raspberrypi.org/

Ik zit al een tijd te azen op een Pandaboard, maar ik vond ze te duur. Veel power heb ik niet nodig, als dit ding gewoon Debian/Ubuntu kan draaien en wat zaken over USB aan kan sturen ben ik happy

[DumbAss]

M'n baas heeft de pandaboard betaald dus toen vond ik het niet zo duur
Ik ga voor de Asus E35M1-I. Ik zou liever een moederbord hebben met een amd c-60/c-50 maar ik kan daar niks over vinden.

[FireDrunk]

http://www.nufront.com/en...8aa1-6f6413a692f9155.html

Erg nice! Dualcore 2ghz @ 2w nominal power consumption.
Alleen jammer dat hij geen gigabit heeft...

[Megamind]

Bah ik draai mijn Highpoint RocketRAID 2640X4SGL nu ongeveer een maand en heb sinds vorige week alleen maar problemen ermee gehad.

Elke keer als ik torrents aanzet van een groot bestand (20GB bv) dan loop de hele raid controller gewoon vast, kan nog wel iets doen in de webinterface maar niet eens de schijven zelf bekijken.

Windows komt elke keer met de melding "scsi device has timed out", alleen een powercycle kan de kaart weer normaal krijgen, de raid is dan niet degraded.

Support van Highpoint is ook lekker makkelijk:

Dear Sir or Madam,

We think it may not be well compatible with this environment.

Regards
Global Support Center
HighPoint Technologies, Inc.

Er zitten 4 schijven op in raid 5: 3xSAMSUNG HD204UI 1xSAMSUNG HD203WI.

Zou niet kunnen weten waarom die kaart elke keer stopt, denk dat het gewoon garantiegeval wordt.

[FireDrunk]

Alle extra features al eens uitgezet? NCQ, Write Back Cache, Read ahead verlagen.
Wil nog wel eens schelen om incompatibiliteitsproblemen (galgje anyone?) te verhelpen.

[Megamind]

FireDrunk schreef op maandag 17 oktober 2011 @ 10:12:
Alle extra features al eens uitgezet? NCQ, Write Back Cache, Read ahead verlagen.
Wil nog wel eens schelen om incompatibiliteitsproblemen (galgje anyone?) te verhelpen.

Het is een Highpoint kaart he Enige 2 opties die er zijn: staggered startup (dat na aanzetten niet meer uitkan omdat het de firmware van je schijf wijzigd), en writeback/writethrough.

Heb nu op writethrough gezet, het lijkt erop dat ie niet meer vastloopt, zal zo wel eerst even een benchmark doen om het verschil te zien in MB/s.

[ Voor 13% gewijzigd door Megamind op 17-10-2011 13:34 ]

[Verwijderd]

@Megamind: Kun je de SMART data van alle schijven op je controller eens op pastebin zetten ofzo?

[Valkyre]

FireDrunk schreef op maandag 03 oktober 2011 @ 14:12:
http://www.ehow.com/how_7...raid-5-other-servers.html

Even importeren.

Inmiddels ben ik een vakantie verder, en bij thuiskomst lag er een pakketje te wachten. Dus gisteren in elkaar gezet, zelfde windows versie geinstalleerd, voor de zekerheid alle updates gedraaid.
Ik hoefde niet eens te importeren, mijn F: drive (raid 5 volume) werd direct gezien. super.

[SanderH_]

Ondertussen al weer een tijdje geleden dat ik nog in dit topic heb gepost. Mijn NAS draait eigenlijk vrij soepel. Ik ben dan ook meer dan tevreden van de snelheden die ik kan halen met mijn bescheiden specs:



In al die maanden heb ik me eigenlijk ook nooit echt zorgen gemaakt over energieverbruik aangezien de server meestal idle staat (toch als ik dstat moet geloven). Ik heb al een paar keer "spindown" zien passeren in dit topic maar heb nooit echt een goede recentie tutorial gevonden voor debian squeeze, buiten de "spindown optie" aan te vinken in de GUI.

WOL lijkt mij ook interessant al zou dat het nut van mijn NAS kunnen beperken. De hoofdfunctionaliteit van mijn NAS is downloadserver. Het is dan ook de bedoeling dat hij enkel 's nachts of als ik niet thuis ben alle downloads kan binnenhalen (broodnodig bij een internetverbinding met 4.8 Mbps downstream ) via programma's als sabnzbd en sickbeard. Via WOL moet je echter expliciet een berichtje gaan sturen naar de ethernetkaart om hem uit sleep te halen. Er bestaat geen mogelijkheid om dit bijvoorbeeld te laten doen door een extern programma zoals sickbeard en gaat het hele nut van mijn downloadserver een beetje verloren vrees ik.

Ten slotte moest ik nog aan iets vrij banaals denken. Tijdens het assembleren van mijn NAS heb ik nooit mijn schijven gemarkeerd (via een kenteken of een letter of iets dergelijks). Aangezien ik MDADM (RAID-5) draai mag er altijd 1 van mijn 3 schijven uitvallen. Hoe kan ik nu _fysiek_ de defecte schijf gaan detecteren? Ik had eigenlijk nooit echt stilgestaan bij deze situatie, maar nu ik er aan denk..

[ Voor 5% gewijzigd door SanderH_ op 19-10-2011 00:54 ]

[Verwijderd]

Lees met smartctl -a het serienummer af van je schijf in Ubuntu en controleer fysiek de disks

[FireDrunk]

Gohan-san schreef op dinsdag 18 oktober 2011 @ 11:09:
[...]

Inmiddels ben ik een vakantie verder, en bij thuiskomst lag er een pakketje te wachten. Dus gisteren in elkaar gezet, zelfde windows versie geinstalleerd, voor de zekerheid alle updates gedraaid.
Ik hoefde niet eens te importeren, mijn F: drive (raid 5 volume) werd direct gezien. super.

En dan roept iedereen dat ZFS zo 'transporteerbaar' is...
Windows wint dus

[Megamind]

Gohan-san schreef op dinsdag 18 oktober 2011 @ 11:09:
[...]

Inmiddels ben ik een vakantie verder, en bij thuiskomst lag er een pakketje te wachten. Dus gisteren in elkaar gezet, zelfde windows versie geinstalleerd, voor de zekerheid alle updates gedraaid.
Ik hoefde niet eens te importeren, mijn F: drive (raid 5 volume) werd direct gezien. super.

Wat is nu je performance van je Raid5? Bij mij was het helaas bedroevend (15MB/s en 100% CPU )

[Valkyre]

FireDrunk schreef op woensdag 19 oktober 2011 @ 08:07:
[...]


En dan roept iedereen dat ZFS zo 'transporteerbaar' is...
Windows wint dus

hehe indeed makkelijker dan dit kan haast niet

Megamind schreef op woensdag 19 oktober 2011 @ 08:24:
[...]

Wat is nu je performance van je Raid5? Bij mij was het helaas bedroevend (15MB/s en 100% CPU )

Welke benchmark heb je gedraaid? dan kan ik wel dezelfde doen. Lan benchmarks kan ik nog even niet draaien aangezien ik net verhuisd ben en mijn bak met een raid 0 schijf nog niet aangesloten staat.

Sowieso gaat het voornamelijk om de read performance aangezien het mijn nas/download bak is, het downloaden kan immers 's nachts / overdag plaats vinden.

Ik heb even crystalmark gedraaid:

code:

-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   138.134 MB/s
          Sequential Write :     7.547 MB/s
         Random Read 512KB :    24.261 MB/s
        Random Write 512KB :     8.890 MB/s
    Random Read 4KB (QD=1) :     0.298 MB/s [    72.7 IOPS]
   Random Write 4KB (QD=1) :     0.151 MB/s [    36.9 IOPS]
   Random Read 4KB (QD=32) :     1.667 MB/s [   406.9 IOPS]
  Random Write 4KB (QD=32) :     0.386 MB/s [    94.2 IOPS]

  Test : 500 MB [F: 61.3% (2283.4/3725.8 GB)] (x3)
  Date : 2011/10/19 9:48:35
    OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)

Qua CPU gebruik kan ik kort zijn GEEN... wat ik an sich wel vreemd vind want als ik normaal grootte bestanden kopieer dan gaat het CPU gebruik van 1 of 2 cores wel redelijk omhoog.


Wat ik mij alleen nog afvraag of ik vanaf afstand kan controleren of mijn schijven in spin-down stand staan? dit heb ik ingesteld op 20 minuten idle, en sickbeard enz scannen om de 8 uur.
Alle applicaties heb ik op de C: (= SSD) geinstalleerd.

[ Voor 47% gewijzigd door Valkyre op 19-10-2011 10:02 ]

[FireDrunk]

Wikipedia: hdparm

Ik weet de exacte optie niet, maar je kan met een optie checken in welke modus hij staat.
Je hebt Active, Standby en Offline/Inactive volgens mij. Waar Standby een schijf is die weer aan kan met een commando.

[Verwijderd]

-S volgens mij

[SanderH_]

Gohan-san schreef op woensdag 19 oktober 2011 @ 09:30:

Sowieso gaat het voornamelijk om de read performance aangezien het mijn nas/download bak is, het downloaden kan immers 's nachts / overdag plaats vinden.

....

Wat ik mij alleen nog afvraag of ik vanaf afstand kan controleren of mijn schijven in spin-down stand staan? dit heb ik ingesteld op 20 minuten idle, en sickbeard enz scannen om de 8 uur.

Zou je me even kunnen vertellen hoe je dit juist hebt ingesteld zodat je schijven na x aantal minuten in spindown gaan, en je server slechts binnen bepaalde tijdstippen actief wordt (als sickbeard bvb iets nieuws klaar heeft)?

Hetgeen je hier vermeldt is namelijk net hetgeen waar ik iets hierboven naar op zoek was .

[Valkyre]

Het schijven uitschakelen kun je gewoon in windows bij 'power' of 'power plan' instellen, en 20 minuten lijkt mij redelijk.
Daarnaast heb ik er voor gezord dat alle applicaties niet op deze schijf staan. (actieve binnenkomende downloads natuurlijk wel, dat is funest voor je/mijn SSD)

Sickbeard/couchpotato heb ik dezelfde zoek intervallen gegeven, en bij startup vna windows tegelijk laten opstarten, waardoor ze op hetzelfde tijdstop gaan zoeken (als het goed is, ik snap beide programma's nog niet 100%)

Alleen moet ik nu nog uitzoeken of het daadwerkelijk ook zo werkt. mijn energy meter moet ik er ook nog tussen hangen.

[Dadona]

Overigens kun je hdparm prima onder cygwin draaien, op die manier krijg je meer controle over de schijven onder Windows. De status lees je overigens uit middels de -C, met -S dan stel je de het moment van spindown in.

[Valkyre]

dat Hdparm moet ik nog even bekijken, maar de links die ik tot nu to kreeg waren tar.gz bestanden ergo linux

[FireDrunk]

Nee hoor, tar.gz kan je prima onder windows openen met WinRAR.

Wat Dadona bedoelt is dat je de linux binary (equivalent van een executable) kan openen onder Cygwin (tool om linux apps te draaien onder windows)

Daarna kan je met hdparm -C [insertdevicenaam] uitlezen of je disk op dat moment uit staat of aan staat.

[Valkyre]

Prima zal eens kijken wat ik ermee kan.
Overigens denk ik dat de spindown wel werk aangezien toen ik zojuist op het Raid 5 volume voor de eerste keer (na lange inactiviteit >30min) ging browsen, het +-5 a 10 seconden duurde, wat op een spinup lijkt.

Cygwin geinstalleerd maar ehm dit gaat nog even een uitdaging worden om te kijken hoe ik hdparm open/aanroep e.d.

[ Voor 18% gewijzigd door Valkyre op 19-10-2011 13:05 ]

[Megamind]

Verwijderd schreef op maandag 17 oktober 2011 @ 17:46:
@Megamind: Kun je de SMART data van alle schijven op je controller eens op pastebin zetten ofzo?

Hierbij de smart data:
http://pastebin.com/t7rB7hbp

HighPoint kan mij niet meer helpen (of ze willen niet meer), dus weet niet wat ik er mee aan moet.

Heb even CrystalDiskmark gedraait en kreeg nu 370 read en 100 write, dit was bij writeback natuurlijk een stuk hoger (370 bij 300 oid).

[Verwijderd]

Megamind schreef op woensdag 19 oktober 2011 @ 22:21:
[...]

Hierbij de smart data:
http://pastebin.com/t7rB7hbp

Hmm kun je niet normale SMART output krijgen, want hier kun je niets mee; geen enkele raw value wordt vermeld. Dus zo weet je nog niks.

Als het onder Windows niet lukt kun je wellicht met Ubuntu Linux livecd booten en daar met smartmontools werken, zoals:

smartctl -A -d hpt,1/1
(dat -d hpt,1/1 is voor passthrough via Highpoint controller)

SMART is pas nuttig als je de echte raw values ziet; al die andere getallen zijn vrijwel nutteloos.

[_-= Erikje =-_]

Lol, net m'n nasje helemaal super draaien in m'n 4 bay kastje krijg ik van m'n werkgever een leeg chenbro chassis met 6 bays mee

Toch maar eens kijken voor een LSI SAS9211-8i en dan met wat kabelhandigheden d'r 6 drives bij knopen tzt wil ik toch een norco 24 bay systeem denk ik. 't is alleen vervelend dat ZFS zo klote expanden is

[ Voor 17% gewijzigd door _-= Erikje =-_ op 21-10-2011 14:14 ]

[Megalith]

Heb vandaag wat nieuwe spulletjes binnengekregen voor mijn nieuwe ESXi host.Altijd wel leuk om te zien dacht ik..





Twee HP quadport NIC's overgenomen van een medetweaker:


Supermicro X9SCL-F moederbord:


HP V1910 16poort Gigabit switch. Eigenlijk een 3com maar met een HP sticker er op..

[Jormungandr]

Welk memory/CPU gebruik je daarbij? Zijn het de Kingston 8Gb reepjes?

[Staatslot]

@fcg123 meer meer meer
Wil je ook eens vertellen wat je er allemaal op gaat draaien, misschien een totaalfoto als alles erin zit?
Misschien beter in het esxi topic in dit geval, maar we zijn volgens mij allemaal dol op foto's

[Megalith]

Nee geen 8GB reepjes. Deze moederborden slikken helaas alleen ECC Unbuffered, dus geen registered. En deze smaak hebben ze nog niet in 8GB DIMM's. Dit geheugen (KVR1333D3E9SK2/8G) gaat naar de SAN (zie 10+ TB showoff topic) en het geheugen wat nu (ook KVR1333D3E9SK2/8G maar dan vier modules) in de SAN zit gaat naar de ESXi host.

Voor de geinteresseerden wil ik best wat totaalplaatjes maken als het helemaal af is Eerst verder bouwen nu

[saiko223]

Ik ben al enige tijd op zoek naar een goede nas configuratie met freenas zfs erop. Tijdens mijn zoektocht heb ik besloten om voor ecc te gaan. Dan heb ik in combinatie met zfs een veilig systeem. De onderdelen die ik heb uitgezocht horen ecc te ondersteunen maar graag zou ik hierover feedback willen ontvangen.

Nu is mijn vraag of de volgende configuratie ecc ondersteund.

#	Product	Prijs	Subtotaal
1	Kingston DataTraveler G3 4GB Zwart	€ 5,40	€ 5,40
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 71,99	€ 431,94
2	molex to sata	€ 2,45	€ 4,90
1	AMD Athlon II X2 250 Boxed	€ 47,90	€ 47,90
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	ICIDU Value DDR3,1333-8GB KIT	€ 46,90	€ 46,90
1	Asus M4A88T-M	€ 69,10	€ 69,10
Bekijk collectie Importeer producten		Totaal	€ 640,99

[Verwijderd]

Zal vooral van je moederbord afhangen. Wellicht verstandig om een mailtje naar Asus te doen? Overigens zou ik zelf nog een extra setje halen voor in totaal 16GiB geheugen.

[ Voor 18% gewijzigd door Verwijderd op 24-10-2011 12:36 ]

[saiko223]

Op de website van asus staat dat het mobo ecc ondersteund. Maar op de website van de geheugen fabrikant zie ik tot mijn verbazing dat ze geen ecc ondersteunen. Terwijl dit wel op de PW en bij verschillende webshops staat.

[FireDrunk]

Het kan zijn dat het bord de modules slikt, maar de ECC functionaliteit niet gebruikt...
Even mailen werkt het beste...

[Polyphemus]

Vraagje:

Ik heb een server met Windows 2008R2 en twee (hardware) RAID5 array's van 4.5TB (2x 6x 1TB) op twee 3ware 9550sx-controllers

Van Windows wil ik graag af en ik heb mijn oog laten vallen op Freenas. Ik zit alleen met de vraag, moet ik op hardware RAID5 blijven of zal ik gewoon JBOD configureren en ZFS RAIDZ gebruiken?

Processor is een Xeon 3330, geheugen 8 GB.

Dank!

[Verwijderd]

Ik zou naar ZFS gaan, en gezien de hoeveelheid disks naar RAIDZ2 ZFS bevalt me qua stabiliteit uitstekend, ondanks dat m'n disks (alweer) SMART errors beginnen te gooien draait ZFS vrolijk door

[Polyphemus]

Dank voor je toelichting

En ZFSguru vs Freenas? Ik lees verhalen over dat de performance van Freenas erg te wensen overlaat, maar dat ZFSguru erg 'pril' nog is...

[Verwijderd]

Ik durfde ZFS-guru niet aan en heb toch voor Freenas gekozen. Ik heb het echter in een VM draaien op mijn ESXI-host, dus ik heb nog genoeg flexibiliteit om daar nog zaken naast te draaien

[FireDrunk]

Ik zou eerst op ervaringen zoeken met die controller icm ZFS. Want de ene JBOD is de andere niet...

[Megalith]

Is het niet beter om icm ZFS geen enkele RAID layer aan te maken op de controller zelf? Gewoon de losse disks aan ZFS geven in plaats van een JBOD volume?

[Pantagruel]

Polyphemus schreef op dinsdag 25 oktober 2011 @ 09:17:
Dank voor je toelichting

En ZFSguru vs Freenas? Ik lees verhalen over dat de performance van Freenas erg te wensen overlaat, maar dat ZFSguru erg 'pril' nog is...

ZFSGuru en FreeNAS hebben dezelfde OS ondergrond (FreeBSD), maar verschillen mbt aanwezige software (FreeNAS is veel kaler).
ZFSGuru is m.b.t. de web interface inderdaad pril, maar werkt goed en als het echt moet kun je in de cli gewoon je ding doen.

FireDrunk schreef op dinsdag 25 oktober 2011 @ 10:01:
Ik zou eerst op ervaringen zoeken met die controller icm ZFS. Want de ene JBOD is de andere niet...

De 3Ware 9xxx lijkt wel te werken in ZFS, maar dan wel met de drive als single disk.
Maar wat dat betreft is de regel voor ZFS simpel, hoe minder ondersteuning door de hardware RAID hoe beter. Sommige controllers houden toch nog een flinke vinger in de pap ook al heb je de drives als single/jbod opgegeven en dit kan problemen geven i.c.m. ZFS. ZFS regelt zelf eigenlijk alles m.b.t. integriteit e.d. en laat zich liever niet in de wielen rijden door de controller. Dit verklaard ook het succes van de 'domme' SAS HBA's (SASUC-8i/BR10i/M1015/9240), meer heb je niet nodig en ze zijn relatief goedkoop in vergelijking tot een raid kaart.

[Verwijderd]

Polyphemus schreef op dinsdag 25 oktober 2011 @ 08:11:
Ik heb een server met Windows 2008R2 en twee (hardware) RAID5 array's van 4.5TB (2x 6x 1TB) op twee 3ware 9550sx-controllers

Van Windows wil ik graag af en ik heb mijn oog laten vallen op Freenas. Ik zit alleen met de vraag, moet ik op hardware RAID5 blijven of zal ik gewoon JBOD configureren en ZFS RAIDZ gebruiken?

Je controllers zijn eigenlijk niet geschikt voor ZFS; voor ZFS wil je échte HBA's gebruiken wat dus non-RAID controllers zijn. Een RAID controller in passthrough of JBOD-modus blijft een RAID controller. ZFS krijgt geen directe controle over de disks er zit RAID-firmware tussen. Gevolg is dat je alleen via een omweg bij de SMART gegevens van elke disk mag komen, maar nog erger is dat de RAID firmware van je controller bij een bad sector de disk keihard kan disconnecten cq. onzichtbaar maken. Dan werkt het hele systeem van ZFS die automatisch bad sectors fixt ook niet.

Een IBM M1015 en flashen naar IT-mode firmware is dus een veel betere controller dan welke andere RAID controller dan ook.

Voor UFS en andere legacy filesystems geldt dit niet of minder, omdat die toch geen bescherming hebben voor bad sectors en dus sowieso over de zeik gaan bij onleesbare sectoren en je dan in het ergste geval moet terugvallen op je backup, met name als de bad sector in een gebied valt waar belangrijke metadata wordt opgeslagen.

Voor ZFS geldt dat je hele andere eisen krijgt voor hardware dan legacy filesystems met traditioneel RAID. Laatstgenoemde heeft voldoende met extreem weinig RAM; de RAID en filesystem kan aan een paar megabyte voldoende hebben, terwijl ZFS bergen RAM wilt door de transactionele I/O en de diverse methoden van ZFS die bescherming bieden alleen correct werken als ZFS directe controle heeft over de schijven.

Polyphemus schreef op dinsdag 25 oktober 2011 @ 09:17:
En ZFSguru vs Freenas? Ik lees verhalen over dat de performance van Freenas erg te wensen overlaat, maar dat ZFSguru erg 'pril' nog is...

FreeNAS heeft twee grote nadelen:

• Het gebruikt UFS, je kan geen 100% ZFS-only systeem bouwen. De combinatie van UFS en ZFS werkt onder FreeBSD heel slecht omdat UFS dan het geheugen wat ZFS zo hard nodig heeft gaat kapen en ZFS het niet meer terug krijgt. Dit kun je in 'top' zien; wired is kernel geheugen inclusief ZFS en 'inact' is waar de UFS filecache onder valt. Als dat laatste te groot wordt gaat dat ten koste van de performance van ZFS.
• FreeNAS is een kaalgepikte FreeBSD distributie, om een paar megabyte op je schijf te sparen. Als gevolg is het installeren of customizen van extra software geen gemakkelijke taak; je kunt het niet als volwaardig FreeBSD OS gebruiken.

Daarnaast heeft FreeNAS geloof ik nog een oudere ZFS versie en doet het geen ZFS tuning enzo, maar dat zijn nog de minste problemen denk ik.

ZFSguru daarintegen heeft als voordeel dat het een veel moderner platform biedt voor ZFS; nieuwere ZFS, goede volautomatische tuning en 100% ZFS omgeving zonder UFS. Ook is het volwaardig FreeBSD zonder dingen wegbezuinigd en kun je dus alles wat FreeBSD ook kan; dingen met portstree installeren etc. Maar nadelen zijn er ook:

• ZFSguru heeft maar een beperkt aantal functies geïmplementeerd. Geen FTP, TFTP, SFTP, user torrents of AppleTalk.
• Zaken als regelmatige ZFS scrubs, L2ARC/SLOG en het vervangen van vdev disks kan nog niet via de web-interface. Je zult dus voor sommige dingen moeten terugvallen op de shell, waar je natuurlijk wel bovenstaande en andere zaken kunt instellen. Maar (nog) niet via een mooie web-interface.

Verder is ZFSguru vooral een jong project met een mooie toekomst, maar nog niet af. De zaken die er in zitten werken wel goed, maar bijvoorbeeld voor snapshot beheer wil je nog veel terugvallen op de shell (command line).

FreeNAS is dus heel geschikt voor oudere hardware met 'ouderwets' UFS+software RAID met heel veel ingebouwde functionaliteit. ZFSguru is vooral geschikt voor modernere systemen met veel RAM en waarbij ZFS performance een belangrijk punt is en de gebruiker meer wenst te kunnen configureren via de shell. Dat laatste betekent ook dat je meer 'leertijd' investeert, iets wat met FreeNAS veel minder het geval is.

Het emuleren van je ZFS OS zie ik als sub-optimale configuratie. Veel beter zou zijn om je ZFS OS als host te draaien en andere taken in een VM onder te brengen. Dus bijvoorbeeld Virtualbox op FreeBSD/ZFSguru draaien voor overige dingen, of met Xen aanklooien wat de beste optie zou zijn qua performance en features. Nadeel van een ESXi setup is beroerde hardware support, hoger energieverbruik omdat veel power saving technieken niet werken en lagere performance. Dat laatste kan enigszins verzacht worden met Vt-d passthrough, maar het blijft een penalty.

[FireDrunk]

FreeNAS8 gebruikt UFS alleen voor de 100MB partitie op je USB stick... Ik denk dat het met het wegkapen van geheugen voor ZFS wel meevalt

[Verwijderd]

Ja dan kan je max UFS cache ook maar 100MB zijn; maar geldt dat ook voor de Full versie? Binnenkort nog maar eens 8.0 final testen.

Overigens valt het me wel op dat er eigenlijk geen nieuwe releases meer zijn geweest. 8.0 final is van mei dit jaar, en in juni de laatste Beta. Watskeburt? Ik zou denken dat een bedrijf als iX systems een veel consistentere releaseschedule kan aanhouden dan een éénmansproject zoals ZFSguru (of mag ik inmiddels al spreken van tweemansproject? )

[Verwijderd]

Verwijderd schreef op dinsdag 25 oktober 2011 @ 10:27:
Nadeel van een ESXi setup is beroerde hardware support, hoger energieverbruik omdat veel power saving technieken niet werken en lagere performance. Dat laatste kan enigszins verzacht worden met Vt-d passthrough, maar het blijft een penalty.

Het energieverbruik van mijn ESXi install is láger dan dat van FreeBSD en slechts 3w hoger dan de getunede Ubuntu die ik eerder draaide. Zo heel beroerd doet ESXi dit niet. Daarnaast is de performanceoverhead van ESXi slechts enkele procenten en kun je via raw device mappings een hoop nadelen opheffen: zelfs smart werkt gewoon.

Tot op heden ben ik dan ook erg te spreken over de ESXi/Freenas combinatie.

[Verwijderd]

Ik heb anders andere getallen gehoord waarbij ESXi significant hogere idle power consumption had dan Ubuntu/BSD. Maar gebruik je een AMD processor? Want die heeft juist veel baat bij cool'n'quiet enzo, terwijl Intel daar veel minder op leunt (EIST maakt haast niets uit).

Overigens als ESXi goed voor jou werkt gun ik je een mooie setup daarmee, daar niet van. Maar ik sta wel kritisch tegenover het emuleren van je hoofd OS. Ik denk dat een betere setup zou zijn FreeBSD als hoofdOS en dan Xen draaien waarbij je andere Xen-aware OS laat draaien op FreeBSD. Dan heb je ook profijt van de ULE scheduler en eigenlijk alle voordelen die FreeBSD OS biedt voor je systeem.

Ik neem ook aan dat de SMART support via passthrough gaat, en dat je niet direct met de disk kan communiceren? Dus ge-emuleerde SMART. Nadeel is dat zaken als scterc (TLER) en TRIM en dat soort fancy zaken wellicht niet werken. Alleen met vt-d passthrough zou dat moeten werken omdat je directe controle over de controller en dus ook de disks krijgt.

[Verwijderd]

Verwijderd schreef op dinsdag 25 oktober 2011 @ 10:58:
Ik heb anders andere getallen gehoord waarbij ESXi significant hogere idle power consumption had dan Ubuntu/BSD. Maar gebruik je een AMD processor? Want die heeft juist veel baat bij cool'n'quiet enzo, terwijl Intel daar veel minder op leunt (EIST maakt haast niets uit).

Het is een Sandy Bridge config. Ik had ook verwacht dat ESXi het beroerd zou doen, maar de getallen vielen me allerzins mee. Ubuntu tuned 18w, ESXi 21w, FreeBSD met wat optimalisaties: 24w.

Overigens als ESXi goed voor jou werkt gun ik je een mooie setup daarmee, daar niet van. Maar ik sta wel kritisch tegenover het emuleren van je hoofd OS. Ik denk dat een betere setup zou zijn FreeBSD als hoofdOS en dan Xen draaien waarbij je andere Xen-aware OS laat draaien op FreeBSD. Dan heb je ook profijt van de ULE scheduler en eigenlijk alle voordelen die FreeBSD OS biedt voor je systeem.

Ik ben daar niet zo bang voor: ESXi is bijzonder volwassen en de performance is prima. Ik heb naar de guides voor Virtualbox onder FreeBSD gekeken, maar het zag er niet heel volwassen uit. Met Xen heb ik 0,0 ervaring, dus dan is de keuze voor VMware een makkelijke

Ik neem ook aan dat de SMART support via passthrough gaat, en dat je niet direct met de disk kan communiceren? Dus ge-emuleerde SMART. Nadeel is dat zaken als scterc (TLER) en TRIM en dat soort fancy zaken wellicht niet werken. Alleen met vt-d passthrough zou dat moeten werken omdat je directe controle over de controller en dus ook de disks krijgt.

Klopt, maar zolang het werkt en de performance goed is, geloof ik het wel.

[Verwijderd]

Sandy Bridge is dan ook een HKMG processor die zonder softwarematige powersaving al heel zuinig is, in tegenstelling tot veel chips van AMD. Al heb ik de idle power van Llano en Bulldozer nog niet gemeten, wat ook HKMG processors zijn. Overigens wel opvallens dat FreeBSD voor jouw systeem dus 6W onzuiniger is dan Ubuntu?

Heeft iemand trouwens al eens benchmarks gedaan van ESXi of andere virtualized omgevingen in vergelijking met normale installaties? Op het HardOCP forum is dat wel een aantal keer gedaan, maar echt recente benchmarks kan ik niet vinden, bij voorkeur van stevige configuraties met veel cpu power, veel RAM en een shitload aan disks. Dan lijkt het erg interessant om te zien hoe groot de performance penalty nu precies is.

[ Voor 6% gewijzigd door Verwijderd op 25-10-2011 11:21 ]

[Verwijderd]

Je zou eens bij Anandtech kunnen kijken, Johan de Gallas bouwt geregeld flinke virtualisatiereviews

[FireDrunk]

Verwijderd schreef op dinsdag 25 oktober 2011 @ 10:58:
Ik neem ook aan dat de SMART support via passthrough gaat, en dat je niet direct met de disk kan communiceren? Dus ge-emuleerde SMART. Nadeel is dat zaken als scterc (TLER) en TRIM en dat soort fancy zaken wellicht niet werken. Alleen met vt-d passthrough zou dat moeten werken omdat je directe controle over de controller en dus ook de disks krijgt.

Heb je hier een bron van? Ik geloof er namelijk geen bal van dat dit geemuleerd word?

[Verwijderd]

Geen bron, maar als je direct requests zou mogen sturen naar de disk dan gaat dat denk ik problemen geven. Dat is zoiets als directe disk-toegang bieden op virtuele storage; natuurlijk mag dat niet je emuleert de controller en zet dus een laag tussen de fysieke disk en de virtuele disk om problemen te voorkomen.

Als het goed gebeurt hoeft er niet zoveel nadelen aan te zitten, maar ik vraag me dus wel af of TLER en TRIM en dat soort fancy zaken zullen werken, of dat je alleen basic SMART data mag inzien. Dat is net zoals met RAID controllers die 'SMART' ondersteunen. Bij sommige controllers krijg je dan een geknopte lijst te zien die de controller zelf heeft samengesteld, niet de echte originele SMART data zoals de schijf hem terugstuurt.

Ik weet ook niet waar je dit soort vragen beantwoord zou kunnen zien; VMware is een commerciëel product dus in de code gluren is er niet bij.

@neographikal: Anandtech heeft maar een paar artikelen over ZFS, laat staan iets wat performance-impact van ESXi heeft getest. Dan kun je veel meer vinden op het HardOCP forum waar wel veel gebruikers zijn die allerlei configs draaien, inclusief Virtualbox, Xen, ESXi, normaal VMware (workstation) en wellicht nog andere oplossingen.

[FireDrunk]

Waarom mag dat niet? RDM is gewoon een reclaim van een bepaald id, net zoals IRQ werkt, net zoals VT-d werkt... Niets meer en niets minder...

Ik zal thuis eens een test doen tussen non RDM en RDM smart data, dan weten we het snel genoeg.

[Verwijderd]

Hoe wil je dat testen dan? Niets zegt dat een emulatielayer niet exact hetzelfde resultaat terug kan sturen als de schijf zelf geeft. Maar probeer eens TLER aan te passen of CCTL/ERC op een Samsung/Seagate/Hitachi disk. TRIM is lastiger te testen, omdat je geen feedback hebt. Hooguit via performance-analyse.

Ook ben ik benieuwd: als je disk op een AHCI zit; zie je dan met RDM ook 'ada' in FreeBSD ofwel een ATA/AHCI disk? Of zie je dan een SCSI disk 'da' ?

[ Voor 19% gewijzigd door Verwijderd op 25-10-2011 11:44 ]

[FireDrunk]

De disk zit op de de VMWare controller.
Dus ofwel LSI Logic Parallel, LSI Logic SAS, of VMware Paravirtual.
Afhankelijk van hoe je OS er mee omgaat word het in het geval van FreeBSD denk ik dus da.

[Verwijderd]

Klopt

[FireDrunk]

Ik heb hier een ESXi5 server staan en nog een Intel SSD liggen.
Als ik een Secure Erase kan doen van de SSD via de Intel toolkit (vanuit een VM), geloof je dan dat het 'echt' doorgegeven word?

Geen idee of het een goede test is, maar volgens mij is dat vrij direct babbelen van software en hardware...