Het grote DIY RAID NAS topic deel 3

[FireDrunk]

Arnoud1 schreef op woensdag 06 april 2011 @ 13:48:
[...]


Normaal zijn 2,5inch schijven per TB véél zuiniger dan 3,5inch. Met die 3TB schijven ligt dit anders. Deze verbruiken 6Watt per 3TB waar de 2,5inch 1TB schijven 2,5Watt per 1TB verbruiken.

Ik begrijp niet dat er nog zoveel personen naar de snelheid van de array kijken (voor thuisgebruik dan). Je snelheid wordt toch bepaald door je netwerk en je desktop pc. Zelfs met 10Gbit heb je nog snelheid genoeg.

Echter, 2x 3TB in raid ? is dit dan een mirror? dan zou ik zeggen neem een backup, dat is beter dan raid.
Als je aan striping denkt dan vergroot je de kans op dataverlies met 200%
Voor raid 5 heb je min 3 schijven nodig hé.
En raid is geen backup!

Uh, 1Gbit is ~100MB/s, dat haalt mijn array makkelijk
Uh, 10Gbit is ~1GB/s.. dat haalt mijn array niet, maar er kan dus wel met de maximale bandbreedte met mijn array gecommuniceerd worden... Dat is vooral voor sequentieel gerammel (SabNZBd) erg fijn...

[Verwijderd]

[Arnoud1]

FireDrunk schreef op woensdag 06 april 2011 @ 13:51:
[...]


Uh, 1Gbit is ~100MB/s, dat haalt mijn array makkelijk
Uh, 10Gbit is ~1GB/s.. dat haalt mijn array niet, maar er kan dus wel met de maximale bandbreedte met mijn array gecommuniceerd worden... Dat is vooral voor sequentieel gerammel (SabNZBd) erg fijn...

mja, in theorie dan. Maar met tcp/ip geraak je daar niet hé.
iSCSI is voor thuis niet zo intressant, dan kan je maar met 1pc op je nas... beter om je schijven dan in je desktop te steken hé of met externe sas te werken. (of was dit hier de bedoeling?)
En investeren in een 10GBit netwerk voor al je pc's thuis is ook niet voor onmiddellijk.
Zelf heb ik net overal CAT6 gelegd omdat die 10Gbit aankan. Maar tegen dat de 10GBit switches betaalbaar zijn zal ik mijn nas al terug aan het vernieuwen zijn. Dus nu nog 1Gbit.

[FireDrunk]

Theoretisch is het zelfs 125MB/s... Die 100MB/s is al met TCP overhead...
Ik haal hier over SMB echt 110MB/s. Over NFS 10GBit haal ik 300MB/s +

[sloth]

Wat voor apparatuur gebruik je voor die 10Gbit verbinding?

[FireDrunk]

VMWare

[voodooless]

analog_ schreef op dinsdag 05 april 2011 @ 21:51:
Binnenkort ga ik eens kijken of mdadm op de GPU kan, lijkt mij wel intressant met name voor onboard AMD GPUs die het by-default aanbieden. Welliswaar nog geen ervaring met linux modules/dergelijke maar het lijkt mij wel mogelijk. Tech demo om te zien of het uberhaupt zinnig is qua snelheid.

Ik denk dat dit een beetje zonde van de tijd is. In dmesg vind je meestal na het opstarten wel ergens de benchmarks die de kernel zelf al doet om te kijken welk algo het snelst is. Met een redelijke simpele PC kom je hier al snel op enkele GB/sec. Lijkt me de moeite dus niet, al is het een leuk idee.

[SymbolicFrank]

Ik heb nog een vraagje:

Ik heb een RAID 5 array met 4 1,5 TB drives, die heb ik net uitgebreid met nog 2 drives. Dus 6 in totaal.

Is het nu zinvol om er een RAID 6 array van te maken, of is dat voor dit aantal zonde van de ruimte? Ik neig naar dat laatste.

Het is gewoon voor thuis, maar ik zou het toch niet fijn vinden als ik (een gedeelte) kwijt was. En daar backups van zoveel data lastig zijn, moet het niet te makkelijk zijn om het kwijt te raken.

Dus, hoeveel veiliger is RAID 6 voor thuis? Als de voeding knalt, er water inloopt of zo ben ik alles kwijt, en dat risico neem ik voor lief. Dus is het vooral de vraag hoe waarschijnlijk het is dat er twee schijven (bijna) tegelijkertijd plat gaan.


Edit: hoe krijg ik trouwens op een simpele manier de boot partitie op beide bootschijven?

[ Voor 6% gewijzigd door SymbolicFrank op 06-04-2011 21:49 ]

[FireDrunk]

Dat kan niet, dan zul je alle data eraf moeten halen of je moet een drive bijplaatsen...

[Verwijderd]

RAID6 doe je voor uBER+failed disk probleem, wat veel vaker voorkomt dan twee compleet gefaalde schijven. RAID5 kan in feite geen enkele failed disk meer aan; de kans op uBER (unrecoverable sector) tijdens een rebuild is voor belangrijke data veels te groot. RAID6 is dan al stukken beter.

Het hangt overigens helemaal van je RAID engine af hoe die omgaat met bad sectors. md-raid zou je schijven niet uit de array moeten gooien, maar zal ook niet automatisch de schade oplossen door naar de sector te schrijven. Je moet dus de schijf in kwestie rebuilden om de bad sector om te laten wisselen.

[SymbolicFrank]

FireDrunk schreef op woensdag 06 april 2011 @ 21:58:
Dat kan niet, dan zul je alle data eraf moeten halen of je moet een drive bijplaatsen...

Ik bedoel, de schijven zitten er in, maar ik heb nog niets veranderd.

[SymbolicFrank]

Verwijderd schreef op woensdag 06 april 2011 @ 21:58:
RAID6 doe je voor uBER+failed disk probleem, wat veel vaker voorkomt dan twee compleet gefaalde schijven. RAID5 kan in feite geen enkele failed disk meer aan; de kans op uBER (unrecoverable sector) tijdens een rebuild is voor belangrijke data veels te groot. RAID6 is dan al stukken beter.

Het hangt overigens helemaal van je RAID engine af hoe die omgaat met bad sectors. md-raid zou je schijven niet uit de array moeten gooien, maar zal ook niet automatisch de schade oplossen door naar de sector te schrijven. Je moet dus de schijf in kwestie rebuilden om de bad sector om te laten wisselen.

Ja.

Stel, ik merk op zaterdagavond dat er een schijf kapot is, ik heb op maandag geen tijd en ga er dinsdag 1 halen. Plus rebuild zit ik dan 5 dagen met een degraded array. En ik kan natuurlijk nog een paar dagen mijn mail niet lezen, of net op vakantie zijn.

Maar met mdadm verwacht ik toch niet dat de kans groot is dat er een drive uit de array wordt gegooid, en dat dat dan meteen een probleem is.

[Dadona]

Het is maar wat je insteek is en wanneer het gebeurt. Uitgaande dat de schijf er met een reden uitgaat, dat deze echt een probleem heeft, en je deze echt gaat vervangen kun je ook ervoor kiezen om te overwegen om geen rebuild te doen maar een migratie naar een nieuwe array. Zeker als je nu op 1 of 2TB schijven gaat zitten kan het interessanter zijn om op zo'n moment te kijken hoe 3 of meer TB schijven ervoor staan.

[SymbolicFrank]

Dus het grootste probleem bij RAID 5 is waarschijnlijk user-error: de verkeerde schijf vervangen.

Hm, daar moet ik eens over nadenken.

[SymbolicFrank]

Nou is md1 rebuild, maar volgens /proc/mdstat is het nog steeds [U_], en sudo mdadm --detail /dev/md1 zegt nog steeds dat de schijf "spare rebuilding" is....

[SymbolicFrank]

Bij het growen van md0 krijg ik:

frank@Frank000:/tmp$ sudo mdadm --grow --raid-devices=6 --backup-file=/tmp/md0backup /dev/md0
mdadm: Need to backup 640K of critical section..
mdadm: /dev/md0: failed to initiate reshape

Maar ik geef een backup file op, dus wat doe ik fout?

[analog_]

voodooless schreef op woensdag 06 april 2011 @ 19:42:
[...]


Ik denk dat dit een beetje zonde van de tijd is. In dmesg vind je meestal na het opstarten wel ergens de benchmarks die de kernel zelf al doet om te kijken welk algo het snelst is. Met een redelijke simpele PC kom je hier al snel op enkele GB/sec. Lijkt me de moeite dus niet, al is het een leuk idee.

Klopt, ik had die al eens gezien hoewel het altijd fijn is al er wat load van je CPU afkan en mogelijk energie efficienter op de GPU loopt. Ik was ook aan denken richting data dedup (hashing) of compressie.

Verwijderd schreef op woensdag 06 april 2011 @ 21:58:
RAID6 doe je voor uBER+failed disk probleem, wat veel vaker voorkomt dan twee compleet gefaalde schijven. RAID5 kan in feite geen enkele failed disk meer aan; de kans op uBER (unrecoverable sector) tijdens een rebuild is voor belangrijke data veels te groot. RAID6 is dan al stukken beter.

Het hangt overigens helemaal van je RAID engine af hoe die omgaat met bad sectors. md-raid zou je schijven niet uit de array moeten gooien, maar zal ook niet automatisch de schade oplossen door naar de sector te schrijven. Je moet dus de schijf in kwestie rebuilden om de bad sector om te laten wisselen.

Ik weet dat we het hier niet moeten spuien maar ZFS pakt dit probleem (iets) beter aan doordat enkel effectief geschreven data wordt opnieuw gebouwd. Dit is echter meer een optimalisatie/uitstel dan permanente oplossing natuurlijk.

[Abductee]

SymbolicFrank schreef op woensdag 06 april 2011 @ 21:47:
Ik heb nog een vraagje:

Ik heb een RAID 5 array met 4 1,5 TB drives, die heb ik net uitgebreid met nog 2 drives. Dus 6 in totaal.

Is het nu zinvol om er een RAID 6 array van te maken, of is dat voor dit aantal zonde van de ruimte? Ik neig naar dat laatste.

Het is gewoon voor thuis, maar ik zou het toch niet fijn vinden als ik (een gedeelte) kwijt was. En daar backups van zoveel data lastig zijn, moet het niet te makkelijk zijn om het kwijt te raken.

Dus, hoeveel veiliger is RAID 6 voor thuis? Als de voeding knalt, er water inloopt of zo ben ik alles kwijt, en dat risico neem ik voor lief. Dus is het vooral de vraag hoe waarschijnlijk het is dat er twee schijven (bijna) tegelijkertijd plat gaan.


Edit: hoe krijg ik trouwens op een simpele manier de boot partitie op beide bootschijven?

Ik heb vanmorgen toevallig een interessant artikel hierover gelezen, lijkt me wel de moeite om eens door te nemen als je met deze vraag zit.
Why Raid 5 stops working in 2009

Op dit artikel is er ook een vervolg ivm raid 6: Why Raid 6 stops working in 2019

Misschien dat de inhoud van deze artikels minder van toepassing is bij software raids, maar daar kan misschien iemand anders nog wat over toevoegen...

[AugmentoR]

Geweldige artikelen, verplicht leesvoer wat mij betreft

[GioStyle]

Als RAID5/6 geen oplossingen zijn volgens bovenstaande artikelen, wat moeten we dan?

[FireDrunk]

ZFS

[MadMike261]

Heeft ZFS niet een triple parity raid mode? raidZ3 dacht ik.

[FireDrunk]

Daar gaat het niet eens om... Met ZFS omzeil je de uBER en TLER problemen van harddisks omdat het zfs niet zoveel uitmaakt dat een disk 1 sector niet kan leveren.. Dat word op andere manieren wel opgevangen.

[Verwijderd]

morgen poging 2 om deze controller werkend te krijgen op ander mobootje

op de ASUS E35M1-M PRO werkte die niet.. (bootte niet eens meer op) over de oorzaak verschillen de meningen.

[ Voor 67% gewijzigd door Verwijderd op 07-04-2011 13:35 ]

[Verwijderd]

FireDrunk schreef op donderdag 07 april 2011 @ 11:56:
ZFS

sssssssstt..

[Wolfensteijn]

Ik ben mij aan het inlezen over zelfgebouwde NAS systemen voor thuis gebruik. Maar ik ben bang dat ik door de bomen het bos kwijt ben geraakt.

Vandaar dat ik mij afvroeg of iemand hier zo aardig wil zijn, om met mij mee te denken over een goede manier om te bereiken wat ik wil.

Momenteel heb ik 1 desktop PC met 4x 1TB en 1x 320GB aan opslag erin. De 320GB is OS en geïnstalleerde software, de rest is voor films, series, muziek en foto's. Aan foto's heb ik ongeveer 1 tera trouwens. Hiernaast ben ik sinds kort ook een beetje bezig met filmen en monteren, en dat neemt ook vrij veel ruimte in beslag. Als OS draait hier Win7 (x64 vanwege 8 gig geheugen) op.

Daarnaast heb ik een HTPC staan, wat niets meer is dan de vorige hardware uit mijn desktop, aan een tv gehangen. Hier draait Ubuntu 10.11, met XBMC op.

Wat ik wil is een meer centrale opslag, welke ik kan gebruiken als film, serie en muziek opslag, alsmede backup voor mijn foto's en eigen gefilmd HD materiaal. Budget is max €400,-

Qua mogelijkheden zit ik te kijken om mijn HTPC ook als NAS te laten fungeren, door daar een SATA kaart in te zetten en 4x 2 tera schijven in een software raid-5 achtige opstelling te laten draaien.

Deze HTPC moet ook backup naar KPN backup online uit gaan voeren, als usenet en bittorrent downloader gaan werken, en eventueel webserver gaan spelen.

De hardware van mijn huidige HTPC is:
- Asrock mobo (ik heb niet direct bij de hand welke, maar dat zoek ik vanavond nog even op)
Dit mobo heeft 1 pci-express 16x slot, 1 AGP slot, en 4 PCI sloten. Het PCI-Express slot is in gebruik door een videokaart.
Onboard nog 2 sata poorten.
- Intel Penium dualcore e2200
- 2 gig DDR2 geheugen
- En een 120gig OS schijf

Wat zijn de mogelijkheden?
- Is ZFS een optie?
- Wat zou een redelijke SATA kaart zijn voor in dit systeem?
- Ubuntu is nu handig vanwege XBMC, maar een ander os kan ook, zolang ik maar XBMC kan blijven draaien
- Wat zijn redelijke hardeschijven? (ik zit nu te denken aan 4maal pricewatch: Samsung EcoGreen F4EG HD204UI, 2TB)

[FireDrunk]

ZFS en XBMC zijn niet echt verenigbaar... Er zijn weinig OSen die beide ondersteunen... Ik verwacht dat XBMC wel op FreeBSD werkt, maar of je dan ook GPU versnelling hebt betwijfel ik...

[Verwijderd]

..
Qua mogelijkheden zit ik te kijken om mijn HTPC ook als NAS te laten fungeren, door daar een SATA kaart in te zetten en 4x 2 tera schijven in een software raid-5 achtige opstelling te laten draaien.

- heb je fysiek plaats voor 4 hdd in je htpc
- wat voor capaciteit heeft je voeding
- staat je htpc 24/24 aan

heb je ook overwogen, kwa prijs/mogelijkheden, om een kant en klare nas te nemen waarin je 2 disks zet van 2 tb ?

(* ik gebruik ook xbmc en ubuntu als mediaplayer in een ion maar data komt van netwerk)

[ Voor 72% gewijzigd door Verwijderd op 07-04-2011 22:55 ]

[Q]

Abductee schreef op donderdag 07 april 2011 @ 09:58:
[...]


Ik heb vanmorgen toevallig een interessant artikel hierover gelezen, lijkt me wel de moeite om eens door te nemen als je met deze vraag zit.
Why Raid 5 stops working in 2009

Op dit artikel is er ook een vervolg ivm raid 6: Why Raid 6 stops working in 2019

Misschien dat de inhoud van deze artikels minder van toepassing is bij software raids, maar daar kan misschien iemand anders nog wat over toevoegen...

Ik beweer dat deze artikelen niet zo goed zijn.

Zo wordt er in het artikel gerekend met 10^14 terwijl menig 2 TB schijf al een URE van 10^15 heeft, dus iedere 125 TB een URE.

Reken even mee. Een schijf moet gedurende een rebuild zijn volledige capaciteit aan data wegschrijven. Dus 2 TB. Dan is er een kans van 1 op 50 dat het mis gaat. Op papier dan. In de praktijk zie en hoor je niets.

Ik snap de hele ophef over URE niet.

Ik ken geen URE
Ik zie geen URE
Ik zie geen URE op geen enkele disk.

En URE boeit ook niet. Het gaat gewoon om de kans dat bij een rebuild er een 2e disk klapt. Klappen als in volledig falen of slechts een URE boeit mij niet.

ZFS gaat er een stuk eleganter mee om. Maar ZFS biedt wel meer oplossingen voor problemen die in real life een zeer geringe kans hebben om op te treden.

[Verwijderd]

Nee broken arrays nog nooit van gehoord. Man, URE's of onleesbare sectoren hebben voor ontzettend veel problemen gezorgd! Hoe kun je die problemen ontkennen?

Het probleem is ook niet de bad sectors zelf, maar hoe RAID engines hier mee omgaan. Bijna alle hardware RAID en windows soft RAIDs stellen een streng limiet voor timeouts; als de disk niet binnen 10 seconden op een I/O request reageert, dan wordt de disk uit de array geknald. De oorzaak voor die hoge timeouts is de error recovery die gebeurt zodra een desktopschijf een bad sector tegenkomt.

Gevolg is dat van je 4 disk RAID5 opeens twee schijven als 'free' staan en de array nu failed is. Nu betekent dat niet dat de data permanent weg is, maar dat vereist wel correcte handelingen van de user en fouten hierbij kan de kans op datarecovery verspelen.

UREs zijn ook een steeds groter probleem, omdat ze constant zijn gebleven terwijl de capaciteit flink is toegenomen. De kans dat je bij 2TB disks bad sectors tegenkomt is vrij groot. Vaak sectoren die niet fysiek slecht zijn, maar gewoon de ECC niet meer toereikend is. Hierbij zie je geen 'Reallocated Sector Count' in je SMART output, dus is na overschrijven onzichtbaar geworden en niet langer te traceren via SMART.

Zoals je zelf al met tegenzin toegeeft heeft ZFS hier een veel beter antwoord op, door middel van checksums de integriteit van je bestanden te bewaken. Zodoende kan pariteit of redundante data worden gebruikt om een bad sector te corrigeren, iets wat zelfs Linux software RAID volgens mij niet doet. UREs worden dus automatisch gerepareerd en je hebt met ZFS geen omkijken of zorgen meer om dit risico.

Overigens wel een aardige voetnoot dat de WD blacks onlangs zijn specs voor uBER met een factor 10 zijn verslechterd. Nu -14 ipv -15. De vraag is natuurlijk of het ooit wel -15 is geweest. Ik zou niet zoveel waarde hechten aan deze moeilijk te verifiëren specs; daar kunnen de fabrikanten gerust mee rommelen.

[Abductee]

Q schreef op vrijdag 08 april 2011 @ 00:20:
[...]
Ik beweer dat deze artikelen niet zo goed zijn.

Dat is je goed recht...

Q schreef op vrijdag 08 april 2011 @ 00:20:
[...]
Zo wordt er in het artikel gerekend met 10^14 terwijl menig 2 TB schijf al een URE van 10^15 heeft, dus iedere 125 TB een URE.

Reken even mee. Een schijf moet gedurende een rebuild zijn volledige capaciteit aan data wegschrijven. Dus 2 TB. Dan is er een kans van 1 op 50 dat het mis gaat. Op papier dan. In de praktijk zie en hoor je niets.

Hier heb je wel een punt, maar dan moet je ook wel effectief een schijf kopen met een Drive Ready Time van 10^15bits. En er zijn inderdaad wel schijven die dit bieden, maar dat doen ze lang niet allemaal. En wie zegt dat deze cijfers werkelijk kloppen? Wie belet de producent om de schijf als 10^15 te adverteren, terwijl het in werkelijkheid 10^14 is? Het zou niet de eerste keer zijn dat er met zulke cijfers gegoocheld wordt...

Verder ga je in je kansberekening uit van 1 schijf, maar het gaat hier over Raid5, waar je met minstens 3 schijven zit. Hierdoor verdrievoudigt je kans dus ook. Dit komt, voor schijven van 2TB, neer op 4TB aan data die gelezen moet worden, terwijl er ongeveer elke 12TB een een URE voorkomt, uitgaande van schijven met een DRT van 10^14bits. Dat is al een kans van 1 op 3. Wanneer je dan een array van 6 schijven neemt, zit je op 10TB, waardoor de statistische zekerheid wel heel dichtbij komt.

In dit artikel wordt gesteld dat de berekeningen in de artikelen die ik eerder aanvoerde gebaseerd zijn op naïeve assumpties, waardoor het probleem erger lijkt dan het is. Maar dit neemt niet weg dat het probleem bestaat, en in het beste geval is dit een aanzet om schijven in een raid5 array te vervangen voordat de kans op URE reëel wordt...

Q schreef op vrijdag 08 april 2011 @ 00:20:
[...]
Ik snap de hele ophef over URE niet.

Ik ken geen URE
Ik zie geen URE
Ik zie geen URE op geen enkele disk.

En URE boeit ook niet. Het gaat gewoon om de kans dat bij een rebuild er een 2e disk klapt. Klappen als in volledig falen of slechts een URE boeit mij niet.

ZFS gaat er een stuk eleganter mee om. Maar ZFS biedt wel meer oplossingen voor problemen die in real life een zeer geringe kans hebben om op te treden.

Dit komt voor mij over als struisvogelpolitiek. "Het probleem bestaat niet, want ik zie het niet.". Omdat jij er nog geen last van hebt gehad, wil niet zeggen dat het zich niet kan voordoen. Statistisch gezien is er een grote kans (zelf bij een DRT van 10^15bits nog 10%) dat een rebuild van een 10TB raid5 array faalt, waardoor de data (tijdelijk) niet beschikbaar is, en in het slechtste geval zelfs verloren.
Natuurlijk wordt de kans op een URE groter naarmate de schijf ouder wordt. Maar de kans dat een schijf uit de array geschopt wordt, wordt ook groter naargelang de draaiuren van de schijf...

[FireDrunk]

Daar kan ik maar 1 ding op zeggen:

Statisch gezien is de Theorie hetzelfde als de Praktijk, in de Praktijk niet.

Neemt natuurlijk niet weg dat de allerbelangrijkste vraag is:
Hoe belangrijk is je data? Wil je er bepaalde (misschien wel overdreven) methoden voor gebruiken om je te wapenen tegen mogelijke failures? Of wil je daar je geld / moeite niet in stoppen?

Ikzelf ben van RAID5 naar RAID6 gegaan omdat dat een kleine moeite is... Ik gebruik een prima OS, en ik heb er amper onderhoud aan... Als je ZFS gaat draaien zul je wat bij moeten leren... Wil je dat? Misschien niet, dan blijf je lekker bij RAID6 bijvoorbeeld...

Ik zit toevallig net op de website van Seagate te kijken, en hun Enterprise SSD's hebben een URE count van 1 op 10^16.. Dat is 1 bit in de 1136TB Dat zijn nog eens leuke getallen!
Hmm de nieuwe Cheetah 15k6 SAS disks hebben dat ook

[ Voor 15% gewijzigd door FireDrunk op 08-04-2011 08:46 ]

[Wolfensteijn]

Verwijderd schreef op donderdag 07 april 2011 @ 20:01:
[...]


- heb je fysiek plaats voor 4 hdd in je htpc
- wat voor capaciteit heeft je voeding
- staat je htpc 24/24 aan

heb je ook overwogen, kwa prijs/mogelijkheden, om een kant en klare nas te nemen waarin je 2 disks zet van 2 tb ?

(* ik gebruik ook xbmc en ubuntu als mediaplayer in een ion maar data komt van netwerk)

Fysieke ruimte is geen probleem, mijn HTPC zit in een standaard desktop kast, waar genoeg ruimte in vrij is.
De voeding is een 350 watt voeding, met 16A op de 12 volts lijn (dus 192 watt).
HTPC staat momenteel meer uit dan aan, maar mijn desktop draait wel 24/24. Het is de bedoeling dat de HTPC 24/24 gaat draaien, terwijl de desktop alleen aan gaat wanneer ik die nodig heb.

2 disks van 2TB, is effectief 2TB opslag, net aan genoeg voor backup (en 'archivering') van mijn foto's met groei ruimte. Het minimale aan opslag wat ik nodig heb is 4TB, zodat ik ook ruimte heb voor films en series en mijn desktop dus uit kan blijven. Daarnaast wil ik vanaf mijn NAS ook backups naar KPN Backup Online kunnen sturen, en voor zover ik weet kunnen standalone NASjes dat niet.

Dus ja, ik heb het overwogen, maar qua functionaliteit mis ik dan dingen.

[Verwijderd]

Wolfensteijn schreef op vrijdag 08 april 2011 @ 09:08:
[...]

Fysieke ruimte is geen probleem, mijn HTPC zit in een standaard desktop kast, waar genoeg ruimte in vrij is.
De voeding is een 350 watt voeding, met 16A op de 12 volts lijn (dus 192 watt).
HTPC staat momenteel meer uit dan aan, maar mijn desktop draait wel 24/24. Het is de bedoeling dat de HTPC 24/24 gaat draaien, terwijl de desktop alleen aan gaat wanneer ik die nodig heb.

2 disks van 2TB, is effectief 2TB opslag, net aan genoeg voor backup (en 'archivering') van mijn foto's met groei ruimte. Het minimale aan opslag wat ik nodig heb is 4TB, zodat ik ook ruimte heb voor films en series en mijn desktop dus uit kan blijven. Daarnaast wil ik vanaf mijn NAS ook backups naar KPN Backup Online kunnen sturen, en voor zover ik weet kunnen standalone NASjes dat niet.

Dus ja, ik heb het overwogen, maar qua functionaliteit mis ik dan dingen.

het blijft een slechte combi.. een nas en een htpc

- koop een losse mediaplayer (100,-)
- koop 4 nieuwe 2 tb 204's ( 256,-) en install vb freenas ,je huidige htpc wordt definitief een nas en via smb stream je je media naar je mediaplayer.. op je freenas maak je windowshares aan voor je pc('s)
binnen de begroting en raid5 t6 tb

(ow en dat kpn backup verhaal weet ik niets van)

[Verwijderd]

nieuwe ronde nieuwe kansen, matx msi plankje is binnen met 2 x pci-e/ 6x sata/ 4 x ddr3/ i3-540

totaal met controller 14x sata (+1x esata) , nu eerst kijken of het werkt.. koffieeeeeeeee

[FireDrunk]

Ziet er goed uit borroz!

Wolfensteijn schreef op vrijdag 08 april 2011 @ 09:08:
[...]

Fysieke ruimte is geen probleem, mijn HTPC zit in een standaard desktop kast, waar genoeg ruimte in vrij is.
De voeding is een 350 watt voeding, met 16A op de 12 volts lijn (dus 192 watt).
HTPC staat momenteel meer uit dan aan, maar mijn desktop draait wel 24/24. Het is de bedoeling dat de HTPC 24/24 gaat draaien, terwijl de desktop alleen aan gaat wanneer ik die nodig heb.

2 disks van 2TB, is effectief 2TB opslag, net aan genoeg voor backup (en 'archivering') van mijn foto's met groei ruimte. Het minimale aan opslag wat ik nodig heb is 4TB, zodat ik ook ruimte heb voor films en series en mijn desktop dus uit kan blijven. Daarnaast wil ik vanaf mijn NAS ook backups naar KPN Backup Online kunnen sturen, en voor zover ik weet kunnen standalone NASjes dat niet.

Dus ja, ik heb het overwogen, maar qua functionaliteit mis ik dan dingen.

Kan je bij KPN Online Backup ook naar FTP backuppen? Want dat wil nog wel eens lukken met wat scripts op kant en klare nassen, maar inderdaad als KPN een client heeft zul je een fullblown OS moeten hebben...
Dan is VMWare wel leuk om te hebben, want dan kan je een kleine XP VM ofzo virtualiseren en bijvoorbeeld FreeNAS voor de rest gebruiken.

[ Voor 97% gewijzigd door FireDrunk op 08-04-2011 11:00 ]

[Verwijderd]

dit msi plankje werkt wel met de Intel RAID Controller SASUC8I



en ik heb nog een pci-e slot over.. als ik daar nou een 2e SASUC8I inprik kan ik zonder expander 22 disks aansturen

[ Voor 11% gewijzigd door Verwijderd op 08-04-2011 12:24 ]

[TankiEEE]

Ziet er netjes uit borroz, genoeg ruimte om uit te breiden in ieder geval! Welk OS ga je erop draaien? Freenas?

[Verwijderd]

TankiEEE schreef op vrijdag 08 april 2011 @ 12:18:
Ziet er netjes uit borroz, genoeg ruimte om uit te breiden in ieder geval! Welk OS ga je erop draaien? Freenas?

dat weet ik nog niet, freenas is erg makkelijk te installen, maar daar leer ik niets van.
waarom makkelijk doen als het moeilijk kan ?
misschien dat ik eerst wat ga rommelen met andere opties, en wat metingen doen.

nas is bedoeld om te kunnen groeien, dus ik begin met een raidz2 van 6 disks (8 tb) , volgend jaar of wanneer de behoefte daar is prik ik er 6 disks bij.. kom ik op 16 tb (+1 spare +1 cache) en dat in een kastje van 20.2 cm x 45.5 cm x 44 cm

[ Voor 4% gewijzigd door Verwijderd op 08-04-2011 12:43 ]

[Q]

FireDrunk schreef op vrijdag 08 april 2011 @ 08:26:
Daar kan ik maar 1 ding op zeggen:

Statisch gezien is de Theorie hetzelfde als de Praktijk, in de Praktijk niet.

Neemt natuurlijk niet weg dat de allerbelangrijkste vraag is:
Hoe belangrijk is je data? Wil je er bepaalde (misschien wel overdreven) methoden voor gebruiken om je te wapenen tegen mogelijke failures? Of wil je daar je geld / moeite niet in stoppen?

Ikzelf ben van RAID5 naar RAID6 gegaan omdat dat een kleine moeite is... Ik gebruik een prima OS, en ik heb er amper onderhoud aan... Als je ZFS gaat draaien zul je wat bij moeten leren... Wil je dat? Misschien niet, dan blijf je lekker bij RAID6 bijvoorbeeld...

Ik zit toevallig net op de website van Seagate te kijken, en hun Enterprise SSD's hebben een URE count van 1 op 10^16.. Dat is 1 bit in de 1136TB Dat zijn nog eens leuke getallen!
Hmm de nieuwe Cheetah 15k6 SAS disks hebben dat ook

In het commentaar van die artikelen staat dat de schatting van 10^14 en 10^15 waarschijnlijk juist aan de lage kant is.

Waarom zou je SAS enterprise disks kopen als zaken als URE niet veel verschillen tussen desktop en enterprise schijven?


En dan nog. URE is een issue misschien voor data centers, niet voor prive consumenten.

Maar terug naar het punt. Fabrikanten zeggen 10.^14 en/of 10.^15. Maar wie zegt dat dit klopt?

Most SATA drives have actual URE’s at a much lower instance than what is spec’d. For both SATA and most SAS the specification is for the drive media and not the entire drive; ie the data protection written into the data on the disk may recover the data before the end user notices. Most of the routines for this is the same in SATA and SAS drives as are many other common parts. The main difference is the warranty provided on the drives for reliability. I know two vendors that have demonstrated orders of magnitude better URE for several years, yet actively choose not to change their specifications for two reasons. Their marketing departments say that it will not make an appreciable difference in sales, and finance points out that warranty reserve will have to be increased resulting in a higher priced product or even less margin of profit.
At a previous position, we ran a test to determine actual URE rate over a two year period of the two largest volume manufacturers of 2.5″ SATA drives. The population included several hundred drives across several build lots and capacity points and saw and actual URE rate greater than 10^18. These were standard drives, not near line or the extended duration drives.

Stel dat URE een issue zou zijn zie ik het voor consumenten niet als iets om je druk over te maken.

[ Voor 3% gewijzigd door Q op 08-04-2011 12:48 ]

[Verwijderd]

de kaart is inmiddels geflashed en getest.

[ Voor 255% gewijzigd door Verwijderd op 08-04-2011 17:45 ]

[Verwijderd]

[b][message=35836715,noline]En dan nog. URE is een issue misschien voor data centers, niet voor prive consumenten.

Vandaar dat Microsoft in Windows Home Server DriveExtender 2.0 wilde introduceren die een gedeelte van de ruwe ruimte gebruikte om tegen uBER te beschermen.

SSDs besteden overigens al meer dan de helft van de ruwe ruimte om tegen uBER te beschermen. Bij HDDs is dat 13%.

Maar zolang je zelf niets merkt van de problemen is het inderdaad makkelijk deze als theoretisch af te doen. Wel kan ik opmerken dat single drives zonder RAID minder risico lopen, omdat daarbij hooguit filesystem corruptie kan ontstaan. Bij RAID kunnen de problemen groter worden omdat de hele volume niet meer toegankelijk is: een split of broken array. Met een beetje pech zorgt slechte user interaction ervoor dat de data permanent niet meer toegankelijk is.

[Q]

Verwijderd schreef op vrijdag 08 april 2011 @ 14:11:
[...]

Vandaar dat Microsoft in Windows Home Server DriveExtender 2.0 wilde introduceren die een gedeelte van de ruwe ruimte gebruikte om tegen uBER te beschermen.

Dat was zo belangrijk en essentieel dat ze DriveExtender maar geloosd hebben.

SSDs besteden overigens al meer dan de helft van de ruwe ruimte om tegen uBER te beschermen. Bij HDDs is dat 13%.

Maar zolang je zelf niets merkt van de problemen is het inderdaad makkelijk deze als theoretisch af te doen. Wel kan ik opmerken dat single drives zonder RAID minder risico lopen, omdat daarbij hooguit filesystem corruptie kan ontstaan. Bij RAID kunnen de problemen groter worden omdat de hele volume niet meer toegankelijk is: een split of broken array. Met een beetje pech zorgt slechte user interaction ervoor dat de data permanent niet meer toegankelijk is.

Ik heb het idee dat we met URE en uBER etc etc etc allemaal aan het praten zijn over oude wijn in nieuwe zakken.

Het gaat gewoon om Bad sectors.

HD's en SSD's beschermen tegen bad sectors door capaciteit op te offeren voor reserve. Iedere harde schijf zal vroeg of laat die reserve wel een keertje aanspreken, maar dat boeit niet. Zolang deze apparaten dat intern opvangen is er niets aan de hand.

Het enige wat boeit is dat een HD op een gegeven moment de boel echt nietmeer kan oplossen en een sector niet meer kan lezen.

Ofwel, dan pas hebben we te maken met een ouderwetse goed old 'bad sector'. Als dat in je RAID array gebeurt resulteert dat in een failed drive. Een failed drive is een disk die of niet reageert of data niet kan lezen/schrijven.

Klaar.

De discussie is dus hoe groot de kans is dat op een disk een bad sector naar boven komt tijdens een rebuild.

Of veel belangrijker: hoe groot is de kans echt dat een 2e disk faalt of bij RAID 6, een 3e disk faalt?

Ik denk dat die eerste kans nog best groot is, maar de 3e niet zo. Dan worden andere risico's groter. Zeker thuis.

[FireDrunk]

Dan geld mijn punt dus nog steeds... Ookal is het mischien overtrokken of overdreven, ieder moet voor zichzelf uitmaken hoeveel risico hij wel en niet wil lopen.
Ik heb ook echt geen offsite backup, terwijl andere mensen er panisch bang voor zijn dat hun huis afbrand.

[michiel.686]

Zo, mijn nieuwe NAS is ook binnen.. Heb 't beetje in m'n rug nu, maar goed...

[redfoxert]

michiel.686 schreef op zaterdag 09 april 2011 @ 10:43:
Zo, mijn nieuwe NAS is ook binnen.. Heb 't beetje in m'n rug nu, maar goed...


[afbeelding]

Jammer dat je de plaatjes gejat hebt van V&A?

[Verwijderd]

heb freenas draaien en heb een windowshare aangemaakt op een raidz pool.
die share is zichtbaar op mijn windows client.. maar meer ook niet.

ik kan er niet naar schrijven .. wat doe ik verkeerd ?

[ Voor 88% gewijzigd door Verwijderd op 09-04-2011 12:02 ]

[MadMike261]

Heb je rechten toegewezen?
Moet je wel ff doen

Weet zo snel ff niet meer waar precies.

[Verwijderd]

[b]

Weet zo snel ff niet meer waar precies.

pcies

[HMS]

Samba rechten en authentication

[Verwijderd]

- users
- groups
- cifs

aaaaaaargh .. en geen fatsoenlijke manual te vinden

[ Voor 29% gewijzigd door Verwijderd op 09-04-2011 13:43 ]

[dutch_warrior]

@borroz
Zet guest access eens uit, en is het de bedoeling dat je gaat inloggen met credentials of wil je meteen volledige rechten op de share hebben zonder aanmelden ?
Ik heb het net in vmware getest, je mist ergens iets met de rechten want als ik root als guest account aangeef dan werkt mijn test share zowel read als write.
De settings van de cifs server overrulen de settings op je share, als ik mijn cifs sever op default guest account www laat staan dan kan ik standaard niet schrijven.

Update:
Kijk eens bij de permissies van je ZFS volume, daar staat others standaard op read als je daar 777 (niet veilig!) van maakt kan je ook met een guest account schrijven.

@anderen
Ik ben zelf aan het kijken om mijn huidige NAS opnieuw in te richten, momenteel draait dit op overkill hardware welke ik dus ook alleen aanzet indien nodig.
Ik heb nog een core2duo e8500 liggen en wil hier een leuk moederbord en netwerkkaart bij gaan kopen, voordat ik dingen ga kopen wil ik eerst een OS kiezen.
Ik werk niet veel met Unix based operating systems maar mag graag nieuwe dingen proberen en heb eigenlijk wel zin om met bijvoorbeeld ZFS aan de slag te gaan.

Momenteel draait mijn nas op de volgende hardware:
CPU: Core 2 quad q9550
RAM: 4x 2GB ddr2
Mobo: Asus rampage formula (niet geschikt voor een server)
PSU: 1000 Watt sirtec XD
Raid: Smart Array P400 met 256MB BBWC
HDDs: 4x 1TB r5
2x 2TB r1 (WD EARS)
2x 320GB r0
2x 1TB jbod
OS: 2008r2
Extra: Draait hyper-v en storage server iscsi initiator software .

Als er meer informatie nodig is over de hardware dan hoor ik het vast wel .
Wat ik wil is een stabiele betrouwbare fileserver, het liefst te beheren via een webinterface, ik werk niet veel met de commandline dus het liefste doe ik het beheer vanuit een webgui. Mijn download verkeer bestaat voornamelijk uit tools en iso's van msdn en allerlei opensourcesoftware software voor studie en test doeleinden, dus het is niet zoveel data.

De te bouwen nas zal dus worden gebruikt voor de volgende zaken:
- Data opslag: iso's
- Backup data van diverse gebruikers, hiervoor gebruik ik nu redirected folders en file and folder synchronization.
- Backup van schijf images van mijn eigen systemen en systemen welke door mij zijn gerepareerd/geïnstalleerd.
- Central storage voor lab omgevingen, Hyper-v, Citrix, Xen dus eigenlijk is iSCSI nodig.

Nou deed freenas in het verleden alles wat ik nodig had alleen was de toekomst van Freenas onduidelijk en draaide BSD7.x niet lekker op de hardware welke ik destijds gebruikte.
De nas is toen verhuist naar mijn oude windows desktop welke ik regelmatig gebruik voor studie doeleinden.

Nu wil ik gewoon een keer de hele nas goed opbouwen met geschikte hard en software.
Freenas 8.0 kan eigenlijk alles wat ik nodig heb, ik vraag me echter een aantal dingen af namelijk:
- Hoe zit het met de toekomst van ZFS, ik weet dat deze vraag al heel vaak is gesteld en ik lees overal op internet ook verschillende meningen erover maar ik ben benieuwd hoe er hier tegenaan gekeken wordt.
- Hoe zit het met BTRFS, ik heb het idee dat het nog wel enige tijd gaat duren voordat BTRFS geschikt is voordat ik mijn data aan een BTRFS volume kan toevertrouwen, of vergis ik mij nu ?
- Een tijd geleden heb ik in dit topic nogal wat gedoe gelezen over de EARS schijven en de 4K sectors, deze schijven werkten nog niet echt super met Freenas toendertijd. Is het feit dat ik EARS schijven gebruik nog steeds van belang voor mijn keuze van een OS ?

Mijn voorkeur gaat op dit moment uit naar het zelf inrichten van een Linux systeem omdat ik daarmee meer ervaring heb. Aan de andere kant wil ik me ook graag verdiepen in ZFS en BSD maar ik ben bang dat ik dan tijd en moeite steek in een oplossing welke over niet al te lange tijd weer helemaal anders moet.
Misschien dat de mensen hier mij wat advies kunnen geven ?

[ Voor 137% gewijzigd door dutch_warrior op 09-04-2011 19:00 ]

[Verwijderd]

dutch_warrior schreef op zaterdag 09 april 2011 @ 16:23:

Update:
Kijk eens bij de permissies van je ZFS volume, daar staat others standaard op read als je daar 777 (niet veilig!) van maakt kan je ook met een guest account schrijven.

geweldig.. dat was 'the missing link'
ik wist niet dat een ZFS volume ook een eigen rechten beheer kende.. enig wat ik heb gedaan is 2 vinkjes aangezet en nu kan ik schrijven naar die windowsshare 'mappie



verder is het alleen nog maar een beetje prutsen momenteel.
en dit zijn de eerste resultaten vanaf een windowsclient naar de freenasdoos met een raidz 4x2 TB en aparte intel nic



op de monitor die aan de nas hangt zie ik wel wat adacadabra verschijnen

[ Voor 19% gewijzigd door Verwijderd op 09-04-2011 17:13 ]

[HMS]

Ik denk dat ik voor ZFS voor Debian/kFreeBSD zou gaan. Debian regiert!

[FireDrunk]

Dat is het enige systeem wat ik nog niet geprobeerd heb, ik denk dat ik zo dat maar eens ga proberen

[Verwijderd]

HMS schreef op zaterdag 09 april 2011 @ 17:11:
Ik denk dat ik voor ZFS voor Debian/kFreeBSD zou gaan. Debian regiert!

daar is freenas toch op gebaseerd dacht ik ? ..

[FireDrunk]

Nope, FreeNAS 8 is gebaseerd op FreeBSD 8.2

[HMS]

Verwijderd schreef op zaterdag 09 april 2011 @ 17:16:
[...]


daar is freenas toch op gebaseerd dacht ik ? ..

Is FreeNas niet FreeBSD? Debian/kFreeBSD is natuurlijk wel een FreeBSD kernel

offtopic:
edit: te laat

[ Voor 8% gewijzigd door HMS op 09-04-2011 17:17 ]

[Verwijderd]

HMS schreef op zaterdag 09 april 2011 @ 17:17:
[...]


Is FreeNas niet FreeBSD? Debian/kFreeBSD is natuurlijk wel een FreeBSD kernel

offtopic:
edit: te laat

aha.. had die kleine 'k niet gezien.. idd is FreeNAS gebaseerd op FreeBSD (en hier en daar lees ik dat dat naar debian zou overgaan)..

[Verwijderd]

FireDrunk schreef op zaterdag 09 april 2011 @ 17:13:
Dat is het enige systeem wat ik nog niet geprobeerd heb, ik denk dat ik zo dat maar eens ga proberen

maar dat doe je 'virtueel' neem ik aan .. , heb jij een aparte machine om dat soort dingen te testen ?

dat is op een bepaald moment het probleem, zodra je je data op de nas hebt overgepompt ben je als de dood (ik dan) dat je een komma teveel ergens intikt en poef.. weg datapool

[HMS]

Daarom moet je ook niet gelijk al je data er op pompen, iig niet als je nog wat wilt testen .

Owh en natuurlijk geen leuke trucjes onder root doen

[FireDrunk]

Mwoh, dat valt wel mee Ik heb ESXi met daarop meerder VM's... Mijn huidige fileserver is een Ubuntu 10.10 VM met een LSI controller op passthrough met daaraan 8 disks in RAID6.

Daarnaast heb ik nog 4 x 2TB om mee te spelen op andere VM's

[dutch_warrior]

Verwijderd schreef op zaterdag 09 april 2011 @ 16:53:
[...]

verder is het alleen nog maar een beetje prutsen momenteel.
en dit zijn de eerste resultaten vanaf een windowsclient naar de freenasdoos met een raidz 4x2 TB en aparte intel nic

op de monitor die aan de nas hangt zie ik wel wat adacadabra verschijnen

Kijk ook eens bij je traffic grafieken. Ik heb een hele tijd geleden een aantal custom Freenas 7 builds geprobeert en allerlei tuning guides gebruikt, ik was echter niet in staat om grote hoeveelheden data te verplaatsen naar een ZFS volume zonder dat de snelheid na ongeveer 8GB dramatisch inzakte.
Windows bleef aangeven dat de transfer met ruim 70 MBps de lijn over ging echter sloeg de transfer om de 10 seconden 5 seconden vast.
Zowel op de Windows host als op de Freenas machine kreeg ik een netwerk grafiek met een blok patroon voor, volgens mij heb ik daarover nog een keer gepost hier .
Het was net alsof er een cache of buffer vol was waarop werd gewacht, nou weet ik dat ZFS graag veel ram heeft maar 6GB van de 8GB leek me eigenlijk wel voldoende.

Ik ben wel benieuwd hoe het nu is met de performance van ZFS, op de Alpha versie van 8.0 leek het al een stuk beter echter kon ik met die alpha verder niet zoveel .

Dus als je nog meer resultaten hebt, ik kijk ernaar uit .

[Verwijderd]

dutch_warrior schreef op zaterdag 09 april 2011 @ 17:34:
[...]


Kijk ook eens bij je traffic grafieken. Ik heb een hele tijd geleden een aantal custom Freenas 7 builds geprobeert en allerlei tuning guides gebruikt, ik was echter niet in staat om grote hoeveelheden data te verplaatsen naar een ZFS volume zonder dat de snelheid na ongeveer 8GB dramatisch inzakte.
Windows bleef aangeven dat de transfer met ruim 70 MBps de lijn over ging echter sloeg de transfer om de 10 seconden 5 seconden vast.
Zowel op de Windows host als op de Freenas machine kreeg ik een netwerk grafiek met een blok patroon voor, volgens mij heb ik daarover nog een keer gepost hier .
Het was net alsof er een cache of buffer vol was waarop werd gewacht, nou weet ik dat ZFS graag veel ram heeft maar 6GB van de 8GB leek me eigenlijk wel voldoende.

Ik ben wel benieuwd hoe het nu is met de performance van ZFS, op de Alpha versie van 8.0 leek het al een stuk beter echter kon ik met die alpha verder niet zoveel .

Dus als je nog meer resultaten hebt, ik kijk ernaar uit .

ik ga de komende dagen eea uitproberen.. oa files groter dan 8gb
voor de duidelijkheid even de huidige keukentafel setup :

FreeBSD 8.2-RELEASE
FreeNAS-8.0-RC4-amd64

Intel(R) Core(TM) i3 CPU 540 @ 3.07GHz
MSI H55M-ED55 - Micro ATX
Intel PRO/1000 GT Desktop Adapter - Netwerkadapter
8 GB : 2 x 4 GB - DIMM 240-pins - DDR3 - 1333 MHz / PC3-10600 - CL9 - 1.5 V - ni
Intel RAID Controller SASUC8I (IT flashed)
4 x Samsung EcoGreen F4EG HD204UI in raidz
1 x OCZ agility2 60 gb ssd poolcache
boot'disk scandisk cruzer micro 1 gb
level one gsw o841 switch

_{oeps.. zie ik nou RC4 amd64 ?.. moet ik toch op zoek naar een intel versie ?}

[ Voor 4% gewijzigd door Verwijderd op 09-04-2011 19:17 ]

[Dadona]

Nee, de Intel versie werkt alleen op Itanium. AMD64 moet je ook gewoon gebruiken voor 64 bit installs op Intel Core spullen.

[dutch_warrior]

Verwijderd schreef op zaterdag 09 april 2011 @ 17:46:
[...]
_{oeps.. zie ik nou RC4 amd64 ?.. moet ik toch op zoek naar een intel versie ?}

Nee dat is een algemene 64bits versie, dat komt omdat AMD als eerste 64bits desktop cpu's had.
i386 is gewoon 32 bits
amd64, x86_64 en x64 is 64bits
ia64 is bij mijn weten voor itanium.

[Verwijderd]

tnx x 2

* ben testfiles aan het maken van 10 / 20 / 40 / 100gb

[FireDrunk]

Ik ben benieuwd

[Verwijderd]

zou link aggregation nog veel uitmaken ? ik heb een onboard nic en een losse nic en in freenas kan je dat instellen.. 2 netwerkkabeltjes naar de switch.

en zoja, welk 'lagg protocol' moet je dan nemen ?



_{op plaatje staat de onboard nic ff uit}

[ Voor 8% gewijzigd door Verwijderd op 09-04-2011 19:36 ]

[redfoxert]

Verwijderd schreef op zaterdag 09 april 2011 @ 19:35:
zou link aggregation nog veel uitmaken ? ik heb een onboard nic en een losse nic en in freenas kan je dat instellen.. 2 netwerkkabeltjes naar de switch.

en zoja, welk 'lagg protocol' moet je dan nemen ?

[afbeelding]

_{op plaatje staat de onboard nic ff uit}

Iets dat je switch ook ondersteunt aangezien je anders nauwelijks er iets van zult merken.

[michiel.686]

[quote]Verwijderd schreef op zaterdag 09 april 2011 @ 19:35:
zou link aggregation nog veel uitmaken ? ik heb een onboard nic en een losse nic en in freenas kan je dat instellen.. 2 netwerkkabeltjes naar de switch.


Dat werkt alleen als de switch daar ondersteuning voor heeft. Ik denk dat Intel + Realtek ook niet gaat werken. In het geval van Intel kaarten dient tenminste 1 van de kaarten een server kaart te zijn, met 2x CT werkt het dus niet

[Verwijderd]

redfoxert schreef op zaterdag 09 april 2011 @ 19:40:
[...]


Iets dat je switch ook ondersteunt aangezien je anders nauwelijks er iets van zult merken.

ok.. ff snel gekeken maar dat kan ik hier idd via de managed switch (group/trunking) .. maar wellicht niet met de 2 nics die nu aktief zijn op dat plankje zoals michiel stelt..

schrijven naar de windowsshare op de zfspool
client : win 7 64 ultimate AMD Phenom II x6 1090T @4.01 WEI 7.4)



zakt niet zichtbaar in zo te zien.

(heb geen grafiekje.. denk dat de daemon uitgeschakeld stond in freenas.. heb even de stroom eraf gehad, toen weer gestart en laatste data is van 18:20)

even opnieuw geboot en voila..grafiekje

> http://img25.imageshack.us/img25/4930/49201192228pm.jpg

[ Voor 39% gewijzigd door Verwijderd op 09-04-2011 23:27 ]

[dutch_warrior]

Verwijderd schreef op zaterdag 09 april 2011 @ 19:45:
[...]

zakt niet zichtbaar in zo te zien.

(heb geen grafiekje.. denk dat de deamon uitgeschakeld stond in freenas.. heb even de stroom eraf gehad, toen weer gestart en laatste data is van 18:20)

Ziet er goed uit .
Blijkbaar heeft 8.0 nog geen bandwithd graphs , kan het op me vm ook niet terug vinden namelijk.

[grotius]

Ik ben voornemend om een DIY NAS te bouwen.

Doel:
- Downloaden (Usenet)
- Muziek server (Squeezecenter)
- Opslag voor laptop en desktop (foto’s, documenten etc)
- Opslag voor htpc (films en series, op de htpc draait xmbc live)
- Toekomst: Webserver

Eisen:
- Energiezuinig
- Minimaal 4 HDD’s (6 TB is voor mij ruim voldoende)
- FreeBSD, ZFS filesytem

Mijn lijstje onderdelen:

#	Product	Prijs	Subtotaal
1	Supermicro X7SPA-HF-D525	€ 184,-	€ 184,-
1	Chenbro ES34069	€ 200,43	€ 200,43
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 62,-	€ 248,-
1	Kingston ValueRAM KVR800D2S6K2/4G	€ 48,42	€ 48,42
1	OCZ Vertex SATA II 2.5" SSD 30GB	€ 64,84	€ 64,84
Bekijk collectie Importeer producten		Totaal	€ 745,69

Belangrijkste vragen:
- Is er snelheid winst / stabiliteit te behalen als ik een SSD HDD aan het systeem toevoeg? Op de SSD installeer ik dan dus FreeBSD (ZFS filesytem). Ik hou dan wel een aanzienlijk deel van de capaciteit van de SSD over.
- Zijn andere compententen aan te raden?

[Verwijderd]

Ik ben voornemend om een DIY NAS te bouwen.

ik dacht dat ZFS alleen met hele volumes kan werken, dus een partitie van de SSD gebruiken als cache werkt volgens mij niet... (niet 100% zeker hiervan)
verder een hele degelijke setup kwa componenten denk ik.

' I would recommend getting the 180w version just because four drives at startup plus a future PSU and fans may be taxing on a 120w system. If one was doing a FreeBSD based build with the OS on a USB drive, four storage drives in RAID-Z, RAID-Z2, or RAID 10, and two low-cost SSDs for L2ARC, then this would be a great six drive enclosure.'

[ Voor 73% gewijzigd door Verwijderd op 09-04-2011 21:51 ]

[grotius]

ik dacht dat ZFS alleen met hele volumes kan werken, dus een partitie van de SSD gebruiken als cache werkt volgens mij niet... (niet 100% zeker hiervan)

If one was doing a FreeBSD based build with the OS on a USB drive, four storage drives in RAID-Z, RAID-Z2, or RAID 10, and two low-cost SSDs for L2ARC, then this would be a great six drive enclosure.'

Ik weet niet of ik bovenstaand helemaal begrijp maar hier een poging.

optie a: 1x SSD voor ZIL (wegschrijven) + 1x SSD voor L2ARC (Lezen)
of
optie b: 2x SSD voor L2ARC (in Raid 1)

Dit betekent dan dus dat ik bij beide opties FreeBSD vanaf een USB stick moet draaien? Ik ben nog een beetje een noob en dacht dat de SSD snelheidwinst zou opleveren omdat FreeBSD en de bijbehorende programmas (waaronder SABNZB om te downloaden en uit te pakken) vanaf deze snelle schijf draaien.

' I would recommend getting the 180w version just because four drives at startup plus a future PSU and fans may be taxing on a 120w system.

De 180w versie zal ik overwegen maar Ik dacht dat 120watt voor de huidige setup voldoende zou zijn. De gedachte is dat ik geen upgrade doe. Na afschrijving (3-4 jaar) koop ik een nieuwe NAS.

[michiel.686]

@grotius: je hebt een mooi bordje uitgezocht, ben alleen bang dat die atom een beperkende factor in je systeem gaat worden...

[Verwijderd]

en FreeBSD krijg je toch wel op dit snelle goedkope stickje ?

[ Voor 3% gewijzigd door Verwijderd op 09-04-2011 23:06 ]

[michiel.686]

Heb je dat niet afgekeken van iemand anders borroz?

[nero355]

Verwijderd schreef op zaterdag 09 april 2011 @ 22:31:
en FreeBSD krijg je toch wel op dit snelle stickje ?

Sloom ding zeg Sharkoon heeft 2 usb sticks die veel harder gaan :

MLC : 110 MB/s Read en 70 MB/s Write.
SLC : 130 MB/s Write en Read

Beide USB 3.0 uiteraard

[Verwijderd]

michiel.686 schreef op zaterdag 09 april 2011 @ 22:36:
Heb je dat niet afgekeken van iemand anders borroz?

ik spiek en deel..

[michiel.686]

Jat & steel

@nero355: Die sharkoon stickjes zitten in een heel andere prijsklasse, voor minder koop je een nog snellere SSD

[ Voor 79% gewijzigd door michiel.686 op 09-04-2011 23:19 ]

[Verwijderd]

michiel.686 schreef op zaterdag 09 april 2011 @ 22:20:
@grotius: je hebt een mooi bordje uitgezocht, ben alleen bang dat die atom een beperkende factor in je systeem gaat worden...

iets meer power als je meerdere taken hebt (en uit wil breiden met webserver) kan geen kwaad.
kom je meestal uit op mATX bordjes en die passen niet in dat mooie kastje

[Verwijderd]

FireDrunk schreef op zaterdag 09 april 2011 @ 17:24:
Mwoh, dat valt wel mee Ik heb ESXi met daarop meerder VM's... Mijn huidige fileserver is een Ubuntu 10.10 VM met een LSI controller op passthrough met daaraan 8 disks in RAID6.

Daarnaast heb ik nog 4 x 2TB om mee te spelen op andere VM's

wat ik me nog afvraag is het volgende (ik wil gewoon even sjekken of zo'n meting de moeite waard is)

op dit moment hangen er 4 disks aan de intel raid kaart.. wat als ik de raidz pool verwijder, de disks opnieuw aansluit , maar nu rechtstreeks op het mobo, en de pool vervolgens weer aanmaak.

zou er dan sprake kunnen zijn van een snelheidswinst

[michiel.686]

Op de LSI/Intel is sneller.. Al is het op mobo niet echt langzaam natuurlijk. Voor puur fileserver gebruik maakt het niets uit, je netwerk blijft dan de beperkende factor

[analog_]

Dat over die trunking met multiple nics, dat werkt dus wel degelijk zonder switch support. Als je wel ondersteuning hebt, gebruik LACP. In de andere gevallen kan je de documentatie vinden op de officiele linux kernel wiki onder 'bonding'. De andere methodes maken gebruik van mac spoofing om ervoor te zorgen dat het teruggaande pakket naar een bepaalde interface wordt gestuurd. Het werkt overigens ook zelden op één 1-op-1 link omdat door je client ook maar één NIC wordt gebruikt (als je bonding daar gebruikt, hetzelfde foefje, 1link). Je kan hierover ook wat betreft algo/throughput academische papers vinden.

[Verwijderd]

michiel.686 schreef op zaterdag 09 april 2011 @ 23:46:
Op de LSI/Intel is sneller.. Al is het op mobo niet echt langzaam natuurlijk. Voor puur fileserver gebruik maakt het niets uit, je netwerk blijft dan de beperkende factor

Geloof er niks van.. Rechtstreeks aan mobootje moet een meetbare snelheidswinst opleveren, de vraag was, is het de moeite om te testen

[Verwijderd]

analog_ schreef op zondag 10 april 2011 @ 00:19:
Dat over die trunking met multiple nics, dat werkt dus wel degelijk zonder switch support. Als je wel ondersteuning hebt, gebruik LACP. In de andere gevallen kan je de documentatie vinden op de officiele linux kernel wiki onder 'bonding'. De andere methodes maken gebruik van mac spoofing om ervoor te zorgen dat het teruggaande pakket naar een bepaalde interface wordt gestuurd. Het werkt overigens ook zelden op één 1-op-1 link omdat door je client ook maar één NIC wordt gebruikt (als je bonding daar gebruikt, hetzelfde foefje, 1link). Je kan hierover ook wat betreft algo/throughput academische papers vinden.

tnx, dat ga ik is testen.

[michiel.686]

@analog: Werkt dat ook met 2 verschillende kaarten dan, bv. Realtek en Intel?

@borroz: Meet het en je weet het! . Ik ga er vooralsnog vanuit dat de kaart sneller is, daar is 'ie immers voor, maar doe dit puur op gevoel. Ben wel benieuwd naar een meting voor het goede antwoord!

[analog_]

Zover ik weet wel, ik neem wel aan dat hij macspoofing moet kunnen (driver wise). Op debian is het pakket macchanger of met ifconfig kan je dit ook aanpassen. Ik had maar vluchtig je post gelezen dus weet niet of je het over bsd of linux hebt maar ik neem aan dat bsd het ook heeft. wiki waar ik het over had. Het werkt eigenlijk vooral als je met meerdere clients tegelijkertijd op een trunk zit.

Iemand overigens ervaring met HP P600 (PCI-X broer van P400) en incompabiliteit met moederborden? Ik krijg op twee planken hem niet aan de praat. FW is corrupt/missing en kan hem ook niet flashen. Smartstart is geen optie, non hp server (workstation wel) en in windows wilt ie niet.

[ Voor 21% gewijzigd door analog_ op 10-04-2011 00:37 ]

[michiel.686]

@analog: thx, hier ga ik binnenkort eens ff mee prutsen dan

[Verwijderd]

dit begrijp ik ook niet helemaal.. via de webgui FreeBSD 8.2 en via SSH FreeBSD 8.1 ..

[grotius]

Bedankt voor jullie reacties

Verwijderd schreef op zaterdag 09 april 2011 @ 22:31:
en FreeBSD krijg je toch wel op dit snelle goedkope stickje ?

En laat mijn gekozen moederbord nou net geen USB 3.0 hebbben
FreeBSD en alle ports draaien op een USB 2.0 stickie is zeker geen goed idee?

Het moederbord heeft 1 expensionslot 1 (x4) PCI-Express (in x16) slot: Hier kan ik dan misschien een USB 3,0 controllers in stoppen zoals deze?

@grotius: je hebt een mooi bordje uitgezocht, ben alleen bang dat die atom een beperkende factor in je systeem gaat worden...

Dat is waar

Toch zoek ik naar een optimum. Volgens mij ben ik geen groot verbruiker: 's nachts downloaden, overdag muziek via de squeezeserver en 's avonds films en series bekijken op de htpc. Een beetje toeleggen op preformance leek mij niet erg. Eigenlijk zijn de SSD's als ik jullie zo lees geen goed idee. Ik zoek een preformance winst terwijl de Atom beperkt.

Als ik zo teruglees dan kan ik misschien het SSD verhaal los laten. Dat betetent het volgende lijst

#	Product	Prijs	Subtotaal
1	Supermicro X7SPA-HF-D525	€ 184,-	€ 184,-
1	Chenbro ES34069	€ 200,43	€ 200,43
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 62,-	€ 248,-
1	Kingston ValueRAM KVR800D2S6K2/4G	€ 48,42	€ 48,42
Bekijk collectie Importeer producten		Totaal	€ 680,85

Voordeel: Energiezuinig en relatief goedkoop (zonder 2 SSD scheelt toch weer €150)
Nadeel: Niet toekomst proof (in snelheid maar ook in uitbreidingsmogelijkheden)

Vraag bij dit systeem:
Kan ik FreeBSD eventueel met ZFSsysteem gewoon op de raid v/d 4HDD installeren of raden jullie toch aan om dit op dit elders te installeren? Bijvoorbeeld op:
- een extra HDD (een notebook HDD of toch een goedkope SSD)
- dat systeem dat Borroz heel wat pagina terug liet zijn met 2 CF kaartjes in een kastje met Sata aansluiting
- Of toch een USB stick

Toch draai ik circels. Ik wil klaarblijkelijk het beste van twee werelden. Daarom ook maar eens nagedacht over een heel ander systeem

#	Product	Prijs	Subtotaal
1	Transcend JetFlash 700 16GB Zwart	€ 26,06	€ 26,06
1	Intel Gigabit CT Desktop Adapter	€ 23,60	€ 23,60
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 62,-	€ 248,-
1	Lian Li PC-A04 (Zwart)	€ 87,20	€ 87,20
1	AMD Athlon II X4 640	€ 80,77	€ 80,77
1	be quiet! Pure Power L7 300W	€ 33,80	€ 33,80
2	Kingston SSDNow V Series SNV125-S2/30GB 30GB	€ 62,05	€ 124,10
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 114,-	€ 114,-
1	Asus M4A88T-M/USB3	€ 75,12	€ 75,12
Bekijk collectie Importeer producten		Totaal	€ 812,65

Voordeel: Dit systeem is meer toekomst proof (ruimte voor uitbreiding) en sneller
Nadeel: Kost meer energie (en is groter). Misschien in mijn situatie teveel van het goede.

Vragen bij dit systeem
- Is het verstandig om ook hier het OS te draaien vanaf een USB 3.0 stick?
- Hoe zit het nu met de SSD schijven? Is het beter om 1x SSD te gebruiken voor ZIL (wegschrijven) en 1x SSD voor L2ARC (Lezen) of kan ik beter 2x SSD gebruiken voor L2ARC (in Raid 1 mirror)?

[Verwijderd]

En laat mijn gekozen moederbord nou net geen USB 3.0 hebbben
FreeBSD en alle ports draaien op een USB 2.0 stickie is zeker geen goed idee?

- dat maakt niet uit, sticky is backwards compatible dus je kan een OS ook op dit sticky zetten en draait dan usb 2.0 (en je hebt een satapoort vrij)

[ Voor 5% gewijzigd door Verwijderd op 10-04-2011 11:07 ]

[michiel.686]

@grotius: USB 3 werkt ook gewoon op USB 2, alleen dan met een lagere snelheid.

Waarom kies je voor een energie-onzuinige X4? Een I3-530 of 540 is voldoende, goedkoper en zuiniger!

ZFS heeft een groot snelheidsvoordeel van voldoende geheugen; die Atom variant kan max. 4 Gb geheugen aan, terwijl 8 Gb beter zou zijn

[Verwijderd]

gezien je wensen kan je ook is kijken naar deze qnap

zelfbouw is duurder.. geloof me

* en die 2 tb tjes blijven in prijs zakken > pricewatch: Samsung EcoGreen F4EG HD204UI, 2TB

[ Voor 50% gewijzigd door Verwijderd op 10-04-2011 11:55 ]

[voodooless]

Ik en een collega dachten gisteren eindelijk onze bestelling voor onze NAS te kunnen plaatsen, blijkt bij navraag bij diverse shops dat het moederbord nergens leverbaar is. Levertijd is ook niet bekend. Betreffende mobo is Asus E35M1-I DELUXE. Deze heeft 5x SATA, en laat dat nu net iets zijn wat ik nodig heb Alle andere AMD ITX bordjes hebben maar 4x SATA. Enige alternatief zou dan weer een Atompje zijn van supermicro, maar dat ding kost 184 euro, dat zie ik echt niet zitten

In onze buurlanden is trouwens het bordje net zo min leverbaar. We hebben alleen enkele shops in Canada gevonden die het bordje wel zouden hebben, maar met verzendkosten en BTW loont dat gewoon niet.

[Verwijderd]

voodooless schreef op zondag 10 april 2011 @ 11:56:
Ik en een collega dachten gisteren eindelijk onze bestelling voor onze NAS te kunnen plaatsen, blijkt bij navraag bij diverse shops dat het moederbord nergens leverbaar is. Levertijd is ook niet bekend. Betreffende mobo is Asus E35M1-I DELUXE. Deze heeft 5x SATA, en laat dat nu net iets zijn wat ik nodig heb Alle andere AMD ITX bordjes hebben maar 4x SATA. Enige alternatief zou dan weer een Atompje zijn van supermicro, maar dat ding kost 184 euro, dat zie ik echt niet zitten

In onze buurlanden is trouwens het bordje net zo min leverbaar. We hebben alleen enkele shops in Canada gevonden die het bordje wel zouden hebben, maar met verzendkosten en BTW loont dat gewoon niet.

das balen.. maar er zijn nog andere.

[voodooless]

Niet met minimaal 5x sata. Losse CPU loont ook niet. Zuinige CPU is minimaal 100 euro, en bordje idem. En er zijn er ook nog een paar met eerste generatie Atom. Die dingen hoef ik ook niet vanwege de onzuinige chipset.

[ Voor 36% gewijzigd door voodooless op 10-04-2011 12:07 ]

[FireDrunk]

analog_ schreef op zondag 10 april 2011 @ 00:33:
Zover ik weet wel, ik neem wel aan dat hij macspoofing moet kunnen (driver wise). Op debian is het pakket macchanger of met ifconfig kan je dit ook aanpassen. Ik had maar vluchtig je post gelezen dus weet niet of je het over bsd of linux hebt maar ik neem aan dat bsd het ook heeft. wiki waar ik het over had. Het werkt eigenlijk vooral als je met meerdere clients tegelijkertijd op een trunk zit.

Iemand overigens ervaring met HP P600 (PCI-X broer van P400) en incompabiliteit met moederborden? Ik krijg op twee planken hem niet aan de praat. FW is corrupt/missing en kan hem ook niet flashen. Smartstart is geen optie, non hp server (workstation wel) en in windows wilt ie niet.

Ik heb nog wel een HP bak staan? Moet je even langskomen