Het grote DIY RAID NAS topic deel 3

[Verwijderd]

Heb ik toen ook gedaan, hielp even, paar dagen later kreeg ik weer dezelfde problemen en op 2 disks tegelijk: weg raid5 array. Sinds ik ZFS draai heb ik 0,0 problemen

[CurlyMo]

FireDrunk schreef op dinsdag 13 december 2011 @ 21:11:
Je kan uiteraard allemaal shady tooltjes gaan installeren die je disks op bad sectors testen, maar dat vertrouw ik persoonlijk niet zo... als je dit niet aan durft kan je het beste de testsoftware van de fabrikant van je disks draaien..

Naar mijn idee is er maar één tool die perfect voor deze taak is weggelegd en dat is simpelweg "badblocks". Heeft bij mij altijd perfect dienst gedaan.

[johiem]

Bedankt voor de reacties.

Ik blijf eerst even bij Ubuntu, ben er nu net wat aan gewend.

Zal morgen de dd even uittesten, kan niet veel verknallen alle data is eraf (staat ergens anders). Ik draai hem nu liever niet, de server staat niet op z'n vaste plek maar in mijn slaapkamer . Zal ook wel even kijken naar "bacblocks".

Mocht het nodig zijn dan installeer ik het hele zootje wel weer opnieuw, maar liever niet.

[rookie no. 1]

Voor de 'DIY' NAS-bouwers die een krap budget hebben, maar wel een zuinige en snelle storage-machine: vergeet de HP Proliant Microserver N40L niet!!

Standaard gaan er 4 SATA harddisks in, maar in de (niet meegeleverde) optical bay kun je een 5de harddisk/SSD (*) plaatsen (bv. voor OS) en een 6de via de E-SATA-poort (*) of je kunt er zelfs een SATA/SAS drive-bay voor 4 extra harddisks inbouwen welke je kunt aansluiten op een extra RAID controller of HBA waardoor je in totaal 8-harddisks (**) erin hebt. Desgewenst gooi je het OS (bv. Freenas, VMWare ESXi) op een USB-stick waar intern een aansluiting voor zit.


(*) de SATA- en E-SATA poort op het mainboard staan standaard ingesteld op IDE-modus die met de HP bios niet op AHCI te zetten is. Er is iemand die bij HP werkt die voor deze optie de bios heeft aangepast, zodat je AHCI op deze 2 poorten kunt gebruiken (met alle voordelen van dien)

(**) de power-supply is 150w, dus even uitrekenen of dit gaat lukken. Ik heb configuraties gezien die 8-hdd's in gebruik hebben.

[Verwijderd]

@jochiem voordat je die zero-write doet eerst even de SMART log bekijken van beide disks

smartctl -A /dev/ .... (naam van je device)

En de output daarvan (voor beide schijven) op pastebin zetten.

[johiem]

@CiPHER
Ik zal de zero write straks wel doen, maar hier nu eerst de logs.

/dev/sdb (falende schijf)
http://pastebin.com/TcNxB2XA

/dev/sdc
http://pastebin.com/nXrxTNm3

Na mijn weten is de enige afwijkende waarde Program_Fail_Cnt_Total.

[Verwijderd]

Ja, alhoewel dat opzich geen probleem hoeft te zijn. Het betekent alleen dat er soms opnieuw geschreven moet worden. Dus van de triljard beschreven sectoren zijn er een miljoen niet gelukt dus 0,1% lagere performance ofzo. Het hangt af van de schijf maar het lijkt mij allemaal in orde te zijn. Sommige schijven laten de raw value niet zien bijvoorbeeld, anderen zijn eerlijker met de SMART specs, met als nadeel dat consumenten of programma's een waarde anders dan 0 gelijk als probleem bestempelen.

[FireDrunk]

Ziet er naar mijn weten inderdaad wel goed uit. Badblocks is inderdaad een van de weinige waar ik goede verhalen over lees, maar ik weet niet hoe die met MD arrays omgaat.

[johiem]

@FireDrunk
Ik voer nu de DD uit, enig idee hoe lang het duurt om een 2TB array vol te schrijven?

[FireDrunk]

lang (meerdere uren, ik schat 5-6)

[ Voor 23% gewijzigd door FireDrunk op 14-12-2011 10:18 ]

[johiem]

Kom hem twee keer uitvoeren, was vergeten tune2fs op 0% te zetten. Maar hij was inderdaad 5-6 uren bezig.

De logs voor beide schijven (alleen records van vandaag)
http://pastebin.com/DNBmbVHS
http://pastebin.com/NxJN9MWn

De log voor md
http://pastebin.com/2airBmgh

Wat zijn de mogelijkheden? Of moet ik opnieuw installeren?

EDIT:

Ik las zonet de Smartctl nog even na en daar staat de volgende waarschuwing:
==> WARNING: Using smartmontools or hdparm with this
drive may result in data loss due to a firmware bug.
****** THIS DRIVE MAY OR MAY NOT BE AFFECTED! ******
Buggy and fixed firmware report same version number!
See the following web pages for details:
http://www.samsung.com/gl...iew.do?b2b_bbs_msg_id=386
http://sourceforge.net/ap...wiki/SamsungF4EGBadBlocks.

Nu verstuurde ik elke ochtend een log aan mijzelf met daarin de hdd temp (programma hddtemp). Zou deze dat hebben kunnen veroorzaken, of zie ik dit verkeerd?

[ Voor 49% gewijzigd door johiem op 14-12-2011 16:23 ]

[FireDrunk]

Heeej, dat duid op dat je de firmware van je schijven nog niet geupdate hebt...

Heb je dat gedaan? Er is een nasty bug in die schijven die silent datacorruption veroorzaakt.

[johiem]

@FireDrunk

Nee dat heb ik nog niet gedaan. Wist niet dat ie gebugged was, zal ze zometeen beide even updaten. Installeer alles wel even opnieuw, kan ik weer schoon beginnen zeg maar. Houdt hier de voortgang wel even bij

Bedankt.

[Jormungandr]

De firmware versie blijft dezelfde versie na de patch, dus je disk kan er gewoon geen last van hebben.
Bron: smartctl wiki

[FireDrunk]

Dat klopt inderdaad, je kan niet zien of ze al gefixed zijn...

[johiem]

Ik heb de schijven nu in ieder geval geupdate, weet ik het tenminste zeker.

Ben Ubuntu Server nu ook opnieuw aan het installeren (bijna klaar), ga straks wel weer even testen.

[johiem]

Begint nu toch echt vervelend te worden dit.

Nu herinstallatie (niks extras geïnstalleerd, niet eens openssh), alleen MDADM array aangemaakt. Na een paar reboots weer degraded.

Wat kan het nu toch zijn? Hoe kom ik hier achter?

EDIT:

Ook iets gelezen op het internet over een trage Spinup, dat daarom de eerste HDD altijd wegvalt. Ik heb dit probleem sinds de stap van een USB stick naar SSD boot schijf. Kan dit?

[ Voor 29% gewijzigd door johiem op 14-12-2011 18:10 ]

[VorCha]

Even wat cijfertjes;

CentOS 6 VM met 3TB USB 2.0 disk

/dev/sdc:
Timing O_DIRECT cached reads: 30 MB in 2.06 seconds = 14.56 MB/sec
Timing O_DIRECT disk reads: 44 MB in 3.05 seconds = 14.40 MB/sec

/dev/sdc:
Timing O_DIRECT cached reads: 30 MB in 2.06 seconds = 14.56 MB/sec
Timing O_DIRECT disk reads: 44 MB in 3.03 seconds = 14.51 MB/sec

/dev/sdc:
Timing O_DIRECT cached reads: 30 MB in 2.04 seconds = 14.69 MB/sec
Timing O_DIRECT disk reads: 30 MB in 3.05 seconds = 9.85 MB/sec

CentOS 5.7 VM met 160GB vmdk

/dev/sda:
Timing O_DIRECT cached reads: 980 MB in 2.00 seconds = 489.43 MB/sec
Timing O_DIRECT disk reads: 564 MB in 3.02 seconds = 186.83 MB/sec

/dev/sda:
Timing O_DIRECT cached reads: 944 MB in 2.01 seconds = 470.19 MB/sec
Timing O_DIRECT disk reads: 564 MB in 3.01 seconds = 187.69 MB/sec

/dev/sda:
Timing O_DIRECT cached reads: 980 MB in 2.00 seconds = 489.14 MB/sec
Timing O_DIRECT disk reads: 562 MB in 3.01 seconds = 186.73 MB/sec

CentOS 6.1 non-VM met 4 x 1TB SATA disks in RAID5 (software)

/dev/md127:
Timing O_DIRECT cached reads: 1006 MB in 2.00 seconds = 502.80 MB/sec
Timing O_DIRECT disk reads: 704 MB in 3.00 seconds = 234.66 MB/sec

/dev/md127:
Timing O_DIRECT cached reads: 1020 MB in 2.00 seconds = 509.78 MB/sec
Timing O_DIRECT disk reads: 666 MB in 3.01 seconds = 221.32 MB/sec

/dev/md127:
Timing O_DIRECT cached reads: 1010 MB in 2.00 seconds = 504.29 MB/sec
Timing O_DIRECT disk reads: 696 MB in 3.01 seconds = 231.45 MB/sec

Ik denk dat ik er goed aan zou doen om een USB 3.0 controller in te bouwen en de disk behuizing ook te vervangen.

gebruikte commando pipe; for i in 1 2 3; do hdparm -tT --direct /dev/sda; done

[ Voor 2% gewijzigd door VorCha op 14-12-2011 19:33 . Reden: commando pipe toegevoegd ]

[johiem]

Weer een kleine update:

Beide HDD's aangekoppeld is degraded state, sdb niet aanwezig.

Elk apart ook degraded state, best wel logisch. Maar sdb functioneert dan ook gewoon op zichzelf (na reboot geen andere commando's).

Het lijkt dus als ze niet kunnen samen werken

Wat kan dit nou zijn?

EDIT:

Na het omdraaien van de SATA kabels faalt in 1 keer SDC. Misschien iets mis mijn SATA Port?

De HDD aan de eerst volgende SATA port, na de SSD (zit op 1) faalt. Hier ligt dus iets, of niet?

Dit is het artikel waarin wordt gesproken over een te snelle start: http://communities.intel.com/thread/21832

[ Voor 46% gewijzigd door johiem op 14-12-2011 20:04 . Reden: Link toevoeging en overige spul ]

[Verwijderd]

Al gedacht aan een rotte SATA kabel?

[johiem]

@Collie
Voorheen had ik nooit problemen met deze kabels, het is pas gebeurd na de stap van boot USB Stick naar boot SSD schijf. Kan het dan nog steeds?

[FireDrunk]

Misschien tijdens het inbouwen kabel beschadigd? Probeer eens andere, dan weet je het (bijna) zeker.

[johiem]

Ik zal het morgen proberen, maar denk niet dat het veel uitmaakt.

Namelijk,

Schijf A op Sata port 1, en b op 2 => schijf A missing
Schijf B op Sata port 1, en A op 2 => schijf B missing

Heb dit ook geprobeerd op Sata port 3 en 4. SSD zit op port 0.

Kan het niet zijn zoals in het artikel hierboven? Te snelle startup, waardoor de eerst disk faalt

[FireDrunk]

Kan zijn, je kan eens in je BIOS kijken of je een boot delay kan instellen. Anders kan je die delay ook in GRUB zetten.

[johiem]

Hmm,

Ik heb alle kabels van mijn server eruit gehaald en opnieuw erin gezet. Twee uur lang heb ik de server laten rebooten (om de 5 min) en een paar cold boots later lijkt de array nu prima. Waarschijnlijk toch iets mis met een kabel denk ik.

Tijd zal het leren.

Bedankt voor al jullie ondersteuning en hulp!

En nu weer bezig om alles te installeren en in te stellen.

[ Voor 8% gewijzigd door johiem op 15-12-2011 20:00 ]

[RMX]

Ik wil als dit dorp over gaat op glasvezel een server maken waar mn vrienden op in kunnen loggen en series, films streamen. Ik denk dat dit met NFS gaat. Kan iemand mij op weg helpen met het berekenen van hoeveel cpu/hd reads / bandwidth dit bij bijv een DVD en 720p HD episode kost.

Ik weet niet waar ik moet beginnen. Wil alleen een NAS, die voor mezelf ook nog dienst doet als HTPC.
Alvast bedankt als iemand mij op weg kan helpen!

[HarmoniousVibe]

Als één iemand één 720p ep (scene quality, 45 min) streamt, kost dit zo'n 1GB, oftewel 3Mbit/s. De hoeveelheid data die van de schijf wordt gelezen is ook 1GB.

[RMX]

HarmoniousVibe schreef op vrijdag 16 december 2011 @ 00:18:

Vanwaar die smiley? Niet iedereen kan alwetend zijn zoals jouw

Als één iemand één 720p ep (scene quality, 45 min) streamt, kost dit zo'n 1GB, oftewel 3Mbit/s.

Kijk dus met de upload zit het wel goed dus. Hoe zou ik kunnen monitoren of de hardeschijf het wel bijhoud. Ik bedoel als bijv. 10 man een episode streamt, zal met 50 mbit de upload het wel redden. Maar houd de hardeschijf het wel bij? Bedankt

[FireDrunk]

NFS over internet? lijkt me niet verstandig... FTP is daar iets beter geschikt voor, of je moet NFS via SSH gaan maken.

[CurlyMo]

RMX schreef op vrijdag 16 december 2011 @ 13:53:
Vanwaar die smiley? Niet iedereen kan alwetend zijn zoals jouw

Het is een DIY topic en daar horen zelf geconfigureerde systemen bij. Als je dus met een suggestie komt van een configuratie waar je aan zit te denken, dan kunnen mensen hier ook meedenken. Geef bijv. aan wat je budget is, welke OS je wilt draaien, of je RAID gaat draaien en zo ja via welke oplossing, enz. En je eigen voorkennis is misschien ook handig om te weten zodat we de mate van alwetendheid kunnen inschatten

[RMX]

FireDrunk schreef op vrijdag 16 december 2011 @ 14:25:
NFS over internet? lijkt me niet verstandig... FTP is daar iets beter geschikt voor, of je moet NFS via SSH gaan maken.

Maar FTP heeft geen stream mogelijkheid toch?
Uiteindelijk moet ik bij een vriend me een NFS/Samba link invullen in zijn standalone mediaplayer, en dat hij door mijn content kan browsen en video's streamen.

Ik zat zelf aan een SilverStone LC10-E te denken, waar ik 4 HD's in kwijt kan, welke in een RAID setup zullen draaien. Verder zal er Windows 7 opdraaien icm XBMC. De overweging kan nog zijn om er tegen die tijd Linux op te zetten, aangezien het systeem pas over 1,5 jaar gebouwd gaat worden. (Als glasvezel hier ligt)
Ik ga er tegen die tijd de `nieuwste` hardware inzetten. Dus goede processor, videokaart, en genoeg DDR3 geheugen. Budget zal rond de 500 a 600 euro liggen. Ik weet dat ik met deze eisen in ieder geval geen energiezuinig systeem kan maken, maar dat is ook geen dealbreaker. Het zal mooi meegenomen zijn, maargoed.

Dus mochten er mensen wat ideeen hebben over een ander protocol wat ik kan gebruiken voor het streamen hoor ik het graag! Bedankt

[FireDrunk]

Streamen is inderdaad wel lastig... Maar dan zou ik toch de NFS verbinding beveiligen, danwel via SSH of VPN.

[CurlyMo]

Misschien goed om eerst naar je systeem te kijken, dat protocol komt wel goed.

Als eerste is het belangrijk dat wanneer je software raid wilt gaan draaien dit niet handig is mocht je van Windows naar Linux overstappen. Mocht je hardware raid gaan draaien, dan kan dat prima in Windows maar is dit weer niet handig mocht je in Linux MDADM of ZFS overwegen. De nieuwste hardware hoeft dan vaak ook niet eens. Het is vooral belangrijk dat je voldoende IO haalt, dat zou dus kunnen door bijv. ZFS in RAIDZ(2) te draaien en dit aan te vullen met SSD('s). Voor een HTPC zou de onboard Sandy Bridge GPU ook al voldoende moeten zijn. Zover ik weet is de bug m.b.t. video al weer verholpen. Een Pentium G620 of een SB 2100 is dan al ruim voldoende. Je kunt dus beter investeren in genoeg geheugen en opslag door bijv. een SSD toe te voegen in plaats van het de duurste processor/videokaart.

[RMX]

x schreef op vrijdag 16 december 2011 @ 15:33:
Misschien goed om eerst naar je systeem te kijken, dat protocol komt wel goed.

Als eerste is het belangrijk dat wanneer je software raid wilt gaan draaien dit niet handig is mocht je van Windows naar Linux overstappen. Mocht je hardware raid gaan draaien, dan kan dat prima in Windows maar is dit weer niet handig mocht je in Linux MDADM of ZFS overwegen. De nieuwste hardware hoeft dan vaak ook niet eens. Het is vooral belangrijk dat je voldoende IO haalt, dat zou dus kunnen door bijv. ZFS in RAIDZ(2) te draaien en dit aan te vullen met SSD('s). Voor een HTPC zou de onboard Sandy Bridge GPU ook al voldoende moeten zijn. Zover ik weet is de bug m.b.t. video al weer verholpen. Een Pentium G620 of een SB 2100 is dan al ruim voldoende. Je kunt dus beter investeren in genoeg geheugen en opslag door bijv. een SSD toe te voegen in plaats van het de duurste processor/videokaart.

Bedankt!
Als het eenmaal draait zal ik niet snel overstappen, maar bedankt voor de tip. Ik draai nu thuis een test met een Q6600, GT 8800, en een SSD met Windows 7. Ik merk dat dit al snel zat is, en deze hardware is nu voor +- 150 te koop. Tegen die tijd wil ik gewoon 2dehands wat `oud` materiaal bij elkaar harken, en inderdaad veel storage. De HD prijzen zullen tegen die tijd ook wel gezakt zijn, dus een SSD als bootschijf zal wel een goede oplossing zijn + een paar TB als storage.

Het is vooral belangrijk dat je voldoende IO haalt, dat zou dus kunnen door bijv. ZFS in RAIDZ(2)

Het probleem met de IO lijkt me ook het grootste probleem. CPU/Memory en upload bandbreedte zal geen probleem zijn. Ik zal me eens verdiepen in ZFS. Meen hier iets van gelezen te hebben die bijv alle movies op 1 HD zet, alle series etc.
Is het überhaupt mogelijk om een inschatting te maken hoeveel IO een user zal trekken als hij 1 HD episode streamt?

[FireDrunk]

Dat werd net toch ook al gezegd? 3Mbit...
Bedenk goed dat de MAX die een HD Fabrikant aangeeft niet geld voor Random IO.
Mocht je dus 10 users hebben die allemaal filmpjes zitten te kijken, heb je 30Mbit aan redelijk Random IO.
Dat kan een HD nog makkelijk aan, maar als je 100 users wil voorzien, word het al anders.

Niet dat ik verwacht dat je zoveel mensen op je server wil laten, maar toch

[RMX]

FireDrunk schreef op vrijdag 16 december 2011 @ 15:54:
Mocht je dus 10 users hebben die allemaal filmpjes zitten te kijken, heb je 30Mbit aan redelijk Random IO.
Dat kan een HD nog makkelijk aan, maar als je 100 users wil voorzien, word het al anders.

Thanks! Zat bij 3 Mbit gelijk aan upload te denken haha.
Daar hoef ik me dus ook geen zorgen over te maken!
Wordt een leuk systeem tegen die tijd!

[johiem]

Oops it did it again.

De kabels opnieuw aanleggen (en andere kabels) hebben de problemen niet opgelost, nu heb ik weer last van het steeds failen van een schijf.

Waar kan het nu aan liggen? Ik kan de schijf gewoon vinden in de fdisk, kan hem ook gewoon weer resyncen. Het ligt dus echt bij de boot.

(Moet ik misschien een nieuw topic openen met het hele verhaal? ik heb namelijk geen idee als dit hier nog wel thuis hoort.)

[Volture]

Sinds een tijdje ben ik overgestapt van een home build NAS naar een Synology DS411j, i.v.m. stroomverbruik. Ik ben op dit moment met name over de performance niet te vreden. Ik gebruik de Syno voor filesharing, backup en SabNZB. Met name die laatste zorgt ervoor dat me systeem totaal ontoegankelijk wordt. Uitpakken en controle zijn een te hoge belasting. Met de 13e maand voor de deur zit ik erover na te denken toch weer naar een zelfbouw NAS te gaan met WHS. Belangrijk is daarbij het stroomverbruik dat laag moet zijn. Verder zoek ik een functionaliteit om middels een client mijn Windows PC's te backupen. Aangezien ik WHSv1 heb liggen is dat mijn eerste uitgangspunt, maar (gratis/opensourse) alternatieven zijn ook welkom. Ik me huidige Syno heb ik 4x WD20EARS schijven. Die gaan mee naar de nieuwe NAS. Uitbreiding is niet nodig. Behuizing van @DumbAss lijkt me een prima keuze. Maar dan Mobo en CPU. Ik lees in de laatste pagina's van dit topic dat veel mensen Brazos gebruiken. Gaat dit de gewenste performance leveren voor de bovenstaande wensen? Ik zat zelf te denken aan:

Intel:
Atom D525 / Core i3 T2100

AMD:
Athlon II X2 250E

Ohja, USB3 is een vereiste i.v.m. externe backup.

Iemand die mij kan helpen in het maken van een keuze, zonder dat ik dagen reviews moet lezen?

[Dadona]

Je maakt van je NAS meer een server en efficiëntie is blijkbaar van belang, laat daar nu net een topic voor zijn
Nieuwe Zuinige Server (discussie)

Als je van dat topic de laatste paar pagina's leest dan krijg je wel de algemene boodschap van de laatste maanden goed mee en weet je eigenlijk alles dat je moet weten Waarschijnlijk blijft dan geen van de drie processoren een optie.

[Volture]

Dadona schreef op zondag 18 december 2011 @ 12:26:
Je maakt van je NAS meer een server en efficiëntie is blijkbaar van belang, laat daar nu net een topic voor zijn
Nieuwe Zuinige Server (discussie)

Als je van dat topic de laatste paar pagina's leest dan krijg je wel de algemene boodschap van de laatste maanden goed mee en weet je eigenlijk alles dat je moet weten Waarschijnlijk blijft dan geen van de drie processoren een optie.

Hmm, toch het verkeerde topic. Excuses. Ik ga een kijken in Nieuwe Zuinige Server (discussie)

[johiem]

johiem schreef op zondag 18 december 2011 @ 12:09:
Oops it did it again.

De kabels opnieuw aanleggen (en andere kabels) hebben de problemen niet opgelost, nu heb ik weer last van het steeds failen van een schijf.

Waar kan het nu aan liggen? Ik kan de schijf gewoon vinden in de fdisk, kan hem ook gewoon weer resyncen. Het ligt dus echt bij de boot.

(Moet ik misschien een nieuw topic openen met het hele verhaal? ik heb namelijk geen idee als dit hier nog wel thuis hoort.)

Het lijkt erop dat schijf gewoon missing gaat. Ik heb hem nu weer toegevoegd (mdadm --add), hij is aan het resyncen. Ben alleen bang dat dit niet voor lange duur is.

Iemand nog ideeen?

[HarmoniousVibe]

johiem schreef op zondag 18 december 2011 @ 12:09:
Oops it did it again.

De kabels opnieuw aanleggen (en andere kabels) hebben de problemen niet opgelost, nu heb ik weer last van het steeds failen van een schijf.

Waar kan het nu aan liggen? Ik kan de schijf gewoon vinden in de fdisk, kan hem ook gewoon weer resyncen. Het ligt dus echt bij de boot.

(Moet ik misschien een nieuw topic openen met het hele verhaal? ik heb namelijk geen idee als dit hier nog wel thuis hoort.)

Gebruik je toevallig iets van initramfs ofzo? Ik heb zelf momenteel namelijk het probleem dat initramfs mijn array probeert te mounten (terwijl dat helemaal niet nodig is omdat het geen boot-array is), maar daarin heel hard faalt en zegt dat er 8 v/d 9 disken missing of corrupt zijn. Vervolgens word ik naar een initramfs-prompt gedropped. Als ik dan even de 'array' stop en weer auto-assemble, gaat alles weer goed.

Het zou kunnen dat jij hetzelfde probleem hebt, maar dat er bij jou slechts één schijf verkeerd of niet wordt gedetecteert, waardoor de array wel gewoon gemount kan worden (in degraded state). Welke distro draai je? Op de Debian-achtigen zou ik eens kijken in /etc/initramfs-tools/conf.d/mdadm en dan BOOT_DEGRADED op false zetten. Dan kun je wellicht kijken of je de array door het OS ipv initramfs kunt laten mounten. Als het dan wél goed gaat heb je wellicht hetzelfde probleem als ik.

[ Voor 5% gewijzigd door HarmoniousVibe op 18-12-2011 14:11 ]

[Sir Guinhill]

Recent heb ik een HP 410 aangeschaft.

Het was de bedoeling om deze i.c.m. deze hardware te gebruiken

#	Product
1	HP Smart Array P410/512 BBWC 2 Int ports
1	Intel Core i3 2100T Boxed
1	Corsair XMS CMX8GX3M2A1333C9
1	Gigabyte GA-H67M-D2-B3
1	Samsung EcoGreen F4EG HD204UI, 2TB
3	Samsung Spinpoint F3 HD103SJ, 1TB

3x 2T
en 2x 1T samsung en 1x 1T WD

Echter kom het volgende issue tegen.
Bij het booten van het systeem duurt het erg lang voor de controller geïnitialiseerd is. Ruim 6 minuten. blijft initializing knipperen.
Dan pas loopt ze door naar het OS. Hier bij is heel kort een bericht in beeld. Voor zo ver ik heb kunnen zien leest deze:
"No Drives Detected"
Ik heb F8 , ctrl+e en +s geprobeerd om in het ORCA menu ( rom config van de controller, volgens de HP handleiding ) te komen. Om zo een array aan te maken.
Het systeem draait ESXi 5. Al heb ik met Windows 7 x64 ook al gekeken of ik de controller geconfigureerd kan krijgen.
In windows krijg ik van ACU ook de melding terug dat er geen drives gedetecteerd kunnen worden.
In ESXi wordt de controller gezien, uiteraard zonder een array aan te bieden e.d.

Ik heb al gezien dat de Firmware v3.0 is.Deze kan ik op de site van hp niet terug te vinden is. alleen v3.66 of v5.12 zijn hier terug te vinden.

De verkoper en ik komen er niet meer uit. Hij denkt nu dat het Mobo mogelijk geen andere PCIe apperatuur dan een VGA kaart op de 16x poort accepteert.
Ik heb bij de controller 2 merkloze SAS to 4x s-ata verkregen. Ik verwacht niet dat deze beide kapot kunnen zijn.

Alvast mijn dank voor je tijd en antwoord

[johiem]

@HarmoniousVibe

Ik draai Ubuntu Server 11, en volgens mij gebruik ik initramfs.

Boot degraded stond in dat bestand al op false, echter had ik in grub bij de kernel options deze op true gezet.
Nu kom ik tijdens een reboot inderdaad in de initramfs prompt.

Wat kan ik hier nu mee? Ik exit hier namelijk gewoon weer uit.

EDIT:
Na het exiten is de array nu wel weer gewoon clean en active.
Hoe kan ik nu zorgen dat het probleem weg blijft en het systeem unattended kan draaien?

EDIT2:

Onderstaande is het stuk van de initramfs prompt. Interresant is dat sdc1 eerst mist, maar later gewoon wordt gevonden en de array wordt geactiveerd. Wat ook gek op zich is, omdat ik de array heb verwijderd uit mdadm.conf.

The system may have suffered a hardware fault, such as a disk drive failure. The root device may depend on the RAID devices being online. One or more of the following RAID Devices are degraded:
Personalities: [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid10]
md0 : inactive sdb1[0](s)
1953512526 blocks super 1.2

unused devices: <none>
You may attemp to start the system anyway, or stop now and attemp manual recovery operations. To do this automatically in the future, add "bootdegraded=true" to the kernel options.

If you choose to start the degraded RAID, the system may boot normally, but performance may be degraded, and a further hardware fault could result in permanent data loss.

If you abort now, you will be provided with a recovery shell.

Do you wish to start the degraded RAID? [y/N] : [ 1.982093] md: bind<sdc1>
[ nummertjes] bio: create slab <bio-1> at 1
[ nummertjes] bio: md/raid1:md0: active with 2 out of 2 mirrors
[ nummertjes] md0: detected capacity change from 0 to nummertjes
[ nummertjes] md0: unkown partition table
Timed out
Dropping to a shell.

[ Voor 78% gewijzigd door johiem op 18-12-2011 15:36 ]

[CurlyMo]

Ik vroeg me af of iemand hier al eens een 'boot from iscsi' voor elkaar heeft gekregen in FreeBSD of moet ik me dan richten op de 'Het grote DIY SAN topic'? Het opzetten van een iscsi schijf lukt me wel, maar om er vervolgens Windows op te installeren niet?

[RainerSGF]

Ik heb een vraagje die hier hopelijk kan beantwoord worden (ondanks dit topic al in ver-gevorderde status zit).

Ik ben al langer van plan een NAS aan te schaffen voor thuis-gebruik, echter is het nog niet verder gekomen dan uitkijken wat er zo allemaal bestaat aan NAS-en en wat die kunnen qua functionaliteit. QNAP (alsook Synology) vindt ik hierin wel de betere.

Nu ja, mijn vraag betreft momenteel een kleine applicatie (in Java ontworpen) die ik dagelijks zou willen laten runnen. Momenteel doe ik dit hier op mijn desktop. Maar alleen maar voor die ene applicatie is mijn hele desktop die moet draaien misschien wel wat veel energie-verspilling (vandaar een nas wellicht ook nuttiger is).

De functionaliteit van mijn java-progamma is het verbinden met een mailserver, nieuwe mail overlopen en filteren op bepaalde mailadressen en vervolgens de mailbody scannen om eventuele hyperlinks uiteindelijk te openen in een webbrowser (vb. firefox of misschien zelfs een commandline webbrowser ala Elinks).

Nu is mijn vraag: kan een NAS dergelijke dagelijkse programma automatisch (op ingesteld uur) laten uitvoeren of gaat dit net wat te ver voor een NAS? Ik denk bv. aan een cronjob, maar weet niet of dit kan.

Iemand die mij hierop een antwoord kan bieden?

[HarmoniousVibe]

johiem schreef op zondag 18 december 2011 @ 14:31:
@HarmoniousVibe

Ik draai Ubuntu Server 11, en volgens mij gebruik ik initramfs.

Boot degraded stond in dat bestand al op false, echter had ik in grub bij de kernel options deze op true gezet.
Nu kom ik tijdens een reboot inderdaad in de initramfs prompt.

Wat kan ik hier nu mee? Ik exit hier namelijk gewoon weer uit.

EDIT:
Na het exiten is de array nu wel weer gewoon clean en active.
Hoe kan ik nu zorgen dat het probleem weg blijft en het systeem unattended kan draaien?

[...]

Je zou hier eens naar kunnen kijken: https://bugs.launchpad.net/ubuntu/+source/mdadm/+bug/551719

Oftewel, raid=noautodetect aan /etc/default/grub toevoegen (GRUB_CMDLINE_LINUX_DEFAULT). Zelf heb ik het nog niet getest overigens, maar het zou wel eens het probleem kunnen fixen.

[johiem]

Jammer is dat die oplossing niet heeft gewerkt, ik heb echter wel een andere oplossing.

Het probleem is dat MDADM de array probeert aan te maken voor dat alle schijven hun check hebben voltooid (iets met udev regels).

Dit probleem kan worden opgelost door het volgende bestand aan te passen:
/usr/share/initramfs-tools/scripts/mdadm-functions

Zoek daar deze functie:

code:

degraded_arrays()
{
        mdadm --misc --scan --detail --test >/dev/null 2>&1
        return $((! $?))
}

Vervang dit door:

code:

degraded_arrays()
{
        udevadm settle
        mdadm --misc --scan --detail --test >/dev/null 2>&1
        return $((! $?))
}

Daarna initramfs even updaten.

code:

sudo update-initramfs -u

bron: http://ubuntuforums.org/s...p?p=11388915&postcount=18

Ik kan vertellen dat het tot dusver lijkt dat het is gefixed bij mij, ik zal het systeem straks nog wel een paar rebooten en cold starten.

Hopelijk werkt het voor meer mensen.

[FireDrunk]

Sir Guinhill schreef op zondag 18 december 2011 @ 14:12:
Recent heb ik een HP 410 aangeschaft.

Het was de bedoeling om deze i.c.m. deze hardware te gebruiken

#	Product
1	HP Smart Array P410/512 BBWC 2 Int ports
1	Intel Core i3 2100T Boxed
1	Corsair XMS CMX8GX3M2A1333C9
1	Gigabyte GA-H67M-D2-B3
1	Samsung EcoGreen F4EG HD204UI, 2TB
3	Samsung Spinpoint F3 HD103SJ, 1TB

3x 2T
en 2x 1T samsung en 1x 1T WD

Echter kom het volgende issue tegen.
Bij het booten van het systeem duurt het erg lang voor de controller geïnitialiseerd is. Ruim 6 minuten. blijft initializing knipperen.
Dan pas loopt ze door naar het OS. Hier bij is heel kort een bericht in beeld. Voor zo ver ik heb kunnen zien leest deze:
"No Drives Detected"
Ik heb F8 , ctrl+e en +s geprobeerd om in het ORCA menu ( rom config van de controller, volgens de HP handleiding ) te komen. Om zo een array aan te maken.
Het systeem draait ESXi 5. Al heb ik met Windows 7 x64 ook al gekeken of ik de controller geconfigureerd kan krijgen.
In windows krijg ik van ACU ook de melding terug dat er geen drives gedetecteerd kunnen worden.
In ESXi wordt de controller gezien, uiteraard zonder een array aan te bieden e.d.

Ik heb al gezien dat de Firmware v3.0 is.Deze kan ik op de site van hp niet terug te vinden is. alleen v3.66 of v5.12 zijn hier terug te vinden.

De verkoper en ik komen er niet meer uit. Hij denkt nu dat het Mobo mogelijk geen andere PCIe apperatuur dan een VGA kaart op de 16x poort accepteert.
Ik heb bij de controller 2 merkloze SAS to 4x s-ata verkregen. Ik verwacht niet dat deze beide kapot kunnen zijn.

Alvast mijn dank voor je tijd en antwoord

De firmware van die controller zit al op 6.40 5.12. Zeer belangrijk om up te daten...
http://h20566.www2.hp.com...k=com.vignette.cachetoken

[ Voor 7% gewijzigd door FireDrunk op 19-12-2011 08:12 ]

[Sir Guinhill]

FireDrunk schreef op zondag 18 december 2011 @ 20:16:
[...]


De firmware van die controller zit al op 6.40 5.12. Zeer belangrijk om up te daten...

Dan ga ik in elk geval dat doen.

Edit: Ik heb de upgrade uitgevoerd. Maar nu zit ik geloof ik met een probleem.
Ik heb de 5.12 Firmware installatie gestart in windows 7. Uitgevoerd, geen foutmeldingen e.d.
Opnieuw opgestart. Tijdens het initialisen van de controller kwam er een spontane Reboot. Ik dacht aanvankelijk dat zal er wel bij horen. Echter nu staat er.
"[SMART Array Hooking INT15] "
in beeld zonder enige andere meliding. De Initialising is er niet meer, ed.
Hier bij dacht ik ook. Het zal er wel bij horen. Echter staat deze hier nu een uur op en doet de machine verders niets meer.
De leds knipperen ook anders. Bij het starten zie je wat activiteit, maar daarna gaat deze een vast patroon knipperen.
1 ... 3.1. ( de ... staat voor tijd ) de andere 6 ledjes blijven uit...

Ik ben nu bang dat ik 1. een Bricked controller heb. en 2 ik beter een eigen draadje kan gaan maken

[ Voor 63% gewijzigd door Sir Guinhill op 19-12-2011 17:54 ]

[EJPostema]

Ik zit al een tijdje aan een NAS te denken. Het lijkt me een goede manier voor wat back ups en dan hoeft mijn pc niet de hele dag aan te staan om films/series te downloaden/streamen.

Ik bezit zelf een ps3 en stream hier alles naar toe. MKV's moet je dan on the fly transcoden, aangezien hier de meeste NAS systemen te zwak voor zijn wil ik dus zelf eentje bouwen. Ik doe dit op dit moment met ps3 media server en dat is volgens mij de beste oplossing.

Oftewel de eisen van mijn NAS:
Films on the fly kunnen transcoden
Back uppen
Downloaden
Zuinig
stil

Ik zat zelf aan de volgende setup te denken:
Celeron 530
Mini-itx Asrock H67M-ITX
8 DDR-3
Scythe Shuriken Rev. B
be quiet! Pure Power L7 300W
Fractal Design Define Mini

Ik heb nog een samsung eco green 2 tb liggen. Deze ga ik eerst gebruiken, zodra de prijzen van HDD's een beetje gedaald zijn komen er nog 3 van deze HDD's
Aangezien ik ps3 media server wil blijven gebruiken (ken geen beter alternatief) zit ik vast aan windows of linux als besturing systeem. Ik neig nu naar windows server. De ondersteuning voor pms is beter voor windows namelijk.

Iemand nog tips of op en aanmerkingen?

[HarmoniousVibe]

Een Celeron gaat volgens mij niet on-the-fly kunnen transcoden. Misschien bedoel je remuxen? In principe hoef je meestal namelijk helemaal niet te transcoden.

Sowieso vind ik consoles, TV's, BR-spelers, receivers, andere non-mediaplayer-hardware en soms zelfs mediaplayers niet geschikt voor het afspelen van media. Überhaupt het feit dat je een open container als MKV moet gaan remuxen of zelfs codecs moet gaat transcoden, vind ik ronduit lachwekkend.

Indien je NAS een beetje in de buurt kunt zetten van je TV raad ik je echt zeer sterk aan om je PS3 zijn primaire functie te laten vervullen (gamen!) en je 'NAS' te voorzien van een GT220/430/520 en XBMC te gaan gebruiken.

HTPC = NAS + goedkoop videokaartje .

[GioStyle]

Een HTPC hoeft niet eens een goedkoop videokaartje; de IGP is al vaak voldoende.

[CurlyMo]

Ik zou als processor gaan voor een G620, goedkoop en veel krachtiger.

[FireDrunk]

Sir Guinhill schreef op maandag 19 december 2011 @ 08:31:
[...]


Dan ga ik in elk geval dat doen.

Edit: Ik heb de upgrade uitgevoerd. Maar nu zit ik geloof ik met een probleem.
Ik heb de 5.12 Firmware installatie gestart in windows 7. Uitgevoerd, geen foutmeldingen e.d.
Opnieuw opgestart. Tijdens het initialisen van de controller kwam er een spontane Reboot. Ik dacht aanvankelijk dat zal er wel bij horen. Echter nu staat er.
"[SMART Array Hooking INT15] "
in beeld zonder enige andere meliding. De Initialising is er niet meer, ed.
Hier bij dacht ik ook. Het zal er wel bij horen. Echter staat deze hier nu een uur op en doet de machine verders niets meer.
De leds knipperen ook anders. Bij het starten zie je wat activiteit, maar daarna gaat deze een vast patroon knipperen.
1 ... 3.1. ( de ... staat voor tijd ) de andere 6 ledjes blijven uit...

Ik ben nu bang dat ik 1. een Bricked controller heb. en 2 ik beter een eigen draadje kan gaan maken

Hmm. 1-3-1... Lang geleden... BIOS van je moederbord ook geupdate? Andere PC geprobeerd?
INT19 Capture aanstaan in je BIOS? Ging de Flash zelf wel goed? (Je ziet je controller rebooten tijdens de flash, alle lampjes gaan even aan enzo)

[EJPostema]

de minimale specs voor playstation media server om full HD materiaal te transcoden is een core2duo e7400.
De celeron 530 is sneller dan dat, dus het transcoden zou de cpu volgens mij wel kunnen trekken.

Er een HTPC + NAS van maken is opzich wel een goed alternatief idd. Is ook nog zuiniger, een ps3 is tenslotte niet het meest zuinige apparaat om aan te hebben staan. Dan zou een i3 wel voldoende moeten zijn. Of trekt een pentium of celeron dat ook?

[FireDrunk]

Een 530 single core sneller dan een E7400 dual core?
Bron?

[Borromini]

johiem schreef op woensdag 14 december 2011 @ 16:18:
Kom hem twee keer uitvoeren, was vergeten tune2fs op 0% te zetten. Maar hij was inderdaad 5-6 uren bezig.

De logs voor beide schijven (alleen records van vandaag)
http://pastebin.com/DNBmbVHS
http://pastebin.com/NxJN9MWn

De log voor md
http://pastebin.com/2airBmgh

Wat zijn de mogelijkheden? Of moet ik opnieuw installeren?

EDIT:

Ik las zonet de Smartctl nog even na en daar staat de volgende waarschuwing:
==> WARNING: Using smartmontools or hdparm with this
drive may result in data loss due to a firmware bug.
****** THIS DRIVE MAY OR MAY NOT BE AFFECTED! ******
Buggy and fixed firmware report same version number!
See the following web pages for details:
http://www.samsung.com/gl...iew.do?b2b_bbs_msg_id=386
http://sourceforge.net/ap...wiki/SamsungF4EGBadBlocks.

Nu verstuurde ik elke ochtend een log aan mijzelf met daarin de hdd temp (programma hddtemp). Zou deze dat hebben kunnen veroorzaken, of zie ik dit verkeerd?

Heeft er niks mee te maken, zie hieronder.

FireDrunk schreef op woensdag 14 december 2011 @ 16:43:
Heeej, dat duid op dat je de firmware van je schijven nog niet geupdate hebt...

Het rotte is dat Samsung een firmware update heeft uitgebracht die het versienummer van de firmware niet wijzigt. Hdparm kan dus niet vaststellen of het om een goede dan wel brakke firmware gaat.

De enige hint is de productiedatum van de schijven - na een bepaalde datum heeft Samsung zijn HD204UI schijven met de fix uitgeleverd. Ik heb zelf net voor de overstromingen in Thailand 2 stuks aangeschaft, en die productiedatum was recent genoeg om ervan uit te gaan dat ze met de recentste firmware geleverd werden.

[EJPostema]

FireDrunk schreef op dinsdag 20 december 2011 @ 15:32:
Een 530 single core sneller dan een E7400 dual core?
Bron?

pricewatch: Intel Celeron G530 Boxed

De celeron is ook dualcore. Als je ze op zoekt op http://www.cpubenchmark.net/ zie je dat de celeron een hogere score heeft dan de e7400. Vandaar dus dat ik denk dat die voldoet.

Voor HTPC denk ik dat hij niet voldoet, aangezien er een heel erg uitgeklede versie van de gpu uit de corei series in zit

[FireDrunk]

Nou vertrouw ik passmark niet echt, maar heb even gezocht, en inderdaad de G530 (en de G540) doen het erg goed! Verbaasd mij in positieve zin!

Bronnen:

http://www.xbitlabs.com/a...on-g540-g440_4.html#sect1
Hier is de G540 sneller dan een X2 250.

http://www.neoseeker.com/...re/Reviews/aii_250/5.html
Hier is een E8400 een stuk langzamer dan een x2 250.

(En de E7400 is natuurlijk nog weer een tandje langzamer dan een E8400)

[EJPostema]

FireDrunk schreef op dinsdag 20 december 2011 @ 21:42:
Nou vertrouw ik passmark niet echt, maar heb even gezocht, en inderdaad de G530 (en de G540) doen het erg goed! Verbaasd mij in positieve zin!

Bronnen:

http://www.xbitlabs.com/a...on-g540-g440_4.html#sect1
Hier is de G540 sneller dan een X2 250.

http://www.neoseeker.com/...re/Reviews/aii_250/5.html
Hier is een E8400 een stuk langzamer dan een x2 250.

(En de E7400 is natuurlijk nog weer een tandje langzamer dan een E8400)

Precies, wat mij betreft is het gewoon een goede proc voor een (zuinige) nas/server die niet al teveel hoeft te doen. Ik heb dus wel vertrouwen in mijn set up.

Nu ik een HTPC+NAS aan het overwegen ben maar even verdiepen of die dat ook trekt... Lijkt me overigens van wel. Aangezien een atom ook geschikt is voor HTPC en de celeron wel iets krachtiger is

[HarmoniousVibe]

EJPostema schreef op woensdag 21 december 2011 @ 01:11:
[...]


Precies, wat mij betreft is het gewoon een goede proc voor een (zuinige) nas/server die niet al teveel hoeft te doen. Ik heb dus wel vertrouwen in mijn set up.

Nu ik een HTPC+NAS aan het overwegen ben maar even verdiepen of die dat ook trekt... Lijkt me overigens van wel. Aangezien een atom ook geschikt is voor HTPC en de celeron wel iets krachtiger is

Juist. Met de juiste GPU gebruikt je CPU maar een paar procent.

[FireDrunk]

Maar dan kan je misschien beter gaan voor een i3-2100. Bijna zelfde idle verbruik, maar een veel betere GPU. Een losse GPU verbruikt altijd meer volgens mij. Een 6570 verbruikt idle 10W, dat is meer dan een hele i3-2100...

[EJPostema]

Zit wel wat in, maar hoe zit het dan met die 24p bug?

Ik twijvel nog een beetje, krijg de HTPC niet echt makkelijker in de buurt van mn TV. Dus misschien eerst maar de set up die ik voor ogen had. Ik kan later tenslotte makkelijk upgraden naar een i3, zelfs een ivy bridge tegen die tijd

[iMars]

Ik heb een klein vraagje. Ik heb momenteel een QNAP TS-459 Pro II en een zelfbouw NAS. Op iSCSI niveau is de zelfbouw NAS net ff sneller (110 MB/s t.o.v. 104 MB/s). Maar qua Samba/CIFS weer een stukje trager (60 MB/s t.o.v. 74 MB/s).

Nu zit ik te kijken naar de hdparm waarders (hdparm -Tt) maar hoe moet ik dit interpreteren?

code:

Zelfbouw:
Intel Atom® D525 - 4GB DDR3
1x 32GB SSD OS disk
4x Samsung EcoGreen F4EG HD204UI 2TB

$ sudo hdparm -Tt /dev/md5

/dev/md5:
 Timing cached reads:   1970 MB in  2.00 seconds = 985.29 MB/sec
 Timing buffered disk reads: 222 MB in  3.01 seconds =  73.87 MB/sec
$ sudo hdparm -Tt /dev/sd[cdef]

/dev/sdc:
 Timing cached reads:   1928 MB in  2.00 seconds = 963.56 MB/sec
 Timing buffered disk reads: 432 MB in  3.00 seconds = 143.97 MB/sec

/dev/sdd:
 Timing cached reads:   1884 MB in  2.00 seconds = 942.18 MB/sec
 Timing buffered disk reads: 414 MB in  3.01 seconds = 137.77 MB/sec

/dev/sde:
 Timing cached reads:   1878 MB in  2.00 seconds = 938.48 MB/sec
 Timing buffered disk reads: 414 MB in  3.01 seconds = 137.56 MB/sec

/dev/sdf:
 Timing cached reads:   1902 MB in  2.00 seconds = 951.23 MB/sec
 Timing buffered disk reads: 432 MB in  3.01 seconds = 143.49 MB/sec
$

en

code:

QNAP TS-459 Pro II
Intel Atom® D525 - 3GB DDR3
4x Seagate ST2000DL003-9VT1CC32 2TB

[~] # hdparm -Tt /dev/md0

/dev/md0:
 Timing cached reads:   3104 MB in  2.00 seconds = 1552.31 MB/sec
 Timing buffered disk reads:  734 MB in  3.00 seconds = 244.51 MB/sec
[~] # hdparm -Tt /dev/sd[abcd]

/dev/sda:
 Timing cached reads:   3536 MB in  2.00 seconds = 1769.53 MB/sec
 Timing buffered disk reads:  364 MB in  3.01 seconds = 121.01 MB/sec

/dev/sdb:
 Timing cached reads:   3260 MB in  2.00 seconds = 1629.77 MB/sec
 Timing buffered disk reads:  384 MB in  3.01 seconds = 127.68 MB/sec

/dev/sdc:
 Timing cached reads:   3132 MB in  2.00 seconds = 1566.25 MB/sec
 Timing buffered disk reads:  362 MB in  3.01 seconds = 120.17 MB/sec

/dev/sdd:
 Timing cached reads:   3220 MB in  2.00 seconds = 1610.58 MB/sec
 Timing buffered disk reads:  382 MB in  3.01 seconds = 126.83 MB/sec
[~] #

Ik vind op mijn zelfbouw nas de Timing buffered disk reads: 222 MB in 3.01 seconds = 73.87 MB/sec nog al tegenvallen....

[FireDrunk]

hdparm is een ruktool. Als je echt wil testen, pak Bonnie++, of doe het zelf met DD, er staan genoeg voorbeelden in het topic.

Vergelijk de smb.conf van de 2 apparaten eens, misschien doen ze wat meer readahead en socketbuffering op de QNAP out of the box..

[CurlyMo]

FireDrunk schreef op woensdag 21 december 2011 @ 09:46:
Maar dan kan je misschien beter gaan voor een i3-2100. Bijna zelfde idle verbruik, maar een veel betere GPU. Een losse GPU verbruikt altijd meer volgens mij. Een 6570 verbruikt idle 10W, dat is meer dan een hele i3-2100...

Dat is helemaal waar maar dan wel 2x zo duur als een G620 die al ruim voldoende is voor een NAS + ingebouwde GPU.

[FireDrunk]

Klopt, ik heb zelf ook een G620 in mijn HTPC, die werkt prima.
i3 is misschien wat meer toekomstbestendig...

[ Voor 3% gewijzigd door FireDrunk op 21-12-2011 11:15 ]

[Sir Guinhill]

FireDrunk schreef op dinsdag 20 december 2011 @ 14:20:
[...]


Hmm. 1-3-1... Lang geleden... BIOS van je moederbord ook geupdate? Andere PC geprobeerd?
INT19 Capture aanstaan in je BIOS? Ging de Flash zelf wel goed? (Je ziet je controller rebooten tijdens de flash, alle lampjes gaan even aan enzo)

Ik heb nog geen tijd gehad om dit te testen of het resetten van de mobo bios iets uit maakt. Ik heb tijdens de flash van de controller niet gezien, dus ik weet niet wat de lampjes toen deden.
De flash zelf leek goed te gaan.
Alleen windows begon te zeuren dat de applicatie niet reageerde. Maar ik heb verders niets aangeraakt, en kreeg uiteindelijk een finish scherm zonder foutmeldingen.
ok de md5 check van de installer is ok. Maar als daar problemen mee waren dan had de sfx al gefaald.

[ Voor 6% gewijzigd door Sir Guinhill op 21-12-2011 12:07 ]

[EJPostema]

FireDrunk schreef op woensdag 21 december 2011 @ 11:13:
Klopt, ik heb zelf ook een G620 in mijn HTPC, die werkt prima.
i3 is misschien wat meer toekomstbestendig...

Ik zie niet heel veel meerwaarde tov de 530. Volgens verschillende reviews zit de snelheidswinst hem vooral in de extra mhz. pentium verschilt dus niet veel tov celeron. Als ik het goed heb

[FireDrunk]

De GPU dus?

[johiem]

johiem schreef op zondag 18 december 2011 @ 20:07:
Jammer is dat die oplossing niet heeft gewerkt, ik heb echter wel een andere oplossing.

Het probleem is dat MDADM de array probeert aan te maken voor dat alle schijven hun check hebben voltooid (iets met udev regels).

Dit probleem kan worden opgelost door het volgende bestand aan te passen:
/usr/share/initramfs-tools/scripts/mdadm-functions

.....

Ik heb sinds ik de bovenstaande fix heb toegepast geen last meer van mijn systeem. Denk zet het hier even neer voor mensen die een soort gelijk probleem hebben.

[iMars]

Ik heb een klein probleempje met mijn mdadm array. Ik ben een beetje met instellingen aan het pielen om te kijken wat nou de beste performance geeft. Maar ik heb nu al twee keer meegemaakt dat ik op een punt kom dat ik niet meer verder kom door foutmeldingen. Het enige (binnen mijn kennis) wat dan nog werkt is mdadm verwijderen, rebooten en mdadm weer installeren. Maar dat moet simpeler lijkt me...

root@iServer:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md127 : inactive sdf[3](S) sde[2](S) sdd[1](S)
      5860540680 blocks super 1.2
       
unused devices: <none>

Wat ik ook doe, ik krijg ze niet verwijderd uit de array (die niet meer bestaat), de 4e disk eraan toevoegen werkt ook niet.

root@iServer:~# mdadm --remove /dev/md5 /dev/sd[def]
mdadm: error opening /dev/md5: No such file or directory

Opnieuw aanmaken gaat ook niet:

root@iServer:~# mdadm --create /dev/md5 --assume-clean --level 5 --chunk 64 --raid-devices 4 /dev/sd[c-f]
mdadm: super1.x cannot open /dev/sdd: Device or resource busy
mdadm: /dev/sdd is not suitable for this array.
mdadm: super1.x cannot open /dev/sde: Device or resource busy
mdadm: /dev/sde is not suitable for this array.
mdadm: super1.x cannot open /dev/sdf: Device or resource busy
mdadm: /dev/sdf is not suitable for this array.
mdadm: create aborted
root@iServer:~# 

edit: ik zie nu dat er een md127 is aangemaakt, maar waar dat vandaan komt

root@iServer:~# mdadm --remove /dev/md127 /dev/sd[def]
mdadm: cannot get array info for /dev/md127
root@iServer:~# 

edit2
Kennelijk ben ik nu een stuk helderder dan gisteren ;-)

root@iServer:~# mdadm --examine --scan >> /etc/mdadm/mdadm.conf
root@iServer:~# mdadm --examine --scan 
ARRAY /dev/md/5 metadata=1.2 UUID=a402a9ef:51d2f3e3:bba9a214:b20408f9 name=iServer:5
root@iServer:~# mdadm -A /dev/md127
mdadm: /dev/md127 not identified in config file.
root@iServer:~# vi /etc/mdadm/mdadm.conf (/dev/md/5 veranderen in /dev/md127)
root@iServer:~# mdadm -A /dev/md127
root@iServer:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md127 : inactive sdf[3](S) sde[2](S) sdd[1](S)
      5860540680 blocks super 1.2
       
unused devices: <none>
root@iServer:~# mdadm -S /dev/md127 
mdadm: stopped /dev/md127
root@iServer:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
unused devices: <none>
root@iServer:~# 

Dat werkte kennelijk,... maar wat er nou precies gebeurd is...

[ Voor 36% gewijzigd door iMars op 24-12-2011 12:51 ]

[FireDrunk]

Is al eerder langsgekomen. MD zoekt de array bij boot zelf op disk (los van je mdadm.conf dus). Zodra deze gevonden is word deze in je initrd image gezet. Wil je dit updaten moet je:

sudo update-initramfs

uitvoeren.

Dus na het verwijderen van MD127 moet je de nieuwe aanmaken, en dan direct dat commando uitvoeren.
Reboot, en het zou moeten werken.

[ Voor 84% gewijzigd door FireDrunk op 24-12-2011 15:51 ]

[Sir Guinhill]

Update op de HP P410 - Ik heb deze ( eindelijk ) in een ander systeem kunnen testen. En hier werkt alles wel naar behoren.
Mijn dank voor de hints en tips. ( iemand interesse in de controller )

[SanderH_]

Grrrr, zonder enige veranderingen aan mijn server/netwerk krijg ik plots megabit snelheden ipv gigabit.

Enig idee hoe dit plots zou kunnen komen?

[ Voor 4% gewijzigd door SanderH_ op 29-12-2011 14:22 ]

[iBurger]

Ik vraag me al een geruime tijd af wat nou eigenlijk de minimale hardware specs zijn om met raid5 en mdadm je ethernet vol te trekken. Heeft iemand enig inzicht hierin? Het hangt natuurlijk ook deels van je hardeschijven af.

Stel dat je 3 x 2TB HDs pakt van WD of Samsung. Watvoor soort CPU heb ik dan nodig om 125 mb/s read and write speeds te krijgen onder linux met raid5? Ik neem aan dat m'n huidige build te langzaam hiervoor is. (betreft een AMD 3200)\

[edit]
Mag je aannemen dat het een stuk makkelijker is om 125 mb/s te halen met 5 of 6 hardeschijven dat met slechts 3? Misschien is de CPU nog steeds vrij langzaam maar omdat al die schijven met zeg ongeveer 60 of 80 mb/s kunnen uitlezen geeft dat je CPU weer extra ruimte....

[edit 2]
Met een AMD Athlon X2 Dual Core (passmark 1035) haal je zo'n 135 MB/s read met 3 HDs.

https://raid.wiki.kernel.org/articles/p/e/r/Performance.html

[ Voor 36% gewijzigd door iBurger op 29-12-2011 14:09 ]

[robkamp]

Ik ben van plan een zelfbouw nas in elkaar te schroeven met FreeNAS. Ik dacht de volgende hardware te gebruiken.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 100,50	€ 100,50
3	Western Digital Caviar Green WD30EZRX, 3TB	€ 186,49	€ 559,47
1	Lian Li PC-Q25B	€ 109,50	€ 109,50
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Samsung 830 series Desktop Upgrade Kit 64GB	€ 98,10	€ 98,10
1	G.Skill Ripjaws F3-10666CL7D-4GBRH	€ 26,99	€ 26,99
Bekijk collectie Importeer producten		Totaal	€ 929,41

Heeft iemand daar kanttekeningen bij?

[ Voor 0% gewijzigd door robkamp op 29-12-2011 15:04 . Reden: Typo verwijdert ]

[iMars]

iBurger schreef op donderdag 29 december 2011 @ 13:24:
Ik vraag me al een geruime tijd af wat nou eigenlijk de minimale hardware specs zijn om met raid5 en mdadm je ethernet vol te trekken. Heeft iemand enig inzicht hierin? Het hangt natuurlijk ook deels van je hardeschijven af.

Stel dat je 3 x 2TB HDs pakt van WD of Samsung. Watvoor soort CPU heb ik dan nodig om 125 mb/s read and write speeds te krijgen onder linux met raid5? Ik neem aan dat m'n huidige build te langzaam hiervoor is. (betreft een AMD 3200)\

[edit]
Mag je aannemen dat het een stuk makkelijker is om 125 mb/s te halen met 5 of 6 hardeschijven dat met slechts 3? Misschien is de CPU nog steeds vrij langzaam maar omdat al die schijven met zeg ongeveer 60 of 80 mb/s kunnen uitlezen geeft dat je CPU weer extra ruimte....

[edit 2]
Met een AMD Athlon X2 Dual Core (passmark 1035) haal je zo'n 135 MB/s read met 3 HDs.

https://raid.wiki.kernel.org/articles/p/e/r/Performance.html

Is ook afhankelijk hoe je gaat connecten. Met mijn Atom D525 en iSCSI trek ik met 4 schijven ~111 MB/sec. Maar met FTP kom ik op 40 MB/sec schrijven en 70 MB/sec lezen. Met SAMBA/CIFS kom ik op ~70 MB/sec lezen/schrijven.

[thof]

robkamp schreef op donderdag 29 december 2011 @ 14:35:
Ik ben van plan een zelfbouw nas in elkaar te schroeven met FreeNAS. Ik dacht de volgende hardware te gebruiken.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 100,50	€ 100,50
3	Western Digital Caviar Green WD30EZRX, 3TB	€ 186,49	€ 559,47
1	Lian Li PC-Q25B	€ 109,50	€ 109,50
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Samsung 830 series Desktop Upgrade Kit 64GB	€ 98,10	€ 98,10
1	G.Skill Ripjaws F3-10666CL7D-4GBRH	€ 26,99	€ 26,99
Bekijk collectie Importeer producten		Totaal	€ 929,41

Heeft iemand daar kanttekeningen bij?

Van waar die SSD? De enige mogelijkheid die ik daar voor zie is in combinatie met ZFS en dan als read cache. Een server hoeft in mijn ogen niet snel te booten en de applicaties zullen zich toch snel in memory bevinden over het algemeen

[Borromini]

robkamp schreef op donderdag 29 december 2011 @ 14:35:
Ik ben van plan een zelfbouw nas in elkaar te schroeven met FreeNAS. Ik dacht de volgende hardware te gebruiken.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 100,50	€ 100,50
3	Western Digital Caviar Green WD30EZRX, 3TB	€ 186,49	€ 559,47
1	Lian Li PC-Q25B	€ 109,50	€ 109,50
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Samsung 830 series Desktop Upgrade Kit 64GB	€ 98,10	€ 98,10
1	G.Skill Ripjaws F3-10666CL7D-4GBRH	€ 26,99	€ 26,99
Bekijk collectie Importeer producten		Totaal	€ 929,41

Heeft iemand daar kanttekeningen bij?

Ik zou wat wachten met de harde schijven... Prijzen zouden toch wel wat moeten gaan zakken de komende kwartalen.

[iBurger]

Met 111 MB/sec heb je eigenlijk best nog goede performance met die Atom D525. Meer dan ik had verwacht! Ik heb even iets mafs gedaan wat misschien best nog wel aardig klopt. Ik was benieuwd of ik met de Passmark Benchmark kan 'inschatten' hoe goed je read performance is met mdadm en raid5. Ik heb 3 data entries gepakt; jouw Atom D525 [111 mb/s], een AMD Athlon X2 [135 mb/s], en een Core i3 540 [238 mb/s].

Het resultaat staat hier beneden. Het gaafe is dat ik hier een regression coefficient heb van .99, of tewel 99% (wtf !!). Heb dit nog nooit gezien in mijn data sets. Het betekent grof genomen dat CPU power een super goede indicator is voor je read performance.

Als dit resultaat echt klopt (wat ik hoop natuurlijk ) dan zou elke processor met meer dan 912 passmark points je een read speed geven van 125 mb/s (71.4637 + 912*.0587639=125.0537), Een Intel Core Duo E4300, met 1,057 passmark punten, zou dus zo'n processor zijn. Alle andere CPUs op deze lijst zijn nogal onbekend voor mij.

[ Voor 45% gewijzigd door iBurger op 29-12-2011 23:44 ]

[FireDrunk]

Gelukkig hangt het van (veel) meer factoren af...

[iBurger]

iMars:
Atom D525
4 HDs
111 MB/s

OMX2000
Core i3 540
4 HDs
238 MB/s

PyCurios
AMD x86-64, x2 3600+
3 HDs
135 MB/s [129 MiB/s]

[ Voor 205% gewijzigd door iBurger op 30-12-2011 00:02 ]

[HarmoniousVibe]

Waarom denk je dat een lineaire regressie-analyse een accurate voorspeller is? Mijn statistiek is nogal weggezakt, maar volgens mij slaat het helemaal nergens op . Je model zit vol met upward bias en n=3 is a stretch at best. Met 2 punten had je een fit van 100% en het is niet zo heel gek dat het derde punt daar niet zoveel vanaf wijkt.

Om even een steen in de vijver te gooien: met mijn AMD Sempron 140, blijkbaar met 764 punten, haal ik al 750MiB/s sequential read op mijn MDADM raid-6 array met 9 'Groene' schijven. Lokaal uiteraard.

[ Voor 26% gewijzigd door HarmoniousVibe op 29-12-2011 23:02 ]

[iBurger]

Waarom denk je dat een lineaire regressie-analyse een accurate voorspeller is? Mijn statistiek is nogal weggezakt, maar volgens mij slaat het helemaal nergens op . Je model zit vol met upward bias en n=3 is a stretch at best. Met 2 punten had je een fit van 100% en het is niet zo heel gek dat het derde punt daar niet zoveel vanaf wijkt.

Om even een steen in de vijver te gooien: met mijn AMD Sempron 140, blijkbaar met 764 punten, haal ik al 750MiB/s sequential read op mijn MDADM raid-6 array met 9 'Groene' schijven. Lokaal uiteraard.

Lineare regressie analyses zijn in het algemeen het beste. Als je meer variables blijft introduceren kan je uiteindelijk perfect een 'random walk' voorspellen. Linear lijkt me geschikt hier omdat ik opzoek was naar het verband tussen CPU Power en RAID5 read speed (MB/s) voor een systeem met 3 of 4 hardeschijven.

Natuurlijk werkt deze formule slecht als je met veel meer schijven gaat werken. ("al 750MiB/s sequential read op mijn MDADM raid-6 array met 9 'Groene' schijven. Lokaal uiteraard.") Ik denk ook niet dat dit nou zo fantastisch onderzoek was. n=3 is natuurlijk wel een probleem. thanks voor de feedback btw.

[ Voor 202% gewijzigd door iBurger op 30-12-2011 00:23 . Reden: nieuw inzicht ]

[iBurger]

snip snip

[ Voor 119% gewijzigd door iBurger op 29-12-2011 23:37 ]

[iMars]

iBurger schreef op donderdag 29 december 2011 @ 22:33:
iMars:
Atom D525
4 HDs
111 MB/s

OMX2000
Core i3 540
4 HDs
238 MB/s

PyCurios
AMD x86-64, x2 3600+
3 HDs
135 MB/s \[129 MiB/s]

Let er wel op dat ik de snelheid over het netwerk bedoel hè De raid zelf kan iets van 180MB/sec aan

[HarmoniousVibe]

De overhead van ethernet voor de CPU lijkt me niet echt noemenswaardig.

offtopic:
Familie van elkaar? Nieuwe productlijn van Apple: iFood

[ Voor 14% gewijzigd door HarmoniousVibe op 30-12-2011 23:45 ]

[iMars]

HarmoniousVibe schreef op vrijdag 30 december 2011 @ 23:45:
De overhead van ethernet voor de CPU lijkt me niet echt noemenswaardig.

offtopic:
Familie van elkaar? Nieuwe productlijn van Apple: iFood

Haha, ik moest 3x lezen voordat ik zag wat je bedoelde maar nee, geen familie

[Verwijderd]

M'n systeempje draait nu al een tijdje best okay, op één punt na: de samba performance is echt rampzalig. Ik draai vmware 4.1 op een G620 met 8GB (waarvan 6GB aan FreeNAS is toegewezen) met drie WD20EARS in RAIDZ via RDM:

code:

time sh -c "dd if=/dev/zero of=ddfile bs=8k count=2000000 && sync"

[root@neo-storage] /mnt/Storage/Media/Movies# time dd if=The_Matrix_Revolutions.mpg of=/dev/null bs=8k
1211852+1 records in
1211852+1 records out
9927498860 bytes transferred in 48.554107 secs (204462598 bytes/sec)
0.498u 7.219s 0:48.54 15.8%     26+1507k 0+0io 0pf+0w

194MB/s

[root@neo-storage] /mnt/Storage/Media# time sh -c "dd if=/dev/zero of=ddfile bs=8k count=2000000 && sync"
2000000+0 records in
2000000+0 records out
16384000000 bytes transferred in 108.583985 secs (150887813 bytes/sec)
0.674u 21.851s 1:49.95 20.4%    26+1506k 0+1io 0pf+0w
[root@neo-storage] /mnt/Storage/Media#

144MB/s

Geen topperformance, maar goed genoeg zou je denken. Ik haal echter via samba nog geen 20MB/s... Iperf heb ik ook geprobeerd, deze geeft aan dat ik zo'n 550mbit haal. Geen topperformance, maar het laat meer dan genoeg ruimte over om >20MB/s te doen met Samba zou je zeggen. Het rare is dat de cpu ook grotendeels idle blijft...

Heeft iemand hier een goed idee voor?

[FireDrunk]

Probeer eens:

dd if=/dev/zero of=ddfile bs=1M count=12000

Heb je je samba config aangepast? Zo ja, post die even. (zonder comments )

[Verwijderd]

code:

[root@neo-storage] /mnt/Storage/Media# dd if=/dev/zero of=ddfile bs=1M count=12000
12000+0 records in
12000+0 records out
12582912000 bytes transferred in 78.689233 secs (159906401 bytes/sec)

[root@neo-storage] /mnt/Storage/Media/Movies/no.strings.attached.2011.720p.bluray.x264-amiable# dd if=No.Strings.Attached.2011.720p.BluRay.X264-AMIABLE.mkv of=/dev/null bs=1M
4475+1 records in
4475+1 records out
4692471513 bytes transferred in 20.234555 secs (231903865 bytes/sec)

Ik heb in FreeNAS bij Samba Sendfile support aangezet, large r/w aangezet en async IO met een minimum grootte van 1 voor zowel lezen als schrijven. Ik zie nu met iperf trouwens ook wisselende resultaten. Dit wordt verder klooien... Stomme is dat het voor de rest echt als een zonnetje draait

[ Voor 22% gewijzigd door Verwijderd op 31-12-2011 14:47 ]

[FireDrunk]

159MB/s schrijven en 231MB/s lezen? Das toch prima?

Ligt dus duidelijk aan Samba. TCP socket buffers instellen helpt ook nog wel eens.

[Verwijderd]

Yup, ik heb nu ook iperf even op een Ubuntu VM op dezelfde machine gedaan: 720mbit consistent. De FreeBSD resultaten varieren, maar ik zit daar nu op 320mbit.... Het lijkt dus niet eens aan samba te liggen, maar de netwerk performance van FreeBSD onder VMWare..

[ Voor 23% gewijzigd door Verwijderd op 31-12-2011 15:19 ]

[FireDrunk]

Welke nic gebruik je?

[Verwijderd]

D'r zit een Intel NIC op het bord en ik gebruik de E1000 in VMWare omdat de vmxnet adapter instabiel en trager is.

[ Voor 4% gewijzigd door Verwijderd op 31-12-2011 18:37 ]

[FireDrunk]

Sorry, wat? Vmxnet trager? Vmxnet is 10Gb..
Heb je wel de nieuwste versie van vmware tools?

[Verwijderd]

Belangrijkste is dat 'ie instabiel is... De snelheid is niet gelimiteerd door wat die virtuele adapter richting het OS rapporteert, het moet toch door een 1gbit lijn naar de switch toe. Maar het feit dat ik met de E1000 adapter onder Linux significant betere resultaten haal wil ook wel wat zeggen. Ik heb al meer informatie op het net gevonden waarbij mensen problemen hadden met FreeBSD onder VMWare, incl. het rare gedrag dat ik zie: met elke run van iperf gaan de prestaties naar beneden. Heel wazig. Ik meen me te herinneren dat ik ooit ook gewoon 60MB/s heb gehaald, niet top, maar wel acceptabel.

Ik weet zo even niet welke vmware tools er draaien, ik draai iig FreeNAS 8.3RC1.

[ Voor 7% gewijzigd door Verwijderd op 31-12-2011 19:51 ]

[Q]

8.3RC1 klinkt niet als officieel productie stabiel...