Het grote DIY RAID NAS topic deel 3

[DJ-NaRRa]

FireDrunk schreef op dinsdag 07 december 2010 @ 09:40:
[...]


2 Minuten of 2 seconden extra boottijd? Want als jou AHCI 2 Minuten duurt is er iets anders mis...

eerste paar keer booten duurde het wel 2 minuten. nu meer 2 seconden per schijf.

nieuw probleem erbij gekomen though.... ik had toch verteld over die performance drop van 200MB/sec naar pakweg 30MB/sec. Ook met een verse install (kale debian en ssh / webmin) haal ik nu ineens 30MB/sec. nu zelfs bij het syncen van de disks (wat echt enorm lang duurt over de 1000 minuten voor een initiele sync). Ook kreeg ik een kernel panic in het midden van een sync (en nog een tijdens het booten) waardoor hij daarna helemaal overnieuw begon met syncen....wederom 1000+ minuten (snelheid rond de 30MB/sec)

Dus nu maar even memtest gedraaid en ben 4 errors tegen gekomen nu. Zou dit een verklaring kunnen zijn voor de drop in performance of moet ik het elders zoeken? het is wel een verklaring voor de kernel panics dus ze gaan sowieso RMA.

Wat me ook ineens opviel is dat ik tijdens een fdisk -l op de raid partities de volgende melding tegen kwam (niet eerder gezien bij dat command.)

code:

WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use GNU

Ik heb partities op de disks aangemaakt in de installer van debian lenny en de partities zijn uiteraard linux raid. op internet kom ik niet veel wijzer uit deze error behalve dat ik (G)parted moet gebruiken voor die partities (terwijl ik ze wel gewoon kan aanpassen met cfdisk )

edit- voor de duidelijkheid: ik heb ook al de minimum speed aan proberen te passen van mdadm in /proc/sys/dev/raid/speed_limit_min naar 100000. de max setting is 200000. tevens geprobeerd om het volgende command te runnen: mdadm -G /dev/md6 --bitmap=internal. dit gaf een error: mdadm: failed to set internal bitmap

[ Voor 8% gewijzigd door DJ-NaRRa op 09-12-2010 00:41 ]

[FireDrunk]

Ik ben geen MDADM expert, maar ik zou er niet mee stoeien als je RAM kaduuk is... Linux kan een hoop hebben, maar faulty hardware is onder elk OS funest...

Heb je een handleiding voor MDADM gevolgd? Of zo uit het blote hoofd? Laat anders je partitie tabel (met details) eens zien.

[DJ-NaRRa]

FireDrunk schreef op donderdag 09 december 2010 @ 08:40:
Ik ben geen MDADM expert, maar ik zou er niet mee stoeien als je RAM kaduuk is... Linux kan een hoop hebben, maar faulty hardware is onder elk OS funest...

Heb je een handleiding voor MDADM gevolgd? Of zo uit het blote hoofd? Laat anders je partitie tabel (met details) eens zien.

njah het is niet zo dat het bedrijfskritisch is en er staat nog geen live data op. dus ik kan er wat mee spelen gelukkig. Bovendien ga ik toch nog een keer overnieuw installeren (als ik de fout in de hardware kan ontdekken ofc).

Ja ik heb een handleiding gevolgd voor mdadm.
1) partities aanmaken in de installer van debian op het type fd (linux raid)
2) het volgende command gedraaid:

code:

mdadm --create /dev/md6 --chunk=64 --level=6 --raid-devices=8 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/sdi1

3) device geformatteerd als ext3 (eventjes voor de test en omdat ik geen xfsprogs geinstalleerd had) mkfs.ext3 /dev/md6 ik heb bewust even geen rekening gehouden met de 5% space die ext3 reserveerd.
4) FS gemount mount -t ext3 /dev/md6 /mnt/oscar /

daarna is de array zich gaan syncen en heb ik de boel in de gaten gehouden met iostat en watch cat /proc/mdstat. Daar viel me al meteen de slechte speed op

5) vervolgens de min-sync-speed aangepast en geprobeerd die internal bitmap te setten.

ergens op 60% deed de kernel moeilijk en viel de speed terug naar iets van 102kb/sec (ipv 32MB/sec). Het systeem was nog wel up en webmin draaide nog.

[mem-test]
Bij twee stickjes is er na 16 uur testen een stuk of 16 errors (allemaal tijdens test 5 en in dezelfde sector. zie screenshot).
http://www.dj-narra.nl/oscar/memtest.JPG
http://www.dj-narra.nl/oscar/memtest2.JPG

nu is het ding aan het draaien op een van de twee stickjes om te zien of het aan het geheugen ligt of toch mogelijk aan het mobo. ik kan het nu niet in de gaten houden omdat ik niet thuis ben.

ik zal straks als ik weer thuis ben even zien of ik de logs van de kernel en de gegevens van het FS boven water kan toveren

[Verwijderd]

Geen enkele computer dien je te gebruiken bij memory errors; pas als je computer hardwarematig stabiel is, dien je je met software bezig te houden. Als je deze stap overslaat kun je dus softwareproblemen krijgen die hun oorsprong in hardwareproblemen (instabiliteit) vinden; het onderzoeken van deze fouten is erg lastig als je de hardware niet kunt uitsluiten.

Je dient memtest86+ te draaien en na 48 uur testen geen énkele error tegen te komen, dan heb je een normaal stabiel systeem zoals wij allemaal draaien en dan kun je dus verder gaan met software RAID. Het is maar goed dat je nog niets belangrijks op je RAID had staan; memory errors betekent dat je hele systeem instabiel en onbetrouwbaar is en alle data die door die pc gaat kan corrupt worden.

Dus nieuwe memsticks erin en weer memtest86+ aanzetten? Dat is wat ik zou doen.

[FireDrunk]

DJ-NaRRa schreef op donderdag 09 december 2010 @ 12:48:
[...]

njah het is niet zo dat het bedrijfskritisch is en er staat nog geen live data op. dus ik kan er wat mee spelen gelukkig. Bovendien ga ik toch nog een keer overnieuw installeren (als ik de fout in de hardware kan ontdekken ofc).

Ja ik heb een handleiding gevolgd voor mdadm.
1) partities aanmaken in de installer van debian op het type fd (linux raid)
2) het volgende command gedraaid:

code:

mdadm --create /dev/md6 --chunk=64 --level=6 --raid-devices=8 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/sdi1

3) device geformatteerd als ext3 (eventjes voor de test en omdat ik geen xfsprogs geinstalleerd had) mkfs.ext3 /dev/md6 ik heb bewust even geen rekening gehouden met de 5% space die ext3 reserveerd.
4) FS gemount mount -t ext3 /dev/md6 /mnt/oscar /

daarna is de array zich gaan syncen en heb ik de boel in de gaten gehouden met iostat en watch cat /proc/mdstat. Daar viel me al meteen de slechte speed op

5) vervolgens de min-sync-speed aangepast en geprobeerd die internal bitmap te setten.

ergens op 60% deed de kernel moeilijk en viel de speed terug naar iets van 102kb/sec (ipv 32MB/sec). Het systeem was nog wel up en webmin draaide nog.

[mem-test]
Bij twee stickjes is er na 16 uur testen een stuk of 16 errors (allemaal tijdens test 5 en in dezelfde sector. zie screenshot).
http://www.dj-narra.nl/oscar/memtest.JPG
http://www.dj-narra.nl/oscar/memtest2.JPG

nu is het ding aan het draaien op een van de twee stickjes om te zien of het aan het geheugen ligt of toch mogelijk aan het mobo. ik kan het nu niet in de gaten houden omdat ik niet thuis ben.

ik zal straks als ik weer thuis ben even zien of ik de logs van de kernel en de gegevens van het FS boven water kan toveren

Je geheugen draait een beetje op een vreemde snelheid? 1004Mhz is een vreemd getal... 1066 is het 'normale' getal. Misschien staat er te weinig prik op de modules? (sommige modules willen meer prik bij hogere snelheden, en zijn dan ineens een stuk stabieler)

[tjmv]

Da Devil schreef op zaterdag 04 december 2010 @ 21:40:
Er zijn problemen met Samsungs F4EG schijven:
http://sourceforge.net/ap...wiki/SamsungF4EGBadBlocks

En een patch: http://www.samsung.com/gl...iew.do?b2b_bbs_msg_id=386

[mphilipp]

Ik heb een week geleden besloten dat ik wilde testen of sabnzb bij mij de oorzaak was van de freezes die ik ondervond. Het leek voor de hand liggend dat mijn Highpoint controller de oorzaak was, maar ik twijfelde omdat de freezes optraden als ik de raid5 array helemaal niet benaderde. Ook al zou sabnzb dat niet op zijn of haar geweten mogen hebben, ik wilde het tóch even testen (eigenwijs geboren).

Nu ben ik een week verder en hij loopt nog steeds als een tiet. Downloaden doe ik met Newsbin Pro, waarbij het programma uiteraard op de pc draait, maar de opslag plaatsvindt op dezelfde disks als met sabnzb (dat zijn de 2 disks die op het mobo zitten en met mdadm in raid0 staan). Ook par2 check en unrar wordt daarop gedaan. Pas daarna gaat het naar de raid5 array.

Ik heb honderden gb's gedownload, en waar ie vorige week nog na +/- 50Gb ermee kapte (hoewel het ook wel eens langer duurde), ging ie nou gewoon door. Omdat ik nog steeds niet overtuigd ben, heb ik nu een aangepaste versie van het benchmark script van Q draaien die nu om beurten op md0 (mobo disks in raid0) en op md1 (raid5 disks op de highpoint). En dat 10x.

Hij is nu dik over de helft en loopt nog steeds...

Wat ik overigens wel weer grappig vind is dat de raid5 array dik sneller is dan de 2 disks in raid0. De raid0 disks zijn wel van een oudere generatie, dus dat scheelt. Maar toch...ik weet niet of het komt door het aantal disks in de raid5 array (6x 2tb), maar ik dat een raid0 array toch wat sneller verwacht. Ik denk dat het de controller op het mobo is. De iowait is met de mobo disks 25-30% (met pieken naar boven) en met de highpoint disks +/-15%. Die 6 SATA aansluitingen op het mobo komen tegen een prijs zo te zien...

Maar volgens mij is er dus helemaal niets aan de hand op het io front. Die disks lopen allemaal als een tiet, en de controllers doen imho ook niets geks. Geen defect ofzo in ieder geval.
Ik ga 'm straks even opnieuw starten en dan sabnzb maar weer aan zetten. Kijken wat er gebeurt...

[Q]

Dat lijkt mij allemaal goed nieuws. Probeer ook nog de CPU een beetje te stressen / in te branden. Als het dan stabiel blijft, zou ik er ook wat meer vertrouwen in hebben. Laat hem gerust een paar dagen lekker razen. Als dat goed gaat dan is de ellende mogelijk over.

[mphilipp]

Q schreef op vrijdag 10 december 2010 @ 01:07:
Als dat goed gaat dan is de ellende mogelijk over.

Maar waardoor? Stille kracht?
Ik heb wel een paar updates gehad, gisteren nog van wat libs. Misschien zat er ergens toch een bug in Ubuntu die mij net parten speelde. Ik kon er niet echt een vinger tussen krijgen, maar het is geen i/o issue. Ik heb de boel aardig belast en die crashes vorige week waren op zich ook niet echt onder een superlast. Een download met (max) 120mb kan zo'n systeem niet echt onderuit trekken, daar komt de data niet snel genoeg voor binnen.

Alleen wel apart dat die sata poorten op het mobo zo gruwelijk traag zijn. Ok, die disks zijn ook niet echt nieuw, maar toch. Ik had verwacht dat ze een stuk sneller zouden zijn.

Ergens ben ik opgelucht, maar ook weer niet. Als ik nou een echte oorzaak had kunnen vinden, weet je tenminste of je iets hebt opgelost.

[Verwijderd]

Ik heb inmiddels al mijn onderdelen binnen voor mijn NAS.

#	Product	Prijs	Subtotaal
2	Netgear GS605	€ 25,-	€ 50,-
4	Samsung EcoGreen F4EG, 2TB	€ 71,40	€ 285,60
2	Samsung Spinpoint M7 HM321HI , 320GB SATA-300, 8MB, 5400rpm	€ 34,89	€ 69,78
1	Fractal Design Define R3 (Zwart)	€ 93,50	€ 93,50
1	AMD Athlon II X2 240E	€ 54,95	€ 54,95
2	Scythe Twin Mounter 2.5"	€ 3,55	€ 7,10
1	Seasonic S12II-330	€ 46,80	€ 46,80
1	Kingston ValueRAM KVR1333D3N9K2/2G	€ 25,-	€ 25,-
1	Gigabyte GA-880GA-UD3H	€ 91,81	€ 91,81
Bekijk collectie Importeer producten		Totaal	€ 724,54

Het beestje gaat Software RAID 5 draaien op Ubuntu 10.10 server. Daar heb ik 4x een Samsung 2TB EcoGreen voor (FYI: http://www.samsung.com/gl...iew.do?b2b_bbs_msg_id=386).
Het OS komt op een laptop HDDtje te staan. Daar heb ik er twee van.

Gedachte: 1 voor het OS, 1 voor downloads + par. Alles wordt vervolgens uitgepakt naar de RAID in de juiste folder.

1. Performance wise....hoe zal ik die laptop HDDs configureren? Single units of als RAID 0? Het lijkt me misschien ook wel handig om ergens een backup van het OS te hebben?
2. Ubuntu server kan tijdens de installatie al een Software RAID 5 maken, alleen wel EXT4. Ik wil een XFS RAID draaien omdat ik voornamelijk met grote bestanden werk (media). Beste approach hiervoor is eerst Ubuntu installeren (alleen laptop HDDs aangesloten), vervolgens in command line na installatie de RAID 5 aanmaken in XFS met MDADM (na reboot en 2TB HDDs gekoppeld te hebben)?
3. Of kan ik beter deze guide volgen: http://erikugel.wordpress...kware-with-mdadm-and-xfs/

Thanks voor de hulp

Ja, ik ben inderdaad nieuw met enige vorm van Linux

[FireDrunk]

Je kan toch gewoon een expert install doen? Dan kan je tijdens je setup met alt + f2 een nieuwe console openen, en vrolijk die guide tijdens de setup uitvoeren... Of ben ik gek?

Ikzelf ben bezig met een brainstorm over een nieuwe oplossing:



Iemand die denkt dat dit geen goed idee is? (8 x RDM -> RAID6 in een VM )

[mphilipp]

Verwijderd schreef op vrijdag 10 december 2010 @ 09:37:
Ja, ik ben inderdaad nieuw met enige vorm van Linux

Installeer eerst gewoon het os, en download daarna Webmin, dan kun je alles doen wat je wilt via een handige browser-interface. Sommige dingen doe ik ook wel via de commandline, maar soms is zo'n webinterface makkelijker voor het overzicht en met ingewikkelde commando's.

Overigens heb ik mijn raid array dan wel weer met de commandline gemaakt, maar webmin geeft je (vooral als het allemaal nog erg nieuw is) wel veel inzicht zonder dat je je vingers blauw moet typen.
Die guide ziet er trouwens goed uit, als je die volgt kun je ook niet veel verkeerd doen volgens mij.

[ Voor 7% gewijzigd door mphilipp op 10-12-2010 12:01 ]

[Verwijderd]

mphilipp schreef op vrijdag 10 december 2010 @ 11:51:
[...]

Installeer eerst gewoon het os, en download daarna Webmin, dan kun je alles doen wat je wilt via een handige browser-interface. Sommige dingen doe ik ook wel via de commandline, maar soms is zo'n webinterface makkelijker voor het overzicht en met ingewikkelde commando's.

Overigens heb ik mijn raid array dan wel weer met de commandline gemaakt, maar webmin geeft je (vooral als het allemaal nog erg nieuw is) wel veel inzicht zonder dat je je vingers blauw moet typen.

Binnen webmin kun je gewoon een XFS array aanmaken? Maakt het uit of je tijdens de OS installatie alle drives gewoon hebt aangesloten, nee toch?

Hoe denk je over de laptop HDD configuratie? Losse units - OS op 1 en Download op andere (eventueel nog met een backup van het OS drive 2) of als RAID 0?

[ Voor 5% gewijzigd door Verwijderd op 10-12-2010 12:17 ]

[mphilipp]

Verwijderd schreef op vrijdag 10 december 2010 @ 12:01:
[...]
Binnen webmin kun je gewoon een XFS array aanmaken? Maakt het uit of je tijdens de OS installatie alle drives gewoon hebt aangesloten, nee toch?

Nee, maakt niet uit. Je moet alleen even goed opletten wie wat is. Om verwarring te voorkomen kan je net zo goed de raid-drives nog even los laten liggen. Maar dat is maar net hoe georganiseerd je zelf bent.

Hoe denk je over de laptop HDD configuratie? Losse units - OS op 1 en Download op andere (eventueel nog met een backup van het OS drive 2) of als RAID 0?

Ik heb zelf mijn OS op 1 drive staan en 2 HD's in RAID0 als download disks. Of het erg veel uitmaakt in performance (als in: merkbaar) weet ik niet, maar ik vind het zo wel wat fijner. De disks zijn gescheiden op gebruik, en dat is denk ik het beste, zowel voor performance als voor veiligheid. Die RAID0 array mag breken, dan ben ik hooguit mijn laatste downloads kwijt. De bootdisk liever niet, maar ik heb 'm ook weer niet gemirrored. Ik maak wel een keer een backup op een externe hd ofzo.

[DJ-NaRRa]

FireDrunk schreef op donderdag 09 december 2010 @ 15:55:
[...]


Je geheugen draait een beetje op een vreemde snelheid? 1004Mhz is een vreemd getal... 1066 is het 'normale' getal. Misschien staat er te weinig prik op de modules? (sommige modules willen meer prik bij hogere snelheden, en zijn dan ineens een stuk stabieler)

verrek.... nu je het zegt....ik ben even gaan wisselen van geheugen etc. ik heb twee setjes PC3-1333 (10660 cas 9-9-9 en 10666 cas 7-7-7)

als ik een stickje in de eerste slot van een channel steek draait hij op 1004 / 1012 en heb ik een hele rare cas timing van 5-7-1. stop er een in de tweede slot van een channel draait het op DDR 669 met een cas 0-7-0.

dit gebeurt dus met beide setjes geheugen. Dus even een andere voeding aangesloten (want misschien geeft hij gewoon te weinig prik) dit keer een HX650W corsair(ipv de 480w coolermaster die er nu in hangt). op beide tests alleen maar het moederbord aangesloten op de voeding

Ook hier geeft hij bij elk geheugen die rare timings. Als ik in de BIOS ga kijken dan zie ik in de health page van de bios een instabiele vcore op de coolermaster (alleen het laatste cijfer veranderd). bij de corsair blijft de vcore stabiel. Wat me bij beide voedingen opvalt is dat soms de vcore en de ddr voltage het eerste getal wegspringt / flikkert (zie filmpje).

http://www.dj-narra.nl/oscar/memtest_bios.MOV

ook de tweak-pagina in de bios detecteert met een automatische ddr clock maar 1066MHZ (terwijl het 1333Mhz stickjes zijn). ik kan dit natuurlijk wel zelf aanpassen naar 1333, maar hoort hij dit niet gewoon te detecteren?

Daarna even getest in mijn PC bak. ander moederbord andere cpu en de corsair voeding. Ook hier geeft hij die rare timings aan (op beide setjes geheugen en een vast ingestelde waarde van 1333 ipv auto in de bios). Kan dit dan niet gewoon een bug zijn in memtest86+ v2.01...

Verder als ik de reepjes geheugen los test in de nas bak komt er na gemiddeld 16 uur nog altijd geen fout naar voren (terwijl dit met beide reepjes al na een uur errors had)Kan ik hieruit concluderen dat niet mijn geheugen / voeding kapot is maar dat het moederbord gewoon te lage voltages doorgeeft op de lijnen o.i.d.?

Ik heb eerlijk even geen idee meer waar ik het probleem verder nog zou kunnen zoeken (anders dan beide stickjes even laten draaien op de pc bak voor 16+ uur en kijken of daar nog errors uit komen, wat ik dus nu ook ga doen)....

[FireDrunk]

Er is zoiets als SPD... Dat geeft weer welke timings je reepjes ondersteunen. Sommige moederborden pakken de snelste (met dus de hoogste timings) sommige pakken gewoon de eerste...)

Mijn eigen moederbord 790GX pakt de eerste... Ik heb 4 1600Mhz modules, die out-of-the-box 1066Mhz lopen omdat dat de eerste entry is die de SPD tabel geeft...
Die tabel kan je met CPU-Z uitlezen. Misschien is dat een optie?

Staan de reepjes op de QVL van je moederbord? Misschien stom voorstel, maar het kan natuurlijk wel

[jan99999]

Test het geheugen met memtest86 4.0 op hoger.
Je kan bij nieuwere moederborden fouten krijgen met de oude versie.

[axis]

Ik kwam van de week (wellicht in dit topic) een HP Microserver tegen, en ik vond het zo'n briljant ding, dat ik er meteen maar 1 gekocht heb.. Zie er briljant uit, fluisterstil, verbruikt 30-40 watt, en werkt out-of-the box..



4 drive bays (coldswap) en nog een aansluitmogelijkheid voor een sata optical drive (heb ik ssd'tje aan hangen).



Ding kost rond de 300 euro, daarnaast heb ik er 2x2TB schijven bijgekocht (spinpoint f4's) en een out-of-band remote access card waarmee ik het ding op afstand kan beheren (maar die wordt later geleverd).

Vandaag beetje lopen testen en benchen. Hij komt standaard met een 1.3Ghz cpu'tje, 1GB ECC RAM en 1x160GB. Er zit ook een fatsoenlijke broadcom nic in, waarmee ik 935Mbit haal naar een ander testservertje op kantoor met iperf.

Originele excel sheet hier.

Ik had dus een 30GB ssd'tje als bootdisk, daarnaast de standaard 160GB disk, en de nieuwe 2x2TB schijven. Gedurende het testen kwam ik erachter dat de drie-disk tests misschien niet zo representatief zijn, aangezien de 160GB veeeel trager is dan de 2TB schijven. Dat zie je ook aan de stripe tests, de 2-disk stripe (2x2TB) is sneller dan 3-disk stripe (160GB+2TB+2TB). Alle 2-disk tests zijn enkel gedaan met de 2TB disks.

Alle tests zijn gedaan met simpele dd commando's, blocksize 1M en testfile van 2 of 4GB. Alles default settings, nergens tuning o.i.d.



Leuk om te zien dat XFS dus overal een stuk sneller is dan EXT3.

Ik wil een 2-disk mirror gaan draaien, en ik had me er eigenlijk bij neergelegd dat ik niet voor zfs zou kunnen gaan omdat de cpu veel te zwak is. Maar als ik dat zo zie valt dat best mee.. Nu moet ik even nadenken of ik voor CentOS+mdadm ga of FreeBSD+zfs. De laatste is 25% trager, maar biedt me meer interessante mogelijkheden.. Hmmmm..

[DJ-NaRRa]

Hmmm het geheugen staat niet op de QVL (het SC broertje / zusje van mijn stickjes wel). Maar heel die lijst klopt voor geen meter. Verkeerde soorten geheugen in de verkeerde lijst. SC als DC. Daarnaast zijn er maar een stuk of 20 plakjes per soort die het bevestigd doen volgens GigaByte (met de notitie dat ze geen tijd hebben om alles te testen). Bijna geen van de goedgekeurde plakjes geheugen zijn bekend in de pricewatch (op een aantal Triple channel / Quad channel packs van 6 - 12 GB en ik was niet van plan om 300 - 400 euro uit te geven aan teveel geheugen wat ik niet ga gebruiken.

Tot dusver test het geheugen wat eerst in de nas zat en daar fouten veroorzaakte geen fouten op mijn PC bak. Andersom het PC geheugen testen in mijn NAS zit er niet in (blijkbaar vertoont een van die plakjes fouten hoewel nooit opgemerkt in die PC bak die bijna 24/7 draait) omdat dat geen betrouwbare resultaten geeft natuurlijk.

Ik ga even een ander setje geheugen lenen / kopen (wellicht een DC kit van het geheugen waarvan de TC / QC wel op de QVL staan) en dat testen om uit te sluiten dat het aan het geheugen / mobo ligt.

Niemand hier die iets kan zeggen over die wegspringende cijfers in het bios bij de Vcore / DDR voltages? ik heb dat namelijk nog nooit eerder gezien.

[Verwijderd]

mphilipp schreef op vrijdag 10 december 2010 @ 12:44:
[...]
Ik heb zelf mijn OS op 1 drive staan en 2 HD's in RAID0 als download disks. Of het erg veel uitmaakt in performance (als in: merkbaar) weet ik niet, maar ik vind het zo wel wat fijner. De disks zijn gescheiden op gebruik, en dat is denk ik het beste, zowel voor performance als voor veiligheid. Die RAID0 array mag breken, dan ben ik hooguit mijn laatste downloads kwijt. De bootdisk liever niet, maar ik heb 'm ook weer niet gemirrored. Ik maak wel een keer een backup op een externe hd ofzo.

Hmm het OS wordt as we speak op een 320GB 2.5" HDD geinstalleerd. Er komt weinig maar bij op die drive dus 320 GB is aardig overkill.

Kan ik bijvoorbeeld een extra partitie maken (200GB) en die met de 2e HDD in een RAID 0 config zetten? Gaat dat werken of is het verstandiger om gewoon de twee HDDs los te laten opereren? OS op één en downloads op andere...

[raven22]

axis schreef op vrijdag 10 december 2010 @ 17:21:
Ik kwam van de week (wellicht in dit topic) een HP Microserver tegen, en ik vond het zo'n briljant ding, dat ik er meteen maar 1 gekocht heb.. Zie er briljant uit, fluisterstil, verbruikt 30-40 watt, en werkt out-of-the box..

is dat verbruik in idle met 1 disc actief?

[DJ-NaRRa]

Verwijderd schreef op vrijdag 10 december 2010 @ 12:01:
[...]


Binnen webmin kun je gewoon een XFS array aanmaken? Maakt het uit of je tijdens de OS installatie alle drives gewoon hebt aangesloten, nee toch?

Hoe denk je over de laptop HDD configuratie? Losse units - OS op 1 en Download op andere (eventueel nog met een backup van het OS drive 2) of als RAID 0?

ikzelf heb 1 disk voor OS + download en dan een raid array om op uit te pakken. ik wil nog een keer een backup inrichten voor de os disk of een raid1 voor het os.

je kunt heel veel binnen webmin. ook arrays aanmaken en de array formatteren als ext2/3/4 of xfs (wel misschien even xfsprogs installeren).

let er wel op dat je even je /etc/mdadm/mdadm.conf controleert of webmin daar je setup heeft weggeschreven om hem daarna bij opstarten automatisch te laten assemblen. Dat is iets wat webmin bij mij niet deed namelijk.

ik weet ook niet of webmin je nieuw gemaakte array (indien je hem in webmin mount) toevoegd aan je /etc/fstab.

[axis]

raven22 schreef op vrijdag 10 december 2010 @ 18:18:
[...]
is dat verbruik in idle met 1 disc actief?

Volgens mij rond de 30 watt dat ik toestraks zag.. Maar ik heb 'm nu al weggewerkt op de vliering (lastig klimmen), zal binnenkort nog eens kijken.

[johnkeates]

Iemand had hier een ESXi opstelling staan, lijkt me prima, hoewel je voor performance toch misschien beter even naar Xen kan kijken, kan je netwerk een stuk sneller van worden in de VM's. (Haal hier bijna native speeds op 1Gbit kaartje - dan natuurlijk niet alle VM's tegelijk) Ook is hardware beter in een hypervisor OS te beheren.

Als je 1 kaart hebt kan je hem zeer snel delen (en je kan MAC adressen uit de XEN range gebruiken en vastpinnen zodat DHCP z'n werk goed kan doen als je geen static gebruikt, en windows geen last krijgt met wisselende MAC's) waardoor je geen snelheidsverlies hebt door virtualisatie. En als je meerdere kaartjes hebt (heb in diverse cabinets gewoon servers met 10x1GB kaartjes) kan je die ook gewoon lekker aan een VM knopen zodat ie volledige bare metal controle heeft, en een non Xen MAC range adres heeft. Een voordeel is ook dat je je GPU direct als bare metal hardware aan een VM kan geven waardoor je dus accelerated video op een monitor kan gooien, werkt vooral met PCIe goed, kan je dus meerdere schermen op 1 systeem aansluiten, en dan elke kaart op een VM zetten. Dat kan ook met USB controllers (maar ook gewoon met devices), waardoor je in princiepe dus een hardware KVM kan gebruiken als je die hebt.

Je kan gewoon RDP/VNC/NX gebruiken, of zelfs een remote verbinding naar je VM server en daar lokaal in een scherm je VM beheren, maar dat is vrij omslachtig voor GUI-taken (en dat heb je nou eenmaal met Windows).

Naast iSCSI en dan wat file of part backends kan je ook gewoon LVM gebruiken op je RAID array. Dan maak je gewoon een grote volume group aan waar je array in zit (dus heb je maar 1x een raid calculator lopen) en daar dan gewoon al je VM's LV's aan geven. Dan krijg je zeer goede performance en toch maximale controle over je schijven. Je kan dan GPLPV drivers gebruiken in de guest OSsen om alle standaard disk driver crap (vrij traag) te omzeilen met een snellere xenblkdev driver. Dan hoeft je VM niks meer te doen voor data I/O (regelt xen hypervisor voor je - samen met LVM en je raid) wat je weer vrij snelle disk I/O geeft. Als je NFS/iSCSI voor 'alle data in 1 pool' wil gebruiken kan dat als nog, maar ook dan is het beter om dat bare metal te doen. Bijvoorbeeld de controller aan de RAID VM geven, of de RAID disk aan de VM geven. Dan heb je genoeg snelheid voor netwerk bestandssystemen.

[ Voor 25% gewijzigd door johnkeates op 10-12-2010 19:45 ]

[Q]

Verwijderd schreef op vrijdag 10 december 2010 @ 09:37:

[list=1]
• Performance wise....hoe zal ik die laptop HDDs configureren?

Ik zou je OS altijd op een RAID 1 zetten. Dus de twee laptop disks als RAID 1. Doe je gewoon parren en rarren op je array.

NAS moet stabiel zijn. Dus liever ook geen OS disk crashes die de boel kunnen verknoeien. Desnoods stop je er als er ruimte is nog een extra laptop of ander diskje bij.

[Q]

axis schreef op vrijdag 10 december 2010 @ 17:21:
Ik kwam van de week (wellicht in dit topic) een HP Microserver tegen, en ik vond het zo'n briljant ding, dat ik er meteen maar 1 gekocht heb.. Zie er briljant uit, fluisterstil, verbruikt 30-40 watt, en werkt out-of-the box..

[afbeelding]

4 drive bays (coldswap) en nog een aansluitmogelijkheid voor een sata optical drive (heb ik ssd'tje aan hangen).

[afbeelding]

Ding kost rond de 300 euro, daarnaast heb ik er 2x2TB schijven bijgekocht (spinpoint f4's) en een out-of-band remote access card waarmee ik het ding op afstand kan beheren (maar die wordt later geleverd).

Ik ben verliefd.




Ik heb geen reden om zo'n ding te kopen, maar mooi is ie wel. En de performance lijkt ook nog best leuk. Maar de vraag is of je ook gigabit-like snelheden haalt met SMB of NFS.

[ Voor 5% gewijzigd door Q op 10-12-2010 20:22 ]

[mphilipp]

Verwijderd schreef op vrijdag 10 december 2010 @ 17:33:
[...]
Kan ik bijvoorbeeld een extra partitie maken (200GB) en die met de 2e HDD in een RAID 0 config zetten? Gaat dat werken of is het verstandiger om gewoon de twee HDDs los te laten opereren? OS op één en downloads op andere...

Nope, dat gaat niet. Lijkt me niet verstandig ook. Die scheiding die ik heb is puur om de processen ongestoord te laten verlopen. Als sabnzb aan het downloaden is, en aansluitend met par en unrar aan de gang gaat, legt ie een behoorlijke load op de disks. Aan de ene kant zou je sab een beetje terug kunnen tunen zodat ie niet op volle snelheid tekeer gaat op die disks. Het idee is dat die downloads toch wel terecht komen, of het nou 10min duurt of 20. Maar ja, ik ben nu eenmaal ongeduldig, dus heb ik gekozen voor die opstelling. Ik heb een 120Mb kabelaansluiting, dus een bluray rip is vrij snel binnen.
Het is dus een keuze die je moet maken tussen snelheid, kosten en stabiliteit. Bij mij dient de scheiding doel 1 en 3. Hoe minder de processen elkaar in de weg kunnen zitten, hoe beter. Kosten zijn relatief, want een disk is niet zo duur meer. Naar stroomverbruik kijk ik niet
Tot nu toe bevalt deze opstelling me wel. Het performed prima.

Als je de boel in elkaar hebt zitten, moet je maar eens de benchmark scripts van Q draaien (check zijn sig). Ik heb ze een beetje aangepast om ook mijn arrays te stressen zonder steeds een nieuw filesysteem aan te maken en een nieuwe mdadm array te creëren. Als je dat doet, draai dan in een ander terminalwindow een iostat (iostat -mx /dev/md0 1). Voor md0 moet je dan jouw array invullen natuurlijk (als ie anders is bij jou). Ik ben benieuwd naar de IOWAIT percentages bij jou. Je hebt volgens mij je disks op je mobo geprikt en bij mij vormt dat een behoorlijke bottleneck. De disks die aan de Highpoint controller hangen zijn een heel stuk sneller. Ik weet niet zeker of het aan de disks of aan die controller ligt, dus vandaar even de interesse.

[Clifdon]

Ok Ik weet dat als ik heel het topic doorlees ik waarschijnlijk deze vragen al ergens tegen ga komen..

Maar ik ben van plan een NAS te maken. Dit omdat bij de aanschaf van een SSD in mijn Huidige systeem met een CM690 kast de schijven niet meer passen. Ik heb namelijk een gemodde HDD bay waar eigenlijk geen HDD meer in kan.

Ik heb hier nog een 'oud' AMD systeem staan met een 3500+ processor (en 2GB geheugen). Energie verbruik... tsjah zal van dat ding wel hoog zijn. Ik zal even kijken of ik het kan meten. Maar is een dergelijk Systeem geschikt om een NAS van te maken ?

Is er software dat jullie aanraden? Wss wil ik met 1TB schijven een RAID-5 array gaan maken. Ik heb namelijk 3 1TB schijven. dus vind het zonde om over te gaan op 2TB schijven.

Ik ben zelf niet te beroerd om te leren hoe een stukje software werkt. mits er redelijke informatie over te vinden is. Alleen ik heb een NAS nodig welke zeer gemakkelijk toegankelijk is. bepaalde mensen in dit huis snappen bijvoorbeeld niet dat als ze een C: partitie van 30GB hebben ze alle data op de D: schijf moeten zetten. Aanleren heb ik tevergeefs geprobeerd. Toch wil ik dat hun ook bijvoorbeeld makkelijk een back-up van foto's kunnen maken op de NAS.

verder mtb SATA-controller. Als ik het nu goed zeg (uit mijn hoofd) Heeft dat systeem 4 SATA aansluitingen dit is net genoeg om een RAID 5 van te maken. Nu kan ik eventueel de bootschijf op een IDE aansluiting maken. Heb nog nieuwe IDE schijf liggen. Is er mogelijkheid om SATA te splitten? Of zoals ik zelf denk is de mogelijkheid enkel een dure PCI-e SATA controller te kopen?

[FireDrunk]

johnkeates schreef op vrijdag 10 december 2010 @ 19:38:
Iemand had hier een ESXi opstelling staan, lijkt me prima, hoewel je voor performance toch misschien beter even naar Xen kan kijken, kan je netwerk een stuk sneller van worden in de VM's. (Haal hier bijna native speeds op 1Gbit kaartje - dan natuurlijk niet alle VM's tegelijk) Ook is hardware beter in een hypervisor OS te beheren.

Als je 1 kaart hebt kan je hem zeer snel delen (en je kan MAC adressen uit de XEN range gebruiken en vastpinnen zodat DHCP z'n werk goed kan doen als je geen static gebruikt, en windows geen last krijgt met wisselende MAC's) waardoor je geen snelheidsverlies hebt door virtualisatie. En als je meerdere kaartjes hebt (heb in diverse cabinets gewoon servers met 10x1GB kaartjes) kan je die ook gewoon lekker aan een VM knopen zodat ie volledige bare metal controle heeft, en een non Xen MAC range adres heeft. Een voordeel is ook dat je je GPU direct als bare metal hardware aan een VM kan geven waardoor je dus accelerated video op een monitor kan gooien, werkt vooral met PCIe goed, kan je dus meerdere schermen op 1 systeem aansluiten, en dan elke kaart op een VM zetten. Dat kan ook met USB controllers (maar ook gewoon met devices), waardoor je in princiepe dus een hardware KVM kan gebruiken als je die hebt.

Je kan gewoon RDP/VNC/NX gebruiken, of zelfs een remote verbinding naar je VM server en daar lokaal in een scherm je VM beheren, maar dat is vrij omslachtig voor GUI-taken (en dat heb je nou eenmaal met Windows).

Naast iSCSI en dan wat file of part backends kan je ook gewoon LVM gebruiken op je RAID array. Dan maak je gewoon een grote volume group aan waar je array in zit (dus heb je maar 1x een raid calculator lopen) en daar dan gewoon al je VM's LV's aan geven. Dan krijg je zeer goede performance en toch maximale controle over je schijven. Je kan dan GPLPV drivers gebruiken in de guest OSsen om alle standaard disk driver crap (vrij traag) te omzeilen met een snellere xenblkdev driver. Dan hoeft je VM niks meer te doen voor data I/O (regelt xen hypervisor voor je - samen met LVM en je raid) wat je weer vrij snelle disk I/O geeft. Als je NFS/iSCSI voor 'alle data in 1 pool' wil gebruiken kan dat als nog, maar ook dan is het beter om dat bare metal te doen. Bijvoorbeeld de controller aan de RAID VM geven, of de RAID disk aan de VM geven. Dan heb je genoeg snelheid voor netwerk bestandssystemen.

Allemaal zeer verhelderend, thanks voor je input!
Nog een paar puntjes: Bedoel je XenServer of Xen onder Linux/Unix?
Wat ik wilde, was eigenlijk elke individuele disk naar een RAID VM 'mappen'.
Maar zoals ik het nu begrijp vanuit jou verhaal kan ik in de hypervisor al een LVM maken en die naar een VM mappen?

[YaNightmare]

Hallo allemaal !

Ik ben een beetje een lurker op dit forum, post niets, lees meer ^^,

Nu zit ik toch met een vraag, en vooral meningen.

Ik draai momenteel een server (3.0ghz HT p4, 1gb ram) hierin staat mijn os op een 120gb disk (Debian) en heb ik 2x 1,5Tb als LV.

Ik mis behoorlijk wat kracht en geheugen in deze machine en vandaar ik dit ga upgraden. Nu met upgraden komen er natuurlijk weer allemaal keuzes langs, en momenteel twijfel ik over 2 verschillende OS's

Mijn nieuwe server word een Phantom x4 or x6 ik ben er nog niet uit welke van de 2, ook denk ik ~4Gb, misschien meer, ligt aan het overgebleven budget ^^,

Qua HDD wil ik het volgende doen 2x 80 Gb (waarschijnlijk IDE in RAID1) en 6x 2TB SATA in RAID5 (6x omdat ik een mobo wil nemen met 6 SATA aansluitingen, vandaar het os op IDE, misschien dat ik voor een simpel SATA kaartje ga en toch alles op SATA zet, maar dat moeten we maar zien, is allemaal niet heel erg spannend).

Mijn keuze is het volgende

Debian Squeeze OF FreeBSD.

Met Debian heb ik al behoorlijk veel ervaring (5+ jaar) en kan bijna alles met mijn ogen dicht (behalve software raid).
Met FreeBSD heb ik nog niet gewerkt.

Ik heb nu 2 VMware machines aangemaakt om wat te testen met configuraties hoe ik alles wil hebben, vooral om FreeBSD onder de knie te krijgen, wat toch een stuk makkelijker is dan in verwacht.

Voor mij zijn de plus en minpunten als volgt:

Debian:
+ MDADM -> hiermee getest in VM en het werkt gewoon super, het is simpel, effectief etc
+ Al veel ervaring mee, ook draait de te vervangen server hier al 2 jaar op (Lenny).
+ Veel support

FreeBSD
+ ZFS ! Gezien er veel download / upload en storage op gebeurt is dit een goed FS
+ Beter geregelde dep, alles zelf compilen (voor sommige een nadeel, voor mij een voordeel, heb ik liever dan binairies)
- raid kan niet uitgebreid worden (niet met 1 disk, alleen met een complete raid config)

Nu tel ik geen plusjes en minnetjes, het is meer dat ik heel graag met FreeBSD zou willen gaan werken, vooral om ZFS, maar het gebrek aan extenden van de raid is toch wel een groot gemis (denk namelijk dat ik begin met 4x 2TB om vervolgens later er 2 bij te hangen (+1 hot spare)).

Debian daarintegen heeft geen ZFS, nu kan ik met ext4 of RFS ook behoorlijk goed uit te voeten komen maar het is toch minder (wetende dat er iets beters te vinden is haha).

Excuus voor de "wall of text"

Ik ben graag op zoek naar wat meningen van andere met wat jullie voorkeur zou hebben, in het geval van Debian ben ik ook benieuwd of iemand een beter idee heeft voor een FS ipv ext3/4 or RFS.

[HarmoniousVibe]

Grappig, ik zat een tijdje geleden een beetje met hetzelfde dilemma. Uiteindelijk heb ik gekozen voor mdadm, vanwege mijn veel uitgebreidere kennis over Linux en het toen nog min of meer in de kinderschoenen staan van ZFS. Mijn belangrijkste overweging was overigens dat mijn server ook andere taken moest gaan vervullen, zoals het draaien van XBMC (voornamelijk 720p/1080p spul), sabnzbd en dergelijke. En dan zat ik met Linux toch een stuk beter, qua hardware- en softwaresupport. Alles op Ubuntu overigens, wederom een beetje vanwege dezelfde reden. Wellicht heb je iets aan de de beslissingen die ik heb genomen en hobbels die ik tegen ben gekomen. Overigens was ik toen nog een raid n00b, en nu nog steeds wel eigenlijk, so bear with me.

code:

/dev/md0     /               ext4    relatime,errors=remount-ro 0       1
/dev/md2    swap        sw  0   0
/dev/md3    /mnt/data   xfs defaults,sunit=128,swidth=384,noatime,nodiratime,nodev,nosuid,allocsize=512m,logbufs=8,largeio  0   0

code:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid5 sdb3[4] sda3[1] sdc3[3] sdd3[0]
      2836540224 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
      
md2 : active raid0 sda2[0] sdd2[3] sdb2[1] sdc2[2]
      7807232 blocks 64k chunks
      
md0 : active raid1 sdb1[3] sda1[0] sdd1[1] sdc1[2]
      29294400 blocks [4/4] [UUUU]

Zoals je ziet heb ik 4 schijven die ik eenzelfde partitieindeling heb gegeven: / in raid1 (ext4), swap in raid0 en mijn data in raid5 (XFS). Achteraf gezien had ik dit misschien liever anders gedaan (OS op een losse schijf), omdat mijn OS een tikkeltje traag reageert als mijn array met zware/veel I/O operaties bezig is.

Zelf heb ik heel erg goede ervaringen met XFS, maar het ligt er een beetje aan wat je ermee wilt gaan doen. Ik heb er voornamelijk relatief grote bestanden en wat muziek op staan (variërend van 200MB tot 25GB).

Achteraf had ik misschien ook voor een grotere chunk size moeten kiezen, maar ik heb vernomen dat je dat pas vanaf mdadm3 kunt aanpassen. Maar ik heb eigenlijk niet te klagen: de sequentiële snelheid is ruim 220MiB/s lezen en 150MiB/s schrijven.

Overigens, denk je echt al die CPU-power nodig te hebben? Het ligt er een beetje aan wat je er nog meer mee wilt gaan doen, maar ik heb er een Sempron 140 erin zitten en hij kan nog steeds in alle functionaliteit voorzien.

[FireDrunk]

Zijn er mensen met een LSI 3048 controller die toch SMART aan de gang hebben gekregen? Want ik vraag me dus echt af of ik dat wel wil, als ik geen rapportage kan automatiseren als er een schijf naar de haaien is...

[YaNightmare]

Thnx, klinkt goed ! valt me ook echt niet tegen die snelheid, ik had dit wat lager verwacht eigenlijk, jou opmerking is ook precies de reden waarom ik mijn OS gescheiden wil houden van de data disks, op beide is het nu vrij druk op mijn server, wat behoorlijk wat stress veroorzaakt wanneer er wat scripts gaan lopen die SQL gebruiken en andere die data gaan verplaatsen.

Ik heb in mdadm wel al het een en ander getest met mijn VM, het was vooral erg tof om een spare disk aan te maken en vervolgens in VMware een live disk te deleten ^^, was binnen 50 sec weer online (maarja, waren 5Gb disks dus dat is wel makkelijk dan haha).

Enfin, klinkt goed, zal eens wat gaan lezen wat betreft XFS. Mijn bestanden zijn ook rond die size, dat is dan meer voor het media opslag gedeelte (wat trouwens over een 2e netwerk kaart zal gaan zodat ik SMB niet over mijn externe netwerk hoef te draaien).

Verder is voor downloaden etc de snelheid prima hoor, de reden tot upgraden ligt aan een paar dingen.
- Te weinig geheugen (gaat nog "ouderwets" DDR in, wat inmiddels al weer onbetaalbaar is geworden")
- Er draaien inmiddels meerdere websites op, waardoor dus geheugen iets te langzaam is en de processor wat moeite heeft met de verschillende interpreters (met name ruby kost behoorlijk wat kracht).
- Verder lopen er diverse scripts op, oa een auto unpack + upload script, hierdoor gaat de load van de server naar 1,5 - 1,8 bij het uploaden (Heb 100Mbit internet over fiber).

Al met al moet ik nu dingen op andere machines laten draaien omdat anders de rook uit deze server komt, vandaar dat ik dit wil vervangen / combineren

PS, heeft iemand ervaring met geom/gmirror op FreeBSD ? ondersteund deze wel het toevoegen van disks ?

[mphilipp]

YaNightmare schreef op zaterdag 11 december 2010 @ 20:30:
Nu tel ik geen plusjes en minnetjes, het is meer dat ik heel graag met FreeBSD zou willen gaan werken, vooral om ZFS, maar het gebrek aan extenden van de raid is toch wel een groot gemis (denk namelijk dat ik begin met 4x 2TB om vervolgens later er 2 bij te hangen (+1 hot spare)).

Debian daarintegen heeft geen ZFS, nu kan ik met ext4 of RFS ook behoorlijk goed uit te voeten komen maar het is toch minder (wetende dat er iets beters te vinden is haha).

Ik ben graag op zoek naar wat meningen van andere met wat jullie voorkeur zou hebben, in het geval van Debian ben ik ook benieuwd of iemand een beter idee heeft voor een FS ipv ext3/4 or RFS.

Volgens Cypher heb je een heleboel geheugen nodig voor ZFS. Dus met die 1Gb ga je het denk ik niet redden. EXT4 heb ik op mijn NAS getest en dat was dramatisch langzamer dan XFS op exact dezelfde hardware. Heel veel CPU overhead leek het probleem. Ik werk nu dus met XFS en dat gaat prima onder Ubuntu.

[YaNightmare]

mphilipp schreef op zondag 12 december 2010 @ 00:22:
[...]

Volgens Cypher heb je een heleboel geheugen nodig voor ZFS. Dus met die 1Gb ga je het denk ik niet redden. EXT4 heb ik op mijn NAS getest en dat was dramatisch langzamer dan XFS op exact dezelfde hardware. Heel veel CPU overhead leek het probleem. Ik werk nu dus met XFS en dat gaat prima onder Ubuntu.

Dat heb ik ook gelezen, daarom gaat bij de nieuwe server 4Gb of meer gebruikt worden, zowizo zou software raid "veiliger" moeten zijn met meer geheugen.

[mphilipp]

YaNightmare schreef op zondag 12 december 2010 @ 00:36:
[...]
Dat heb ik ook gelezen, daarom gaat bij de nieuwe server 4Gb of meer gebruikt worden, zowizo zou software raid "veiliger" moeten zijn met meer geheugen.

Ok, als 4Gb voldoende is. Ik hoor Cypher over heel erg veel praten. Maar goed, voor mij was het geen optie. ZFS zit niet standaard in Ubuntu, en er is een package beschikbaar die niet betrouwbaar geacht werd. En daarbij vind ik het met XFS ook prima gaan. Ik zou niet weten waarom het allemaal nog sneller zou moeten. Voor mijn situatie zou het in ieder geval 0,0 opleveren. Ik kan een film nu eenmaal niet sneller gaan streamen dan ik 'm kan kijken
Hooguit dat af en toe een keer filetransfer die ik vanaf een PC doe sneller zou gaan. Nou ja...daar kan ik mee leven.

[mphilipp]

Damn! Ik draai nog geen 24 uur weer met Sabnzb en de boel loopt weer gierend vast bij het checken (par2) van de boel (dacht ik tenminste). Het ergste is dat ie nou ook niet meer lekker op wil komen, maar dat zoek ik morgen (of liever:vanmiddag) wel uit.

Wat sabnzb betreft kan ik nog proberen of de originele versie van par2 voor verbetering zorgt. Ik heb een alternatieve versie ivm multicore ondersteuning. Misschien doet die iets raars. Het iig iets dat sabnzb initiëert, want het komt heel toevallig steeds voor als ik dat ding ga gebruiken. Het is sowieso een ranzig programma (bij mij tenminste) want als ie alleen maar aan staat (als in: nog geen download mee gedaan sinds startup) pakt ie na een paar uur alsweer 10% geheugen. En ik krijg het niet terug, en het wordt alleen maar meer. Waar het ook door komt, het manifesteert zich met sabnzb en ik ben het experimenteren een beetje zat. Ik pak newsbin wel weer. Dat werkt tenminste. Jammer dat ik dan mijn pc moet aanlaten, maar dan blijft mijn nas tenminste doordraaien. Ik wordt het steeds uit/aan zetten van die server ook wel een beetje beu. Daar heb ik 'm niet voor.

[redfoxert]

mphilipp schreef op zondag 12 december 2010 @ 02:48:
Damn! Ik draai nog geen 24 uur weer met Sabnzb en de boel loopt weer gierend vast bij het checken (par2) van de boel (dacht ik tenminste). Het ergste is dat ie nou ook niet meer lekker op wil komen, maar dat zoek ik morgen (of liever:vanmiddag) wel uit.

Wat sabnzb betreft kan ik nog proberen of de originele versie van par2 voor verbetering zorgt. Ik heb een alternatieve versie ivm multicore ondersteuning. Misschien doet die iets raars. Het iig iets dat sabnzb initiëert, want het komt heel toevallig steeds voor als ik dat ding ga gebruiken. Het is sowieso een ranzig programma (bij mij tenminste) want als ie alleen maar aan staat (als in: nog geen download mee gedaan sinds startup) pakt ie na een paar uur alsweer 10% geheugen. En ik krijg het niet terug, en het wordt alleen maar meer. Waar het ook door komt, het manifesteert zich met sabnzb en ik ben het experimenteren een beetje zat. Ik pak newsbin wel weer. Dat werkt tenminste. Jammer dat ik dan mijn pc moet aanlaten, maar dan blijft mijn nas tenminste doordraaien. Ik wordt het steeds uit/aan zetten van die server ook wel een beetje beu. Daar heb ik 'm niet voor.

Ik moet eerlijk zeggen dat ik met de Windows versie echt geen problemen heb, behalve dat hij niet makkelijk als service te installeren valt. Zou toch eerder verwachten dat de linux versie stabieler zou zijn

Het lijkt bij jou dus in ieder geval geen hardware issue zoals je eerst dacht maar gewoon puur een software ding te zijn. Gelukkig is dat makkelijker op te lossen

[HarmoniousVibe]

YaNightmare schreef op zaterdag 11 december 2010 @ 22:58:
Thnx, klinkt goed ! valt me ook echt niet tegen die snelheid, ik had dit wat lager verwacht eigenlijk, jou opmerking is ook precies de reden waarom ik mijn OS gescheiden wil houden van de data disks, op beide is het nu vrij druk op mijn server, wat behoorlijk wat stress veroorzaakt wanneer er wat scripts gaan lopen die SQL gebruiken en andere die data gaan verplaatsen.

Ik heb in mdadm wel al het een en ander getest met mijn VM, het was vooral erg tof om een spare disk aan te maken en vervolgens in VMware een live disk te deleten ^^, was binnen 50 sec weer online (maarja, waren 5Gb disks dus dat is wel makkelijk dan haha).

Enfin, klinkt goed, zal eens wat gaan lezen wat betreft XFS. Mijn bestanden zijn ook rond die size, dat is dan meer voor het media opslag gedeelte (wat trouwens over een 2e netwerk kaart zal gaan zodat ik SMB niet over mijn externe netwerk hoef te draaien).

Wat bedoel je hiermee? Waarom zou je SMB over je externe netwerk moeten draaien?

YaNightmare schreef op zaterdag 11 december 2010 @ 22:58:
Verder is voor downloaden etc de snelheid prima hoor, de reden tot upgraden ligt aan een paar dingen.
- Te weinig geheugen (gaat nog "ouderwets" DDR in, wat inmiddels al weer onbetaalbaar is geworden")
- Er draaien inmiddels meerdere websites op, waardoor dus geheugen iets te langzaam is en de processor wat moeite heeft met de verschillende interpreters (met name ruby kost behoorlijk wat kracht).
- Verder lopen er diverse scripts op, oa een auto unpack + upload script, hierdoor gaat de load van de server naar 1,5 - 1,8 bij het uploaden (Heb 100Mbit internet over fiber).

Al met al moet ik nu dingen op andere machines laten draaien omdat anders de rook uit deze server komt, vandaar dat ik dit wil vervangen / combineren

PS, heeft iemand ervaring met geom/gmirror op FreeBSD ? ondersteund deze wel het toevoegen van disks ?

Aha, zoals ik ook al zei ligt het er maar helemaal aan wat je ermee wilt doen. Parren en rarren is inderdaad vrij zwaar. Dat merk ik met mijn Sempron 140 van €35 ook wel, maar het gaat tot nu toe nog prima. Ik heb overigens geen last van de door jou vermelde par2 problemen. Volgens mij zou par niet eens standaard mogen draaien(!). Dat is net als (un)rar een programma die door sab wordt geinvoked. Het is geen daemon oid. Ik zou je sab install maar eens goed nalopen .

offtopic:
Ik heb zelf overigens ook 100/100 FttB->EttH. In één woord: heer-lijk. Dat zijn de betere verbindingen om die NAS over het WAN te exposen (via SSH overigens).

[axis]

Q schreef op vrijdag 10 december 2010 @ 20:22:
[...]


Ik ben verliefd.



Ik heb geen reden om zo'n ding te kopen, maar mooi is ie wel. En de performance lijkt ook nog best leuk. Maar de vraag is of je ook gigabit-like snelheden haalt met SMB of NFS.

Gisteren FreeBSD 8.1 op gezet en RAID1 met ZFS gemaakt.. Draaide allemaal prima, maar ik was teleurgesteld over de performance van FTP en SMB.. Ik haalde maar rond de 20MB upload (richting nas) en 40-50MB/s download met Samba of FTP (NFS niet getest).

Vanochtend Centos 5.5 + MD + XFS geinstalleerd, en daar zie ik nu dat ik dezelfde snelheden haal.. Ik snap er geen drol van.

Op de nas zelf haal ik met dd schrijvend naar disk rond de 100MB/s (disks 100% busy, ~200 IOPS per disk, cpu 50% idle, load ~3). Lezend haal ik 100MB/s (1 disk 100% busy, 700 IOPS, load ~1). Dus de disks lijken geen bottleneck.

Met iperf haal ik tussen de verschillende machines waarmee ik test 87-100MB/s. Dus netwerk lijkt ook geen bottleneck.

Wat in hemelsnaam zorgt nou voor die trage 20MB/s upload.. Disks doen rond de 30 IOPS/disk, zijn 50% busy, cpu is 95% idle, load is 0.1.

Met NFS haal ik nu trouwens wel 27MB/s up en 89MB/s down.. Dat laatste daar ben ik nu wel weer tevreden over..

[mphilipp]

redfoxert schreef op zondag 12 december 2010 @ 03:14:
[...]
Ik moet eerlijk zeggen dat ik met de Windows versie echt geen problemen heb, behalve dat hij niet makkelijk als service te installeren valt. Zou toch eerder verwachten dat de linux versie stabieler zou zijn

Het lijkt bij jou dus in ieder geval geen hardware issue zoals je eerst dacht maar gewoon puur een software ding te zijn. Gelukkig is dat makkelijker op te lossen

Op het sab forum loopt een topic om memory leaks uit te zoeken. De maker zelf kan het ook niet reproduceren;niet iedereen heeft er last van. Wat het dus veroorzaakt is dus 1 groot raadsel.
Ik ga wel nog even kijken naar dat par2 programma. Ik weet nou niet of ik 'm uit de ubuntu lib heb gehaald of het gedownload van de maker zelf. Misschien is dat het wel, wie weet.

Maar goed...eerst maar eens kijken of ik de machine weer overeind krijg.

---

Nog een vraag aan de kenners: ik heb mijn raid5 array op de highpoint kaart als 6 losse JBOD's aangemaakt en met mdadm de array aangemaakt. Daarna heb ik de resulterende /dev/md1 voorzien van xfs door mkfs.xfs etc... Werkt op zich goed.
Alleen zie ik in het verhaaltje waaraan eerder gerefereerd werdt een tussenstap staan die ik niet gedaan heb: cfdisk /dev/sdx om op de losse disks die de array in gaan een partitie van het type 'Linux RAID Autodetect' aan te maken. Maakt dat wat uit? Zo te zien werkt het gewoon en makefs heeft ook nergens over geklaagd, dus ik ging er van uit dat alles ok was.

[Q]

axis schreef op zondag 12 december 2010 @ 12:49:
[...]

Gisteren FreeBSD 8.1 op gezet en RAID1 met ZFS gemaakt.. Draaide allemaal prima, maar ik was teleurgesteld over de performance van FTP en SMB.. Ik haalde maar rond de 20MB upload (richting nas) en 40-50MB/s download met Samba of FTP (NFS niet getest).

Vanochtend Centos 5.5 + MD + XFS geinstalleerd, en daar zie ik nu dat ik dezelfde snelheden haal.. Ik snap er geen drol van.

Op de nas zelf haal ik met dd schrijvend naar disk rond de 100MB/s (disks 100% busy, ~200 IOPS per disk, cpu 50% idle, load ~3). Lezend haal ik 100MB/s (1 disk 100% busy, 700 IOPS, load ~1). Dus de disks lijken geen bottleneck.

Met iperf haal ik tussen de verschillende machines waarmee ik test 87-100MB/s. Dus netwerk lijkt ook geen bottleneck.

Wat in hemelsnaam zorgt nou voor die trage 20MB/s upload.. Disks doen rond de 30 IOPS/disk, zijn 50% busy, cpu is 95% idle, load is 0.1.

Met NFS haal ik nu trouwens wel 27MB/s up en 89MB/s down.. Dat laatste daar ben ik nu wel weer tevreden over..

Hmm, dat is wat minder.

Wat haal je voor netwerk snelheden als je op via netcat en dd een tcp stream opzet? dus iets van nc -l -p 1234 | dd of=/dev/null bs=1M en op de ander dd if=/dev/zero bs=1M | nc x.y.z.a 1234

En daarna niet naar dev null of lezen van dev zero maar naar een file?

[Q]

mphilipp schreef op zondag 12 december 2010 @ 13:01:
[...]

Op het sab forum loopt een topic om memory leaks uit te zoeken. De maker zelf kan het ook niet reproduceren;niet iedereen heeft er last van. Wat het dus veroorzaakt is dus 1 groot raadsel.
Ik ga wel nog even kijken naar dat par2 programma. Ik weet nou niet of ik 'm uit de ubuntu lib heb gehaald of het gedownload van de maker zelf. Misschien is dat het wel, wie weet.

Maar goed...eerst maar eens kijken of ik de machine weer overeind krijg.

Ik draai zelf nog steeds de nu depricated Hellanzb. Geeft nooit problemen, is alleen commandline, maar je dropt nzb's in een directory en hij start.

Ik weet niet meer waarom ik sab toen van mijn mac mini heb geknikkerd, maar ik had er ook problemen mee.

Maar ik blijf er bij dat iets als sab je systeem niet down mag brengen, mits je die app (natuurlijk) niet als root start.

---

Nog een vraag aan de kenners: ik heb mijn raid5 array op de highpoint kaart als 6 losse JBOD's aangemaakt en met mdadm de array aangemaakt. Daarna heb ik de resulterende /dev/md1 voorzien van xfs door mkfs.xfs etc... Werkt op zich goed.
Alleen zie ik in het verhaaltje waaraan eerder gerefereerd werdt een tussenstap staan die ik niet gedaan heb: cfdisk /dev/sdx om op de losse disks die de array in gaan een partitie van het type 'Linux RAID Autodetect' aan te maken. Maakt dat wat uit? Zo te zien werkt het gewoon en makefs heeft ook nergens over geklaagd, dus ik ging er van uit dat alles ok was.

Moet geen issue zijn, maar kan mogelijk autodetectie van raid arrays in de weg liggen. Ik doe het ook niet en het werkt allemaal prima.

[axis]

Q schreef op zondag 12 december 2010 @ 13:52:
[...]


Hmm, dat is wat minder.

Wat haal je voor netwerk snelheden als je op via netcat en dd een tcp stream opzet? dus iets van nc -l -p 1234 | dd of=/dev/null bs=1M en op de ander dd if=/dev/zero bs=1M | nc x.y.z.a 1234

En daarna niet naar dev null of lezen van dev zero maar naar een file?

Slim..
Even van mijn mac naar de nas getest en terug. Met zero/null haal ik 75MB van en naar nas (beiden gelijk).

Met een file op de nas (if=/dev/zero op mijn mac en of=/tank/dinges.dat) haal ik dezelfde snelheden, 74MB/s naar nas toe, en andersom (if=/tank/dinges.dat en of=/dev/null op mac) haal ik 76MB/s..

Bottleneck is hier waarschijnlijk het simpele 3com gigabit switchje.

Verklaar nog steeds niet dat al die applicaties zo traag zijn (vsftpd, samba, etc).. Heb al wel wat tuning geprobeerd, maar helaas. Ik ga zo nog eens even switchen naar FBSD en verder spelen..

[raven22]

axis schreef op zondag 12 december 2010 @ 12:49:
[...]
HP Microserver..........

Zou je nog eens willen meten wat het stroomverbruik in idle is? Ik ben geinteresseerd in verbruik idle waarbij discs in spindown zijn en verbruik in idle met bv de disc met het OS spinning (3,5 of 2,5 "?)
Ook op het zuinige server forum zijn er belangstellenden voor deze cijfers. Dank

[mphilipp]

Q schreef op zondag 12 december 2010 @ 13:56:
[...]
Maar ik blijf er bij dat iets als sab je systeem niet down mag brengen, mits je die app (natuurlijk) niet als root start.

Mee eens, maar er is een verschil tussen niet mogen en niet kunnen. Elk programma kan natuurlijk iets ranzigs doen waardoor een machine crashed. Maar ik denk ook niet zozeer dat het sabnzb zelf is, want dan zou iedereen er last van hebben. Bovendien is sab een Python programma, en het lijkt me stug dat je iets in Python kan schrijven dat de boel laat freezen (behalven een endless loop oid). Het is de interactie tussen sab (en/of de hulpprogramma's eromheen zoals par2/unrar) en mijn systeem. Maar het manifesteert zich in ieder geval wel alleen bij gebruik van sab.

[mphilipp]

Grrrr....ik ben nu alweer een paar uurtjes aan het Kloten. Die RAID0 array is stuk na die crash. Op zich geen probleem, ik maak 'm wel weer opnieuw, er stond toch niets belangrijks op. Maar dat gaat dus niet. Op een of andere manier doet mdadm op Ubuntu iets met die disks (ik heb het al eerder moeten ondergaan) waardoor ie een ooit gemaakte array gewoon niet wil loslaten. Om gek van te worden.

Ik heb uit de /etc/mdadm/mdadm.conf de regel al verwijderd waar /dev/md0 in gedefiniëerd stond. In de fstab is het mounten ook al uitgeschakeld. Ik heb al een (paar) keer gereboot om elke herinnering in het geheugen uit te wissen. Maar op een of andere manier blijft ie vasthouden aan die md0 waardoor ik 'm niet opnieuw kan maken.

Als ik cat /proc/mdstat doe, krijg ik dit:

code:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md_d0 : inactive sdb1[0](S)
      488383936 blocks

md1 : active raid5 sdf[2] sdd[0] sde[1] sdi[5] sdg[3] sdh[4]
      9767156480 blocks level 5, 256k chunk, algorithm 2 [6/6] [UUUUUU]

unused devices: <none>

md0 heet nu md_d0 en heeft een inactive sdb1, terwijl de array bestond uit /dev/sdb1 en /dev/sdc1. Ik heb al verschillende malen met cfdisk beide disks opnieuw voorzien van een 'Linux Raid autodetect' partitie. Ook heb ik al een keer een gewone linux partitie aangemaakt op die disks in de hoop dat ie de raid ellende zou overschrijven zodat ik opnieuw de raid toestand kan aanmaken. Want volgens mij staat er gewoon nog ergens een signature die verhinderd dat ik er iets andere mee doe.

mkfs.xfs op de /dev/sdb1 of /dev/sdc1 lukt niet. Ik krijg dan:

code:

mkfs.xfs: cannot open /dev/sdb1: Device or resource busy

Het gekke is dat als ik blkid doe, deze regel er tussen staat:

code:

/dev/sdb1: UUID="a62bed43-8468-3585-c778-0c0ebc15422d" TYPE="linux_raid_member"

Nou kan ik 'm wel uit /etc/blkid.tab gaan weghalen, maar ik weet niet of dat kwaad kan. Zou dat de boosdoener zijn? En als dat kan, moet ik dan een reboot oid doen? blkid.tab heeft nog een cache-broertje. Moet die dan ook aangepast worden, of gaat dat automagisch?

Een mdadm scan geeft overigens dit antwoord:

code:

sudo mdadm --detail --scan
ARRAY /dev/md1 level=raid5 num-devices=6 metadata=00.90 UUID=be9be2ae:984d7167:c7780c0e:bc15422d
mdadm: md device /dev/md/d0 does not appear to be active.

Mona, ik ben ten einde raad...

[Nielson]

mphilipp schreef op zondag 12 december 2010 @ 17:44:
Want volgens mij staat er gewoon nog ergens een signature die verhinderd dat ik er iets andere mee doe.

Had je mdadm --zero-superblock /dev/sdx al gedaan?

If the device contains a valid md superblock, the block is over-written with zeros. With --force the block where the superblock would be is over-written even if it doesn't appear to be valid.

[Q]

met mdadm -S zou ik die array stoppen en dan met inderdaad --zero-superblock de disks schoon maken.

Vervolgens opnieuw een array maken.

Maar dit gaat nergens meer over.

Een applicatie mag niet een array om zeep helpen.

Hoe crap sab ook is.

[mphilipp]

Nielson schreef op zondag 12 december 2010 @ 17:54:
[...]
Had je mdadm --zero-superblock /dev/sdx al gedaan?[...]

Al een keer of 3, maar dat gaat niet...

code:

mdadm: Couldn't open /dev/sdb1 for write - not zeroing

Er is natuurlijk niets wat 'm bezet houdt. Ik denk dat het die bloody mdadm is die een signature erop heeft gezet en daardoor kan ik er nou niets meer mee. Ik probeer me te herinneren wat ik er de vorige keer mee heb gedaan. Ik zal 'm eens met de wipe-cd booten en die hele disk vol met 0en schrijven. Leuk klusje voor vannacht...

[mphilipp]

Q schreef op zondag 12 december 2010 @ 19:22:
Maar dit gaat nergens meer over.

Ik zeg ook niet dat sab die array om zeep heeft geholpen. Dat heeft ie ook niet gedaan. De boel ik geklapt en ik moest de server uitzetten en dat zal 'm de das om hebben gedaan. Maar het endeffekt is hetzelfde. Op een of andere manier veroorzaakt iets in sab dat de boel crashed, ik hoop dat je het daarover met me eens bent. Dat die array nu fucked is, is een side-effect wat verder niets met het probleem te maken heeft (en wat ik ook niet geïmpliceerd heb).

[tjmv]

mphilipp schreef op zondag 12 december 2010 @ 20:46:
[...]

Al een keer of 3, maar dat gaat niet...

code:

mdadm: Couldn't open /dev/sdb1 for write - not zeroing

Er is natuurlijk niets wat 'm bezet houdt. Ik denk dat het die bloody mdadm is die een signature erop heeft gezet en daardoor kan ik er nou niets meer mee. Ik probeer me te herinneren wat ik er de vorige keer mee heb gedaan. Ik zal 'm eens met de wipe-cd booten en die hele disk vol met 0en schrijven. Leuk klusje voor vannacht...

Probeer eens om dat te doen op de schijf zelf (in plaats van de eerste partitie)..

[mphilipp]

Da Devil schreef op zondag 12 december 2010 @ 20:55:
[...]
Probeer eens om dat te doen op de schijf zelf (in plaats van de eerste partitie)..

Maakt niet uit, same result. Het is trouwens de enige partitie die de gehele disk omvat.

Ik ben de drives nu even aan het zero-en met 'dd if=/dev/zero of=/dev/sdb bs=1M' en ook zo voor meneer C. Kijken of dat iets oplevert.

[Isdatzo]

Ola!

Ik loop al een tijdje met het plan om een NAS / SAN (iSCSI) te bouwen. Performance maakt niet zo veel uit, betrouwbaarheid des te meer. De bedoeling is om 5 of 6 1 of 1.5tb samsung eco-dinges schijven in raid 6 te gaan draaien in een systeem waar Openfiler op draait.

Nu heb ik even zitten spelen met Openfiler vmware en dat bevalt wel. Met wat zoeken op google heb ik hem redelijk eenvoudig gekregen zoals ik wil, en dat met mijn zeer beperkte ervaring met linux. Viel niet tegen .

Anyway: raid 6 dus. Controllers die raid 6 aankunnen zijn aardig prijzig dus het zal waarschijnlijk wel softwarematige raid 6 worden, tenzij daar grote bezwaren tegen zijn. De performance in vmware was met 6 (virtuele) schijven acceptabel voor mij, hoeveel verschilt de performance met een echte opstelling? Mocht het OS vernaggeld raken, dan moet het array ook wel weer vanuit een andere installatie aan de praat te krijgen zijn. Heb ik dat goed?

Dan de hardware.. zoals ik al zei: performance is niet heel belangrijk. Maar ik heb geen idee wat het minimum is waarop zoiets draait. Loopt zoiets een beetje op een Athlon II X2 240E met 2GB ram? Of kan ik ook voor een bordje met onboard atom D510 1.6ghz cpu oid gaan?

Ik vind het zelf lastig in te schatten, misschien jullie ook, maar wat voor lees- en schrijfsnelheden zou ik ongeveer halen?

Alvast bedankt .

[ Voor 3% gewijzigd door Isdatzo op 12-12-2010 21:58 ]

[HarmoniousVibe]

mphilipp schreef op zondag 12 december 2010 @ 20:49:
[...]

Ik zeg ook niet dat sab die array om zeep heeft geholpen. Dat heeft ie ook niet gedaan. De boel ik geklapt en ik moest de server uitzetten en dat zal 'm de das om hebben gedaan. Maar het endeffekt is hetzelfde. Op een of andere manier veroorzaakt iets in sab dat de boel crashed, ik hoop dat je het daarover met me eens bent. Dat die array nu fucked is, is een side-effect wat verder niets met het probleem te maken heeft (en wat ik ook niet geïmpliceerd heb).

Het lijkt me veel eerder omgekeerd hoor. Je array was aan het overlijden, waardoor SAB gecrashed is. En je systeem.

[mphilipp]

LB06 schreef op zondag 12 december 2010 @ 22:44:
[...]
Het lijkt me veel eerder omgekeerd hoor. Je array was aan het overlijden, waardoor SAB gecrashed is. En je systeem.

En waar basseer je dat op? Het lijkt mij volledig uit de lucht gegrepen, want ik had net een week probleemloos gedraaid en daarna nog even een paar torture tests erop losgelaten. Hij gaf geen krimp. Door sabnzb of gerelateerd programma crasht de boel en de array overleefde die crash niet. Lijkt me niet heel vergezocht.

FYI: ik heb een paar honderd GB gedownload afgelopen week via newsbin waarbij de opslag op de gesneuvelde array plaatsvond. Dus hoe je erbij komt dat de array aan het overlijden was is mij een raadsel. Heb je enige indicatie in die richting? Misschien kom ik op een idee.

[HarmoniousVibe]

mphilipp schreef op zondag 12 december 2010 @ 22:59:
[...]

En waar basseer je dat op? Het lijkt mij volledig uit de lucht gegrepen, want ik had net een week probleemloos gedraaid en daarna nog even een paar torture tests erop losgelaten. Hij gaf geen krimp. Door sabnzb of gerelateerd programma crasht de boel en de array overleefde die crash niet. Lijkt me niet heel vergezocht.

FYI: ik heb een paar honderd GB gedownload afgelopen week via newsbin waarbij de opslag op de gesneuvelde array plaatsvond. Dus hoe je erbij komt dat de array aan het overlijden was is mij een raadsel. Heb je enige indicatie in die richting? Misschien kom ik op een idee.

Ik kan het geenszins bewijzen, maar ik vind dat veel aannemelijker dat een programma crasht door een overlijdende array dan dat een userspace programma (zonder rootrechten oid!) een array laat crashen.

[DJ-Visto]

mphilipp schreef op zondag 12 december 2010 @ 22:59:
[...]

En waar basseer je dat op? Het lijkt mij volledig uit de lucht gegrepen, want ik had net een week probleemloos gedraaid en daarna nog even een paar torture tests erop losgelaten. Hij gaf geen krimp. Door sabnzb of gerelateerd programma crasht de boel en de array overleefde die crash niet. Lijkt me niet heel vergezocht.

FYI: ik heb een paar honderd GB gedownload afgelopen week via newsbin waarbij de opslag op de gesneuvelde array plaatsvond. Dus hoe je erbij komt dat de array aan het overlijden was is mij een raadsel. Heb je enige indicatie in die richting? Misschien kom ik op een idee.

Misschein omdat sabnzbd alles rechtstreeks doet + processor + al die anderen dingen die focussen op die array.. Als je met newsbin op je desktop laat schrijf je alleen dan zet je systeem niet echt aan het werk wat wel met downloaden gebeurt..

[mphilipp]

LB06 schreef op zondag 12 december 2010 @ 23:02:
[...]
Ik kan het geenszins bewijzen, maar ik vind dat veel aannemelijker dat een programma crasht door een overlijdende array dan dat een userspace programma (zonder rootrechten oid!) een array laat crashen.

Maar dat is ook helemaal niet wat er gebeurd is! De MACHINE is vastgelopen, ik zet 'm uit (knop indrukken) en de array is beschadigd. Klinkt dat nou zo raar? Ik zeg nergens dat het (direct) door sabnzb komt. Die geef ik de schuld van de crash van de computer.

Nog even voor mij: ik hoor meerdere mensen steeds roepen dat een userspace programma nooit de boel mag laten vastlopen. Voordat we hier in een semantische discussie verzanden: is het niet mogen of niet kunnen? Daar is een groot verschil tussen. Het is idd onwenselijk dat een programma dat zomaar doet, maar ik snap niet dat het zo vreemd of onmogelijk geacht wordt. Ik werk nou al bijna 30 jaar met die rotdingen, en in mijn ervaring kan elke computer/elk os op zijn knieën gebracht worden. Vaak is het interactie tussen verschillende componenten, maar dan nog kan een (userspace) programma de trigger zijn. Een bug in een os library kan precies getriggerd worden door een call in een programma. Dat het niet hoort trekt het systeem zich vrij weinig van aan.
Ik ben er van overtuigd dat er niets kapot is bij mij, de array an sich is ook dik in orde. Ik heb al teveel torture tests gedaan op beide arrays (de RAID0 via het mobo en de RAID5 via de highpoint) om nog te twijfelen aan hun integriteit. Maar het kan natuurlijk nog steeds zijn dat een bug in de mobo sata controller, de driver van de highpoint of wat dan ook een foutsituatie veroorzaakt als er iets met sabnzb gebeurt.

Ik heb nu iets minder verdenking richting de highpoint kaart op driver omdat het nu expliciet gebeurt bij het benaderen van de 'mobo array'. Punt is dat er niets gebeurt als ik vanaf de os prompt zelf bestanden verplaats, via ftp dingen overpomp of download via de pc zodat het met smb op de array terecht komt. Pas als ik sabnzb inschakel gaat het fout. Maar ja...waar gaat het precies fout?

[mphilipp]

Ok, ik heb net Stress gedownload en een paar runs gedraaid. Je kunt aangeven hoe lang ie het systeem moet martelen. De CPU wordt onder handen genomen, het geheugen vervuild en de hd gepest. Alleen zie ik dat ie gewoon de systeemschijf pakt en ik kan dat niet besturen. Maar goed, de CPU gaat wel zowat naar 100% met alles cores (85% user) en het geheugen zie ik ook aardig gevuld worden. Tot nu toe houdt ie het nog (wat ik al verwachtte). Ik zal 'm eens 5 minuten aanzetten. Als ie dat redt, is er met het systeem qua stabiliteit niets aan de hand denk ik, want dat hele downloaden belast het systeem nooit meer dan 40-50% (het meeste bij het parren).

[edit]
De 5 minuten test is goed verlopen. Hierbij is de CPU 5 minuten lang op 100% gezet (alle cores) en het geheugen met 4 workers à 256Mb belast. Nu heb ik Bonnie draaien om beide array's eens door te laten draaien.

Bonnie doet btw dit:

code:

bonnie++ -d /storage -s 1000000 -x 5 -q -f 2>&1 | tee bonnie.log

Dit is op de raid5 array en daar maakt ie 1000 bestanden aan van bij elkaar 1Tb en dat doet ie 5x achter elkaar. Dit pakt iets van 25-35% CPU (bijna helemaal system) en de iowait is 15-20%.

[ Voor 26% gewijzigd door mphilipp op 13-12-2010 00:40 ]

[DJ-NaRRa]

mphilipp schreef op maandag 13 december 2010 @ 00:14:
Ok, ik heb net Stress gedownload en een paar runs gedraaid. Je kunt aangeven hoe lang ie het systeem moet martelen. De CPU wordt onder handen genomen, het geheugen vervuild en de hd gepest. Alleen zie ik dat ie gewoon de systeemschijf pakt en ik kan dat niet besturen. Maar goed, de CPU gaat wel zowat naar 100% met alles cores (85% user) en het geheugen zie ik ook aardig gevuld worden. Tot nu toe houdt ie het nog (wat ik al verwachtte). Ik zal 'm eens 5 minuten aanzetten. Als ie dat redt, is er met het systeem qua stabiliteit niets aan de hand denk ik, want dat hele downloaden belast het systeem nooit meer dan 40-50% (het meeste bij het parren).

[edit]
De 5 minuten test is goed verlopen. Hierbij is de CPU 5 minuten lang op 100% gezet (alle cores) en het geheugen met 4 workers à 256Mb belast. Nu heb ik Bonnie draaien om beide array's eens door te laten draaien.

bedankt voor die tool... dat ga ik als volgende stap proberen....ik heb het geheugen uit mijn nas nu 48 uur gedraaid (weliswaar met oude memtest86+) op mijn game PC. zonder enige fout. Nu bezig met versie 4.10 van memtest86+ op mijn nas. hij ziet nu het geheugen wel met een betere prik. (1067mhz) wel een andere CAS dan als wat op de verpakking staat maar dat is wellicht te weiten aan de SPD readings (nog niet kunnen uitlezen met CPU-Z)

Vooralsnog is het geheugen clean op mijn nas (11:28 uur in). Mocht dit nu geen errors geven.... zijn er progsels die puur het mobo stressen? ik vermoed dat daar het probleem zit (omdat ik eigenlijk alle andere variabelen al heb uitgesloten). Google geeft niet zo veel resultaten voor mobo stress dingen (maar ik kan ook verkeerd zoeken uiteraard)

[mphilipp]

DJ-NaRRa schreef op maandag 13 december 2010 @ 00:42:
[...]
Vooralsnog is het geheugen clean op mijn nas (11:28 uur in). Mocht dit nu geen errors geven.... zijn er progsels die puur het mobo stressen? ik vermoed dat daar het probleem zit (omdat ik eigenlijk alle andere variabelen al heb uitgesloten). Google geeft niet zo veel resultaten voor mobo stress dingen (maar ik kan ook verkeerd zoeken uiteraard)

Check hier eens. Daar zit vast wel wat tussen.

[FireDrunk]

FireDrunk schreef op zaterdag 11 december 2010 @ 22:56:
Zijn er mensen met een LSI 3048 controller die toch SMART aan de gang hebben gekregen? Want ik vraag me dus echt af of ik dat wel wil, als ik geen rapportage kan automatiseren als er een schijf naar de haaien is...

Iemand hier al een antwoord op?

[Verwijderd]

Na vermelding van de silent corruption op de HD204UI disks van Samsung was ik wel even geschrokken, er liep net een expansion van 12 naar 16 disks. Dit is wel mis gegaan, maar niet daardoor.

Intussen kreeg ik op HardForum deze link naar de Samsung site, waar een fix voor dat probleem staat. Ik heb hem zelf nog niet getest omdat ik met Areca support bezig ben om mijn RAID array weer terug te krijgen, daarna kan ik pas disks gaan aanpassen.

[YaNightmare]

LB06 schreef op zondag 12 december 2010 @ 10:17:
[...]

Wat bedoel je hiermee? Waarom zou je SMB over je externe netwerk moeten draaien?

Mijn externe en interne netwerk is fysiek gescheiden, vandaar dat ik 1 netwerkkaart gebruik waar SMB aan hangt die aan mijn interne netwerk zit, en 1 netwerkkaart waar een extern ip op staat en dataverkeer overheen gaat..

LB06 schreef op zondag 12 december 2010 @ 10:17:
Aha, zoals ik ook al zei ligt het er maar helemaal aan wat je ermee wilt doen. Parren en rarren is inderdaad vrij zwaar. Dat merk ik met mijn Sempron 140 van €35 ook wel, maar het gaat tot nu toe nog prima. Ik heb overigens geen last van de door jou vermelde par2 problemen. Volgens mij zou par niet eens standaard mogen draaien(!). Dat is net als (un)rar een programma die door sab wordt geinvoked. Het is geen daemon oid. Ik zou je sab install maar eens goed nalopen .

offtopic:
Ik heb zelf overigens ook 100/100 FttB->EttH. In één woord: heer-lijk. Dat zijn de betere verbindingen om die NAS over het WAN te exposen (via SSH overigens).

Ik gebruik geen nieuwsgroepen dus hier heb ik geen last van (par dan) rar weer wel, om hier niet teveel over offtopic te gaan word deze server gebruikt als race server / autobot voor een torrent site, vandaar dat snelheid vrij belangrijk is, en met de huidige setup ben ik niet "veilig" (geen raid) en kost het unrarren .torrent maken en uploaden (met de bijbehorende upload snelheid) vrij veel van de machine, gezien dit allemaal automatisch gaat zit er geen controle op qua timing/resources.

Anyway, ik denk dat ik "gewoon" weer voor Debian ga, mdadm bevalt me in de test erg goed en ik heb liever de zekerheid van het toevoegen van een disk aan de array dan dat ik een veiliger / beter FS heb.

[Freudie]

Ik ben van plan een DIY NAS/Server te bouwen. In eerste instantie zal het gebruikt worden voor het opslaan en streamen van muziek/video en backups van mijn computers.
In de toekomst zal er hopelijk meer mee gaan gebeuren (Prive SAP systeempje om te spelen, wellicht wat databases, etc.).

Nu zat ik aan het volgende te denken:

#	Product	Prijs	Subtotaal
4	Samsung EcoGreen F4EG, 2TB	€ 71,40	€ 285,60
1	Sharkoon Rebel12 Value Black	€ 87,04	€ 87,04
1	Intel Core i5 650	€ 149,-	€ 149,-
1	Cooler Master Silent Pro M500	€ 72,25	€ 72,25
1	OCZ Gold DDR3 PC3-10666	€ 113,30	€ 113,30
1	Asus P7H55	€ 84,69	€ 84,69
Bekijk collectie Importeer producten		Totaal	€ 791,88

Gaat dit een beetje werken? Er zal Linux op komen met mdadm RAID 5.

Nu moet ik alleen nog een OS disk erbij doen. Gaat een SSD bootdisk heel veel helpen? Of kan ik net zo goed een normale HD als bootdisk gebruiken.

[FireDrunk]

Dat ligt totaal aan het gebruik... Een i5 is zwaar overkill voor een simpel thuisservertje... Zelfs voor SAP... Ook als het een 24/7 server is, is een SSD om het boot proces te versnellen een beetje overkill.
Als je met VM's gaat spelen, is een SSD leuk, omdat Random IO best kenmerkend is voor VM's... En daar is een SSD heer en meester in.

[Freudie]

Okay, dus in principe zou je zeggen:

ipv van i5 een i3, en ipv SSD een 'gewone' HDD. Zijn er dan redelijk snelle, kleinere HDDs beschikbaar, of zou je gewoon zeggen: Doe gewoon dezelfde HDD als die in de RAID configuratie zitten.

[HarmoniousVibe]

Freudie schreef op maandag 13 december 2010 @ 09:27:
Okay, dus in principe zou je zeggen:

ipv van i5 een i3, en ipv SSD een 'gewone' HDD. Zijn er dan redelijk snelle, kleinere HDDs beschikbaar, of zou je gewoon zeggen: Doe gewoon dezelfde HDD als die in de RAID configuratie zitten.

Dat laatste zou ik hoe dan ook niet doen.

[FireDrunk]

Een 2.5" laptop schijfje is vaak prima voor OS maar dan moet je wel handmatig backuppen. 2 x 2.5" schijfjes in RAID1 geeft ook een prima lees performance.
Qua sequentiele doorvoersnelheid doen ze het prima, alleen qua random IO lopen ze wat achter op 3.5" schijven. Voordeel is dat ze vaak half zoveel energie nodig hebben.

i3 is een prima keuze voor een server.

[Freudie]

Voor een OS disk, is die random IO zo belangrijk? Ik zit dan te denken om twee Western Digital WD1600BEKT
Bulk, 9,5 mm, Scorpio Black te kopen, en deze in RAID1 te zetten... (+ dan de i3 ipv de i5).

[mphilipp]

Ik heb Bonnie net maar afgebroken, want hij was al vanaf 00:30 bezig en blijkbaar was de load die ik 'm had meegegeven via de (gestolen) commandline iets wat bij mij een paar dagen zou gaan duren. Ik had 'm eerst zijn gang laten gaan op de RAID5 array en die heeft het gewoon overleefd.
Ik heb 'm nu met wat minder werk aan de gang gezet op de RAID0 array en dan eens kijken of ie daar doorheen komt. Als dat zo is, heb ik denk ik wel afdoende vastgesteld dat er met die schijven/controllers e.d niets aan de hand is wat stabiliteit betreft.

Wel grappig om te zien hoe dat met die RAID0 array gaat, die op het mobo is aangesloten. Die is dus een stuk trager dan de Highpoint controller, dus de IOWAIT is hoger en de CPU belasting gaat steeds heen en weer omdat ie moet wachten tot die arme controller klaar is. De Highpoint is wat dat betreft echt geen foute investering, ook al wil je niet de RAID functionaliteit gebruiken. De IO gaat gewoon veel en veel soepeler er doorheen.

[ Voor 28% gewijzigd door mphilipp op 13-12-2010 10:45 ]

[FireDrunk]

Freudie schreef op maandag 13 december 2010 @ 10:23:
Voor een OS disk, is die random IO zo belangrijk? Ik zit dan te denken om twee Western Digital WD1600BEKT
Bulk, 9,5 mm, Scorpio Black te kopen, en deze in RAID1 te zetten... (+ dan de i3 ipv de i5).

Dat ligt er dus weer totaal aan hoe je het gaat gebruiken... SAP databases vallen bij mij onder OS
Maar als jij dat Data vind die op je Array moet, ja dan valt het wel mee

[Freudie]

Mjah, de bedoeling was om alles wat met databases/data e.d. te maken heeft om dat op die RAID5 config te plaatsen, dus ook eventuele SAP DB. Dus op de OS disken echt alleen het OS...niets van SAP of wat dan ook verder.

[FireDrunk]

Dan kan het wel, bedenk wel dat RAID5 en Databases niet echt een lekkere combi is... Nou zal dat voor 1 user wel loslopen, maar een gewaarschuwd man telt voor twee

[BigJeff]

Ik ben een newby als het aan komt op NAS systemen,
maar ik heb een vraagje, en hoop dat iemand mij kan helpen..

Ik wil graag thuis een NAS maken voor de opslag/backup van mijn werk, school opdrachten, muziek, en films.
Ik zat te denken aan een NAS van 4TB in raid 1 opstelling. (dus 2TB bruikbaar)..
Functionaliteit die ik graag zie is: iTunes server, Toegang van buitenaf, download client (niet een pre)...

Ik heb al een beetje gezocht, maar mij werd afgeraden om een bepaald soort goedkope harddisk te gebruiken omdat die dan weer snel crashte...

Kan iemand mij een eindje op weg helpen met boven staande gegevens?
Het liefst zo'n goed mogelijke verhouding tussen prijs/kwaliteit..

Bij voorbaat dank

[Freudie]

Het zal sowieso alleen maar voor eigen gebruik zijn, en dus inderdaad alleen voor 1 user, dus de performance loss neem ik wel voor lief. In het allerslechtste geval regel ik wel een extra HD als SAP echt problemen oplevert.

Nou mooi, dan ga ik alles in de bestelling gooien.

[mphilipp]

BigJeff schreef op maandag 13 december 2010 @ 11:27:
Ik heb al een beetje gezocht, maar mij werd afgeraden om een bepaald soort goedkope harddisk te gebruiken omdat die dan weer snel crashte...

Geen idee, maar ik ben al sinds hun introductie fervent gebruiker van Samsung harddisks en er moet er nog steeds eentje sneuvelen. Ondertussen heb ik wél problemen gehad met IBM Deskstar (Death Star) disks en 2 DOA's gehad met Western Digital. Samsungs zijn gewoon prima, en nog goedkoop ook.

Wat je denk ik hebt opgevangen is een truuk van harddisk fabrikanten om je te dwingen 'enterprise' disks te gebruiken in RAID array's door op consumentenschijven een bepaalde functie uit te schakelen waardoor ze om de haverklap uit de array gegooid worden. Bij de 'enterprise' disks is die functie wél beschikbaar en heb je dat probleem niet. Echter, als je geen specifieke (hardware) RAID controller gebruikt is er niets aan de hand. Je kunt je HD's op je mobo prikken en met software raid aan de hang (mdadm onder Linux bv). Wil je tóch zo'n RAID controller ivm performance of het aantal schijven dat je eraan wilt hangen, kan je ze er als JBOD aanhangen (afzonderlijke schijven) en dan alsnog met software raid werken. Dat laatste doe ik ook, want ik heb 6 disks aan de controller hangen in RAID5.

BTW: Tot 4 HD's zijn de kant-en-klare NASsen niet te verslaan wat betreft prijs en energieverbruik. Nadeel is natuurlijk dat ze niet verder uit te breiden zijn, maar ze zijn relatief goedkoop, lekker klein en er zit veel functionaliteit in. Dus als je in zo'n dit 4x 2TB stopt, en dat is voor jou voorlopig voldoende, zou ik gewoon zo'n ding kopen. Ze zijn qua bediening ook nog eens een stuk makkelijker.

[ Voor 13% gewijzigd door mphilipp op 13-12-2010 11:40 ]

[FireDrunk]

Laat het resultaat maar weten!

BigJeff schreef op maandag 13 december 2010 @ 11:27:
Ik ben een newby als het aan komt op NAS systemen,
maar ik heb een vraagje, en hoop dat iemand mij kan helpen..

Ik wil graag thuis een NAS maken voor de opslag/backup van mijn werk, school opdrachten, muziek, en films.
Ik zat te denken aan een NAS van 4TB in raid 1 opstelling. (dus 2TB bruikbaar)..
Functionaliteit die ik graag zie is: iTunes server, Toegang van buitenaf, download client (niet een pre)...

Ik heb al een beetje gezocht, maar mij werd afgeraden om een bepaald soort goedkope harddisk te gebruiken omdat die dan weer snel crashte...

Kan iemand mij een eindje op weg helpen met boven staande gegevens?
Het liefst zo'n goed mogelijke verhouding tussen prijs/kwaliteit..

Bij voorbaat dank

Wat heb je zoal zelf al gevonden?

[Freudie]

Nog een klein vraagje. Kan ik die twee 2.5 inch schijven op elkaar plaatsen met een Twinmounter montageframe? Of is dat niet aan te raden i.v.m. de warmteproductie?

[FireDrunk]

Naar mijn weten zijn er maar heel erg weinig 2.5" schijfjes die heet genoeg worden om dat soort problemen te hebben. En dat zijn dan vooral de extra grote schijven (vanwege de vele platters)

[Freudie]

Okay, dank.

Nu zit ik te bestellen, en blijkt de Samsung HDDs niet op voorraad te zijn. Maakt het nog heel veel verschil qua performance/kwaliteit als ik i.p.v. die Samsung HDDs 4 WD20EARS (of wellicht de WD20EURS) ?

[mphilipp]

Freudie schreef op maandag 13 december 2010 @ 12:33:
Nu zit ik te bestellen, en blijkt de Samsung HDDs niet op voorraad te zijn. Maakt het nog heel veel verschil qua performance/kwaliteit als ik i.p.v. die Samsung HDDs 4 WD20EARS (of wellicht de WD20EURS) ?

Op papier niet, maar ik heb in mijn desktop 4 Western Digitals zitten, en ik heb bij mijn bestelling 2 defecte disks gehad. Wel door de goede service van WD snel omgeruild, maar toch...een Samsung is bij mij nog nooit stuk gegaan. Just saying...

Er zijn toch wel meer winkels die Samsungs verkopen?

[Freudie]

Ja, dat is waar. Maar ik heb liever alles bij 1 winkel. En Alternate zit dichtbij, vandaar :-)

[FireDrunk]

Ik heb juist andersom ervaringen... Samsung gaat altijd kapot bij mij, en WD werkt altijd prima

Just saying

[Freudie]

AAAAAAAH keuzes,...:)

[mphilipp]

FireDrunk schreef op maandag 13 december 2010 @ 12:42:
Ik heb juist andersom ervaringen... Samsung gaat altijd kapot bij mij, en WD werkt altijd prima

Zo zie je maar...
Bij mij gaan WD's niet 'steeds' kapot, maar ik bestel er 4 en 2 daarvan blijken stuk (na een paar dagen kloten en mijn haren eruit trekken). Dat was voor mij de eerste keer dat schijven echt kapot waren (DOA dan). En die Death Star doet het op zich nog steeds, maar na een paar uurtjes zware arbeid moet ie even rusten...

Samsung doet het vooralsnog altijd goed bij mij. Maar ik koop ook weer geen 10 disks per jaar, dus statistisch zegt mijn ervaring ook niet zoveel.

[Freudie]

Nou ja, ik bestel wel gewoon zoals ik van plan was, die paar dagen kan ik dan ook wel weer wachten. Nu zit ik alleen te wachten op antwoord van de winkel, want ik heb gevraagd of de bijgeleverde kabels (behalve voldoende) ook lang genoeg zijn in combinatie met die Sharkoon Rebel 12 kast. Enig idee?

[FireDrunk]

Ligt aan de plaatsing van je disks... In een Rebel 12 zitten ze toch onderin? Of stop je ze in een hotswap cage?
Want van je moederbord naar die cage onderin is nog geen 15cm

[HarmoniousVibe]

Het lijkt me volkomen nutteloos om ervaringen te gaan uitwisselen over harde schijven. Ten eerste is de steekproef veel te klein en ten tweede zegt een reeks slechte of goede schijven in het verleden erg weinig over de betrouwbaarheid van nieuwe schijven. Bovendien zijn in alle situaties de omstandigheden weer anders (airflow, gravimetrische stabiliteit, temperatuur, gebruikspatroon, etc). Natuurlijk kan het nut hebben om te waarschuwen voor echt opvallend slechte series, maar dat is niet aan de orde lijkt me.

Het lijkt me daarom veel verstandiger om niet op één paard te wedden. Bij raid 5 is het zo dat wanneer er meer dan één schijf tegelijkertijd mee ophoudt, je array verloren is. Als je allemaal dezelfde schijven koopt, is de kans dat er meerdere schijven rond dezelfde periode ermee ophouden veel groter dan wanneer je verschillende merken en/of type schijven hebt.

[FireDrunk]

Nadeel van verschillende schijven is het verschil in performance, reactietijd, access tijd en warmte productie.
Soms vinden controllers dat niet echt grappig... En een bokkende controller is ook vervelend...

[Duikhond]

Zoals velen hier op dit deel van het forum ben ik ook de onderdelen aan het samenstellen voor een NAS.
Doel is simpel:
- Bluray en HD video content, muziek (lossles) etc op RAID aray (4x 2TB)
- Draaien van Zoneminder voor 2 stuks IP camera (aparte disk 1TB, beelden backup naar RAID array)
- Op diezelfde aparte 1TB disk sabnzb (of hellanzb), en daarna uitgepakte content weer naar raid
- OS op SSD

Ik dacht aan de volgende hardware:

#	Product	Prijs	Subtotaal
1	Samsung EcoGreen F3 HD105SI, 1TB	€ 49,-	€ 49,-
4	Samsung EcoGreen F4EG, 2TB	€ 71,40	€ 285,60
1	Silverstone Precision SST-PS01B-E	€ 49,50	€ 49,50
1	AMD Athlon II X2 240E	€ 54,95	€ 54,95
1	be quiet! Pure Power L7 300W	€ 35,-	€ 35,-
1	OCZ Onyx SATA II 2.5" SSD 32GB	€ 54,90	€ 54,90
1	Team Elite 4GB DDR3	€ 46,99	€ 46,99
1	Asus M4A78LT-M LE	€ 43,32	€ 43,32
Bekijk collectie Importeer producten		Totaal	€ 619,26

OS zal een Linux variant worden (Ubuntu, Debian oid) met mdam een softraid 5, ondanks dat ik een aardige Linux noob ben . Nooit te oud om te leren, en ga deze uitdaging graag aan
Ook moet het geheel wat energiezuiniger zijn als mijn desktop natuurlijk

Ik sta open voor commentaar of aanpassingen

[mphilipp]

LB06 schreef op maandag 13 december 2010 @ 13:37:
Het lijkt me volkomen nutteloos om ervaringen te gaan uitwisselen over harde schijven.

Mee eens, maar ik gaf de nuance ook al aan. Hoewel er over Samsungs toch erg weinig negatieve evaringen te vinden zijn. Dat zegt op zich ook wel wat. Toen ik die WD's bestelde (het waren de snelste voor dat geld) las ik al hier en daar dat er wat QA problemen waren. En als je dan 4 disks krijgt, waarvan er 2 min of meer DOA zijn (ze deden het wel, maar ze vielen steeds uit de array) is er iets aan de hand. Maar goed, de vervangers doen het zonder bokken. Collectieve ervaringen kunnen iig wel een indicatie zijn. Google maar eens op Hitachi Death Star.

Het lijkt me daarom veel verstandiger om niet op één paard te wedden. Bij raid 5 is het zo dat wanneer er meer dan één schijf tegelijkertijd mee ophoudt, je array verloren is. Als je allemaal dezelfde schijven koopt, is de kans dat er meerdere schijven rond dezelfde periode ermee ophouden veel groter dan wanneer je verschillende merken en/of type schijven hebt.

Maar ook die kans is erg klein. Een beetje fabrikant heeft gewoon een goede QA en die dingen worden allemaal automagisch getest om massale callbacks te voorkomen. En zoals ik al zei heeft Samsung bij mij in ieder geval een goede naam. Ik vind het een klein beetje overdreven om allemaal verschillende merken of batches te kopen voor thuis om het risico van een productiefout te vermeiden.

[mphilipp]

Ik heb ook mijn tweede array een paar uur laten hameren door Bonnie++. Geen krimp gaf ie. Nu ben ik nog even een testje aan het draaien met een script dat ik vond die een leuk geintje doet met TAR files om je io systeem aan de tand te voelen. Het gaat om dit script:

code:

#!/bin/bash
# Usage: tartest.sh n m dir file.tar
# n=concurrent process
# m=sequential loops
# dir=where to test
# file.tar=a sample tar file (larger is better)

RESULT=/directory/tartest.$$.out

function  oneround { # $1=dir $2=tar file $3=loops
 for k in `seq 1 $3` ; do
  [ ! -d $1 ] && mkdir $1
  echo "k=$k"
  ( cd $1 ; tar xf $2 )
  rm $2
  find $1 -type f | xargs md5sum | awk '{print $1}' | md5sum
  ( cd $1 ; tar cf $2 . )
  rm -rf $1
 done
}

if [ $# -ne 4 ] ; then
 echo "Usage: $0 n m dir file.tar"
 echo "n is number of concurrent I/O processes"
 echo "m is number of overall loops"
 echo "dir is the directory where to test (no leading /)"
 echo "file.tar is any tar file (the larger the better)"
 exit 1
fi

rm -f $RESULT >/dev/null 2>&1
for j in `seq 1 $1` ; do
  ( echo "j=$j" >>$RESULT ; cp -p $4 $3/$j.tar ; oneround $3/$j $3/$j.tar $2 >>$RESULT ; rm $3/$j.tar ) &
done

wait

lines=`awk '{if ($2 == "-") print $1}' $RESULT | sort | uniq | wc -l`
if [ $lines != "1" ] ; then
 echo "Archives differ. Got $lines different archives. Should be 1!"
 echo "See $RESULT for details"
 exit 10
else
 echo "All archives identical."
 exit 0
fi

Je moet een tar file (liefst een grote) hebben en die wordt gekopiëerd, uitgepakt, de md5 sum wordt berekend en het resultaat vergeleken met het originele bestand. Je kunt het aantal processen opgeven en het aantal keren dat ie het moet doen. Op deze manier wordt ook nog wat CPU load gegenereerd, hoewel mijn X4 er weinig van gaat zweten, ook al heb ik 5 processen aan het werk gezet.

Ik ga straks maar eens met een script eea doen met par2. Kijken of dat goed gaat.

Heeft iemand nog een idee wat ik kan testen? Volgens mij zijn mijn beide arrays zo stabiel als het maar kan. De highpoint array heeft de hele nacht staan stampen en de raid0 heeft ook een uur of 5 met bonnie++ gedold. Nu dan de tar test en straks par2.

Als dat allemaal goed gaat en ik laat sabnzb weer wat doen en de boel bevriest weer, wat zegt dat dan?

[Loekie]

mphilipp schreef op maandag 13 december 2010 @ 14:57:
[...]

Mee eens, maar ik gaf de nuance ook al aan. Hoewel er over Samsungs toch erg weinig negatieve evaringen te vinden zijn. Dat zegt op zich ook wel wat. Toen ik die WD's bestelde (het waren de snelste voor dat geld) las ik al hier en daar dat er wat QA problemen waren. En als je dan 4 disks krijgt, waarvan er 2 min of meer DOA zijn (ze deden het wel, maar ze vielen steeds uit de array) is er iets aan de hand. Maar goed, de vervangers doen het zonder bokken. Collectieve ervaringen kunnen iig wel een indicatie zijn. Google maar eens op Hitachi Death Star.

[...]

Maar ook die kans is erg klein. Een beetje fabrikant heeft gewoon een goede QA en die dingen worden allemaal automagisch getest om massale callbacks te voorkomen. En zoals ik al zei heeft Samsung bij mij in ieder geval een goede naam. Ik vind het een klein beetje overdreven om allemaal verschillende merken of batches te kopen voor thuis om het risico van een productiefout te vermeiden.

Mwoah, persoonlijke ervaring leert mij dat het meer te maken heeft met leveranciers, als je een doos met 4 disks binnenkrijgt en deze zitten netjes in een foamstandaard is er niets aan de hand. Als je ze echter los in schuimpjes binnekrijgt, is het huilen...

[DJ-Visto]

Je zou natuurlijk is een hardtest kunnen doen een VM aanmaken en daarop sabnzbd is hard laten werken.. En dan wel naar je RAID0 schrijven en die VM daarop zetten, is kijken of de RAID0 dan nog om donderd.. Ik heb mijn sabnzbd nooit zien crashen, maar ik draai ook windows..

[mphilipp]

DJ-Visto schreef op maandag 13 december 2010 @ 15:51:
Je zou natuurlijk is een hardtest kunnen doen een VM aanmaken en daarop sabnzbd is hard laten werken.. En dan wel naar je RAID0 schrijven en die VM daarop zetten, is kijken of de RAID0 dan nog om donderd.. Ik heb mijn sabnzbd nooit zien crashen, maar ik draai ook windows..

een vm is toch niet helemaal the real thing. Als het aan een onhebbelijkheid ligt tussen hardware/os/software kom je er via een vm nooit achter. Dus zo'n test zegt niet veel.

En waarom een vm aanmaken als ik hetzelfde op mijn eigen machine kan testen. De data op die RAID0 array is niet belangrijk, ik weet nu hoe ik 'm weer terugkrijg als ie weer zo naar crashed en mdadm wil niet meer.

Ik ben nu maar een paar mkv's aan het rarren en ik ga er wat par2 blocks voor aanmaken. Dan kan ik straks het omgekeerde proces een paar keer laten doen. Wie weet is er iets met een van die programma's. Ik heb nl de par2 versie die multicore ondersteund van een of andere site gedownload. Nu heb ik 'm uit de ubuntu lib gepakt. Als losse tests van die programma's niets opleveren en sab crasht alsnog, weet ik het ook niet meer. Misschien dan een keer helemaal de-installeren en weer vers installeren. Sinds de eerste install zijn er nl een paar updates geweest. Ik probeer nu zoveel mogelijk dingen uit te sluiten en wat er dan overblijft, hoe gek ook, moet de oorzaak zijn.

[Dadona]

Ik vind het niet eens zo'n slechte suggestie eigenlijk. Je kunt dan vrij makkelijk de zaak beheersen (ram, cpu, ..) en tegelijk kun je nog eens een grote fout maken zonder dat je moet blijven herinstalleren.

[mphilipp]

Dadona schreef op maandag 13 december 2010 @ 17:07:
Ik vind het niet eens zo'n slechte suggestie eigenlijk. Je kunt dan vrij makkelijk de zaak beheersen (ram, cpu, ..) en tegelijk kun je nog eens een grote fout maken zonder dat je moet blijven herinstalleren.

Ja, en dan gaat het op de VM goed en op de machine zelf werkt het alsnog niet. Luister, het is tot nu toe maar één keer echt misgegaan in de zin dat mijn array fucked was. En dat was de raid0 waar niets bijzonders op staat. Dat is mijn downloadsvolume. Het is niet leuk, maar het is geen echt problemem. Dus test ik het liefst op de echte machine. Met een vm bewijs ik helemaal niets als het een hardware issue of zelfs een driver issue is. Je draait tegen een VM aan en niet de echte hardware, dus ik vind zo'n test niet representatief. Met een vm kun je leuk verschllende configs testen of software issues proberen na te bootsen, maar als hardware of drivers een van de verdachten zijn heeft het vrij weinig nut.

Die machine is nu al zovaak gecrashed en nu is ie 1x iets harder geklapt. Het is eigenlijk nog mijn eigen schuld, want ik had 'm met het de REISUB combinatie moeten afsluiten, maar ja...frustraties... Als ik 'm zo afsluit bij een freeze hoef ik niet bang te zijn dat ie weer een array verknalt.

[Q]

Sab nzb heeft een GB of 100 in de queue eens kijken wat dit doet. %mem = al 20% maar dat boeit me niet zo. We gaan het zien.

Ik heb de meest recente versie gedownload van de officiele sabnzb site.

Download Dir: 1912.24 GB - Complete Dir: 1912.24 GB - Download speed: 4.14 MB/s - Queued: 115.89 GB / 121.42 GB - Sysload 0.64, 0.84, 0.72

[ Voor 49% gewijzigd door Q op 13-12-2010 23:05 ]