De CSL/OT-kroeg

[Q]

Hmm, bordje is nog wel aan de prijs als dat x 4 moet. Zou pricewatch: ASRock H61MV-ITX iets zijn? Scheelt nog wel wat en de chipset doet virtualisatie. Ik kan alleen geen bewijs vinden dat het ding werkt.

Of wat moderner: ASRock H81M-ITX

Misschien - als ik hier mee verder wil - kan ik beter in het zuinige esxi server topic verder blaten.

[ Voor 26% gewijzigd door Q op 05-07-2014 18:03 ]

[FireDrunk]

Mwoh, sparren mag hier

Die H61 heeft maar 1 NIC, en is Socket 1155, dus inderdaad ouder.

Wat bedoel je met het chipset doet virtualisatie? Juist B85 doet VT-d, waar H61 dat niet doet (mocht je dat willen).

Alle nieuwe bordjes/chipsets/CPU's doen VT-x.

[Q]

Ik ben een beetje bang om een bordje te kopen dat niet werkt, geeft weer gezeur
Maar ik ben dat zuinige esxi server topic al aan het doorspitten voor wat inspiratie. Of dat biostar bordje toch dan maar

[FireDrunk]

Dat Biostar bordje doet het prima onder ESXi, nadat je VT-d keihard hebt uitgezet. Er zit een kleine bug in het BIOS waardoor hij het geheugen adres van de VT-d controller (de IOMMU) keihard op 0 zet, ipv via ACPI aangeeft dat er geen IOMMU controller in zit...

Dit zorgt voor een hang tijdens boot van ESXi, maar is op te lossen door een specifieke boot optie mee te geven.

Verder werken de NIC's na een VIBje installeren prima.

[Q]

Ok, helder, ik lees net twee seconden geleden dat die Nics van dat biostar bordje niet onder 5.5 worden ondersteund tenzij je drivers in iso's gaat injecteren. Op 5.0 en 5.1 werkte het wel.

[ Voor 6% gewijzigd door Q op 05-07-2014 18:27 ]

[FireDrunk]

Precies, en je kan gewoon VMware's eigen driver van 5.0/5.1 installeren op 5.5, dus niet echt iets om je druk over te maken (in mijn ogen).

[FireDrunk]

*** EINDELIJK ***

Het is volbracht....

#	Product	Prijs	Subtotaal
4	Intel Celeron G1820 Boxed	€ 29,50	€ 118,-
4	Asus H81I-PLUS	€ 57,98	€ 231,92
4	Cooler Master Elite 110	€ 36,-	€ 144,-
4	Kingston DataTraveler Micro USB 2.0 8GB Zwart	€ 4,02	€ 16,08
4	Seasonic G-Serie 360Watt	€ 50,45	€ 201,80
Bekijk collectie Importeer producten		Totaal	€ 711,80

De bestelling is eindelijk de deur uit... De Biostar is amper leverbaar en de onboard NIC's zijn duurder dan een Dual Port Intel kaartje, dus werd die eis ook doorgestreept.

Het was een zware pil, maar met de hulp van Dadona (thanks man ), is het dan toch gelukt!

Het wordt een ESXi cluster voorzien van Intel Dual Port Intel Pro 1000/PT kaartjes en later voorzien van 1 * 2.5" SSD en 1 * 2.5" HDD voor gebruik icm VMware vSAN.

[ Voor 3% gewijzigd door FireDrunk op 08-07-2014 21:21 ]

[Dadona]

[dcm360]

Zo, voor het eerst ga ik eens met nieuwe hardware een thuisservertje bouwen. Dit komt er in:

#	Product	Prijs	Subtotaal
1	Gigabyte GA-970A-DS3P	€ 60,-	€ 60,-
3	Toshiba PA429xE-1HN0, 3TB	€ 96,50	€ 289,50
1	Cooler Master Hyper 212 EVO	€ 25,95	€ 25,95
2	Crucial CT102464BA160B	€ 60,-	€ 120,-
Bekijk collectie Importeer producten		Totaal	€ 495,45

De processor wordt een Operon 3365, welke niet in de pricewatch staat. Zodra het spul allemaal binnen is ga ik bepalen hoe ik de software in ga richten, en dan met name gaat het om de keuze tussen Proxmox en ESXi. Momenteel neig ik naar Proxmox, met name vanwege de lage overhead met OpenVZ.

[Q]

FireDrunk schreef op dinsdag 08 juli 2014 @ 21:20:
*** EINDELIJK ***

Super!!

X-post ff in het esxi server topic

[ Voor 12% gewijzigd door Q op 09-07-2014 23:46 ]

[Q]

Godve.... Mijn nieuwe storage server valt na het booten uit en blijft dan een een reboot cycle zitten waarbij hij reboot op het moment dat de disks opspinnen. Dit was niet zo. Heb zooi schijven los getrokken en toen ging ie door. Hmmmm.

[kevinl]

Schijven kaduuk?

[Q]

Nee, ik vermoedt een defect slot op de backplane, maar ik hoop van niet. De voeding kan ook nog stuk zijn, maar ach, we gaan het allemaal testen.

[ Voor 33% gewijzigd door Q op 10-07-2014 10:06 ]

[OsiriS.nl]

Ik zit in dubio namelijk met het volgende. (Ik kan geen passende topic vinden daarom post ik hier)

Momenteel draai ik 1 klein esxi hostje, een i3 met 16gb ram en 1 lokale disk. Ik heb een Nas maar die is stervende..
Nu twijfel ik tussen twee oplossingen.
1 nog 1 a 2 dezelfde hosts in een cluster en een diy zfs Nas met SSD voor de vms. Door middel van drs en power management schuiven met vms en eventueel hosts uitschakelen.
Of
2. Nog 2 dezelfde hosts en dan in alle 3 een SSD en hdd voor VSAN. Dus geen fysieke Nas. Maar dan kan ik niet meer met power management een host uitzetten toch?

Heeft iemand ervaring met vsan hier? Is dat bestandssysteem beter dan zfs?
Ik zit ook met verbruik. Mij lijkt da optie2 meer verbruik met zich meeneemt..

Heeft iemand tips voor me of kan iemand me naar het juiste topic leiden?

[-Venom-]

Q, het is te hopen dat het de voeding is... stuk minder werk om te vervangen zelf ook ooit gehad met een 650watt igreen 25 schijven ging prima 26 deed hem de das om met booten

[Q]

Het was inderdaad een issue met de voeding

Door systematisch uit te sluiten bleek dat mijn probleem alleen optrad als de bovenste drie rijen disk slots waren gevuld met disks. Die drie regels worden gevoed door 1 molex kabel. Naast die kabel zat er nog een andere kabel op de voeding voor wat zware fans. Die heb ik op een ander slot gestopt en nu lijkt het probleem over.

Maar in het proces was ik zo aan het kloten met het verplaatsen van de voedings modules dat ik nu 2 x Crucial 120 GB in de vuilnisbak heb mogen gooien (boot disks). 100% eigen schuld ik liep ff te kloten.

Nieuwe zijn weer onderweg. Zie het als een verkeersboete. Betalen en weer verder.
Blijer wordt ik van de doos die naast mij staat: 6 x 4 TB er bij

Ik kan niet wachten om die dingen in RAID 0 te gooien en even te kijken wat voor MB/s, of liever GB/s daar uitgeperst gaat worden. Theoretisch moet ik 2,4 GB/s kunnen halen, als ik de 2 GB/s voorbij ga ben ik al blij.
Totaal nutteloos die snelheid, maar wel ff leuk.

[ Voor 18% gewijzigd door Q op 11-07-2014 18:45 ]

[Dadona]

Waar is de ban knop? Meteen twee Crucial SSDs. Doe dat voortaan even met ander spul.

Ik snap nog niet echt wat het voedingsprobleem nu is. Vooral, waarom... Hoe zijn die SSDs gesneuveld, waarom werkt het nu wel, ...?

[ Voor 15% gewijzigd door Dadona op 11-07-2014 23:34 ]

[Q]

Ja sorry

Ik snap het ook niet maar de voeding klapte er gewoon uit precies bij het booten als de drives opspinnen of soms vlak na het starten van het OS. Ik heb wat kabels nu op andere slots inde voeding aangesloten en het lijkt nu goed te gaan, maar helemaal gerust ben ik nog niet. Met 22 drives totaal in het chassis, waarvan 16 x 4TB.

Oh ja, speaking of which. Stand back and watch this:

Config: 16 disks in RAID 0 (MDADM)

Read

code:

root@nano:/storage# dd if=pureawesomeness.dd of=/dev/null bs=1M
200000+0 records in
200000+0 records out
209715200000 bytes (210 GB) copied, 91.0331 s, 2.3 GB/s

Write

code:

root@nano:/storage# dd if=/dev/zero of=pureawesomeness.dd bs=1M count=200000
200000+0 records in
200000+0 records out
209715200000 bytes (210 GB) copied, 91.7238 s, 2.3 GB/s

Maar helaas, de machine klapte er weer uit. Hij heeft lang goed gedraaid dus wat er nu mis is is mij niet echt duidelijk.

[ Voor 39% gewijzigd door Q op 12-07-2014 02:16 ]

[-Venom-]

Duur lesje je moet er toch wel even gruwelijk de t^$#%@ in gehad hebben op dat moment, wel vreemd dat je systeem ook uitvalt als je al in het OS bent.. dat maakt het zoeken wel een stuk lastiger

Poeh hey... zijn wel leuke snelheden!!!

[ Voor 12% gewijzigd door -Venom- op 12-07-2014 07:47 ]

[Q]

Tja, was even balen, maar ik was meer pissed om het feit dat ik nu geen werkend OS meer had om verder mee te testen. Ben wel blij dat ik wat scripties in github had staan, anders waren ze nu weg.

Op dit moment heb ik mijn game PC beroofd van haar voeding. Een andere corsair 850 watt voeding. Deze heb ik nu aangesloten en nu is het testen en wachten. Fingers crossed.

Als deze voeding goed werkt, weet ik dat het specifiek de voeding in mijn kast is die er uit klapt.

Als deze voeding ook uitvalt, dan weet ik niet of het een corsair specifiek issue is, of gewoon te weinig vermogen op de voeding. Maar dat laatste zou erg raar zijn omdat de voeding op een moment klapt dat het hele systeem niet eens op de helft komt van de 850 watt usage. En de singel 12v rail zou 70+ amps aan moeten kunnen.

Wat ik weet is dat het niets te maken heeft met de overige apparatuur, de voeding klapt met alleen het moederbord en de 22 disks aangesloten. Zonder de disks, draaide het moederbord vannacht 9 uur stabiel.

[ Voor 11% gewijzigd door Q op 12-07-2014 11:52 ]

[FireDrunk]

Toch een kabeltje niet goed ofzo?

[Q]

Het enige wat nu is aangepast is de voeding, ik gebruik dezelfde kabels. Systeem draait nu na boot uur zonder problemen. Maar fingers crossed nog steeds.

[FireDrunk]

Yay, alle bakjes zitten in elkaar!



Nu het installeer werk

[-Venom-]

@ FireDrunk, Vet!! even een bakje halen om te kwijlen!!

@ Q, hopen dat het dat is dan ik heb trouwens nog een AX850 in de aanbieding

[FireDrunk]

Aaaah, bouw ik alle bakjes netjes in elkaar, begin met installeren.

1, gaat perfect
2, gaat prima
3, gaat gesmeerd

4:, Power button, tralalala, uit... Wait, what? Hmm, vaag, zal wel... Power button aan, tralalallalalala, uit....

WTF?

Hele ding uit elkaar. los moederbord op bureau, voeding er aan. Speulen!
Vaaaag.... Ding weer in de kast bouwen... Aan... tralalalla. uit..

WTF???

Wat blijkt... is de power button kapot
Maakt kortsluiting...

Toen maar de resetknop verwisseld met de powerknop, en nu werkt de 4e ook

[dcm360]

Pasgeleden iets vergelijkbaars gehad. "De rechter pc gaat wel aan, maar na 5 seconden weer uit" was de probleemomschrijving. Het probleem daar was dat de power button klem bleef zitten, op een iets andere manier op de knop duwen voorkwam dat.

[-Venom-]

Herkenbaar probleem, ooit gehad met schoonvaders pc, ook een coolermaster behuizing dat ding bleef aan het herstarten bleek uiteindelijk de resetknop sluiting te maken wel fijn dat het zo snel opgelost is

[Q]

@Firedrunk, super gaaf om te zien, heb je dit nu privé draaien of voor het werk gekocht?

@-Venom-, bedankt voor het aanbod, ik heb nu de hx850 uit mijn game pc als test gebruikt en die werkt prima, wat mij doet denken dat ik de oorspronkelijke voeding misschien maar gewoon als garantie ga claimen. Het is met 10 disks heel lang goed gegaan.

[FireDrunk]

Prive, om een beetje meer te oefenen met alle VMware producten, en uiteindelijk wat meer certificaten te haten. Ik werk in de detachering, en daar komen die dingen nogal eens van pas.

[Q]

Voor de mensen die een 19" cast hebben met hotswap drives:

Hoe houden jullie de drives koel? (zeg niet warmer dan 40 graden)

- Fans gewoon hard aan zetten of wat dempen met een weerstand / 7 volt mod
- Of laat je het BIOS het automatisch regelen?
- Anders?

[BartNL]

ik gebruik Artic Freezer TC fans, PWM fans en voor de Ri-Vier kast een mCubed miniNG controller. Heb in 2 van de 3 kasten geen moederbord dus vandaar de keuze voor standalone temperatuur regelingen.
De miniNG vind ik zelf een nette oplossing en is in te stellen. De Artic TC fans werken ook prima maar wanneer moederbord het ondersteund zou ik PWM fans gebruiken. Ik laat de schijven tijdens warme dagen overigens wel 40°C worden. Is zonder airco volgens mij ook niet haalbaar om daar altijd onder te blijven.

[-Venom-]

3x 120mm fan in mijn norco die geregeld worden door het moederbord + 2 x 80 mm fan's die de warme lucht afvoeren.
Schijven zitten vrijwel altijd netjes rond de 33 graden op hele warme dagen zitten ze tegen de 40 graden aan maar dat vind ik ook nog geen ramp

En als het echt TE heet wordt naar mijn idee zet ik er deze voor:

[ Voor 48% gewijzigd door -Venom- op 13-07-2014 20:16 ]

[Q]

Misschien doe ik iets verkeerd, maar Linux en het BIOS zien de temperatuur van de schijven niet. De fans draaien dus erg langzaam en de schijven worden daar door veel te warm.

Op dit moment heb ik dus een scriptje lopen die de fans (PWM) aanstuurt op basis van de temperatuur van de warmste schijf, maar ik voel me niet zo veilig bij deze oplossing.

Zolang de server boot en het OS niet is geladen, worden de schijven wel warm, maar draaien de fans traag.
Dat heb ik ondervangen door in het bios de fans op full speed te zetten (even kijken nog hoe dat werkt met mijn script) maar ik vraag me dus af of het wat robuuster kan.

Ik neem aan dat de mCubed miniNG met temperatuur sensors bepaald of de fans harder/zachter moeten draaien?

[ Voor 13% gewijzigd door Q op 13-07-2014 22:21 ]

[FireDrunk]

Ik heb er eerlijk gezegd weinig last van gehad dat mijn schijven warm werden toen ik nog hotswap bays had. Ik had Samsung F4EG's en WD EADS schijven (toendertijd) in Addonics 4-in-3 bays zitten en die werden volgens mij 38-40c op een warme zomerdag. Niet echt iets om me druk over te maken...
Ik had de directe fan op die bay vervangen voor een stillere Nexus 8CM.

Waar heb je precies last van?

[BartNL]

Q schreef op zondag 13 juli 2014 @ 22:17:
Ik neem aan dat de mCubed miniNG met temperatuur sensors bepaald of de fans harder/zachter moeten draaien?

je, er zitten twee sensoren bij op basis waarvan fanspeed terug geregeld kan worden. Ding is d.m.v. jumpers en potmeters in te stellen.

[Q]

Ik vraag me af waarom ik over fans en temperatuur zeur terwijl ik daar met mijn oude 18TB NAS geen issue mee heb. Maar dat antwoord is simpel.

Mijn huidige NAS maakt enorm veel meer lawaai, omdat alle ouderwetse 3-pin fans gewoon op 100% staan te blazen. Dan hou je de boel wel koel ja. Niets geen temperatuur gestuurde fans oid. Gewoon keihard blazen en dan blijft alles wel koel genoeg.

De fans in mijn download server staan ook gewoon op een vaste (wat langzamere) stand. Niets geen fancy fan control. Gewoon bijv weerstand of 7 volt.

Het beste zou zijn dat ik in de bios wat kon instelen, maar helaas. Dus een fan controller die PWM fans kan aansturen, niet eens temperatuur gestuurd, maar op een fixed speed die voldoende is om zelfs in de zomer de boel koel te houden, zou het veiligste zijn.

Het makkelijke van de software oplossing is dat ik het systeem zonder extra spulletjes lekker stil kan houden.

Maargoed, dit gaat nergens meer over, ik denk dat ik dat scriptje wat robuuster maak en daar maar op vertrouw.

[ Voor 5% gewijzigd door Q op 14-07-2014 11:27 ]

[FireDrunk]

NOM nom NOM!

[Q]

Can I has teh nom nom?

Gaaf, hoe doe je dat met licenties, trial versies her installeren na 60 dagen?

[FireDrunk]

Wat denk je zelf...

[Q]

Ik heb oprecht geen idee, of je kunt wat je doet hier niet posten zonder gebanned te worden

[FireDrunk]

Mwoh, valt wel mee, maar idd, laten we het er niet op gokken

[ Voor 3% gewijzigd door FireDrunk op 15-07-2014 10:54 ]

[-Venom-]

En hoe warm worden de servers hier nu? Ik zweet al als ik op en neer naar de koelkast loop....

[Dadona]

Zaken als scrub laat ik in de nacht lopen. Sowieso is de belasting momenteel beperkt met 0.15, 0.09, 0.10. De schijven hangen tussen de 37 en 39 graden. De cores op 45 graden. Mijn werkstation is nog diegene die het het zwaarst heeft. En die hangt op 52 graden met een set ventilatoren die maar op 25% draaien.
Dus eigenlijk houden mijn systemen het veel beter uit dan ik in een kamer waar het 30.8 graden is...

[dcm360]

Ik vind de temperaturen in mijn server nog wel meevallen (is ook meer een afgedankte desktop dan een server, maargoed). Warmste schijf is 40 graden, dat is de enige die wat suboptimaal achter de 120mm-fan zit. De Crucial M500 die zonder airflow ergen bovenin de kast zweeft geeft 39 graden aan.

Overigens heb ik geen idee wat de omgevingstemperaturen daar zijn, ik zit zelf nu 100km zuidelijker.

[Q]

De temperaturen zijn uitstekend, want alles staat uit

[BartNL]

hier worden ze 10-15°C warmer dan kamer/zolder temperatuur dus CPU en harddisks worden 40-50°C. Areca controller heb ik vorg jaar de koeling van aangepast want die werd voorheen nog zo maar 25°C (75°C+) warmer.

[Helixia]

Ik kan jullie vertellen rijlessen volgen (te doen met airco) en een middagje door Den Haag lopen was geen pretje vandaag.
Het is nog steeds klam.
Andere ook last gehad van het weer de laatste tijd?

[-Venom-]

Hier staat momenteel ook alles uit ik houd mijn bovenverdieping zo wat koeler

En nee geen last van het weer ik lig lekker met mijn zoontje in het zwembad of onder de sproeiers in de tuinstoel elke inspanning is al teveel met dit weer

[FireDrunk]

Ik heb toch mijn esxi cluster maar uitgezet... Werd toch een tikkie onbehagelijk in de kamer.

Main Server snort vrolijk verder met deze warmte

[-Venom-]

Mijn hoogste temp van de schijven is 38 graden zie ik net, de Xeon heeft het wat warmer met 58 graden valt me reuze mee want de kamertemp is 30 graden wel staan alle overige pc's uit in de kamer.

@ firedrunk,

Kan je cluster de warmte goed kwijt in die kleine kastjes?

[FireDrunk]

Oh prima, cluster staat nog 99% idle, en de bakjes verbruiken 30-ish Watt, dus veel warmte wordt er niet gegenereerd intern. 4 van die kastjes op een kamer van 1.8 bij 3.5 is wat minder... De kamer wordt gewoon 35c+. En mijn desktop en 'gewone' server staan er ook nog.

[Q]

Om de disks onder de 40 graden te houden moet ik wel wat lawaai accepteren.

code:

| 36 | 37 | 37 | 37 |
| 38 | 37 | 38 | 37 |
| 37 | 38 | 37 | 38 |
| 37 | 38 | 38 | 37 |
| 31 | 32 | 31 | 30 |
| 31 | 30 |    | 32 |

[BartNL]

Q schreef op maandag 21 juli 2014 @ 00:23:
Om de disks onder de 40 graden te houden

waarom zou je dat willen. Bijvoorbeeld Seagate consumer disks zijn tot 60°C gespecificeerd. Ik houd zelf daarom 50°C als target aan waarbij ik niet zwaar ongerust word wanneer de schijven richting 60°C zouden gaan wanneer het buiten 35°C+ is.

[FireDrunk]

Zojuist even gekeken, Seagate hanteert zelfs bij sommige schijven 70c (de NAS schijven serie).

Mijn schijven zijn afgelopen dagen max 50c geweest (volgens SMART).

[Q]

@BartNL: mijn schijven mogen tot 60 graden dus je vraag is terecht. Het is niet nodig.
Als ik de temp echter op max 40 graden hou voor de warmste schijf, dan blijft het systeem nog redelijk stil.

[gitaarwerk]

FireDrunk schreef op zondag 20 juli 2014 @ 11:33:
Ik heb toch mijn esxi cluster maar uitgezet... Werd toch een tikkie onbehagelijk in de kamer.

Main Server snort vrolijk verder met deze warmte

Ik heb mijn ook maar uit gezet. Ondertussen weer aan, maar ze zijn weer een stukje luiden

[Verwijderd]

BartNL schreef op maandag 21 juli 2014 @ 15:25:
waarom zou je dat willen. Bijvoorbeeld Seagate consumer disks zijn tot 60°C gespecificeerd.

Jullie vergeten dat dit soort specs vooral situaties betreffen in datacentra waarbij de temperatuur, luchtvochtigheid en andere variabelen op een constant peil wordt gehouden. Een constante temperatuur van tegen de 60 graden is wellicht helemaal geen probleem; maar het lijkt mij wel zeer aannemelijk dat een fluctuerende temperatuur tussen 20 en 60 graden, wel degelijk zeer schadelijk kan zijn voor mechanische schijven.

Een consumentensituatie waarbij een schijf van 20 graden opwarmt naar 58 graden en dan weer afkoelt, zal door de uitzetting en krimping van het metaal logischerwijs meer slijtage ondervinden dan een constante hoge of lage temperatuur in een datacentrum.

Daarom dat veel studies naar hardeschijf temperaturen, niet direct toepasbaar zijn op consumentensituaties. De Google studie is een goed voorbeeld hiervan. Aan de hand hiervan stellen mensen dat een hoge temperatuur helemaal niet ongunstig is voor een hardeschijf. Maar daarbij vergeet je het cruciale wetenschappelijke principe van Ceteris Paribus.

[FireDrunk]

Mijn schijven gaan niet in spindown, dus ze fluctueren maximaal van 35c (nominaal) tot 50c (extreme hitte) in een tijdsbestek van dagen zo niet weken.

Denk dat het dan allemaal wel meevalt..

[Q]

CiPHER's punt is van toepassing op mijn servers omdat ik ze meestal uit heb staan en iedere keer dat ze aan gaan, gaat de temperatuur van ~20+ naar 40+ graden. In dat geval lijkt mij het toch verstandig om de temperatuur niet veel hoger dan 40 graden te laten worden, om te voorkomen dat je zulke grote fluctuaties krijgt in temperatuur.

Daarbij is de vraag ook of het tempo waarme uitzetting of inkrimping echt veel uitmaakt, of dat de absolute uitzetting/inkrimping an-sich al voor gedonder kan zorgen op de lange termijn.

[ Voor 21% gewijzigd door Q op 21-07-2014 18:49 ]

[-Venom-]

Zelf heb ik er ook een hekel aan als het boven de 40 graden komt.. geen idee waarom zal wel tussen mijn oren zitten zodra ik die temperaturen zie dan zet ik het geheel uit of de ventilator gaat ervoor om voor extra koeling te zorgen

[BartNL]

Verwijderd schreef op maandag 21 juli 2014 @ 17:50:
[...]maar het lijkt mij wel zeer aannemelijk dat een fluctuerende temperatuur tussen 20 en 60 graden, wel degelijk zeer schadelijk kan zijn voor mechanische schijven.

Een consumentensituatie waarbij een schijf van 20 graden opwarmt naar 58 graden en dan weer afkoelt, zal door de uitzetting en krimping van het metaal logischerwijs meer slijtage ondervinden dan een constante hoge of lage temperatuur in een datacentrum.

daar lijkt mij mechanisch gezien geen reden voor. De "lagers" in harde schijven zijn volgens mij vloeistof dus de logica dat metaal uitzetting invloed op slijtage heeft is er dan niet.Volgens mij komen dit soort broodje aap verhalen van verbrandingsmotoren en dergelijke waar de temperatuur verschillen van een andere orde zijn en de temperatuurgradiënten veel hoger zijn.
Daarbij wordt een harde schijf langzaam warmer a.g.v. het draaien en misschien de rest van de componenten in een storage PC. Deze temperatuur stijging is naar mijn idee maar beperkt afhankelijk van de absolute temperatuur d.w.z. de schijf wordt altijd 15°C (of zoiets) warmer dan de omgeving.
Kortom ik denk dat het probleem er niet werkelijk is en dat temperatuur limiet eerder met de elektronica / kunststof op de printplaat te maken heeft.

[Q]

20 drives RAID 0 (MDADM). Morgen krijg ik de laatste 4 binnen. Ik voorspel dat ik de 3 GB/s net niet ga halen

code:

root@nano:/storage# dd if=/dev/zero of=pureawesomeness.dd bs=1M count=1000000
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 393.102 s, 2.7 GB/s
root@nano:/storage# dd if=pureawesomeness.dd of=/dev/null bs=1M 
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 413.134 s, 2.5 GB/s

Ik denk dat het aantal drives in een array een negatieve invloed heeft op de overall performance, boven een bepaald aantal drives. De theoretische performance zou nu al 3GB/s moeten zijn.

[ Voor 22% gewijzigd door Q op 22-07-2014 18:42 ]

[FireDrunk]

Filesystem? XFS of Ext4?

[Q]

XFS

Dit is de performance van EXT4:

code:

root@nano:/storage# dd if=/dev/zero of=ext4.dd bs=1M count=100000
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 51.2 s, 2.0 GB/s
root@nano:/storage# dd if=ext4.dd of=/dev/null bs=1M
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 41.6014 s, 2.5 GB/s

Bovenstaande is getest met 100GB ipv TB

Interessant: dit is de ruwe device performance zonder file system, veel dichter bij de theoretische waarden.

code:

root@nano:/# dd if=/dev/zero of=/dev/md7 bs=1M count=1000000
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 368.046 s, 2.8 GB/s
root@nano:/# dd if=/dev/md7 of=/dev/null bs=1M count=1000000
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 348.496 s, 3.0 GB/s

3 GB/s

Mijn eerdere opmerking over de mogelijkheid dat de RAID array slechter gaat presteren boven een aantal drives in de array, lijkt onjuist. Een drive kan ~150/160 MB/s. 2.9GB/s is ongeveer 145 MB/s per drive, en dat lijkt me uitstekend. Ik zou dus met de laatste drives qua ruwe device performance 3.4 GB/s moeten kunnen halen.

Het blijft totaal nutteloos. Maar ik vind het toch gaaf.

En dit gaat harder dan deze zotte 24 SSD RAID setup (sequentieel dan).

YouTube: What happens when you RAID 24 SSD Hard Disks !!!!!

Met 48 drives is deze array in absolute zin sneller, maar per drive langzamer.

YouTube: 5.3 GB / Second Write Speed - 96TB - 8U Storage Server - RackMountPro.com - Extreme Transfer !

[ Voor 181% gewijzigd door Q op 22-07-2014 20:39 ]

[FireDrunk]

Heb je XFS getuned met die stride en x nogwat tunables?

[Q]

Nee niet mee gespeeld. Volgens mij gaat dat allemaal prima automatisch.

[-Venom-]

Sjeeeees je hebt er niets aan maar het is toch wel vet om te zien dan het kan!

[FireDrunk]

http://erikugel.wordpress...fastest-linux-filesystem/

The Fastest Filesystem - Setup and Tuning

Deciding on a Filesystem ( Ext3 vs. Ext4 vs. XFS vs. BTRFS )

The Ext4 filesystem does seem to outperform Ext3, XFS and BTRFS, and it can be optimized for striping on RAID arrays. I recommend Ext4 until BTRFS catches up in performance, becomes compatible with LILO/GRUB, and gets an FSCK tool.

Deciding on a Filesystem Block Size ( 1 vs. 2 vs. 4 )

It is impossible to stress how important this part is. Luckily, if you don't know what this is and just don't touch it, most mkfs tools default to the fastest choice - 4kb. Why you would not want to use 1 or 2 is neatly shown in the benchmarking results of RAID performance on those block sizes. Even if you are not using RAID, you will find 4kb blocks to perform faster. Much like the RAID geometry, this is permanent and cannot be changed.

Creating an optimized for RAID Ext4 ( stride and stripe-width )

Use those guidelines to calculate these values:

stride = filesystem block-size / RAID chunk.
stripe-width = stride * number of drives in RAID array ( - for RAID0, and that minus one for RAID5 )
pass the stride and the stripe-width to mkfs.ext4, along with the block size in bytes, like this:

# mkfs.ext4 -b 4096 -E stride=8,stripe-width=16 /dev/md0
A handy tool to calculate those things for you can be found here.

Ik zou het eens proberen
(In mijn ervaring is XFS ook iets sneller dan Ext4 hoor, maar het tunen werkt hetzelfde)

[Q]

Ik ga sowieso geen EXT4 draaien maar als test wil ik het wel proberen.

[FireDrunk]

Dat bedoelde ik ook niet, maar je kan die stride en sunit dus ook bij XFS instellen.
Dat werkte vroegah toen ik nog 10*2TB in RAID6 had met MDADM best wel bevorderlijk voor de snelheid.

[Q]

Als de onderhoudwerkzaamheden op het werkt voorspoedig verlopen ga ik vanavond de laatste disks inbouwen en zal ik ook die settings eens tunen.

[Q]

RAID 0, XFS, 24 x 4 TB met 1M chunk size.

code:

root@nano:/storage# dd if=/dev/zero of=test.bin bs=1M count=1000000
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 397.325 s, 2.6 GB/s
root@nano:/storage# dd if=test.bin of=/dev/null bs=1M
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 276.869 s, 3.8 GB/s

Nou denk ik dat de tool 'dd' loopt te rotzooien met TB en TiB en dat soort zaken, want de theoretische limit zou ongeveer 3600 MB/s moeten zijn, wat ik ook zie met dstat en iostat.

Ik heb de 24 disks eens in een enorme RAID 6 array gegooid:

code:

root@nano:/storage# dd if=/dev/zero of=test.bin bs=1M count=100000
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 99.2248 s, 1.1 GB/s
root@nano:/storage# dd if=test.bin of=/dev/null bs=1M
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 31.7995 s, 3.3 GB/s

Best redelijk voor een RAID 6. De chunksize is 256. Maar kijk nu wat er gebeurd als de chunksize 64K is. Ik gebruik 64K altijd voor RAID 6 arrays.

code:

root@nano:/storage# dd if=/dev/zero of=test.bin bs=1M count=100000
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 66.3935 s, 1.6 GB/s
root@nano:/storage# dd if=test.bin of=/dev/null bs=1M
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 38.256 s, 2.7 GB/s

Wat slechtere lees prestaties voor veel betere schrijf performance.

En dit is een RAID60 van 2x12 disk RAID6 in een RAID0.

code:

root@nano:/storage# dd if=/dev/zero of=test.bin bs=1M count=100000
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 101.387 s, 1.0 GB/s
root@nano:/storage# dd if=test.bin of=/dev/null bs=1M
100000+0 records in
100000+0 records out
104857600000 bytes (105 GB) copied, 36.618 s, 2.9 GB/s

Beide RAID6 arrays rebuilden in 11 uur.

[ Voor 12% gewijzigd door Q op 23-07-2014 23:19 ]

[FireDrunk]

Best lekker inderdaad... Ik vraag me af of ZFS daar uberhaupt de helft van haalt

ZFS is leuk, maar daar mist er toch vaak nog het een en ander...

[Q]

Ik zal ook even testen met ZFS, dat is wel leuk.

Een ZFS RAID 0 doet het prima op Debian met ZoL.

code:

root@nano:/tank# dd if=/dev/zero of=test.bsin bs=1M count=1000000
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 363.029 s, 2.9 GB/s
root@nano:/tank# dd if=test.bsin of=/dev/null bs=1M
1000000+0 records in
1000000+0 records out
1048576000000 bytes (1.0 TB) copied, 289.668 s, 3.6 GB/s

RAIDZ2 met 24 drives (niet optimaal aantal drives in 1 vdev).

code:

root@nano:/tank# dd if=/dev/zero of=test.bin bs=1M count=500000
500000+0 records in
500000+0 records out
524288000000 bytes (524 GB) copied, 297.303 s, 1.8 GB/s
root@nano:/tank# dd if=test.bin of=/dev/null bs=1M
500000+0 records in
500000+0 records out
524288000000 bytes (524 GB) copied, 215.728 s, 2.4 GB/s

Ook prima. Minder prima is dat als je een onjuist aantal disks in een vdev stopt, je capaciteit verspild, wat serieus kan oplopen.

[ Voor 119% gewijzigd door Q op 24-07-2014 20:41 ]

[Verwijderd]

Comments op mijn nieuwe usericon?
(gewoon gejat van Dadona overigens, die gebruikte hem een tijd terug)

Een jaar terug of wat had ik mijn icon ook al veranderd, maar daar kwam ik op terug na zware kritiek van o.a. FireDrunk. Die was zo gehecht aan mijn 'doodskop'.

Toch krijg ik soms de indruk dat het agressief over komt; wat niet erg goed bij me past al zeg ik het zelf. En als ik hem dan toch verander, dan is een ZFSguru-icon wel iets wat voor de hand ligt.

[ Voor 4% gewijzigd door Verwijderd op 28-07-2014 02:56 ]

[FireDrunk]

Oh, ik krijg weer de schuld

Situatie hier: ik krijg ZFSonLinux niet performend in combinatie met iSCSI... Moet daar maar eens wat meer tijd in stoppen... Komende twee weken vakantie, dus tijd genoeg...

Ik twijfel of ik niet gewoon 4 Crucial MX100's van 256GB moet kopen, en er Ext4 of XFS op moet zetten, en dan backups maken naar ZFS...

[ Voor 0% gewijzigd door FireDrunk op 28-07-2014 09:16 . Reden: damn you autocorrect ]

[Verwijderd]

Niet om je te willen pushen, maar FreeBSD heeft de afgelopen maanden veel iSCSI commits gehad voor de native implementatie (dus niet istgt; dat is zo goed als dood). Mocht je tijd hebben, zou ik het leuk vinden om een test/benchmark te zien tussen de BSD implementatie en wat er voor Linux beschikbaar is.

[FireDrunk]

Ik heb het ook zeker overwogen... De nieuwe bsd iSCSI implementatie in de kernel was bijzonder snel, alleen ernstig instabiel...

[Verwijderd]

Ik kan je berichten daarover nog herinneren. Maar dat was wel een paar maanden geleden. Ik volg de commits van BSD dagelijks en heb veel iSCSI-commits langs zien komen. Dus het heeft in de tussentijd zeker wat liefde gehad, en veel testing, ook op de mailinglist is daarover gesproken. Paar dagen terug nog iSCSI target redirection geimplementeerd en gecommit naar 10-STABLE.

Kortom; misschien weer eens tijd voor een nieuwe ronde met nieuwe kansen?

Hoe dan ook; een test met een vergelijking van performance is altijd wel interessant. Al is het lastig om gelijk conclusies te verbinden. Ik ben daar door de jaren heen heel wat voorzichtiger in geworden; juist omdat je normaliter enorm veel factoren test. Wat voor jouw situatie geldt, kan bij de ander juist weer omgekeerd zijn. Dat is soms wel irritant. Meten is weten, maar wat meet je precies? Dat weten we vaak eigenlijk niet.

[FireDrunk]

Dat bedoelde ik ook, ik heb het afgelopen weken zeker nog een keer overwogen. Nadeel is dat wel blij ben met ZFSonLinux onder Ubuntu als basic NAS (het doet gewoon wat het moet doen..)

En om nou mijn hele server om te gooien, alleen voor iSCSI....

[Berkeley]

* Berkeley draait thuis iSCSI op FreeBSD. De preciese snelheid weet ik niet, nooit gemeten(vooral omdat ik niet weet hoe. ) maar instabiel is het zeker niet. Zodra je het eenmaal werkend hebt, blijft het naar mijn ervaring ook werken. (Als iemand tips heeft om de snelheid te meten, wil ik dat best doen.)

[FireDrunk]

zpool iostat -x 1 is altijd een goed begin, daarnaast kan je arcstats.py downloaden (./arcstats -x 1, is het geloof ik).

iSCSI van BSD naar BSD gaat altijd goed, maar ESXi is wat dat betreft een beetje vreemde eend in de bijt.
Maken veelvuldig gebruik van Accelerations, Persistent Reservations enzo... Hardware Assisted Locking...

[Berkeley]

Ook met FreeBSD <-> ESXi ging het goed. (todat de harddisk waar ESXi genoeg van VMware had en er mee stoppte.)
edit:
Ik gebruik Bhyve dus is het FreeBSD <-> FreeBSD.

[ Voor 24% gewijzigd door Berkeley op 28-07-2014 12:14 ]

[FireDrunk]

Ah, dat is goed om te horen. Hier ging CTLd letterlijk op zijn muil nadat ik er met ESXi (en wat multipathing configs) een benchmark tegenaan gooide...

[Berkeley]

Ik zal het zometeen even testen.

[FireDrunk]

Als je dat gaat testen, pak vooral meerdere ESXi bakken, met meerdere netwerkkaarten, en stel in je BSD server meerdere IP adressen (iSCSI portals) in.

Daar ging het bij mij mis.

(En zet op je ESXi datastore Multipathing aan )

[ Voor 12% gewijzigd door FireDrunk op 28-07-2014 12:23 ]

[Berkeley]

* Berkeley draait geen ESXi meer.
Ik zal kijken wat ik kan doen in elk geval..

[Verwijderd]

FireDrunk schreef op maandag 28 juli 2014 @ 12:11:
iSCSI van BSD naar BSD gaat altijd goed, maar ESXi is wat dat betreft een beetje vreemde eend in de bijt.
Maken veelvuldig gebruik van Accelerations, Persistent Reservations enzo... Hardware Assisted Locking...

De bugs icm ESXi zijn in de iSCSI target layer juist gefixed, althans dat kan ik me herinneren. In de Q1 status report staat:

The new FreeBSD in-kernel iSCSI stack was functionally complete in FreeBSD 10.0-RELEASE, but ongoing enhancements and bug fixes are being committed to FreeBSD head, with a plan to merge them back to stable/10 in time for FreeBSD 10.1-RELEASE.

Many issues have been resolved, including very slow operation with data digests enabled, bugs in persistent reservations which impacted Hyper-V Failover Cluster, and a negotiation problem affecting Dell Equallogic users.

There have also been numerous enhancements, such as support for redirections, which are necessary for some High Availability setups, and the ability to modify session parameters in the iscsictl utility. Previously it was necessary to remove the session and add it again.

This project is sponsored by The FreeBSD Foundation.

Ik kan me echter ook commits herinneren waar ESXi expliciet werd genoemd. Maar geen zin om te zoeken.

Ik stelde overigens niet voor dat je van Ubuntu naar BSD migreert; ik snap dat als je dingen lekker werkend hebt je beter kunt blijven waar je zit. Never change a winning team. Pas bij problemen die je het hoofd niet kunt bieden, zou ik het overwegen. Maar mocht je tijd hebben voor een vergelijkende test oid, dan is het wel leuk om de BSD iSCSI implementatie mee te nemen.

[FireDrunk]

Zeker waar, ik heb ook nog wel een bakje (g1820 + biostar) staan, alleen geen geheugen
En nog geen SSD's...

[FireDrunk]

Gister even doorgeploeterd om te kijken waarom mijn storage zo traag is, en heb het gevonden...

De ZVOL implementatie van ZoL is nog verre van goed... Ik haal 19-40 sync iops over iSCSI, via een ssd met Ext4 is dat 3300...
Sequentieel haal ik met een ZVOL iets van 30-40MB/s, met een ssd met Ext4 haal ik de max van 200MB/s...

Terug naar de tekentafel dus...

[dcm360]

Nou, alle onderdelen van mijn server zijn eindelijk binnen. Maar nu moet het nog booten, en dat wil niet

[BartNL]

wanneer je qua componenten weet wat je doet zou ik niet goed aangedrukte uitbreidingskaart, stekker, ram of cpu verdenken.

[dcm360]

De CPU is vermoedelijk het probleem, de videokaart vertoont hetzelfde gedrag als toen in mijn werk-pc aan het bouwen was en het moederbord een BIOS-update nodig had. De CPU staat alleen nergens op een CPU-support list, dus dat maakt het in dit geval niet handiger... Morgen eens de beta-BIOS proberen, al staat daar niets over CPU-support bij. De combinatie is deze: inventaris: Server 2

[ Voor 14% gewijzigd door dcm360 op 30-07-2014 00:09 ]

[BartNL]

ik verwacht dat je voor die CPU een server moederbord nodig hebt bijvoorbeeld een AMD SR56n0 chipset. Die moederborden zijn moeilijk verkrijgbaar en en hebben servergrade prijzen (zijn duur). Je bent goedkoper uit door een andere CPU te kopen.

[ Voor 46% gewijzigd door BartNL op 30-07-2014 09:15 ]

[dcm360]

De CPU werkt wel op de ASUS M5A99FX Pro R2.0 (is een review van), en oudere CPU's uit de Opteron 3000-serie staan ook daadwerkelijk op de CPU-support list. Vanavond ga ik eens proberen of de CPU wel werkt op de 990XA-UD3 (zojuist al laatste BIOS daarop gezet), en tevens de FX-8150 die op dat bord zit eens op de 970A-DS3P zetten om de BIOS te updaten of vast te stellen dat er iets anders mis is.

[BartNL]

bios updaten lijkt logisch maar is wel vreemd dat zo'n nieuwer moederbord deze CPU niet al af fabriek ondersteund. Wanneer de FX-8150 boot weet je wel waar het probleem zit.

[FireDrunk]

Niet elke fabrikant maakt zijn bord zo dat ze onbekende CPU ID's kunnen booten.. Voor hetzelfde geld heeft Gigabyte gewoon de Opteron's gestript uit het BIOS als supported CPU's en weigert het bord te booten met een onbekend ID.

Dat is altijd gokken...

[dcm360]

Als het niet werkt op het andere bord ga ik waarschijnlijk inderdaad op zoek naar een ander merk moederbord. Welke moet ik dan nog even bedenken, ik weet dan wel dat het werkt op een (specifieke dan wel) Asus, maar ik heb onderhand dusdanig veel borden van Asus met rarigheden gehad dat Asus op een blacklist staat.

[FireDrunk]

Je kan altijd proberen de fabrikant een mailtje te sturen, met de vraag of de desbetreffende CPU werkt...

[BartNL]

geeft je moederbord via beep code aan wat er mis is?