Zuinige ESXi Server

[jesses]

Ik zie het inderdaad en het heeft mijn nieuwsgierigheid nogal getriggerd

Ik ga inderdaad met FreeBSD hobby'en. Als het hypervisor niet stabiel werkt kan ik altijd nog overstappen naar VMware en dezelfde hardware setup gebruiken.

[HyperBart]

tvwes schreef op woensdag 15 februari 2017 @ 10:46:

Hardware componenten

1x Supermicro X11SSH-LN4F bios 1.0B
1x i3-6100T @3.2GHz
4x16GBECC M391A2K43BB1-CPB
2x intel DC3610-480GB
1x samsung SM863 480GB
1x intel 600p 960GB
2x WDC Gold WD8002FRYZ 8TB
1x SANdisk ultra fit 16GB USB3 dongle
1x lianli bz-525b
1x Antec earthwatt 380
1x noname antiek uATX minitower

Software

VMware vSphere ESXi 6.5.0 build 4564106
stock OMNIos r151020 voor storage

Het verbruik

Deze server heeft nu 19 draaiende ESXi VM's en 7 nested die zo'n 38GB ram gebruiken en een gemiddelde load heeft van 15%.
Er is geen spindown van de disken. De ESXi powermode is balanced. En wat verbruikt dat nu: 2 cores, 64 GB ram, 3x gbit aangesloten, IPMI, 18TB ruwe storage en een matige PSU???
Zo'n 26watt volgens de energy check 3000. En dat is met de UPS ertussen maar wel ervan afgetrokken.
Ik denk dat ik het met een echte zuinige voeding en zonder de UPS wel terug kan brengen naar 20watt. En als je de IPMI ook weglaat misschien wel 16watt. Ja er valt best nog wat te winnen. Maar dat ga ik nooit goed maken qua tijd wat dat kost. Als een coldboot je al tegen de vijf minuten kost (19 VM's die niet allemaal tegelijk gestart kunnen worden!) dan snap je dat het profilen van het systeem zeer tijdrovend gaat worden. Helaas heb ik een APD op de datastore met enkele metingen zoals in de bios en met memtest.

EDIT: wacht eens, je trekt de UPS er van af. Laat die som eens even zien?

[tvwes]

@Hyperbart, ik weet dat het bijna te mooi klinkt maar toch lijkt het erop dat het klopt. Het was toch iets minder gunstig namelijk 36Watt.Skylake en DDR4 zijn zuinig, sata SSD's zijn veel zuiniger dan NVME en helium schijven een stuk zuiniger de luchtgevulde schijven. Ondanks dat het werkelijke verbruik nu 36Watt is blijf ik het prima vinden.

Gemiddeld staat er nu na ruim een week zo'n 55.4Watt op de energy check 3000. Dat is direct gemeten bij het stopcontact. Ik weet dat deze UPS zo'n 20Watt verbruikt. Dus wordt er 25Watt gebruikt door het systeem op gemiddeld 16% load.
Aargh, 55-20 is ... niet 25!!!

Dus wordt er 35Watt gebruikt door het systeem op gemiddeld 16% load.

En dat is zonder spindown en welke vorm van "power save" tuning dan ook.
Ik denk dat de sata SSD's en die helium schijven echt heel zuinig zijn in idle. Misschien dat de GBe poorten in die "green ethernet" of EEE/802.3az mode ook weer wat(t) schelen.
Sidenote: Ik kan op de energy check precies zien wanneer de helium schijven daadwerkelijk gaan schrijven het verbruik neemt dan met zo'n twee watt toe. In werkelijkheid zal het meer zijn maar alle condensatoren bufferen die write piek heel mooi. Als alles redelijk idle is dan buffert de SLOG de writes en worden die keurig elke 5 seconden weggeschreven. Ik kan dat moment zien op de console en letterlijk horen aan de schijven. Idle qua io is het nooit, zeker niet met 19 vm's. Maar zolang je maar alleen maar leest uit je ARC en je SLOG je writes buffert doen je data schijven periodiek niets.

Ik had overigens al toegezegd het nogmaals te meten zonder de ups er tussen. Dan zal ik ook een geijkte stroomtang pakken om het zeker te weten.

[ Voor 8% gewijzigd door tvwes op 24-02-2017 15:24 . Reden: Herstel rekenfout ]

[FireDrunk]

Ik denk vooral dat die meter niet zo accuraat is Of we maken dus allemaal een rekenfout

[ Voor 33% gewijzigd door FireDrunk op 24-02-2017 16:24 ]

[FreakNL]

Toch maar eens de hulp van tweakers inroepen;

Ik heb momenteel een beest van een server staan op zolder. Deze is bijzonder krachtig en snel (alhoewel het een build uit 2012 is). De nadelen zijn echter;

- Groot
- Luidruchtig
- Stroomslurper

Specs in het kort:
Server 2012 R2, Hyper-V R2, Core i7 2600, 32gb ddr3, ssd (OS) en 12 SAS schijven als datastore (+-800gb).

Specs uitgebreid:
http://pastebin.com/6ERxKjvF


Nu gaat de zolder een logeerkamer worden en wil ik dat ding daar weg hebben. Tevens wil ik de overstap maken naar ESXi.

Mijn doel;
- Minimaal dezelfde performance, vooral disk IO lijkt me daarbij van belang. CPU staat uit zijn neus te eten, belangrijkste wat hij moet kunnen is 2 a 3 plex transcode streams tegelijkertijd kunnen uitvoeren.
- Minimaal 32gb aan geheugen, het liefst zou ik het huidige geheugen overzetten, dat heb ik toch al en dan koop ik wel 8gb als ik de server als werkstation doorschuif. Dit scheelt ook geld. "Probleem" is echter dat het 1.5v geheugen is en dat is dus niet compatible met de huidige Skylake processors... Dus ik zit aan een eerdere generatie processoren vast.
- Kleinere kast, minder lawaai. (moet in de meterkast passen).
- De huidige setup is een wirwar aan bekabeling (sas schijven), casefans (5 stuks. Ik ben niet tegen casefans, integendeel, maar de kast is zo huge dat ik her en der met verlengkabels heb moeten werken), SAS backplanes met 40mm fans die het begeven, SAS controllers waarvan de BBWC batterijen het begeven. En als kers op de taart; Een zelfbouw frame met 2x120mm fans (extern gevoedt) wat aan de buitenkant op de kast gemonteerd is en lucht in de SAS backplanes blaast (dit was echt nodig!). Ik wil dit simpeler. Het heeft allemaal onderhoud nodig.
- Liefst draai ik de setup enkele dagen/weken naast elkaar zodat ik VMs kan migreren. Ik kan bijvoorbeeld een nieuwe server kopen/bouwen zonder geheugen en dan alvast 16gb overzetten zodat beide servers allebei 16gb hebben. Dan moet ik sommige VM's wel ff downscalen of uitzetten, maar dat is geen probleem.
- Liefst 2 nics, ik heb nu mijn management en vm netwerk gescheiden. Ik heb echter een Intel PRO 1000MT Dual Port Gigabit PCI-X liggen, die zou gewoon moeten werken in een PCI poort. Dit is geen must-have, maar het zou wel fijn zijn als ik de install niet hoef te customizen... Ik heb ook nog een PCI-E single intel nic liggen btw, type weet ik niet precies.


Ik heb het volgende uitgezocht;

#	Product	Prijs	Subtotaal
1	Intel Core i5-4460 Boxed	€ 179,99	€ 179,99
1	ASRock B85M Pro4	€ 65,50	€ 65,50
1	Thermaltake Core V21	€ 59,41	€ 59,41
1	Intel PWLA8492MT PRO/1000 MT Dual Port	€ 0	€ 0
1	G.Skill RipjawsX F3-10666CL9Q-32GBXL	€ 0	€ 0
1	Corsair RM550x	€ 94,95	€ 94,95
1	Crucial MX300 2,5" 750GB	€ 237,73	€ 237,73
Bekijk collectie Importeer producten		Totaal	€ 637,58

Reeds in bezit en blijft ook draaien;
QNAP TS-412 met 4x3TB met voldoende vrije ruimte om bijvoorbeeld 1TB middels iSCSI aan te bieden aan de ESXi server. Dan heb ik snelle storage (SSD) en trage storage (iSCSI).

Heeft iemand nog tips hieromtrent? En hoe zit ik met warmte ontwikkeling? En zou een single SSD dezelfde performance geven als 2 SAS raid arrays verdeeld over twee HP P400's?

Het budget is rond de 700 euro, maar ik moet natuurlijk ook nog geheugen kopen voor mijn "oude" server, want dit wordt mijn nieuwe werkstation (blijft wel op zolder, maar natuurlijk niet meer 24/7 aan).

[ Voor 4% gewijzigd door FreakNL op 24-02-2017 13:31 ]

[tvwes]

FireDrunk schreef op donderdag 23 februari 2017 @ 20:04:
Ik denk vooral dat die meter niet zo accuraat is

Ik denk dat de meter best wel accuraat is. Maar dat weinig mensen hier kunnen lezen en/of rekenen! (mezelf inbegrepen)
Ik schreef dat de UPS zo'n 20Watt verbruikt en de Voltcraft Energy Check 3000 zo'n 56Watt verbruik aangeeft. Als de server het enige aangesloten apparaat is het het verbruik natuurlijk 36Watt en niet 26Watt. Mijn fout maar anderen hadden dit toch ook wel even mogen opmerken!


Bedankt Firedrunk voor het zeuren over die meting. Ik vond het gezeur omdat ik wist dat die energy check 3000 er niet zover naast zat en nu foto's moest gaan maken etc. Maar hierdoor heb ik de fout in ieder geval zelf gevonden.


Nu deze rekenfout is hersteld komen we op een iets minder gunstig verbruik uit namelijk 36Watt. Dit is nog met een zeer oude PSU waar nog wel wat mee te besparen valt. Maar als ik de de IOPS/Watt en de rekenkracht/Watt en de hoeveelheid RAM/Watt afzet, is dit nog steeds hartstikke mooi. Vind maar eens een server met 64GB ram die 36watt verbruikt?

Voor alle duidelijkheid: deze meting is inclusief de zeer onzuinige APC SmartUPS 1000i.
Ik kan de server niet offline nemen op dit moment. Wanneer er een keer een maintencance venstertje is zal ik de meting herhalen zonder UPS.
[/br]
Mijn geijkte Metrel MD9270 tang laat zien dat de energy check 3000 er helemaal niet zover naast zit.
En omdat we elkaar hier voor geen cent vertrouwen heb ik ook nog de moeite genomen de test opstelling te fotograferen.



Wat zien we? De beloofde ultra cheap-ass kast met USB 1 poortjes!


De test setup. Ik gebruik deze meter hoofdzakelijk voor lekstroom metingen maar je kan er ook een vermogen meting mee uitvoeren. De stroom meet je contactloos met een klem en de spanning via twee testpennen, in dit geval in het stopcontact ernaast. Ik maak gebruik van een speciaal kabeltje met open aders voor deze meting. De energy check 3000 ligt ernaast.


Continue sample mode. Deze meter heeft een veel hogere display rate dat de energy check 3000. De waarden fluctueren daardoor veel meer. Letop de slechte powerfactor dankzij de UPS.


Het minimum vermogen over een minuut gemeten.


Het maximum vermogen over een minuut gemeten.

[mrmrmr]

tvwes schreef op vrijdag 24 februari 2017 @ 15:15:
[...]

Continue sample mode. Deze meter heeft een veel hogere display rate dat de energy check 3000. De waarden fluctueren daardoor veel meer. Letop de slechte powerfactor dankzij de UPS.

Klopt het dat je meet tussen de contactdoos en de UPS?

Een powerfactor van 0,72 is redelijk normaal voor een ATX voeding bij dit verbruik. De power factor van computervoeding is doorgaans tamelijk laag. Vooral bij voedingen die laag worden belast.

Ik heb een Sandy Bridge server uit 2011 die 32,6W (pf 0,8) verbruikt in idle. De server kan nooit volledig in slaap komen omdat er veel processen nodig en actief zijn. Het lukt wel goed de 2 x 7200 rpm HDD's in een slaap toestand te brengen en HIPM+DIPM toe te passen op Samsung EVO SSD's.

[tvwes]

mrmrmr schreef op vrijdag 24 februari 2017 @ 16:21:
[...]


Klopt het dat je meet tussen de contactdoos en de UPS?

Ja, daar heb ik mij niet in vergist.

Een powerfactor van 0,72 is redelijk normaal voor een ATX voeding bij dit verbruik. De power factor van computervoeding is doorgaans tamelijk laag. Vooral bij voedingen die laag worden belast.

Ik had toch iets beter verwacht. Zeker gezien de THD. Maar we zullen zien wat het effect is als de UPS er tusssen uit is. Ik zal er hopelijk aan denken je een berichtje te sturen als ik die meting ook heb.

Ik heb een Sandy Bridge server uit 2011 die 32,6W (pf 0,8) verbruikt in idle. De server kan nooit volledig in slaap komen omdat er veel processen nodig en actief zijn. Het lukt wel goed de 2 x 7200 rpm HDD's in een slaap toestand te brengen en HIPM+DIPM toe te passen op Samsung EVO SSD's.

Dan vind ik 36W bij continue 15% cpu load en altijd io helemaal niet verkeerd. Ook heb ik nul tuning gedaan in ESXi en/of in de bios. Tel daarbij 64GB en ruim 18TB ruwe storage op en twee GBe poorten dan is het niet slecht. Daarbij komt dat ik een brakke voeding heb en 4-5Watt extra ivm IPMI. Maar dat laatste heb jij misschien ook.

[ Voor 6% gewijzigd door tvwes op 24-02-2017 17:17 ]

[tvwes]

FreakNL schreef op vrijdag 24 februari 2017 @ 13:23:
Toch maar eens de hulp van tweakers inroepen;

Ik heb momenteel een beest van een server staan op zolder. Deze is bijzonder krachtig en snel (alhoewel het een build uit 2012 is). De nadelen zijn echter;

- Groot
- Luidruchtig
- Stroomslurper

Specs in het kort:
Server 2012 R2, Hyper-V R2, Core i7 2600, 32gb ddr3, ssd (OS) en 12 SAS schijven als datastore (+-800gb).

Ik geloof alles wat je hierboven beschrijft, krachtig (zowel cpu als io), luidruchtig en energie vretend.
Nu weet ik niet wat voor meterkast jij hebt, maar het gedissipeerde vermogen van jouw machine raak je nooit kwijt in een consumenten meterkast. Dan zal je vrij snel een brandje hebben denk ik. Het is immers niet alleen je pc die warm wordt maar alles in die ruimte wordt zo warm.
Mijn advies zou zijn, kijk of je SAS schijven en raid controllers kan verkopen en koop ipv daarvan een grote SSD. Je bruto storage is nu iets van 800 GB misschien kan je dat vervangen door twee 500GB exemplaren in mirror. En gebruik ZFS om het vervolgens aan te bieden. Zogoed als iedere SSD (onder ZFS) zal met random IOPS gehakt maken van je huidige setup sequential io zal je huidige setup winnen. Als je van SATA SSD overstapt naar een snelle NVME dan wint een enkele NVME vermoedelijk al. Niks ten nadele van je huidige setup want die zal echt nog steeds snel zijn.
Ik weet niet hoeveel jij schrijft naar je opslag maar als dat veel is dan kan je een goedkope ssd snel door zijn PE cycles jagen. Jouw SAS schijven kan je 24uur per dag beschrijven en dat jaren achter elkaar. Er zijn maar weinig SSD's die dat ook kunnen.
Iets anders om rekening mee te houden is het feit dat je P400 controllers een batterij als backup hebben in het geval van een power-loss of reset. SSD's hebben vaak ook behoorlijke write-caches die vaak niet beschermd zijn tegen power-loss. Je kan daardoor data kwijt raken. Enterprise SSD hebben daar speciale voorzieningen voor om dat te voorkomen.
Ook zullen enterprise SSD's zich veel voorspelbaarder gedragen, consumenten SSD's hebben vaak de neiging nadat de schijf een keer is volgeschreven steeds minder goed prestaties te laten zien. Weer iets wat je niet had bij je mooie (SAS) HDD's.

Zie mijn post waar ik oude server met veel spindles vervang door enkele SSD's.

Je moet niet kijken naar de specifieke componenten (dat is veel te duur) maar naar het idee en de winst die er valt te behalen met zo'n opzet.

Wat misschien ook nog iets is: gebruik je huidige server alleen voor het zware werk en zet het aan via wol. Als je de machine daarna weer remote uitzet of zich na verloop van tijd laat uitzetten blijft het wel enkele watts gebruiken. Voor je ESXi kan je dan met een veel kleinere en dus goedkopere en zuinigere machine volstaan.

Reeds in bezit en blijft ook draaien;
QNAP TS-412 met 4x3TB met voldoende vrije ruimte om bijvoorbeeld 1TB middels iSCSI aan te bieden aan de ESXi server. Dan heb ik snelle storage (SSD) en trage storage (iSCSI).

Heeft iemand nog tips hieromtrent? En hoe zit ik met warmte ontwikkeling? En zou een single SSD dezelfde performance geven als 2 SAS raid arrays verdeeld over twee HP P400's?

Het budget is rond de 700 euro, maar ik moet natuurlijk ook nog geheugen kopen voor mijn "oude" server, want dit wordt mijn nieuwe werkstation (blijft wel op zolder, maar natuurlijk niet meer 24/7 aan).

[Paul]

tvwes schreef op vrijdag 24 februari 2017 @ 20:24:
Nu weet ik niet wat voor meterkast jij hebt, maar het gedissipeerde vermogen van jouw machine raak je nooit kwijt in een consumenten meterkast.

Je had al gezien dat hij andere hardware ging kopen?

[tvwes]

@Paul, ik las dat hij ook wat wilde hergebruiken. En dat hij twijfelde of een enkele SSD wel een gelijkwaardige vervanging is van zijn SAS schijven en raid controllers.
Vandaar dat ik voor de zekerheid maar even melde dat zijn huidige storage vermoedelijk gehakt maakt van die enkele crucial en dat zn huidige (storage) setup nooit in de meterkast kan. Om nog maar te zwijgen van het feit dat hij geen enkele redundancy meer heeft met die enkele crucial. Vandaar dat ik voorzichtig suggereerde om misschien twee keer 500GB te nemen. Kost iets meer maar levert wel veel op.

En of ik het nu wel of niet goed had gelezen doet geen afbreuk aan mijn waarschuwing dat het gedissipeerde vermogen ergens naar toe moet. Zelfs een server van 30Watt kan zo'n hok veel te heet maken. Daarnaast is de NEN2768 vrij helder aangaande wat je daarin mag plaatsen. Bedenk maar eens wat de verzekering gaat zeggen als als daar wat gebeurt en jij daar je server had staan. Een router prima, een alarm kast ook geen probleem maar een pc? Mux zn passief gekoelde paar watt project zal niet snel een oorzaak zijn maar zo kijkt een verzekeraar er niet naar. Die zal alles aangrijpen om niet te hoeven uitkeren. Vandaar mijn goed bedoelde waarschuwing om de meterkast voor de meters te houden en er geen DC in te beginnen.

[Pantagruel]

Arghhh, mijn meterkast ESXi server is aan het sterven

Spec's:

Een Corsair Carbide 500R met als inhoud:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470 Boxed	€ 0,-	€ 0,-
1	ASRock B75 Pro3-M	€ 0,-	€ 0,-
4	WD Green WD40EZRX	€ 157,95	€ 631,80
1	Corsair Vengeance CML32GX3M4A1600C10	€ 251,60	€ 251,60
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 0,-	€ 0,-
1	Intel Postville X25-M SSDSA2MH080G2K5 80GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 883,40

Nadat ik er vandaag een extra SSD bij in had gestoken, kreeg ik bij het opstarten geen beeld meer (oeps).
Aanvankelijk dacht ik dat het aan de afgetrapte ACER monitor zou liggen, dus er een andere bekend werkende bij gepakt.
Helaas gaf dat geen soelaas , vanaf de on-board aansluitingen (d-sub en DVI) geen beeld.
PCI to the rescue, in de vorm van een PCI ATI2400 insteekkaartje dan toch beeld gekregen.

Na een half uurtje "Trouble shooting one o one" van de patient (Asrock B75 pro3-m) is de diagnose dat t 2e geheugen kanaal niet werkt
en de on-board VGA helaas ook niet,dezelfde oorzaak waaraan zijn voorloper uiteindelijk is overleden.

Alternatieve mobo's

ElCheapo, Asus H61M-K

ElDinero, Supermicro X9SCM-F

Update; ElDinero is uitgesloten, bordje draait enkel op ECC UDIMM, non-ECC is helaas no go

V&A, is een optie, magertjes.

Maar ja, de goedkope oplossing is niet echt naar mijn zin en de Supermicro is errug leuk, maar eigenlijk te duur en een beetje jammer voor de huis-tuin-en-keuken hardware die er dan in komt (wel ipmi als bonus en ik kan t aanwezige geheugen testen in het genoemde bord).

Oftewel, going for broke

#	Product	Prijs	Subtotaal
1	Intel Core i5-4460 Boxed	€ 179,99	€ 179,99
1	ASRock B85M Pro4	€ 63,-	€ 63,-
Bekijk collectie Importeer producten		Totaal	€ 242,99

Pak hem beet €65 duurder dan t SM X9 bordje, maar wel weer wat bij de tijd en de DDR3 is hopelijk te recyclen (Corsair CML32GX3M4A1600C10)

Of waarschijnlijk nog meer broke en de oplossing van tvwes, ook wel lekker maar ik heb niet gecontroleerd in hoeverre ESXi en passthrough van PCIe device daar werkt.

Natte vinger budgetering: ± €600 euro ter beschikking voor de basale hardware (mobo/cpu/RAM)

Keuzes, keuzes, arghh.

[ Voor 0% gewijzigd door Pantagruel op 25-02-2017 14:53 . Reden: Update ]

[FreakNL]

tvwes schreef op vrijdag 24 februari 2017 @ 20:24:
[...]

Ik geloof alles wat je hierboven beschrijft, krachtig (zowel cpu als io), luidruchtig en energie vretend.
Nu weet ik niet wat voor meterkast jij hebt, maar het gedissipeerde vermogen van jouw machine raak je nooit kwijt in een consumenten meterkast. Dan zal je vrij snel een brandje hebben denk ik. Het is immers niet alleen je pc die warm wordt maar alles in die ruimte wordt zo warm.
Mijn advies zou zijn, kijk of je SAS schijven en raid controllers kan verkopen en koop ipv daarvan een grote SSD. Je bruto storage is nu iets van 800 GB misschien kan je dat vervangen door twee 500GB exemplaren in mirror. En gebruik ZFS om het vervolgens aan te bieden. Zogoed als iedere SSD (onder ZFS) zal met random IOPS gehakt maken van je huidige setup sequential io zal je huidige setup winnen. Als je van SATA SSD overstapt naar een snelle NVME dan wint een enkele NVME vermoedelijk al. Niks ten nadele van je huidige setup want die zal echt nog steeds snel zijn.
Ik weet niet hoeveel jij schrijft naar je opslag maar als dat veel is dan kan je een goedkope ssd snel door zijn PE cycles jagen. Jouw SAS schijven kan je 24uur per dag beschrijven en dat jaren achter elkaar. Er zijn maar weinig SSD's die dat ook kunnen.
Iets anders om rekening mee te houden is het feit dat je P400 controllers een batterij als backup hebben in het geval van een power-loss of reset. SSD's hebben vaak ook behoorlijke write-caches die vaak niet beschermd zijn tegen power-loss. Je kan daardoor data kwijt raken. Enterprise SSD hebben daar speciale voorzieningen voor om dat te voorkomen.
Ook zullen enterprise SSD's zich veel voorspelbaarder gedragen, consumenten SSD's hebben vaak de neiging nadat de schijf een keer is volgeschreven steeds minder goed prestaties te laten zien. Weer iets wat je niet had bij je mooie (SAS) HDD's.

Zie mijn post waar ik oude server met veel spindles vervang door enkele SSD's.

Je moet niet kijken naar de specifieke componenten (dat is veel te duur) maar naar het idee en de winst die er valt te behalen met zo'n opzet.

Wat misschien ook nog iets is: gebruik je huidige server alleen voor het zware werk en zet het aan via wol. Als je de machine daarna weer remote uitzet of zich na verloop van tijd laat uitzetten blijft het wel enkele watts gebruiken. Voor je ESXi kan je dan met een veel kleinere en dus goedkopere en zuinigere machine volstaan.


[...]

Hallo tvwes.

Bedankt voor je reacties. Snijden zeker hout.Laat ik voorop stellen dat aan en uit zetten niet echt een optie is, behalve wellicht 's nachts, maar dan lopen mijn backups juist weer.

Ik had zelf al een nieuw lijstje gemaakt, daarin had ik de enkele SSD reeds vervangen door 2x Crucial MX300 2,5" 525GB

Verder heb ik nog een 2tb wd red liggen die ik erbij wilde steken voor backups. Dan maak ik elke nacht een replica (of full backup) van de VM's, 24 uur verlies kan ik handelen. En mijn belangrijke (static) data staat op de NAS (die gewoon op zolder blijft).

Ik verlies inderdaad redundantie, als er een SSD sterft moet ik een backup terug gaan zetten. Maar dat zijn keuzes. Ik sta er overigens ook voor open om 2 ssd's in raid-1 te zetten, dat zou ik zelfs nog wel redden met 2x525gb, dan gaat een deel van de storage gewoon naar de NAS (iscsi). Of ik koop er twee van 750 en zet die in raid-1. Maar kan dat zomaar?

Waar ik me ook zorgen om maak is de warmte die je benoemt. Mijn meterkast is niet groot en ik heb planken. De afstand tussen de onderste plank en die daarboven is 50cm. De diepte is 30 cm, breedte is ruim voldoende (niet opgemeten, maar iig breder dan mijn deur). Ik had inmiddels deze kast uitgezocht:

pricewatch: Thermaltake Versa H15 Window

Dit staat er dan dus dwars op de plank. Voor de rest komt er dan niks meer bij, behalve wellicht een 5port managed switch van netgear of tplink.

Ik heb boven de deur een schot met een horizontale uitsparing, dat zal sowieso al wel voor ventilatie en warmteafvoer bedoeld zijn. Maar dat is wellicht niet genoeg.

Als jij (en andere tweakers) echter afraden om een dergelijk systeem (zie mijn eerdere post voor specs) in de meterkast te plaatsen ga ik een ander pad bewandelen. Ik heb een bijzonder grote zolder (+-30m2) met een kopgevel. Het is wel 1 grote ruimte. Maar als ik mijn server helemaal aan de andere kant zet (bij de kopgevel) zit er zeker een meter of 5 afstand tussen logeerbed en server en nog een schuine kant die ook geluidsdempend zal werken.
Ter illustratie:
(inmiddels ligt er een vloertje en is er gestuct hoor)

https://postimg.org/image/rsqkini97/
In deze hoek staat mijn bureau (1.80 breed), daaronder een ikea nachtkastje, APC UPS, server en werkstation. Logeerbed zal onder het bureau schuiven, ik moet dus ruimte maken. Nachtkastje gaat weg, server zit dus ook in de planning. Werkstation (of server na ombouw) gaat op het bureau, daar is plaats genoeg. In het geval van logees schuif ik het bed natuurlijk vanonder het bureau. Het is een tweepersoonsding maar met onderschuif dus hij kan prima naast me staan terwijl ik toch gewoon kan werken op mijn werkstation.

https://postimg.org/image/iebhofsqx/
Deze foto is genomen vanaf de plek waar nu het bureau staat. Bij de CV staan inmiddels koelkast, wasmachine en vriezer. Maar achter de steunbalk van de kopgevel is een raar hoekje, zeg maar links van de radiator. Daar staat nu een soort kalax opstelling tegen de muur waar ik in ieder geval prima mijn nas en printer kwijt zou kunnen. Tevens heb ik een APC 1500 ups (waar ik al een beetje afscheid van genomen had) die ook die kant op zou kunnen. Mijn server bakbeest kan ik daar echt niet kwijt dus het zou alsnog nieuwbouw worden.


Ik ga dan wel proberen het systeem zo stil mogelijk te maken, maar met SSD's en stille fans moet dat lukken.

Als ik het zo eens overdenk is dit eigenlijk de betere oplossing, mits is het zaakje stil genoeg kan krijgen zodat logees er niet veel last van hebben (staat ook gewoon een CV en vriezer te zoemen, het is nu eenmaal geen vier-sterren) en ik voldoende performance overhou.

Die laatste vond ik trouwens lastig, ik snap dat SAS echt niet te vergelijken is. Maar het is ook weer niet zo dat mijn server nou hele ingewikkelde dingen doet. Exchange zal wel wat wegschrijven en ik heb wat kleine database-jes (o.a. domoticz). En 13 vm's, die OS-en zullen best wat wegschrijven. Dus ja, tips blijven welkom!!

NVMe heb ik overigens ook naar gekeken, maar is sowieso al duurder en ik kan mijn geheugen niet doorschuiven, ik geloof dat je al minimaal naar een chipset toe moet die mijn geheugen niet meer ondersteund om nvme te ondersteunen (heb zitten spelen op pcpartpicker)...

[tvwes]

@Pantagruel met mijn build ben je zeker blut. Maar alles werkt wel. Ik heb alleen geen GPU passthrough geprobeerd. Ik kon de NVME controller, de AHCI en onboard en losse NIC's doorgeven. Ik heb op moment alleen nog de AHCI en een van de vier NIC's doorgegeven aan een VM.
De X11SSM zonder IPMI en zonder m.2 slot kost 220 plus 115 voor een i3-6100 plus 130 per 16GB is binnen je budget en biedt nog voldoende groei mogelijkheden. Wat bij mij de prijs echt opdreef was de storage.
Ik werd ook gek van de keuze stress: consumenten of toch enterprise storage, twee of vier GBe poorten, wel of geen all-in-one?
Bij jouw is er tenminste nog iets kapot, ik heb een complete nieuwe set gekocht terwijl de oude het nog prima deed maar het was volkomen onvervangbaar bij een calamiteit dus heb ik het vervangen.
Succes met je reparatie.

[Pantagruel]

tvwes schreef op vrijdag 24 februari 2017 @ 22:39:
@Pantagruel met mijn build ben je zeker blut. Maar alles werkt wel. Ik heb alleen geen GPU passthrough geprobeerd. Ik kon de NVME controller, de AHCI en onboard en losse NIC's doorgeven. Ik heb op moment alleen nog de AHCI en een van de vier NIC's doorgegeven aan een VM.
De X11SSM zonder IPMI en zonder m.2 slot kost 220 plus 115 voor een i3-6100 plus 130 per 16GB is binnen je budget en biedt nog voldoende groei mogelijkheden. Wat bij mij de prijs echt opdreef was de storage.
Ik werd ook gek van de keuze stress: consumenten of toch enterprise storage, twee of vier GBe poorten, wel of geen all-in-one?
Bij jouw is er tenminste nog iets kapot, ik heb een complete nieuwe set gekocht terwijl de oude het nog prima deed maar het was volkomen onvervangbaar bij een calamiteit dus heb ik het vervangen.
Succes met je reparatie.

Blut inderdaad, aan de andere kant ook wel weer klaar voor een tijdje. Wat dat betreft heeft de setup geen klagen (draait min of meer klokje rond sinds november 2012), maar het is en blijft jammer als t poef gaat . Storage kost idd. een flinke slok geld, gelukkig kan ik die overzetten (4 x 4 TB WD green).

Na wat klik en denk werk neig ik naar deze setup:

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 120,50	€ 120,50
1	Supermicro X11SSH-LN4F	€ 259,75	€ 259,75
2	Samsung M391A2K43BB1	€ 173,-	€ 346,-
1	Intel 600p 512GB	€ 165,95	€ 165,95
Bekijk collectie Importeer producten		Totaal	€ 892,20

Evt. kan de Intel 600P in een later stadium om de prijs wat te verzachten.

[FreakNL]

Na mijn meterkast maar eens goed bekeken te hebben ben ik tot de conclusie gekomen dat dat hem niet gaat worden. Zelfs nu (winter) is het daar al best warm (router, modem, Toon zooi) en dat gaat hem dus niet worden.

Het wordt dus een nieuw systeem op zolder wat (relatief) stil moet zijn en krachtig. Ik heb ook de knoop doorgehakt en wil voor NVME gaan. Ik heb mijn VM's eens bekeken en zou voorlopig voldoende hebben aan 500gb snelle storage. Tevens heb ik nog 2 WD Reds liggen (3tb), die wil ik (in Raid-1) in het systeem hebben om als trage storage aan te bieden (data disk webserver, OS download bak, etc). Ik denk dat ik dat via ZFS icm Freenas moet doen? (ik moet dat nog ff uitzoeken).

De keuze voor NVME impliceert wel dat ik mijn geheugen niet meer kan doorschuiven (of je moet naar erg exotische configuraties gaan), dus het wordt volledige nieuwbouw, inclusief DDR-4 en skylake. Ik heb het budget opgerekt naar 1000 euro.

Heeft iemand tips? Ik zie inmiddels door de bomen het bos niet meer.

Mijn eisen;
- Microatx
- Relatief stil en zuinig
- Mogelijkheid om 2xnvme aan te sluiten (voor nu 1x, maar in de toekomst wil ik wel kunnen uitbreiden )
- Vrije PCIe slot om een Intel NIC aan te sluiten (heb deze liggen: pricewatch: Intel Gigabit CT Desktop Adapter, dat scheelt volgens mij kloten met injecten van drivers?)
- 32gb met de mogelijkheid om uit te breiden naar 64gb
- 2x3tb WD RED door kunnen geven aan Freenas (of openfiler), daar in raid-1 zetten en terug aanbieden aan de ESXi server
- ipmi/vpro is nice-to-have, geen must
- Ik boot "gewoon" van USB, dat betekent toch dat ik mijn complete SATA controller door kan geven? Maar dat moet ik wel VT-d hebben begrijp ik?


Ik kom tot dit lijstje:

#	Product	Prijs	Subtotaal
1	Intel Core i5-6400 Boxed	€ 184,65	€ 184,65
1	ASRock H270M Pro4	€ 99,99	€ 99,99
2	WD Red WD30EFRX, 3TB	€ 0	€ 0
1	Thermaltake Core V21	€ 59,41	€ 59,41
1	Intel Gigabit CT Desktop Adapter	€ 0	€ 0
1	G.Skill Ripjaws V F4-3200C16D-32GVK	€ 268,50	€ 268,50
1	Corsair RM550x	€ 94,95	€ 94,95
1	Samsung 960 EVO 500GB	€ 237,25	€ 237,25
Bekijk collectie Importeer producten		Totaal	€ 944,75

Blijft ik aardig binnen het nieuw gestelde budget, komen natuurlijk nog wat losse kosten bij (fannetje hier, kabeltje daar). En ik wil dan op termijn een 2e 960 EVO 500GB toevoegen of een Intel 600p 1tb. Maar dan moet ik eerste mijn oude controllers en SAS schijven verkopen.

Alle tips zijn welkom, schiet maar

[ Voor 15% gewijzigd door FreakNL op 25-02-2017 10:37 ]

[Paul]

tvwes schreef op vrijdag 24 februari 2017 @ 21:15:
En of ik het nu wel of niet goed had gelezen doet geen afbreuk aan mijn waarschuwing dat het gedissipeerde vermogen ergens naar toe moet.

True, maar aangezien hij de hele boel wil vervangen door een SSD lijkt me dat een non-issue

Zelfs een server van 30Watt kan zo'n hok veel te heet maken.

Als de meterkast de aanbevolen (maar niet verplichte) ventilatiesleuven heeft dan is dat geen probleem. De onze heeft die sleuven niet en de (geisoleerde) standleiding van de centrale verwarming van het appartementencomplex loopt door onze kast, die geeft echt wel meer af dan 30 Watt

Daarnaast is de NEN2768 vrij helder aangaande wat je daarin mag plaatsen. Bedenk maar eens wat de verzekering gaat zeggen als als daar wat gebeurt en jij daar je server had staan. Een router prima, een alarm kast ook geen probleem maar een pc?

1) Waar kan ik die NEN-normen opvragen? Kost 56 euro... Met andere woorden, dat kun je niet als argument aanvoeren tegen consumenten om maar te hadden moeten weten wat er wel en niet in die kast mag staan.

Daarnaast, waarom trek je (arbitrair?) de grens bij een PC? Een router is ook een computer met wat software en wat netwerkpoorten. Een alarmkast is ook een computer met een stapel I/O-poorten. En als ik terugdenk aan de alarmkast die mijn ouders hadden, ook daar kwam zeker weten meer dan 30 Joule per seconde aan warmte uit...

True, verzekeringen grijpen alles aan om niet uit te hoeven keren, dat zou inderdaad een reden kunnen zijn om het niet vol te zetten (in die van ons is het al zoeken naar ruimte om de Ziggo-modem op te hangen).

FreakNL schreef op zaterdag 25 februari 2017 @ 10:33:
En ik wil dan op termijn een 2e 960 EVO 500GB toevoegen of een Intel 600p 1tb.

Die moeten beiden in een M.2-slot. Hoeft niet erg te zijn, maar dan heb je wel een converter nodig die een PCIe-slot omzet naar een M.2-slot

[ Voor 9% gewijzigd door Paul op 25-02-2017 10:42 ]

[FreakNL]

Ik heb dat NVME nog niet erg helder voor de geest. Ik heb een converter nodig voor de 2e (toekomstige) NVME? Heb ik dat voor de eerste dan ook niet nodig?

/Edit
Ik zie dat het mainboard wat ik koos reeds native M.2 poorten heeft:
http://www.asrock.com/MB/Intel/H270M%20Pro4/index.asp

[ Voor 30% gewijzigd door FreakNL op 25-02-2017 11:06 ]

[Paul]

Oh cool, er komen eindelijk borden met meer dan één M.2-slot Dan heb je voor je 2e M.2 SSD geen converter nodig nee

Ik heb net de handleiding van dat bord bekeken, als je een SATA M.2-SSD in M2_1 stopt (M2_2 ondersteunt geen SATA SSD, alleen PCIe) dan kun je één van de SATA-poorten (SATA3_0) niet meer gebruiken maar dat is bij jou geen issue

[|sWORDs|]

FreakNL schreef op vrijdag 24 februari 2017 @ 13:23:
Toch maar eens de hulp van tweakers inroepen;

[...]

En zou een single SSD dezelfde performance geven als 2 SAS raid arrays verdeeld over twee HP P400's?

[...]

Die P400's zijn gebaseerd op de LSI1068 en halen per stuk maximaal 858MB/s, echter met spinning disks komen die nooit in de buurt van de random IO van een SSD. Met twee goede SATA SSD ga je dus iets achteruit in sequentiële snelheid, waar je vrijwel niets van merkt, maar gigantisch omhoog in random IO waar je wel wat van merkt. Of je gaat voor NVMe, een enkele Samsung 960 Pro of Intel 750 maak gehakt van de huidige twee arrays.

Voor het verdere verhaal en waarom ik nog niet gereageerd had (hoopte dat het vanzelf in de thread zou komen) mis ik wat je er nu precies op wilt gaan draaien, behalve Plex, webserver en download bak zie ik niet zo veel staan. Als het alleen dat is zou je dat zelfs fysiek op XPenology kunnen doen.

FreakNL schreef op zaterdag 25 februari 2017 @ 11:02:
Ik heb dat NVME nog niet erg helder voor de geest. Ik heb een converter nodig voor de 2e (toekomstige) NVME? Heb ik dat voor de eerste dan ook niet nodig?

/Edit
Ik zie dat het mainboard wat ik koos reeds native M.2 poorten heeft:
http://www.asrock.com/MB/Intel/H270M%20Pro4/index.asp

Je haalt volgens mij een paar zaken door elkaar:

• Protocol: SATA/SAS/NVMe/etc
• Formaat: 2.5"/3.5"/HHHL/2240/2260/2280/etc
• Connector: SFF-8087/U.2(SFF-8643)/M.2/PCIe x4/SATA/etc

Waarom PCIe? SAS/SATA maken gebruik van een controller die soms al in de chipset of het bord zit. SATA3 is beperkt op een theoretische snelheid van 600MB/s, SAS3 op 1200MB/s. SSD zaten al snel tegen deze limieten aan (daarom halen vrijwel alle SATA SSD's ~550MB/s). PCIe 2.0 heeft 500MB/s per lane, 3.0 heeft 985MB/s per lane (full duplex dus gelijktijdig 985 up en 985 down). De eerste PCIe SSD's gebruikten twee 2.0 lanes, de huidige gebruiken vrijwel allemaal 4 3.0 lanes.

Waarom NVMe? De 'oude' protocollen waren ontworpen voor harddisks, waarbij het belangrijk is om zoveel mogelijk sequentieel uit te voeren. Commando's gingen in een queue waarbij de volgorde geoptimaliseerd werd. Bij SAS was deze queue 128 groot, bij SATA 32 (maar sommige controllers hebben een lagere queue). SSD's kunnen prima parallel werken en bij de huidige NVMe drives is deze queue ongeveer 2048.
Daarnaast is er een heel stuk niet meer noodzakelijke overhead verwijderd en kan er nu met meer 'threads' gewerkt worden waardoor er betere schaling is.

Een schijf met NVMe protocol is altijd PCIe, maar deze zijn er in meerdere formaten, met meerdere connectors:

• 2.5" formaat met U.2(SFF-8643) connector. Lijst van NVMe drives met U.2 connector
• HHHL formaat met PCIe x4 connector. Lijst van NVMe drives met PCIe connector
• 2280 formaat met M.2 connector. Lijst van NVMe drives met M.2 connector

Andersom is niet altijd waar:

• Niet alle PCIe schijven zijn NVMe (je hebt ook bijvoorbeeld AHCI).
• Ook is de SFF8643 connector niet alleen voor NVMe, maar ook voor Mini-SAS HD (12 Gbit)
• Ook is de M.2 connector niet alleen voor NVMe, maar ook voor AHCI (SATA standaard).

Waarom 22x0? Vooral voor kleine form factors zoals een NUC, Laptop of all in one is het belangrijk om niet een 2.5" schijf te hoeven plaatsen. M.2 is hierom vrij populair, want je product kan in meer apparaten gebruikt worden.

Waarom 2.5"? Voor servers is hotswap belangrijk.

Waarom HHHL? Toen de eerste schijven uitkwamen waren er vrijwel geen servers/workstations met M.2 of U.2. Door PCIe kaarten te maken kon toch iedereen direct NVMe gebruiken, zeker met halve hoogte kunnen vrijwel alle desktop/server formaten er gebruik van maken. Een ander voordeel van HHHL is de koeling mogelijkheden.

Er zijn moederborden met U.2 connectoren, M.2 connectoren en PCIe connectoren, een converter is dus niet altijd nodig, alleen als je meer schijven met een bepaalde connector wil aansluiten dan je hebt.

Converters/Bifurcation:

• Er zijn M.2 naar U.2 converters
• Er zijn PCIe naar M.2 converters (Ook PCIe x16 naar 4x M.2, of x8 naar 2x M.2)
• Er zijn PCIe naar U.2 converters (Ook PCIe x16 naar 4x U.2, of x8 naar 2x U.2)

Waar moet je op letten met NVMe?

• BIOS support, met name oudere borden kunnen vaak niet booten van NVMe.
• Koeling, met name M.2 SSD's kunnen erg warm worden en langzaam worden.
• PCIe versie en lanes, met name oudere borden hebben vaak een M.2 slot aan twee PCIe 2.0 lanes.
• Locatie van de lanes, als deze uit de chipset komen gaan ze via DMI (PCIe 3.0 x4) naar de chipset en moet je de lanes delen met zaken zoals USB, SATA en netwerk.
• M.2 PCIe support, sommige M.2 sloten kunnen alleen AHCI.

Is NVMe altijd sneller dan AHCI?
Eigenlijk wel, echter is dit niet altijd merkbaar. Als je een NVMe drive in je desktop stopt dan zal de workload normaal gesproken meestal niet boven de max van een SATA SSD komen. Ook is disk IO maar een heel klein gedeelte van wat er moet gebeuren (je staat vaker op de CPU te wachten dan op een SATA SSD) en worden er ook pages in RAM opgeslagen waardoor er niet continu van de schijf gelezen hoeft te worden. Ook moet er bij het booten een extra controller geïnnitialiseerd worden en dit duurt langer dan het voordeel van sneller lezer (al is dat met de laatste firmwares al een stuk beter). De echte voordelen van NVMe zijn zichtbaar bij veel IO. Nou heb je bij virtualisatie meerdere machines en kom je eerder aan meer IO dan SATA aan zou kunnen.
Verder is er veel verschil tussen NVMe drives, de vorige generatie Samsung NVMe drives was bijvoorbeeld helemaal niet snel in random schrijven, desondanks dat de specificaties anders doen vermoeden dankzij de DRAM cache. Combineer dit met temperatuur problemen (throttle) en je zie dat de oudere Samsung SATA SSD's sustained betere random IO hebben.

Persoonlijke mening over bepaalde NVMe drives voor labs:
Samsung 950/951: Leuke drives voor veel reads, niet voor writes (en gaan snel stuk bij veel writes).
Intel 750: Beste drives die je kunt krijgen (en natuurlijk de vrijwel gelijkwaardige P3700).
Intel 600/6000p: Nog geen mening, te weinig gezien om er wat zinnigs over te zeggen, het lijkt echter geen goede write schijf te zijn (55MB/s sustained met random IO).
Samsung 960/961: Met name de Pro drives lossen het grootste deel van het probleem met writes op, te vroeg om iets over betrouwbaarheid te zeggen.
Alle andere types: Links laten liggen, geen voordelen ten opzichte van bovenstaande drives.

FreakNL schreef op zaterdag 25 februari 2017 @ 10:33:
Na mijn meterkast maar eens goed bekeken te hebben ben ik tot de conclusie gekomen dat dat hem niet gaat worden. Zelfs nu (winter) is het daar al best warm (router, modem, Toon zooi) en dat gaat hem dus niet worden.

Het wordt dus een nieuw systeem op zolder wat (relatief) stil moet zijn en krachtig. Ik heb ook de knoop doorgehakt en wil voor NVME gaan. Ik heb mijn VM's eens bekeken en zou voorlopig voldoende hebben aan 500gb snelle storage. Tevens heb ik nog 2 WD Reds liggen (3tb), die wil ik (in Raid-1) in het systeem hebben om als trage storage aan te bieden (data disk webserver, OS download bak, etc). Ik denk dat ik dat via ZFS icm Freenas moet doen? (ik moet dat nog ff uitzoeken).

De keuze voor NVME impliceert wel dat ik mijn geheugen niet meer kan doorschuiven (of je moet naar erg exotische configuraties gaan), dus het wordt volledige nieuwbouw, inclusief DDR-4 en skylake. Ik heb het budget opgerekt naar 1000 euro.

Heeft iemand tips? Ik zie inmiddels door de bomen het bos niet meer.

Mijn eisen;
- Microatx
- Relatief stil en zuinig
- Mogelijkheid om 2xnvme aan te sluiten (voor nu 1x, maar in de toekomst wil ik wel kunnen uitbreiden )
- Vrije PCIe slot om een Intel NIC aan te sluiten (heb deze liggen: pricewatch: Intel Gigabit CT Desktop Adapter, dat scheelt volgens mij kloten met injecten van drivers?)
- 32gb met de mogelijkheid om uit te breiden naar 64gb
- 2x3tb WD RED door kunnen geven aan Freenas (of openfiler), daar in raid-1 zetten en terug aanbieden aan de ESXi server
- ipmi/vpro is nice-to-have, geen must
- Ik boot "gewoon" van USB, dat betekent toch dat ik mijn complete SATA controller door kan geven? Maar dat moet ik wel VT-d hebben begrijp ik?


Ik kom tot dit lijstje:

#	Product	Prijs	Subtotaal
1	Intel Core i5-6400 Boxed	€ 184,65	€ 184,65
1	ASRock H270M Pro4	€ 99,99	€ 99,99
2	WD Red WD30EFRX, 3TB	€ 0	€ 0
1	Thermaltake Core V21	€ 59,41	€ 59,41
1	Intel Gigabit CT Desktop Adapter	€ 0	€ 0
1	G.Skill Ripjaws V F4-3200C16D-32GVK	€ 268,50	€ 268,50
1	Corsair RM550x	€ 94,95	€ 94,95
1	Samsung 960 EVO 500GB	€ 237,25	€ 237,25
Bekijk collectie Importeer producten		Totaal	€ 944,75

Blijft ik aardig binnen het nieuw gestelde budget, komen natuurlijk nog wat losse kosten bij (fannetje hier, kabeltje daar). En ik wil dan op termijn een 2e 960 EVO 500GB toevoegen of een Intel 600p 1tb. Maar dan moet ik eerste mijn oude controllers en SAS schijven verkopen.

Alle tips zijn welkom, schiet maar

Drive: Let op met de EVO, als echt veel IO hebt storten die aardig in, dan zou een Pro of een Intel 750 een betere keuze zijn.

VT-d: Alles met Skylake heeft VT-d
NIC: Je kunt ook een bord met dual NIC nemen.

Lees verder mijn startpost van het andere topic even door, daar staat vast het een en ander aan nuttige info tussen.

[ Voor 115% gewijzigd door |sWORDs| op 25-02-2017 14:11 ]

[|sWORDs|]

removed, dubbele post

[ Voor 138% gewijzigd door |sWORDs| op 25-02-2017 13:59 ]

[FreakNL]

Hoi |sWORDs|, het is allemaal niet zo spannend hoor! Maar een lijstje kan best;

2xDC (2012 R2)
1xExchange 2013 (2012 R2)
1xAsterisk (Linux)
1xTerminal Server/MGT bak (2008 r2)
1xDownloader (Windows 10)
1xWebserver (2012 r2, apache)
1xCacti (Linux)
1xFileserver (2008 r2). Fileserver rol is compleet overgenomen door QNAP maar server is nog certificaat server en DFS host, moet ik nog moven.
1xPlex (2012 r2)
1xDatabase/App server (2012 R2) (MySQL, Domoticz, andere zut)
1xVDI (Windows 10)
1xBackup Server (2012 r2, veeam).

Bakken staan 95% van de tijd te idlen.

Een Pro is wel weer 100,- duurder dan een EVO....

Wat bedoel je met
NIC: Je kunt ook een bord met NVMe nemen???

[ Voor 9% gewijzigd door FreakNL op 25-02-2017 14:10 ]

[|sWORDs|]

FreakNL schreef op zaterdag 25 februari 2017 @ 14:08:
Hoi |sWORDs|, het is allemaal niet zo spannend hoor! Maar een lijstje kan best;

2xDC (2012 R2)
1xExchange 2013 (2012 R2)
1xAsterisk (Linux)
1xTerminal Server/MGT bak (2008 r2)
1xDownloader (Windows 10)
1xWebserver (2012 r2, apache)
1xCacti (Linux)
1xFileserver (2008 r2). Fileserver rol is compleet overgenomen door QNAP maar server is nog certificaat server en DFS host, moet ik nog moven.
1xPlex (2012 r2)
1xDatabase/App server (2012 R2) (MySQL, Domoticz, andere zut)
1xVDI (Windows 10)
1xBackup Server (2012 r2, veeam).

Bakken staan 95% van de tijd te idlen.

Een Pro is wel weer 100,- duurder dan een EVO....

Wat bedoel je met
NIC: Je kunt ook een bord met NVMe nemen???

Dual NIC lijkt toch best op NVMe? Ik denk dat het kwam omdat ik net een heel stuk over NVMe geschreven had.
Een QNAP is prima als (media)file storage, maar ik zou daar geen storage voor VM's mee verzorgen.

Je maakte je vooral druk over IO (al hoewel ik met die VM's nog niet echt IO zie, eventueel zou je het downloaden naar de QNAP kunnen verplaatsen, al hoe wel dat op een ARM ook best eens traag kan zijn afhankelijk van wat voor downloads je het over hebt), dan is een Pro toch wel een flink stuk rapper. Er zit ook nog wat tussen in:
pricewatch: Samsung SM961 512GB al hoe wel ik niet weet hoe verstandig het is om daar naar te kijken.

[ Voor 26% gewijzigd door |sWORDs| op 25-02-2017 14:31 ]

[FreakNL]

Over je QNAP opmerking;
Ik heb nog, zoals ik eerder schreef, nog 2x wd red 3tb liggen, ben van plan die middels passthrough vd sata controller icm freenas aan te bieden aan de esx server. Freenas draait dan op een nvme. Is dit dan zfs of iscsi? Schijven draaien dan in (software) raid-1. Deze is bedoeld voor de "trage" storage.

Qua nic kom ik er wel uit. Behalve als jij Een goeie tip hebt over een supported dual nic EN dual m.2 bordje

Mijn media staat trouwens (om het nog ingewikkelder te maken) op 2 USB torentjes (8x, JBOD). Mijn huidige hyper-v host heeft dus heel veel USB drives

Redundantie gaat middels snapraid. Dit moet ik ook nog "oplossen". Ofwel ik doe ze allemaal als RDM doormappen naar een windows VM, maar simpeler is denk ik om een pcie usb kaart te kopen, daar de 2 torentjes (en usb printer) op aan te sluiten en daarna de complete kaart door te mappen op een windows VM.

De Onboard usb doormappen kan ook maar dan verlies ik (denk ik) de mogelijkheid om de install op USB te doen...

[ Voor 39% gewijzigd door FreakNL op 25-02-2017 14:37 ]

[|sWORDs|]

FreakNL schreef op zaterdag 25 februari 2017 @ 14:31:
Over je QNAP opmerking;
Ik heb nog, zoals ik eerder schreef, nog 2x wd red 3tb liggen, ben van plan die middels passthrough vd sata controller icm freenas aan te bieden aan de esx server. Freenas draait dan op een nvme. Is dit dan zfs of iscsi? Schijven draaien dan in (software) raid-1. Deze is bedoeld voor de "trage" storage.
[...]

Ook hier haal je twee zaken door elkaar: filesystems (ZFS) en netwerkprotocollen (iSCSI).

Als we het hebben over shared storage dan zijn er twee mogelijkheden: File based (NFS) en block based (iSCSI, SAN), al kun je block based ook emuleren in een file. In theorie is blocked based beter omdat je geen extra filesystem hebt en dus minder overhead, maar met een filesystem kun je dingen doen die je met standaard diskcontroller (blocks) niet kunt doen, zoals linken naar bestaande data.

Laten we eens kijken naar de qua stappen minst gunstige optie en de gunstigste (in dit geval XPenology):




Als je hier kijkt naar het aantal filesystem dan zie je dat file based zonder VT-d enkel actie op een VM door vier filesystems gaat en maar twee bij block based met VT-d. Echter heb je geen VAAI support met block based. Voorbeeld van het nut van VAAI is het linken bij bestaande data, zoals een full copy van een 13GB VM in 3 in plaats van 36 seconden.

Er is echter ook nog een andere file based optie, NFS. Dat ziet er zo uit met en zonder VT-d:




Of als totale vergelijking:


In het algemeen zou ik het volgende aanraden: iSCSI voor block based en NFS voor file based. Echter is het per storage systeem soms anders. Sommige storage systemen zijn veel beter in iSCSI, sommige in NFS.
File based kan handig zijn qua thin provisioning. VAAI is handig omdat bepaalde taken direct op de storage plaats kunnen vinden in plaats van dat de bewerkingen op de host plaats vinden, maar ook voor zaken zoals locking (plaatselijk) voor meerdere hosts. Wil je echter maximale IO voor normale taken dan is block based normaal gesproken veel beter en bijvoorbeeld QNAP kan wel bepaalde VAAI taken in block based iSCSI.

Freenas: iSCSI (block, ZVOL) is aanbevolen voor VMware, zeker als Freenas ook een VM is. Ook is er dan VAAI support. ZFS doet block emulatie boven op ZFS en met ZFS zou ik absoluut VT-d gebruiken zodat er directe schijftoegang is. Dan krijg je zoiets:


Maar mijn hoofdvraag is, waarom zou je dit doen en niet gewoon de 3TB's direct aan ESXi geven als trage storage? Je hebt maar een enkele host, dus geen shared storage nodig. Daarnaast heb je een QNAP voor overige storage die je wil kunnen delen of eventuele backups. VAAI gaat voor dit type data niet veel toevoegen aangezien dit veelal extra disks aan VM's zijn (geen full clone, geen zero fill, etc). De kans op storage savings met dedupe is niet heel erg groot, je hebt een gigantische hoeveelheid geheugen nodig om je 3-6TB te dedupen, het kost je CPU cycles, etc, etc.

[ Voor 89% gewijzigd door |sWORDs| op 25-02-2017 16:07 ]

[HyperBart]

tvwes schreef op vrijdag 24 februari 2017 @ 15:15:
[...]

Ik denk dat de meter best wel accuraat is. Maar dat weinig mensen hier kunnen lezen en/of rekenen! (mezelf inbegrepen)
Ik schreef dat de UPS zo'n 20Watt verbruikt en de Voltcraft Energy Check 3000 zo'n 56Watt verbruik aangeeft. Als de server het enige aangesloten apparaat is het het verbruik natuurlijk 36Watt en niet 26Watt. Mijn fout maar anderen hadden dit toch ook wel even mogen opmerken!

Wow wow, rustig. Daarom vroeg ik ook achter je som omdat doorgaans mensen nogal vaak hun UPS teveel aftrekken.

Bedankt Firedrunk voor het zeuren over die meting. Ik vond het gezeur omdat ik wist dat die energy check 3000 er niet zover naast zat en nu foto's moest gaan maken etc. Maar hierdoor heb ik de fout in ieder geval zelf gevonden.

Ook hier baseerde FD zich ook maar op wat de meeste ervaringen zijn bij moeilijke (lees: lage) belastingen van computers. De EnergyMonitor doet het wat beter (we hadden het hier in de week nog over met elkaar) maar het is niet zo dat FD je hele meter afzeikte. Je klinkt een beetje gepikeerd terwijl we het net heel goed of met interesse wilden volgen en ik vind oprecht dat je nette cijfers neerzet. Dat is hier wel wat anders met een X9-serie moederbord van SuperMicro maar die build komt dan ook uit een ander tijdperk. Als je dan ook nog in acht neemt dat ik de helft minder geheugen heb en ook een slootje SSD's minus mijn harde schijven dan vind ik het helemaal proper .

Nu deze rekenfout is hersteld komen we op een iets minder gunstig verbruik uit namelijk 36Watt. Dit is nog met een zeer oude PSU waar nog wel wat mee te besparen valt. Maar als ik de de IOPS/Watt en de rekenkracht/Watt en de hoeveelheid RAM/Watt afzet, is dit nog steeds hartstikke mooi. Vind maar eens een server met 64GB ram die 36watt verbruikt?

Geef 'm eens aan @mux die kan er altijd wel wat geks mee

En omdat we elkaar hier voor geen cent vertrouwen heb ik ook nog de moeite genomen de test opstelling te fotograferen.

Helemaal niet, beetje jammer dat je het zo verhit opneemt, zowel FD als ik for that matter vinden dit soort verhalen altijd reuze interessant maar we zien vaak rare of verkeerde meetcijfers voorbij komen van (niet op jou gericht) Tweakers of nieuwe-Tweakers die soms nogal kort door de bocht gaan omdat hier veel misvattingen over bestaan. Als je dan met je ampère-tang nameet was @FireDrunk al meer dan tevreden denk ik.

[stormfly]

Op een synology 916+ met 4x4TB en Intel Nuc ESXi 6.5 omgeving.

Zouden jullie de hypervisor storage voor de VM's koppelen met NFS of iSCSI?

[tvwes]

Pantagruel schreef op zaterdag 25 februari 2017 @ 00:59:
[...]


Blut inderdaad, aan de andere kant ook wel weer klaar voor een tijdje. Wat dat betreft heeft de setup geen klagen (draait min of meer klokje rond sinds november 2012), maar het is en blijft jammer als t poef gaat . Storage kost idd. een flinke slok geld, gelukkig kan ik die overzetten (4 x 4 TB WD green).

Na wat klik en denk werk neig ik naar deze setup:

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 120,50	€ 120,50
1	Supermicro X11SSH-LN4F	€ 259,75	€ 259,75
2	Samsung M391A2K43BB1	€ 173,-	€ 346,-
1	Intel 600p 512GB	€ 165,95	€ 165,95
Bekijk collectie Importeer producten		Totaal	€ 892,20

Evt. kan de Intel 600P in een later stadium om de prijs wat te verzachten.

Tsjonge wat is (dit) geheugen opgelopen in prijs Het is bijna verdubbeld in 6 maanden tijd.
Helaas heeft SM geen versie van dit bord zonder IPMI. (Ik schrijf dit alleen om het een beetje ontopic qua zuinigheid te houden) Voor de meerprijs hoef je het niet laten. Het is een prima bord en vooral dat m.2 slot aan de voorkant is erg prettig ivm eventuele koeling.
Ik heb mijn systeem gekocht voor minstens 5 jaar en ik hoop 7 jaar maar dat zullen de ssd's wel niet halen.
Andere plus van dit bord zijn de hoeveelheid GBe poorten. Daar kan je natuurlijk ook van alles mee doen. Ik heb er eentje via VT-d direct aan mijn NAS vm doorgegeven. Dat scheelt ook weer overhead.
En je hebt nog veel PCIe lanes en sloten over voor uitbreiding in de toekomst.

[tvwes]

HyperBart schreef op zaterdag 25 februari 2017 @ 16:19:
[...]

Wow wow, rustig. Daarom vroeg ik ook achter je som omdat doorgaans mensen nogal vaak hun UPS teveel aftrekken.

Niks aan de hand. Ik ben helemaal niet boos op wie dan ook hoor. Maar neem me niet kwalijk dat ik een beetje sarcastisch word als niemand de fout ziet in de som 56-20=26 Ja ik heb de fout gemaakt maar iedereen hier las erover heen. Over deze stomme rekenfout heen lezen is iets anders dan de waarde in twijfel trekken.

[...]
Ook hier baseerde FD zich ook maar op wat de meeste ervaringen zijn bij moeilijke (lees: lage) belastingen van computers. De EnergyMonitor doet het wat beter (we hadden het hier in de week nog over met elkaar) maar het is niet zo dat FD je hele meter afzeikte. Je klinkt een beetje gepikeerd terwijl we het net heel goed of met interesse wilden volgen en ik vind oprecht dat je nette cijfers neerzet. Dat is hier wel wat anders met een X9-serie moederbord van SuperMicro maar die build komt dan ook uit een ander tijdperk. Als je dan ook nog in acht neemt dat ik de helft minder geheugen heb en ook een slootje SSD's minus mijn harde schijven dan vind ik het helemaal proper .

Ik heb geen enkele negativiteit ervaren en waardeer een kritische vraag zeer. Vandaar dat ik de moeite heb genomen om de claim met een nameting en wat foto's te onderbouwen.

[...]
Geef 'm eens aan @mux die kan er altijd wel wat geks mee
[...]

Voedingslijn van de IPMI chip doorsnijden? Geen gekheid, ik weet niet goed wat je aan dit bord kan tunen. Er is geen audio of andere features. Het enige wat je zou kunnen proberen is de IPMI chip uitzetten maar ik denk dat je dan uberhaubt niet kan booten. Eventuele voltage regulators aanpassen zou kunnen maar probeer dat maar eens op je bord voorelkaar te krijgen. Dit is voor mij een brug te ver. Ik kan best mee komen in de elektronica en heb een leuk lab met scopes, microscoop, pro soldeer stations enzo maar echt gaan solderen aan zo'n bord zal snel tot een kortsluiting leiden. En ik heb er ook niet de tijd voor.
Helaas is @mux erg druk tegenwoordig en heeft hij weinig tijd meer voor tweakers en zn madpsu project. Wat ik echt een heel goed project vind.

Helemaal niet, beetje jammer dat je het zo verhit opneemt, zowel FD als ik for that matter vinden dit soort verhalen altijd reuze interessant maar we zien vaak rare of verkeerde meetcijfers voorbij komen van (niet op jou gericht) Tweakers of nieuwe-Tweakers die soms nogal kort door de bocht gaan omdat hier veel misvattingen over bestaan. Als je dan met je ampère-tang nameet was @FireDrunk al meer dan tevreden denk ik.

Ik vond dat @FireDrunk een beetje zeurde, want ik had in dat build verslag veel tijd gestoken. Wie vind het wel leuk als zn werk in twijfel wordt getrokken. Maar omdat hij twijfelde aan die energy check 3000 van Conrad/Voltcraft , wat nu eenmaal niet een A-merk is en ook niet geijkt is, vond ik dat hij een punt had. Vandaar de nameting, die overigens niet tot een andere uitkomst leidde. En een plaatje spreekt altijd meer dus vandaar die uitgebreidde post.

[|sWORDs|]

Wie zegt dat iedereen er overheen gelezen had? Ik zag een onrealistische waarde en een foute rekensom en was aan het wachten tot je zonder UPS ging meten, er was al voldoende gezegd en de reactie op de reactie nodigde ook niet uit om te reageren. IPMI kun je meestal met een jumper uitschakelen.

[ Voor 9% gewijzigd door |sWORDs| op 25-02-2017 20:22 ]

[tvwes]

Paul schreef op zaterdag 25 februari 2017 @ 10:39:
[...]
Als de meterkast de aanbevolen (maar niet verplichte) ventilatiesleuven heeft dan is dat geen probleem. De onze heeft die sleuven niet en de (geisoleerde) standleiding van de centrale verwarming van het appartementencomplex loopt door onze kast, die geeft echt wel meer af dan 30 Watt
[...]
1) Waar kan ik die NEN-normen opvragen? Kost 56 euro... Met andere woorden, dat kun je niet als argument aanvoeren tegen consumenten om maar te hadden moeten weten wat er wel en niet in die kast mag staan.

Daarnaast, waarom trek je (arbitrair?) de grens bij een PC? Een router is ook een computer met wat software en wat netwerkpoorten. Een alarmkast is ook een computer met een stapel I/O-poorten. En als ik terugdenk aan de alarmkast die mijn ouders hadden, ook daar kwam zeker weten meer dan 30 Joule per seconde aan warmte uit...

True, verzekeringen grijpen alles aan om niet uit te hoeven keren, dat zou inderdaad een reden kunnen zijn om het niet vol te zetten (in die van ons is het al zoeken naar ruimte om de Ziggo-modem op te hangen).
[...]

@Paul, laten we ophouden over de meterkast, de ene meterkast is niet de andere en wij weten niets over zijn meterkast. Misschien staat het ding wel in een passief huis of staat het in een onvervwarmd tochtig achterhuis zoals bij mij. Mijn (goedbedoelde) waarschuwing dat een meterkast slechts een opstelplaats is voor meetapparatuur en distributie van nutsvoorzieningen is niet onredelijk en ook waar. Dat een modem of een alarmkast daar gedoogd worden wil nog niet betekenen dat je er ieder vermogen kan opstellen. En ja je hebt helemaal gelijk dat mijn pc voorbeeld een beetje arbitraire grens is, maar er is meer. Je alarmkast is helaas een slecht voorbeeld want meestal wordt die door een professional opgehangen. Alle aansprakelijkheid verschuift dan ook naar hem. Jij als consument bestelt alleen een alarmkast, jij hoeft dan niets te weten over de regelgeving en of die kast niet teveel hitte produceert dat is allemaal voor de installateur. Maar die PC of NAS plaats jezelf en dan ben jij aansprakelijk.
Het advies was goed bedoeld en ik zal de laatste zijn de mensen hier met een opgeheven vingertje de les gaat lezen.


PS. Breek me de bek niet open over de NEN en de ISSO, wat een geldklopperij. Ook voor de zakelijke afnemer zijn het hele forse bedragen. Ik snap dat al die publicaties en vergadertijgers betaald moeten worden maar of deze taken delegeren aan de NEN de juiste vorm is betwijfel ik.

[CurlyMo]

Een vraag over de SuperMicro X10SDV-TP8F.

Op het bord zit een mini-pcie slot en een m.2 slot. In de mini-pcie wil ik graag de bekende ASMedia 1061 doen, maar daar is waarschijnlijk geen ruimte voor wegens een horizontale geïnstalleerde HBA (in een 1U case). Als alternatief dacht ik nu aan de m.2 slot. In de handleiding (p. 22) zie ik dat de m.2 slot PCIE 3.0 x4 is.

Is het dan mogelijk om in het m.2 slot een m.2 naar mini-pcie express kaart te stoppen en daar weer de mini-pcie express naar dual sata kaart in?

[|sWORDs|]

Ja, maar wat doe je met een HBA, de Intel controller en de ASMedia? Kan het niet met twee?

[CurlyMo]

Het geval is dat dit systeem bij een familielid draait. Daar worden nu alles gebruikt. On-board controllers + HBA. Er is nu een mogelijkheid gekomen om daar voor mij een offsite backup virtuele machine in te stellen. Mijn voorstel is dus om daar een ASMedia voor te gebruiken zodat ik 2 schijven in een ZFS mirror kan doorgeven aan een aparte virtuele machine alleen voor mij. In het geval dat mijn eigen NAS dan wordt gejat kan ik een van de twee schijven uit de mirror halen en zo snel weer een werkende NAS op zetten, zonder de offsite backup offline te halen.

[|sWORDs|]

Helder, zou gewoon moeten werken.

[CurlyMo]

Nog voor de laatste check. Deze dingen moeten dus gewoon passen? De connector op die adapter (2 inkepingen) ziet er namelijk anders uit dan het slot op het moederbord (1 inkeping).

Na even wat te lezen lijkt het over een B+M connector te gaan die in een M slot zou moeten passen.

[ Voor 12% gewijzigd door CurlyMo op 25-02-2017 23:42 ]

[|sWORDs|]

CurlyMo schreef op zaterdag 25 februari 2017 @ 23:35:
Nog voor de laatste check. Deze dingen moeten dus gewoon passen? De connector op die adapter (2 inkepingen) ziet er namelijk anders uit dan het slot op het moederbord (1 inkeping).

Na even wat te lezen lijkt het over een B+M connector te gaan die in een M slot zou moeten passen.

Ik vind het raar dat daar mSATA bij staat.

Als het een M key is en geen 2260 moet het passen.

[ Voor 11% gewijzigd door |sWORDs| op 26-02-2017 00:49 ]

[tvwes]

CurlyMo schreef op zaterdag 25 februari 2017 @ 23:35:
Nog voor de laatste check. Deze dingen moeten dus gewoon passen? De connector op die adapter (2 inkepingen) ziet er namelijk anders uit dan het slot op het moederbord (1 inkeping).

Na even wat te lezen lijkt het over een B+M connector te gaan die in een M slot zou moeten passen.

Goedemorgen,
dit is de eerste adapter die ik zag van dit type. Wel heel veel de andere kant op, een M.2 in een mPCIe slot.
Ter zake, gaat het passen? De connector wel, maar in de breedte zal het maar net gaan als ik op de foto in de manual op pag 1-6 kijk.
Dan de keepjes en nokjes, die specificeren functionaliteit. Wil je twee PCIe lanes of USB of SATA dan nokje op plek B wil je vier PCIe lanes of SATA dan nokje op plek M. Het is aan de fabrikant van het mobo te bepalen welk signaal er uiteindelijk naar de m.2 connector gaat. Als ik kijk naar het block diagram op pag 1-14 lees ik dat er en PCIe 3.0 x4 en SATA port 4 naar toe gaat. Sofar so good maar...

de M.2 interface heeft naast de nokjes ook de pinnen CONFIG 0-3. Dit zijn in feite configuratie bitjes die de interface in bijvoorbeeld of SATA (CONFIG 0-3 aan GND) of PCIe (CONFIG 0,2 en 3 aan GND en CONFIG1 floating) schakelen.
Als ik de ebay beschrijving ("Connects mSATA SSD to NGFF B+M Key motherboard.") dan schat ik in dat het adaptertje in de SATA mode staat en dat je dus geen PCIe signaal gaat krijgen.


Je zal naar een adapter moeten zoeken van dezelfde vorm maar met de nadrukkelijke vermelding dat het om PCIe gaat en niet SATA. Anders zet je SATA op de ASM1061 en die zal dat niet fijn vinden.
Mocht je wel zo'n adapter vinden vergeet dan niet in de BIOS je PCIe speed voor het M.2 slot terug te zetten ivm de ASM1061 chip. Zie pag 4-11.

Succes

[CurlyMo]

@tvwes goed opgemerkt. Ik kan inderdaad (nog) geen m.2 naar mini-pcie pcie mode vinden

Is het overigens niet zo dat de mini-pcie de adapter in een bepaalde modus zet i.p.v. de adapter dat zelf forceert?

[ Voor 39% gewijzigd door CurlyMo op 26-02-2017 10:17 ]

[tvwes]

@CurlyMo ik moest ook even nadenken hoe het ook al weer werkte met die verschillende functies in die M.2 connector. Gelukkig dat ik vrij was want anders was jij en/of je familie niet blij geweest als dit had geprobeerd. Ik heb nog even wat gezocht maar kon niet zo snel iets vinden. Het zal ongetwijfeld wel bestaan.


Voor de tussen tijd heb ik nog een andere suggestie. Waarom niet met externe USB schijven? Je schreef dat het remote is. Dan is zelfs USB2 nog snel genoeg. Is er een calamiteit dan kan je zo een externe USB schijf meenemen om van te recoveren.

[CurlyMo]

tvwes schreef op zondag 26 februari 2017 @ 10:29:
Voor de tussen tijd heb ik nog een andere suggestie. Waarom niet met externe USB schijven? Je schreef dat het remote is. Dan is zelfs USB2 nog snel genoeg. Is er een calamiteit dan kan je zo een externe USB schijf meenemen om van te recoveren.

Dat is ook een optie, maar minder gewenst. Ik kan die adapter eens bestellen en dan doormeten.

[tvwes]

Dan moet je meten of pin 69 aan GND hangt.
75 CONFIG_2 (GND bij SATA en PCIe)
73 GND
71 GND
69 CONFIG_1 (GND bij SATA)

Je zou ook moeten meten wat er precies aan de mPCIe connector wordt doorgegeven. Ik heb daar geen specs van maar daar zou je zelf naar kunnen zoeken. Met een beetje geluk hebben routen ze alleen sata door. Zijn pin 53 en 55 niet doorverbonden naar de mPCIe dan weet ik bijna zeker dat dit een SATA only adaptertje is. Deze pinnetjes geven een PCIe klok signaal door en worden niet gebruikt bij SATA.

Voor het geld hoef je het niet te laten. Zorg voor hele goede en scherpe probes want die pinnetjes zitten heel dicht op elkaar.

[CurlyMo]

Het moederbord heeft ook een mini-pcie die ook mSata doet. De mini-pcie kaartjes moeten dus ook op een of andere manier doorgeven welke modus de mini-pcie moet draaien. Ik heb dus het idee dat die adapter gewoon domme kaartjes zijn.

[tvwes]

@CurlyMo die kaartjes zijn ook dom. Dat is wat ik probeer uit te leggen. Door bepaalde bruggetjes/jumpers te maken op pinnetjes schakelt het mobo het slot in een bepaalde modus. Een device heeft die bruggetjes goed staan. Maar een adapter KAN aan de andere kant de bruggetjes anders hebben staan en dan gaat het mis. Het is niet zo dat het mobo de configuratie pinnetjes van jouw mPCIe device kan uitlezen. Het moet echt volledig kloppen.
Ik hoop dat ik het voldoende duidelijk heb uitgelegd anders stuur je maar een bericht want dit heeft weinig meer met het topic te maken.

[CurlyMo]

Laatste hierover Een domme adapter is perfect, want dan kan je wanneer nodig zelf de juiste jumper instelling forceren door een brug te maken tussen de juiste pinnen.

[tvwes]

Ik denk dat je die adapter niet gaat vinden. Veel te gevaarlijk, verkeerde instelling en POEF. Daarnaast denk ik ook dat niet gaat werken omdat je vermoedelijk bepaalde pinnen niet MAG aansluiten voor een bepaalde modus. Het is of een PCIe modus of een SATA modus adaptertje maar niet instelbaar.

[CurlyMo]

Dus mijn aanvankelijke idee is te gevaarlijk. Dan gaan we naar idee 2. Een m.2 naar u.2 naar sata:
pricewatch: MSI TURBO U.2 HOST CARD

Nu vind ik op ebay allemaal sff-8643 kabels naar 4x sata. Kan dat zo simpel? Kan u.2 4 sata schijven aansturen?

[tvwes]

Nee, zo werkt het niet. Er wordt maar een enkel SATA kanaal (4) doorgeven naar de M.2 connector bij dit bord. Je kan wel die adapter en breakout kabel kopen maar er zal er maar eentje actief. Ik zou even zoeken naar een M.2 bordje met een enkele SATA connector. Ik heb die gezien toen ik voor jouw naar PCIe versie zocht.
Ik ging ervan uit dat je die ASmedia nodig had om als losse controller via VT-d door te geven naar je eigen VM. En dat je familie de ACHI controller voor zich zelf gebruikt.

[CurlyMo]

tvwes schreef op zondag 26 februari 2017 @ 12:42:
Ik ging ervan uit dat je die ASmedia nodig had om als losse controller via VT-d door te geven naar je eigen VM. En dat je familie de ACHI controller voor zich zelf gebruikt.

Owja, je hebt gelijk. Damn

Edit 1:
Dan toch maar gewoon eens proberen of oorspronkelijke adapter niet gewoon past in de mini-pcie onder de verticaal geplaatste HBA.

Edit 2:
En waarom heb ik daar niet aan gedacht. Ik kan natuurlijk gewoon een mini-pcie verlengsnoer pakken zoals deze. Dan kan ik gewoon direct de mini-pcie aansluiting gebruiken

[ Voor 45% gewijzigd door CurlyMo op 26-02-2017 13:01 ]

[tvwes]

Op veler verzoek de stroom metingen aan mijn ESXi all-in-one ZONDER de UPS

Nadat er wat feedback was gegeven over de wijze van meten, het feit dat de UPS er tussen zat en nog wat zaken had ik vanochtend vroeg een maintenance venstertje gepland en heb ik nu wat nieuwe data. Onderaan heb ik nog wat antwoorden gegeven op specifieke posts. Mochten er nog vragen zijn dan hoor ik dat graag.

Alle metingen zijn gedaan met een volledig systeem en drie actieve netwerk poorten (IPMI en 2x LAN) direct aan het stopcontact.
Ook is nergens aan enige vorm van energie besparing gedaan. Alles draait en ESXi staat op balanced.


Het verbruik als het systeem niet draait maar wel IPMI actief is en twee LAN poorten.


In de BIOS met de setting "max cpu non-turbo" dit is eigenlijk gelijk aan 100% CPU load in ESXi. Maar dat kan hoger worden als er I/O gedaan wordt. Dat klopt aardig als je uitgaat van een 45Watt cpu.


En hier zien we de piek belasting als ik 19 VM's start. Alle devices worden dan gebruikt, NVME, SATA SSD's en HDD's alsmede LAN. Dat tikt aan. Ook leuk om te zien is hoe de PF steeds beter wordt naarmate de load hoger wordt. In ieder geval klopt de claim van ANTEC dat er PFC in de voeding zit.


Het minimale gebruik over 1 minuut gemeten bij 15% load door 19 VM's.


Het gemiddelde gebruik over 1 minuut gemeten bij 15% load door 19 VM's.


Het verbruik als het systeem niet draait maar IPMI niet actief is. IPMI is uitgezet dmv jumper JPB1. Het scheelt minder dan een Watt. Ook bleef de IPMI lan poort actief, maar je kon er niet meer naar connecten.


ESXi 15% load idle maar IPMI niet actief is. IPMI is uitgezet dmv jumper JPB1. Het scheelt iets meer dan een Watt.


Het maximale verbruik tijdens de spinup.

---

|sWORDs| schreef op zaterdag 25 februari 2017 @ 20:21:
Wie zegt dat iedereen er overheen gelezen had? Ik zag een onrealistische waarde en een foute rekensom en was aan het wachten tot je zonder UPS ging meten, er was al voldoende gezegd en de reactie op de reactie nodigde ook niet uit om te reageren. IPMI kun je meestal met een jumper uitschakelen.

Dat is een beetje gratuite opmerking. Als je zo'n (fout) ziet dan kan je toch even de poster daar op wijzen. Jij bent overal als de kippen bij en dan niks zeggen terwijl je het wel weet...
Ik heb je voorstel om IPMI uit schakelen via de jumper uitgevoerd. Bij dit bord X11SSH-LN4F moet je JPB1 pag 61 van de default 1-2 naar 2-3 zetten. Het heeft zeker een meetbaar effect (ongeveer 1 Watt) maar het is niet hetzelfde als een bord zonder BMC. De chip blijft actief ondermeer voor de VGA. Als je voor low power wilt gaan moet je een bord nemen zonder BMC. Deze test bracht nog meer aan het licht, waarvoor dank. FAN control loopt ook via de BMC en als deze uitstaat dan spinnen ze maximaal op dit bord.

---

HyperBart schreef op woensdag 22 februari 2017 @ 14:43:
[...]
EDIT: wacht eens, je trekt de UPS er van af. Laat die som eens even zien?

Zie boven en deze keer geen sommen, alsjeblieft

---

mrmrmr schreef op vrijdag 24 februari 2017 @ 16:21:
Een powerfactor van 0,72 is redelijk normaal voor een ATX voeding bij dit verbruik. De power factor van computervoeding is doorgaans tamelijk laag. Vooral bij voedingen die laag worden belast.

Ik kon me dat niet voorstellen een PF van 0.72 bij deze voeding. Dat zou echt slecht zijn. Nu de UPS er tussenuit uit is meet ik een PF van 0.89 van 35Watt oplopend tot een PF van 0.93 bij 80Watt. Alleen als de server soft-uit is en IPMI actief meet ik een PF van 0.42 bij zo'n 4-5 Watt maar dat was te verwachten.
De "active PFC" claim van antec klopt dus.
Ik wist van metingen van jaren terug aan dit model UPS dat die de PF erg negatief beinvloed en dat is nu weer even aangetoond.

Ik heb een Sandy Bridge server uit 2011 die 32,6W (pf 0,8) verbruikt in idle. De server kan nooit volledig in slaap komen omdat er veel processen nodig en actief zijn. Het lukt wel goed de 2 x 7200 rpm HDD's in een slaap toestand te brengen en HIPM+DIPM toe te passen op Samsung EVO SSD's.

Wat voor voeding zit in die server? En hoe heb je dit gemeten?

---

FireDrunk schreef op donderdag 23 februari 2017 @ 20:04:
Ik denk vooral dat die meter niet zo accuraat is Of we maken dus allemaal een rekenfout

Nu de UPS ertussen uit is hoefde ik niet te rekenen.:) Gelukkig bleek mijn claim dat de UPS zo'n twintig Watt verbruikt redelijk te kloppen. Redelijk, omdat het gemiddelde verbruik van de server niet 36 maar eerder 39 Watt bleek te zijn. Ik had die twintig Watt bepaald bij een veel hogere load (130Watt) op de UPS.

---

Ik hoop dat een ieder een beter beeld van het verbruik van een "zuinige" ESXi skylake server. En houd allemaal in het achterhoofd dat deze meetwaarden ook een heleboel verbruik door storage meten.

[tvwes]

CurlyMo schreef op zondag 26 februari 2017 @ 12:43:
[...]
En waarom heb ik daar niet aan gedacht. Ik kan natuurlijk gewoon een mini-pcie verlengsnoer pakken zoals deze. Dan kan ik gewoon direct de mini-pcie aansluiting gebruiken

Dat is een prima plan zo'n kabeltje. Als je de ASmedia daarna veilig kan monteren ben je het mannetje. Laat me nog even nadenken of hier nog addertjes onder het gras zitten. Van de M.2 interface weet ik meer dan deze mPCIe. Het kabeltje ziet er geschikt uit, gewoon 1op1 een verlengkabel.

[|sWORDs|]

tvwes schreef op zondag 26 februari 2017 @ 13:06:

[...]

Dat is een beetje gratuite opmerking. Als je zo'n (fout) ziet dan kan je toch even de poster daar op wijzen. Jij bent overal als de kippen bij en dan niks zeggen terwijl je het wel weet...
Ik heb je voorstel om IPMI uit schakelen via de jumper uitgevoerd. Bij dit bord X11SSH-LN4F moet je JPB1 pag 61 van de default 1-2 naar 2-3 zetten. Het heeft zeker een meetbaar effect (ongeveer 1 Watt) maar het is niet hetzelfde als een bord zonder BMC. De chip blijft actief ondermeer voor de VGA. Als je voor low power wilt gaan moet je een bord nemen zonder BMC. Deze test bracht nog meer aan het licht, waarvoor dank. FAN control loopt ook via de BMC en als deze uitstaat dan spinnen ze maximaal op dit bord.
[...]

40 Watt is een prima verbruik en meer in de lijn der verwachting. Als het verschil echt maar 1 Watt is dan zou ik voor het gemak van IPMI kiezen, je zou kunnen proberen of je nog kunt booten als je JPG1 omzet en het verschil meten. Ik denk dat je een redelijke kans hebt gezien de GPU in de CPU en de C236 chipset.

edit: Laatste stuk beter in een PM.

[ Voor 26% gewijzigd door |sWORDs| op 26-02-2017 16:44 ]

[mrmrmr]

Wat voor voeding zit in die server? En hoe heb je dit gemeten?

Een Huntkey Jumper 300G uit 2011.

Gemeten met ELV Energy Master Basic 2.

[FireDrunk]

@tvwes
Top uitleg! Fijn dat je er zoveel aandacht aan besteed! Toch al met al een een prima setup zo!
Ik zou tekenen voor 36W Ik moet weer eens gaan meten, maar met 3 servers, FibreChannel, Quad LAN en 7200RPM schijven denk ik dat ik *iets* hoger uit kom

Ach, het blijft hobby

[tvwes]

@mrmrmr Toch opmerkelijk dat die Antec EarthWatt 380 van mij die nog ouder (2008) is een significant beter PF heeft dan die Huntkey van jouw. (0.9 vs 0.8)
De meter kan ook nog een verschil opleveren, maar zoveel kan ik me miet voorstellen.
Wel opmerkelijk dat die UPS zo'n negatieve invloed had he? (aan de ups gemeten 0.72 vs direct aan wcd 0.9 en beter)
Zolang de kleinverbruiker niet wordt aangeslagen op blindvermogen zullen de meesten zich niet echt druk maken over de PF van hun apparatuur.

Ik zal die ELV ook eens bestellen voor de vergelijking.

Goed weekend

[tvwes]

@FireDrunk
Niks dan het beste voor tweakers!
Dit is mijn eerste all-in-one server. Ik had hiervoor altijd losse storage. Is het helemaal ideaal? Nee, je levert echt wel op bepaalde zaken in. Maar voor dit topic namelijk een zuinige ESXi server en helemaal eentje voor de gemiddelde tweaker is het haast niet te kloppen qua prijs/prestatie. De performance van de VMXNET3 virtuele nics is zo'n 10Gbit. 10Gbit zonder extra hardware en daarmee verbruik is heel goed.
Ik heb ook FC en IB, helaas niks sneller dan gbit ethernet en dat werkt opzich allemaal top. Vooral FC is erg goedkoop, supersimpel en tot 4 clients kan je ook nog zonder switch uit de voeten. Maar het kost wel redelijk wat vermogen per kaart.
Als je vMotion enzo wilt dan heb je wel losse storage nodig. Maar wie heeft dat nu hier echt nodig thuis? Ik beschouw mezelf al een echte power user met hele hoge eisen. Maar ook ik heb thuis nooit met meerdere servers tegelijk gedraaid voor een echte HA omgeving. Het enige wat ik dubbel heb zijn mijn OpenBSD kastjes voor firewall, tijd, dns etc. Nu kan ik probleemloos een van die kastjes offline nemen voor onderhoud zonder dat alles platligt.

Ik denk dat het me zeker wel gaat bevallen dit systeem. Ik heb nog wat losse eindjes, het automatisch starten van alle VM's gaat nog niet lekker alsmede het uitschakelen. Het verbruik is veel minder dan met twee losse servers, maar voor de economische besparing had ik het nooit hoeven en moeten doen. De enige reden was dat mijn oude hardware (hoofdzakelijk mobo en disks) niet meer leverbaar is en daarmee onvervangbaar. Zou er nu iets kapot gaan dan zou ik dagen of weken geen server mee gehad hebben. Dat is voor mij onwerkbaar, vandaar de stap om nu preventief alles te vervangen.. En natuurlijk is het ook fijn om weer eens wat nieuws te hebben ivp dat antiek.

Goed weekend.

PS In deze server zitten ook 7200rpm schijven hoor...

[mrmrmr]

@tvwes

Bij lage lasten zie je typisch een lagere pf. Dit is een voorbeeld met 850W voedingen waar je dat effect kan zien bij lage belasting. Nog een voorbeeld met 450-560W voedingen.

Ik ben het met je eens dat het voor ons als kleinschalige gebruikers een wat lagere pf niet zo'n probleem is, er is mogelijk een verwaarloosbaar verlies in warmte door kabels. Voor energieleveranciers is er wel een (hier klein) nadeel.

Voor mij hoef je geen ELV Energy Master Basic 2 aan te schaffen, maar niettemin ben ik wel benieuwd hoe deze ELV zich verhoudt tot jouw tangmeter.

[CurlyMo]

Een vraag over USB als datastorage. Er staat dat je daarna geen USB passthrough meer kan doen, maar een USB schijf via de "devices" aan een VM koppelen kan dan toch nog steeds? Daarnaast vraag ik me af waarom je helemaal geen USB passthrough meer kan doen? Je gebruikt dan toch maar één USB controller als datastore?

[|sWORDs|]

CurlyMo schreef op zondag 26 februari 2017 @ 19:09:
Een vraag over USB als datastorage. Er staat dat je daarna geen USB passthrough meer kan doen, maar een USB schijf via de "devices" aan een VM koppelen kan dan toch nog steeds? Daarnaast vraag ik me af waarom je helemaal geen USB passthrough meer kan doen? Je gebruikt dan toch maar één USB controller als datastore?

Nee, het verbinden via devices gaat via usbarbitrator wat je uit zet om USB als storage te kunnen gebruiken. Het combineren met VT-d van een andere USB controller zou wel moeten kunnen.

[ Voor 8% gewijzigd door |sWORDs| op 26-02-2017 19:40 ]

[tvwes]

@mrmrmr Bedankt voor deze voorbeelden. Als ik naar jouw voorbeeld van die 450-560W voedingen kijk dan zie ik dat het al een stuk gunstiger is bij 10% tot 20% belasting dan bij die andere review van die grote voedingen. Ook laat het zien dat er voeding zijn die een PF van meer dan 90% bij 10% belasting. Dus onmogelijk is mijn meting niet maar toch opmerkelijk dat zo'n oude voeding het zo goed doed.
Mijn nieuwsgierigheid is gewekt. Ik zal eerst die die ELV bestellen en kijken wat die meet en daarna zal ik eens bedenken hoe ik dit met de scoop (veilig) kan meten. De spanning is geen probleem maar de stroom weet ik nog niet helemaal. Ik heb wel van die spoeltjes om stroom te meten maar ik weet niet of die een zekere delay hebben. Een 3 fase power analyzer heeft ook losse stroom spoelen voor de stroom meting maar ik weet niet of daar iets van correctie plaatsvind om alles in fase te laten verlopen. Ik zou eens een berichtje aan @mux kunnen sturen of die dat weet. Ik kan dan een screenshot maken van de scoop met spanning en stroom in beeld. Dan kunnen we ook zien hoe ranzig de spanning weer terug komt.

[tvwes]

@CurlyMo zoals @|sWORDs| al schreef: dat gaat niet. Dat is de reden dat ik het niet heb gedaan in mijn ESXi all-in-one Lees dat anders nog eens door in de paragraaf "De configuratie"
Mijn advies is niet je usbarbitrator uitzetten, maar of een losse PCIe USB controller of je ASmedia. Misschien bestaat er wel een M.2 formfactor met USB controller. Als je hiernaar gaat zoeken let dan wel op dat er een echte USB controller op zit en niet een doorgeef kaartje van een USB signaal want dat kan ook.
Wat je ook gaat doen, het moet iets zijn met een controller chip anders gaat je plan en/of VT-d niet werken.

Waarom niet dat mPCIe kabeltje wat je daarstraks had gevonden?


Oh en je gebruikt niet de USB controller als datastore. Je gebruikt een "Mass Storage" class device op een USB controller als datastore.

[CurlyMo]

|sWORDs| schreef op zondag 26 februari 2017 @ 19:37:
[...]

Nee, het verbinden via devices gaat via usbarbitrator wat je uit zet om USB als storage te kunnen gebruiken. Het combineren met VT-d van een andere USB controller zou wel moeten kunnen.

Nu zie ik in de lsusb output dit:

code:

Bus 003 Device 004: ID 174c:5136 ASMedia Technology Inc. ASM1053 SATA 6Gb/s brid                                     ge
  iSerial                 1 00000000000000000000
Bus 003 Device 002: ID 0781:5571 SanDisk Corp. Cruzer Fit <- ESXi install
  iSerial                 3 4C530001150622111544
      (Bus Powered)
  (Bus Powered)
Bus 002 Device 002: ID 8087:8000 Intel Corp.
  iSerial                 0
Bus 001 Device 002: ID 8087:8008 Intel Corp.
  iSerial                 0
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
  iSerial                 1 0000:00:14.0
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
  iSerial                 1 0000:00:14.0
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
  iSerial                 1 0000:00:1d.0
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
  iSerial                 1 0000:00:1a.0

En in ESXi zie ik het volgende:


Betekent dat dan dat ik USB EHCI #1 kan gebruiken voor datastore en EHCI #2 kan doorgeven aan een van mijn VM's?

@tvwes Deze vraag gaat over mijn eigen systeem. Die andere vraag over de offsite backup.

[tvwes]

CurlyMo schreef op zondag 26 februari 2017 @ 20:15:
[...]

Nu zie ik in de lsusb output dit:

code:

Bus 003 Device 004: ID 174c:5136 ASMedia Technology Inc. ASM1053 SATA 6Gb/s brid                                     ge
  iSerial                 1 00000000000000000000
Bus 003 Device 002: ID 0781:5571 SanDisk Corp. Cruzer Fit <- ESXi install
  iSerial                 3 4C530001150622111544
      (Bus Powered)
  (Bus Powered)
Bus 002 Device 002: ID 8087:8000 Intel Corp.
  iSerial                 0
Bus 001 Device 002: ID 8087:8008 Intel Corp.
  iSerial                 0
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
  iSerial                 1 0000:00:14.0
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
  iSerial                 1 0000:00:14.0
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
  iSerial                 1 0000:00:1d.0
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
  iSerial                 1 0000:00:1a.0

En in ESXi zie ik het volgende:
[afbeelding]

Betekent dat dan dat ik USB EHCI #1 kan gebruiken voor datastore en EHCI #2 kan doorgeven aan een van mijn VM's?

@tvwes Deze vraag gaat over mijn eigen systeem. Die andere vraag over de offsite backup.

Wat voor mobo is dit?
Ik denk dat het wel zal werken ook al moet ik er nog even over naar denken.
Maar waarom zou je dit doen? Je moet de usbarbitrator service nog steeds uitschakelen. In jouw voorstel heeft slechts een enkele vm USB. En dat is dan nog USB2. Je zou eventueel de xhci controller ook kunnen doorgeven.
Je moet ook nog opletten welke controller je doorgeeft. Misschien geef je alleen interne poorten of juist alleen externe door.

[CurlyMo]

tvwes schreef op zondag 26 februari 2017 @ 20:43:
[...]
In jouw voorstel heeft slechts een enkele vm USB. En dat is dan nog USB2. Je zou eventueel de xhci controller ook kunnen doorgeven.

Precies mijn doel
1. VM USB passthrough voor een externe HDD.
2. USB data storage voor ESXi
3. USB ESXi installatie.

[|sWORDs|]

CurlyMo schreef op zondag 26 februari 2017 @ 20:46:
[...]

Precies mijn doel
1. VM USB passthrough voor een externe HDD.
2. USB data storage voor ESXi
3. USB ESXi installatie.

Dat zou moeten werken en dan zou ik xHCI voor 2 gebruiken, 3 heeft er niets aan en 1 is maar een enkele VM. 2 zouden meerdere VM's kunnen zijn. Wel heel belangrijk is UASP, QD van 1 zou funest zijn.

[ Voor 21% gewijzigd door |sWORDs| op 26-02-2017 21:20 ]

[CurlyMo]

|sWORDs| schreef op zondag 26 februari 2017 @ 21:15:
[...]
Dat zou moeten werken en dan zou ik xHCI voor 2 gebruiken.

Waarom? Nu is de xHCI de ESXi installatie.

[|sWORDs|]

CurlyMo schreef op zondag 26 februari 2017 @ 21:17:
[...]

Waarom? Nu is de xHCI de ESXi installatie.

Omdat daar waarschijnlijk het meeste op gebeurd? Er zijn wel wat geluiden dat skylake alleen vanaf xHCI wil booten, dus ik zou het eerst even testen. Heb je geen UASP schijf liggen?

[CurlyMo]

|sWORDs| schreef op zondag 26 februari 2017 @ 22:00:
[...]
Heb je geen UASP schijf liggen?

Nee, alleen een USB3.0 externe HDD en een zooi cruzer fit usb sticks.

[tvwes]

Skylake (c236) heeft alleen maar de xHCI controller. Er is geen EHCI meer. Dat is een probleem bij legacy toepassing van die kunnen niet overweg met de xHCI controller.

Zie bijvoorbeeld dit artikel over het verdwijnen van de ehci controller in skylake

[|sWORDs|]

tvwes schreef op zondag 26 februari 2017 @ 22:07:
Skylake (c236) heeft alleen maar de xHCI controller. Er is geen EHCI meer. Dat is een probleem bij legacy toepassing van die kunnen niet overweg met de xHCI controller.

Zie bijvoorbeeld dit artikel over het verdwijnen van de ehci controller in skylake

Zijn het dan wel drie volledig gescheiden controllers? Hoe doen ze USB2 en hoe is de verdeling van de poorten?

[tvwes]

Bij het mobo van CurlyMo zijn het inderdaad drie losse controllers. Die twee EHCI controllers leveren USB2. Omdat ik niet weet om welk bord het gaat kan ik niet zeggen hoe de poorten zijn verdeeld.
@CurlyMo, welk bord heb je nu?

[CurlyMo]

tvwes schreef op zondag 26 februari 2017 @ 22:43:
Bij het mobo van CurlyMo zijn het inderdaad drie losse controllers. Die twee EHCI controllers leveren USB2. Omdat ik niet weet om welk bord het gaat kan ik niet zeggen hoe de poorten zijn verdeeld.
@CurlyMo, welk bord heb je nu?

pricewatch: ASRock Z87E-ITX

[tvwes]

CurlyMo schreef op zondag 26 februari 2017 @ 22:44:
[...]

pricewatch: ASRock Z87E-ITX

Omdat de manual geen block diagram heeft is het lastig een onderbouwd advies te geven.
Als je er windows op heb staan kan je USB device tree viewer installeren en zo in kaart brengen welk poort bij welke controller hoort. Dan kan je daarna bepalen welke controller je evt wilt doorgeven.

[CurlyMo]

tvwes schreef op zondag 26 februari 2017 @ 23:05:
[...]
Omdat de manual geen block diagram heeft is het lastig een onderbouwd advies te geven.

Ik ga wel even proberen.

Ik kan nu namelijk de xHCI usb controller niet in passthrough zetten. Waarschijnlijk weet ESXi dat hij daar op draait. Dat zal dus niet zo snel fout gaan. Verder wil ik vooral de bootcode op USB zetten en daarna de root weer op mijn passthrough schijven.

[ Voor 35% gewijzigd door CurlyMo op 26-02-2017 23:10 ]

[|sWORDs|]

CurlyMo schreef op zondag 26 februari 2017 @ 22:44:
[...]

pricewatch: ASRock Z87E-ITX

Dat is geen Skylake, maar Haswell. Ik weet niet of die nou wel of geen UASP support hebben op de xHCI.

[tvwes]

UASP is onderdeel van de USB 3 specs en zit daarom in de xHCI controller. Echter moet de mobo fabrikant wel een licentie per mobo betalen om het te mogen activeren. Wederom is de manual niet echt duidelijk maar ik vermoed dat UASP er wel op zit.
Waarom ben je zo geinteresseerd in UASP in deze context? Als ESXi bootdisk voegt het weinig toe, USB2 was en is prima. Of is het voor de USB datastore? Gaat dat uberhaubt werken met ESXi? Het is niet alleen de hardware, je hebt ook de UAS driver nodig. Heeft ESXi die wel?

[|sWORDs|]

tvwes schreef op maandag 27 februari 2017 @ 00:08:
UASP is onderdeel van de USB 3 specs en zit daarom in de xHCI controller. Echter moet de mobo fabrikant wel een licentie per mobo betalen om het te mogen activeren. Wederom is de manual niet echt duidelijk maar ik vermoed dat UASP er wel op zit.
Waarom ben je zo geinteresseerd in UASP in deze context? Als ESXi bootdisk voegt het weinig toe, USB2 was en is prima. Of is het voor de USB datastore? Gaat dat uberhaubt werken met ESXi? Het is niet alleen de hardware, je hebt ook de UAS driver nodig. Heeft ESXi die wel?

Voor de datastore, SATA is eigenlijk al niet ideaal met de queuedepth van 31/32, maar met USB heb je echt een probleem.

Intel 520:

type	read IOPS	write IOPS
BOT	5200	6700
UASP	16300	34400
SATA	60000	60300

[ Voor 10% gewijzigd door |sWORDs| op 27-02-2017 09:51 ]

[tvwes]

Maar heeft ESXi de UAS driver?

[|sWORDs|]

tvwes schreef op maandag 27 februari 2017 @ 09:56:
Maar heeft ESXi de UAS driver?

In theorie zit alles noodzakelijk voor UASP in ESXi 6 en hoger. Maar of het werkt? Geen idee, dit is geen supported configuratie. Ook is er voor zo ver ik weet een 2TB maximum. Maar UASP is natuurlijk niet het enige voordeel van de xHCI controller.

Edit: Misschien kan ik donderdagavond de eHCI en xHCI controllers eens vergelijken en direct kijken of UASP een verschil maakt op Broadwell (Xeon D SoC) en/of Haswell (C216).

[ Voor 28% gewijzigd door |sWORDs| op 27-02-2017 10:43 ]

[CurlyMo]

Ik snap jullie zorg over de snelheid van het geheel, maar het doel is om alleen de bootcode van mijn ZFS VM op de USB storage te zetten en deze daarna door te booten van 2 SSD's. De overige VM's komen dan op NFS shares te staan vanaf mijn ZFS VM. Snelheid is hier dus nauwelijks van toepassing.

[tvwes]

|sWORDs| schreef op maandag 27 februari 2017 @ 10:18:
[...]

In theorie zit alles noodzakelijk voor UASP in ESXi 6 en hoger. Maar of het werkt? Geen idee, dit is geen supported configuratie. Ook is er voor zo ver ik weet een 2TB maximum. Maar UASP is natuurlijk niet het enige voordeel van de xHCI controller.

Ik dacht dat zelfs vanaf 5.5 build 2143827 er al USB3 support in de vorm van de xHCI driver aanwezig was. Maar ... zoals je zelf al aangaf in theorie ...
Ik denk het niet, vergelijk het met Windows 7 en en Windows 8 of later. Beide ondersteunen USB3 maar alleen Windows 8 heeft de UAS driver. Dit moet door VMWare gemaakt worden. En waarom zouden zij moeite doen voor iets wat niet supported is?
Tot slot denk ik dat de UAS driver er niet in zit omdat toen ik mijn nieuwe ESXi 6.5 server aan het inrichten was ik dit heb geprobeerd. Ik had in mijn build verslag geschreven dat ik een usb datastore had geprobeerd en daar niet echt van onder de indruk was, los van het het verliezen van usb-passthrough. Ik moet eerlijk toegeven dat ik het toen niet heel precies heb gemeten.

Maar als iemand zich geroepen voelt om eerst Windows 8 of nieuwer op dat mobo te installeren dan de stick te benchen en vervolgens ESXi op het mobo to installeren, dezelfde windows nu als guest te installeren, de usb stick als datastore in te richten. een vmdk op de nieuwe datastore te maken, toevoegen aan windows en tot slot opnieuw te benchen. Dan heel graag

Oh, en wie zich geroepen voelt voor deze test ... overtuig jezelf van te voren dat je stick echt UASP support heeft. Je zou windows 7 kunnen installeren, dat heeft geen UAS driver. Tijdens de windows 8 bench zou je een lagere cpu load een betere prestaties moeten zien.

[CurlyMo]

tvwes schreef op maandag 27 februari 2017 @ 11:01:
[...]
[...] los van het het verliezen van usb-passthrough. [...]

Het punt was toch dat je geen vt-d usb passthrough verliest, alleen geen USB meer aan je VM's kan hangen via de software manier?

[tvwes]

CurlyMo schreef op maandag 27 februari 2017 @ 11:00:
Ik snap jullie zorg over de snelheid van het geheel, maar het doel is om alleen de bootcode van mijn ZFS VM op de USB storage te zetten en deze daarna door te booten van 2 SSD's. De overige VM's komen dan op NFS shares te staan vanaf mijn ZFS VM. Snelheid is hier dus nauwelijks van toepassing.

Klopt je kan via VT-d de usb controllers wel toewijzen aan een VM. Niet USB devices.

Mijn zorg was niet zozeer de snelheid maar het verliezen van de usb passthrough. Bij jouw is dat met drie controllers misschien iets minder een probleem. Jij kan twee controllers via VT-d toewijzen aan VM's. Alleen zal je in kaart moeten brengen welke poort bij welke controller hoort. Daar was dat programmaatje voor. Maar dan moet je wel tijdelijk windows installeren op je asrock bordje.

[ Voor 5% gewijzigd door tvwes op 27-02-2017 11:08 ]

[FireDrunk]

CurlyMo schreef op zondag 26 februari 2017 @ 23:07:
[...]

Ik ga wel even proberen.

Ik kan nu namelijk de xHCI usb controller niet in passthrough zetten. Waarschijnlijk weet ESXi dat hij daar op draait. Dat zal dus niet zo snel fout gaan. Verder wil ik vooral de bootcode op USB zetten en daarna de root weer op mijn passthrough schijven.

CurlyMo schreef op maandag 27 februari 2017 @ 11:00:
Ik snap jullie zorg over de snelheid van het geheel, maar het doel is om alleen de bootcode van mijn ZFS VM op de USB storage te zetten en deze daarna door te booten van 2 SSD's. De overige VM's komen dan op NFS shares te staan vanaf mijn ZFS VM. Snelheid is hier dus nauwelijks van toepassing.

Als ik het dus goed begrijp, wil dit doen omdat je de SSD's in mirror hebt? Je wil dus eigenlijk een gemirrorde ZFS root waar de VM van kan booten?

Heb je al eens gekeken van welke boot media de (relatief) nieuwe UEFI implementatie kan booten?

[CurlyMo]

Wat ik nu heb:
1. ASMedia mini-pcie met 2 SSD als:
- 1 partitie datastore
- 1 partitie voor ZFS cache via RDM.
- 1 partitie voor ZFS log via RDM.
2. Onboard controller met 4 HDD passthrough voor ZFS
3. 1 USB stick voor ESXi install.

Wat ik wil is:
1. 1 USB stick voor ESXi install.
2. 1 USB stick voor ESXi datastore.
3. 2 SSD passthrough voor ZFS:
- 1 partitie datastore
- 1 partitie voor ZFS cache
- 1 partitie voor ZFS log
4. Onboard controller met 4 HDD passthrough voor ZFS
5. 1 USB stick voor ESXi install.

Daarbij is het doel dat:
1. de VM's via NFS op de SSD's komen (ZFS SSD mirror)
2. van de ZFS VM alleen de bootcode op de USB stick komt en de rest boot van een ZFS SSD mirror.

[|sWORDs|]

CurlyMo schreef op maandag 27 februari 2017 @ 12:01:
Wat ik nu heb:
1. ASMedia mini-pcie met 2 SSD als:
- 1 partitie datastore
- 1 partitie voor ZFS cache via RDM.
- 1 partitie voor ZFS log via RDM.
2. Onboard controller met 4 HDD passthrough voor ZFS
3. 1 USB stick voor ESXi install.

Wat ik wil is:
1. 1 USB stick voor ESXi install.
2. 1 USB stick voor ESXi datastore.
3. 2 SSD passthrough voor ZFS:
- 1 partitie datastore
- 1 partitie voor ZFS cache
- 1 partitie voor ZFS log
4. Onboard controller met 4 HDD passthrough voor ZFS
5. 1 USB stick voor ESXi install.

Daarbij is het doel dat:
1. de VM's via NFS op de SSD's komen (ZFS SSD mirror)
2. van de ZFS VM alleen de bootcode op de USB stick komt en de rest boot van een ZFS SSD mirror.

Ik snap het niet helemaal. Waarom zitten de SSD's niet op de overige twee SATA sloten?

[ Voor 12% gewijzigd door |sWORDs| op 27-02-2017 12:14 ]

[CurlyMo]

Omdat ik ze nu gebruik als datastore en ik heb maar 2 SSD's. In de toekomst wil ik ze weer aan ZFS geven en USB als datastore gebruiken zodat mijn 2 SSD's weer vrijkomen.

[ Voor 20% gewijzigd door CurlyMo op 27-02-2017 12:13 ]

[|sWORDs|]

CurlyMo schreef op maandag 27 februari 2017 @ 12:13:
Omdat ik ze nu gebruik als datastore. In de toekomst wil ik ze weer aan ZFS geven en USB als datastore gebruiken.

Maar RDM geeft mindere prestaties dan VT-d, USB al helemaal. Als je voor een andere config gaat is het veel simpeler en sneller:


1. ASMedia mini-pcie met een SSD als boot (ik neem aan dat je kunt booten van de ASMedia)/datastore(aangepaste filter list).
2. VT-d van Intel controller met SSD's en HD's naar ZFS VM.

Sandisk X400 500GB als RDM, VT-d en datastore met thin vmdk:




Ik heb van dezelfde schijf geen USB prestaties, maar het zal niet ver van de Intel 520 zitten, dan krijg je zoiets:

type	read IOPS	write IOPS
BOT	5200	6700
RDM	6500	21400
UASP	16300	34400
datastore	54800	46900
VT-d	49400	66400

[ Voor 70% gewijzigd door |sWORDs| op 27-02-2017 12:28 ]

[CurlyMo]

|sWORDs| schreef op maandag 27 februari 2017 @ 12:14:
[...]

Maar RDM geeft mindere prestaties dan VT-d, USB al helemaal. Als je voor een andere config gaat is het veel simpeler en sneller:

Precies het doel. Maar ik heb maar twee SSD's en die wil ik graag in passthrough zetten aan ZFS voor log en cache mirror. USB alleen voor bootcode gebruiken. Anders een derde SSD aanschaffen. Kan ook, maar liever niet.

[|sWORDs|]

CurlyMo schreef op maandag 27 februari 2017 @ 12:19:
[...]

Precies het doel. Maar ik heb maar twee SSD's en die wil ik graag doorgeven aan ZFS voor log en cache mirror. USB alleen voor bootcode gebruiken. Anders een derde SSD aanschaffen. Kan ook, maar liever niet.

Ok, ik had niet door dat je de ASmedia niet meer wilde gebruiken. Sja, als de USB echt alleen als datastore voor de NAS VM gebruikt wordt dan snap ik het. Maar ik zie wel wat voordelen van een SSD, de prestaties van ZFS gaan niet super zijn, dan zou je een paar IO slurpers direct op de SSD kunnen laten draaien met een backup naar ZFS.

tvwes schreef op woensdag 15 februari 2017 @ 10:46:
[...]

-----------------------------------------------------------------------
CrystalDiskMark 5.2.1 x64 (C) 2007-2017 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   745.136 MB/s
  Sequential Write (Q= 32,T= 1) :   197.916 MB/s
  [b]Random Read 4KiB (Q= 32,T= 1) :    86.242 MB/s [ 21055.2 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :     3.309 MB/s [   807.9 IOPS][/b]
         Sequential Read (T= 1) :   643.162 MB/s
        Sequential Write (T= 1) :   210.334 MB/s
   [b]Random Read 4KiB (Q= 1,T= 1) :    34.105 MB/s [  8326.4 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     1.725 MB/s [   421.1 IOPS][/b]

  Test : 16384 MiB [F: 0.4% (0.1/20.0 GiB)] (x5)  \[Interval=5 sec]
  Date : 2017/01/15 22:38:21
    OS : Windows 7 Professional [6.1 Build 7600] (x64)

remote NFS datastore mirrored intel DC S3610 480GB NO SLOG

[...]

[ Voor 47% gewijzigd door |sWORDs| op 27-02-2017 12:39 ]

[FireDrunk]

@|sWORDs| Geen idee of je dat begreep, maar hij kan zijn ZFS VM natuurlijk niet op de SSD's zetten die hij via VT-d doorgeeft, tenzij hij *iets* heeft waar de VM van kan booten.

@CurlyMo
Op de USB Datastore zit dan maar 1 disk van een paar honderd MB om van te booten neem ik aan?
Wil je die niet graag ook mirroren?

[|sWORDs|]

FireDrunk schreef op maandag 27 februari 2017 @ 12:35:
@|sWORDs| Geen idee of je dat begreep, maar hij kan zijn ZFS VM natuurlijk niet op de SSD's zetten die hij via VT-d doorgeeft, tenzij hij *iets* heeft waar de VM van kan booten.

@CurlyMo
Op de USB Datastore zit dan maar 1 disk van een paar honderd MB om van te booten neem ik aan?
Wil je die niet graag ook mirroren?

Ik had het over een derde SSD als boot/USB op de ASmedia. Ik schrik nogal als ik 808 IOPS zie, tenopzichte van mijn 1.500.000 IOPS (3x Samsung 950 512GB + 3x Intel 750 400GB + Intel 750 1.2TB) of de 47000 IOPS van een eenvoudige SATA SSD datastore.

[ Voor 17% gewijzigd door |sWORDs| op 27-02-2017 12:49 ]

[FireDrunk]

Maar dan is het nog steeds niet mirrored. Dat is ook vaak mijn argument geweest tegen ZFS onder ESXi. Hoewel ik nu vrolijk Linux draai op een enkele SSD...

offtopic:
Maar jouw setup is dan ook een tikkeltje overkill

[ Voor 19% gewijzigd door FireDrunk op 27-02-2017 12:51 ]

[|sWORDs|]

FireDrunk schreef op maandag 27 februari 2017 @ 12:50:
Maar dan is het nog steeds niet mirrored. Dat is ook vaak mijn argument geweest tegen ZFS onder ESXi. Hoewel ik nu vrolijk Linux draai op een enkele SSD...

offtopic:
Maar jouw setup is dan ook een tikkeltje overkill

Maar dat is ook een van mijn punten, als je backups maakt is dat waardevoller dan een mirror.

offtopic:
echt?

[CurlyMo]

FireDrunk schreef op maandag 27 februari 2017 @ 12:35:
@CurlyMo
Op de USB Datastore zit dan maar 1 disk van een paar honderd MB om van te booten neem ik aan?
Wil je die niet graag ook mirroren?

Ik denk een paar MB pure bootcode... om vervolgens een ZFS-on-root FreeBSD te starten van mijn ZFS mirror.

Edit:
Het voordeel van de ASMedia vrijspelen is dat ik dan een aparte controller heb die ik kan doorgeven aan een VM voor de offsite backup van het betreffende familielid bij mij. Dan heb ik nog een PCIe slot over voor...

[ Voor 23% gewijzigd door CurlyMo op 27-02-2017 13:42 ]

[tvwes]

CurlyMo schreef op maandag 27 februari 2017 @ 12:19:
[...]

Precies het doel. Maar ik heb maar twee SSD's en die wil ik graag doorgeven aan ZFS voor log en cache mirror. USB alleen voor bootcode gebruiken. Anders een derde SSD aanschaffen. Kan ook, maar liever niet.

Je kan disks "doorgeven" maar ik denk dat je dat niet bedoeld. Disks doorgeven heet RDM bij ESXi en zoals |sWORDs| al aangaf: dat kan je beter niet doen. Je wilt de disk controller via VT-d doorgeven en daarmee de disken die daaraan hangen.
Het klinkt misschien als gezeur maar probeer de begrippen echt juist te hanteren want anders zitten anderen over het verkeerde na te denken en dat is zonde van hun tijd.

CurlyMo schreef op maandag 27 februari 2017 @ 12:59:
[...]

Ik denk een paar MB pure bootcode... om vervolgens een ZFS-on-root FreeBSD te starten van mijn ZFS mirror.

@CurlyMo Samenvattend: de ASmedia mPCIe controller moet weg, de 2 SSD's gaan naar de onboard AHCI controller. De AHCI controller wordt via VT-d doorgegeven aan de de NAS VM. Maar nu kan je dan NAS VM nog niet booten.
Ik zie vier oplossingen:

1. De USB datastore met daarop een normaal geinstalleerd OS. Dat hoeft niet groot te zijn en hoeft helemaal niet snelle opslag te hebben. Je kan tijdens de installatie je snelle media van de AHCI controller mounten en bijvoorbeeld gebruiken als /usr of /var.
2. Je houd de ASmedia evt koop je er een kleine SSD bij.
3. De USB datastore met daarop voldoende bootcode om de AHCI controller te kunnen benaderen alsmede ZFS.
4. Heel exotisch maar zou wel kunnen. Je gebruikt een van je embedded bordjes. Installeert linux en een NFS export als datastore. Deze NFS export mount je in ESXi als datastore en hier maak je boot disk op. Je kan het ook met iSCSI regelen. De performance zal niet super zijn maar goed genoeg om van de booten, het kost niet teveel stroom en je hebt van die bordjes. Het voordeel is dat je geen gezeur hebt met je USB controllers en dat het helemaal supported is.

Ik begrijp je idee van het bootblockje op de usb en dan snel door naar de AHCI maar dat zal best taai zijn. Het is in ieder geval volkomen unsupported bij reguliere OS'es. Ik ben best handig maar dit moet je allemaal handmatig gaan installeren. En dan komt er een update en zal de installer behoorlijk in de war raken. Misschien vergis ik me hierin en is dit een feature die wel in moderne OS installers zit maar ik heb het nog nooit gezien. Nogmaals het idee is helemaal niet onredelijk alleen lastig te verwezelijken.
Probeer het maar in een VM met twee disken na te maken. De ene disk je bootcode en de andere het OS.

[|sWORDs|]

tvwes schreef op maandag 27 februari 2017 @ 14:10:
[...]
Ik zie vier oplossingen:

1. De USB datastore met daarop een normaal geinstalleerd OS. Dat hoeft niet groot te zijn en hoeft helemaal niet snelle opslag te hebben. Je kan tijdens de installatie je snelle media van de AHCI controller mounten en bijvoorbeeld gebruiken als /usr of /var.

[...]

Optie 1 valt af, de vmx file enzo moeten ook ergens terecht komen, je hebt in elk geval een datastore nodig.
2-4 zouden moeten werken, alhoewel ik 3 niet fraai vind zou het voor alleen booten van een VM (of alleen OS disk van een enkele VM) prima kunnen werken. Niet goed gelezen, ik las normaal geinstalleerd en zag niet dat je het over een datastore had.

Omdat ik het best een leuke test vind eens te kijken wat nou de snelste manier is om de storage aan te bieden, deze had ik een paar dagen terug nog getest met dezelfde x400 vanuit een VM (XPenology) met VT-d als block level iSCSI terug geshared:

type	read IOPS	write IOPS
VT-d met NFS/ZFS	10500?	800?
BOT	5200?	6700?
RDM	6500	21400
UASP	16300?	34400?
VT-d met block based iSCSI	43900	8200
datastore	54800	46900
VT-d	49400	66400

Als ik binnenkort even tijd heb zal ik VT-d met NFS/BTRFS (en ext4?) eens testen, misschien ook nog eens de USB testen herhalen met dezelfde disk.

[ Voor 87% gewijzigd door |sWORDs| op 27-02-2017 14:58 ]

[tvwes]

|sWORDs| schreef op maandag 27 februari 2017 @ 14:23:
[...]

Optie 1 valt af, de vmx file enzo moeten ook ergens terecht komen, je hebt in elk geval een datastore nodig.
2-4 zouden moeten werken, alhoewel ik 3 niet fraai vind zou het voor alleen booten van een VM (of alleen OS disk van een enkele VM) prima kunnen werken.

Hoezo valt af? Hij kan toch zo de usbarbitrator uitzetten en een datastore maken? Jij hebt dat zelf meerdere keren uitgelegd en bevestigd. Of mis ik iets?

[|sWORDs|]

tvwes schreef op maandag 27 februari 2017 @ 14:42:
[...]

Hoezo valt af? Hij kan toch zo de usbarbitrator uitzetten en een datastore maken? Jij hebt dat zelf meerdere keren uitgelegd en bevestigd. Of mis ik iets?

Nee, ik miste een woord, aangepast.

[tvwes]

Nu is het (wel) doorgestreept. OK!

[ Voor 92% gewijzigd door tvwes op 27-02-2017 15:03 . Reden: andere post was al aangepast ]