Het grote HP Proliant Microserver topic

[LightStar]

GekkePrutser schreef op woensdag 8 april 2020 @ 21:20:
[...]


Mja, dan zit je weer aan zelfbouw, geen iLO, en er komt nog een hoop meer bij aan kosten. Mijn G8's hebben hetzelfde gekost als alleen deze behuizing

(En waarom nou 5+1+2 ). Doe dan gewoon 4+4 of 1 rijtje van 8.. Mijn OCD heeft hier problemen mee

Dat klopt alleen als je bijvoorbeeld een Supermicro bord pakt heb je IPMI of AS-Rock dan heb je ook remote beheer mogelijkheden.

+ bij b.v. een supermicro heb je mogelijkheid om 128GB ram te plaatsen..

[dcm360]

GekkePrutser schreef op woensdag 8 april 2020 @ 21:20:
[...]

(En waarom nou 5+1+2 ). Doe dan gewoon 4+4 of 1 rijtje van 8.. Mijn OCD heeft hier problemen mee

Dat rare 'losse' slot kan omgebouwd worden naar een houder voor langere PCIe-kaarten. Het heeft dus een reden waarom het er raar uitziet.

[DennusB]

Heeft er hier iemand sowieso 4TB+ disks in een Gen10 Microserver? Is dat wel supported?

[chaoscontrol]

LightStar schreef op donderdag 9 april 2020 @ 10:58:
[...]


Dat klopt alleen als je bijvoorbeeld een Supermicro bord pakt heb je IPMI of AS-Rock dan heb je ook remote beheer mogelijkheden.

+ bij b.v. een supermicro heb je mogelijkheid om 128GB ram te plaatsen..

Dan ben je weer duurder uit.


Voor het geld krijg je best je waarde. Het kán allemaal wel goedkoper, maar niet snel met; zo'n kast, een Supermicro bord en dan ook nog eens cpu, ram en voeding. Wij zijn alleen verwend geweest met de G8.

Ter referentie heb ik hier wat SM X11SSH-LN4F borden met 1240v6 er op en die waren voor mobo en cpu alleen al bijna € 500, bijna 2 jaar geleden, maar dat was toentertijd een vergelijkbare klasse.

(Een X10SRW-F met e5-26xxv3 of v4 heb ik een stuk goedkoper maar krijg je met geen mogelijkheid zo zuinig.)

[LightStar]

@chaoscontrol klopt de Gen8 was een mooie server, vooral voor het geld !

Ik had mijn oog op een Gen10 plus alleen kost die al 822 euro, dan heb je maar een machine met 16GB ram, en geen drives..., wil je wat vm's draaien dan ga je al gauw na 32GB (64GB is mogelijk, heb een review hier van gezien op Youtube dat 2x32GB werkt).

Al met al ga je gauw de 1000 euro voorbij.., dan ga ik liever voor een zelfbouw met meer toekomst potentie.

[Q]

GekkePrutser schreef op woensdag 8 april 2020 @ 21:20:
[...]


Mja, dan zit je weer aan zelfbouw, geen iLO, en er komt nog een hoop meer bij aan kosten. Mijn G8's hebben hetzelfde gekost als alleen deze behuizing

(En waarom nou 5+1+2 ). Doe dan gewoon 4+4 of 1 rijtje van 8.. Mijn OCD heeft hier problemen mee

Voor het geld van een Gen10+ gaat het mij denk ik wel lukken om iets met IPMI in elkaar te zetten met deze case. Of je 'm mooi vind is punt twee, maar hij is qua footprint vergelijkbaar met de microserver alleen een stuk hoger en met dubbel het aantal drives.

[CopyCatz]

LightStar schreef op donderdag 9 april 2020 @ 11:16:
@chaoscontrol klopt de Gen8 was een mooie server, vooral voor het geld !

Ik had mijn oog op een Gen10 plus alleen kost die al 822 euro, dan heb je maar een machine met 16GB ram, en geen drives..., wil je wat vm's draaien dan ga je al gauw na 32GB (64GB is mogelijk, heb een review hier van gezien op Youtube dat 2x32GB werkt).

Al met al ga je gauw de 1000 euro voorbij.., dan ga ik liever voor een zelfbouw met meer toekomst potentie.

wow, ik heb de xeon uitvoering met 16 gig (P16006-421) laatst voor 705 euro kunnen kopen bij redable, de prijs is aan het stijgen..

[GekkePrutser]

chaoscontrol schreef op donderdag 9 april 2020 @ 11:12:
[...]Voor het geld krijg je best je waarde. Het kán allemaal wel goedkoper, maar niet snel met; zo'n kast, een Supermicro bord en dan ook nog eens cpu, ram en voeding. Wij zijn alleen verwend geweest met de G8.

Niet alleen de G8! De G7 was ook prima geprijsd. En had ook regelmatig cashbacks net zoals de G8. Ik heb er eentje voor rond de 140 euro gekocht na cashback. En dit was niet eenmalig, het was gewoon jarenlang elke maand een cashback programma.

Sinds de G10 is het een heel ander produkt geworden vanwege de nieuwe prijsstelling. En juist mindere features (geen iLO meer zonder extra hardware). Dat is niet verwend, het is gewoon duurder en minder geworden. Jammer... I denk dat dit vooral met de HP->HPE transitie te maken heeft.

[ Voor 10% gewijzigd door GekkePrutser op 09-04-2020 12:10 ]

[Q]

Moet je kijken wat ik zonder SSDs / HDDs bij elkaar kan klikken met ondersteuning van IPMI.

Met IMPI

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100F (SRF7W) Tray	€ 72,28	€ 72,28
1	Moederborden	Asus P11C-I	€ 187,65	€ 187,65
1	Controllers	Delock SATA-300 PCI Express Card, 2 Port	€ 18,26	€ 18,26
1	Behuizingen	Silverstone DS380	€ 172,96	€ 172,96
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 93,90
1	Voedingen	Silverstone SFX 450W	€ 79,89	€ 79,89
Bekijk collectie Importeer producten			Totaal	€ 624,94

De PCIe SATA kaart zit er in als 'placeholder'. Ik zou een LSI HBA kopen en daarbij 2 x SFF-8087 male naar 4 x sata brakeout kabels. Die kabels zijn ook nog 2 tientjes en zitten niet in de prijs.

Dan kom je tot een oplossing die 64 GB RAM kan bevatten en 8 x schijven in plaats van 4x.

Zonder IPMI

Als je Geen IPMI hoeft, dan wordt je leven eigenlijk nog mooier, want dan hoef je geen HBA te kopen. Kies dan dit bord:

pricewatch: Asrock Rack C236 WSI

8 x sata kabels en je bent klaar.

Overig

Ik heb voor een relatief dure voeding gekozen maar als je een goedkopere voeding aandurft die niet modulair is, dan gaat de prijs nog verder naar beneden.

Voor context zou ik deze machine willen nemen:

pricewatch: HPE ProLiant MicroServer Gen10 Plus (P16005-421)

Als je naast NAS functionaliteit meer wilt kunnen doen, dan kun je simpelweg de Processor en RAM upgraden naar behoefte. De i3 is al een quad-core dus de vraag is een beetje hoe ver je wilt gaan.

Als 4 disks genoeg zijn voor je dan is de Gen10+ misschien toch de betere optie vanwege de footprint en prijs.

Als externe expansion bay

Als je een HBA in je Microserver kunt plaatsen in het (hopelijk) vrije PCIe slot, dan zou je 2 x SSF-8087 naar 4 x SATA breakout kunnen aansluiten en naar buiten kunnen geleiden.

De Silverstone case met voeding is dan voldoende om een extra 8 x disks aan te sluiten.

Het is een variant op mijn frankenstein oplossing maar met alle stroom aansluitingen in een nette case met ventilatie, wat het misschien minder frankenstein maakt.

Het zwakke punt van deze oplossing is dat SFF-8087 kabels niet bedoeld zijn voor externe aansluitingen.

[ Voor 14% gewijzigd door Q op 09-04-2020 12:58 ]

[chaoscontrol]

GekkePrutser schreef op donderdag 9 april 2020 @ 12:08:
[...]


Niet alleen de G8! De G7 was ook prima geprijsd. En had ook regelmatig cashbacks net zoals de G8. Ik heb er eentje voor rond de 140 euro gekocht na cashback. En dit was niet eenmalig, het was gewoon jarenlang elke maand een cashback programma.

Sinds de G10 is het een heel ander produkt geworden vanwege de nieuwe prijsstelling. En juist mindere features (geen iLO meer zonder extra hardware). Dat is niet verwend, het is gewoon duurder en minder geworden. Jammer... I denk dat dit vooral met de HP->HPE transitie te maken heeft.

De G7 was een heel ander product. Geen ILO, CPU performance uit het jaar 0 (toen al) en was meer een veredelde NAS. Met bijbehorende prijs.

[rookie no. 1]

G7 was, net als de G10 eigenlijk geen server. Wel was IPMI een optie en die heb ik er destijds bij genomen.

Zowel de G7 alsook de G8 waren koopjes! Daar kon gewoon geen marge op zitten.

De Gen10 was te duur voor wat je krijgt en de G10plus mag nog iets goedkoper, maar het is wel een full blown server. Behalve dan de idiote keuze voor een externe voeding...

Mijn G8's gaan hopelijk nog jaren mee 😊

[Zenix]

@Q Die voeding is helaas geen gold, staat niet goed in de PW. Ik zou bij een server nooit besparen op de voeding. De 1TB HDD en de twee extra nic's van de Gen10+ heb ik toegevoegd.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100F (SRF7W) Tray	€ 72,28	€ 72,28
1	Moederborden	Asus P11C-I	€ 187,65	€ 187,65
1	Interne harde schijven	Seagate Barracuda, 1TB	€ 37,99	€ 37,99
1	Controllers	Delock SATA-300 PCI Express Card, 2 Port	€ 18,26	€ 18,26
1	Behuizingen	Silverstone DS380	€ 172,96	€ 172,96
1	Netwerkadapters	Intel Ethernet Server Adapter I350-T2V2	€ 124,90	€ 124,90
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 93,90
1	Voedingen	Corsair SF450	€ 91,80	€ 91,80
Bekijk collectie Importeer producten			Totaal	€ 799,74

Met de Xeon is het een heel ander verhaal.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Xeon E-2224 Boxed	€ 241,25	€ 241,25
1	Moederborden	Asus P11C-I	€ 187,65	€ 187,65
1	Interne harde schijven	Seagate Barracuda, 1TB	€ 37,99	€ 37,99
1	Controllers	Delock SATA-300 PCI Express Card, 2 Port	€ 18,26	€ 18,26
1	Behuizingen	Silverstone DS380	€ 172,96	€ 172,96
1	Netwerkadapters	Intel Ethernet Server Adapter I350-T2V2	€ 124,90	€ 124,90
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 93,90
1	Voedingen	Corsair SF450	€ 91,80	€ 91,80
Bekijk collectie Importeer producten			Totaal	€ 968,71

Dit lijkt er meer op, dan valt de hoge prijs wel mee. Je hebt dan wel meer ruimte voor schijven en M.2

[ Voor 33% gewijzigd door Zenix op 09-04-2020 14:16 . Reden: wel onboard ]

[dcm360]

@Zenix De pricewatch: Asus P11C-I heeft weldegelijk een GPU op het moederbord, namelijk in de BMC.

[Zenix]

dcm360 schreef op donderdag 9 april 2020 @ 14:13:
@Zenix De pricewatch: Asus P11C-I heeft weldegelijk een GPU op het moederbord, namelijk in de BMC.

Ik zie het inderdaad, zal hem aanpassen

[Q]

Zenix schreef op donderdag 9 april 2020 @ 14:02:
@Q Die voeding is helaas geen gold, staat niet goed in de PW. Ik zou bij een server nooit besparen op de voeding. De 1TB HDD en de twee extra nic's van de Gen10+ heb ik toegevoegd.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100F (SRF7W) Tray	€ 72,28	€ 72,28
1	Moederborden	Asus P11C-I	€ 187,65	€ 187,65
1	Interne harde schijven	Seagate Barracuda, 1TB	€ 37,99	€ 37,99
1	Controllers	Delock SATA-300 PCI Express Card, 2 Port	€ 18,26	€ 18,26
1	Behuizingen	Silverstone DS380	€ 172,96	€ 172,96
1	Netwerkadapters	Intel Ethernet Server Adapter I350-T2V2	€ 124,90	€ 124,90
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 93,90
1	Voedingen	Corsair SF450	€ 91,80	€ 91,80
Bekijk collectie Importeer producten			Totaal	€ 799,74

Met de Xeon is het een heel ander verhaal.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Xeon E-2224 Boxed	€ 241,25	€ 241,25
1	Moederborden	Asus P11C-I	€ 187,65	€ 187,65
1	Interne harde schijven	Seagate Barracuda, 1TB	€ 37,99	€ 37,99
1	Controllers	Delock SATA-300 PCI Express Card, 2 Port	€ 18,26	€ 18,26
1	Behuizingen	Silverstone DS380	€ 172,96	€ 172,96
1	Netwerkadapters	Intel Ethernet Server Adapter I350-T2V2	€ 124,90	€ 124,90
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 93,90
1	Voedingen	Corsair SF450	€ 91,80	€ 91,80
Bekijk collectie Importeer producten			Totaal	€ 968,71

Dit lijkt er meer op, dan valt de hoge prijs wel mee. Je hebt dan wel meer ruimte voor schijven en M.2

Een aantal opmerkingen:

1. De 1 TB HDD is het eerste wat iedereen uit de server haalt, ergens op een plank gooit en nooit gebruikt. Wat mij betreft mag je dat uit de prijs weg laten want die 'waarde' voegt niets toe.

2. Ik durf de weddenschap aan dat minder dan 1% van de mensen in dit topic die een Microserver koopt meer dan één netwerk poort gebruikt. Inderdaad krijg je er vier, maar de vraag is wie die waarde daadwerkelijk gebruikt.

Dat gezegd hebbende: deze kaart hier heeft 4 poorten en is slechts de helft van het geld dus als je 'jouw' kaart kiest pomp je de prijs kunstmatig omhoog. Dat is geen eerlijke vergelijking.

pricewatch: HP NC375T PCI Express Quad Port Gigabit Server Adapter

Maar dit punt is veel belangrijker:

Mijn voorstel kan 8 schijven bevatten, wat een Microserver gewoon niet kan. Dus zelfs al zou je jouw prijs aanhouden, dan is mijn build wat dat betreft nog steeds de betere keuze.

Bouw je een virtualisatie server en wil je niet meer dan 4 hot-swap drive bays, dan kun je altijd nog overwegen wat je doet.

Edit:

De Core i3 die ik hier heb gekozen is nog geen 10% langzamer dan de Xeon, heeft evenveel cores en is waarschijnlijk bijna equivalent aan die veel duurdere processor.

Je zou dus waarschijnlijk beter af zijn qua prijs door de Microserver te kiezen en daar dan nog een Core i3 in te zetten.

[ Voor 4% gewijzigd door Q op 09-04-2020 15:14 ]

[Zenix]

@Q

1.
Die 1TB hdd betaal je gewoon voor, daarom neem ik die mee in de prijs. Ook al doe je hem weg.

2. Ik ga er drie (misschien 4) gebruiken. De NIC die je aangeeft heeft een andere chipset met minder features. De onboard nic's op de Asus zijn ook minder dan de i350, maar dat heb ik buiten beschouwing gelaten. Dus de prijs opkrikken is er niet bij. Het kan wel goedkoper, maar dan moet je tweedehands gaan en dat lijkt mij in een nieuw-nieuw vergelijking niet relevant.

3. Als je veel schijven wilt hebben is je build een betere keus inderdaad, maar net zoals dat jij aangeeft dat er maar weinig mensen zoveel netwerk aansluitingen gebruiken. Denk ik hetzelfde over het aantal mensen dat meer dan 4 schijven nodig heeft (als je denkt aan grote schijven van 14TB of groter) Ik heb op dit moment 6TB en ik ga naar 10TB (mirror) Ik weet nog niet hoe ik dat vol moet krijgen.

Sowieso is de i3 de betere keus, daarom heb ik hem ook gekozen.

Maar we hebben denk ik wel genoeg over de vergelijking gepraat. Laten we het weer over de Microserver hebben.

[ Voor 9% gewijzigd door Zenix op 09-04-2020 15:26 ]

[Q]

Zenix schreef op donderdag 9 april 2020 @ 15:20:
@Q

1.
Die 1TB hdd betaal je gewoon voor, daarom neem ik die mee in de prijs. Ook al doe je hem weg.

Dat snap ik niet.

Je betaalt bij de MS voor die 1TB maar niet bij de zelfbouw, en dat is een pluspunt voor zelfbouw. Je zou die schijf dus niet mee moeten rekenen. Want niemand doet wat met die schijf.

2. Ik ga er drie (misschien 4) gebruiken. De NIC die je aangeeft heeft een andere chipset met minder features. De onboard nic's op de Asus zijn ook minder dan de i350, maar dat heb ik buiten beschouwing gelaten. Dus de prijs opkrikken is er niet bij. Het kan wel goedkoper, maar dan moet je tweedehands gaan en dat lijkt mij in een nieuw-nieuw vergelijking niet relevant.

N = 1. Alle voorgaande Microservers hadden trouwens ook 'maar' twee netwerk aansluitingen.
Om welke features gaat het dan en wie gaat dat gebruiken?

er maar weinig mensen zoveel netwerk aansluitingen gebruiken. Denk ik hetzelfde over het aantal mensen dat meer dan 4 schijven nodig heeft (als je denkt aan grote schijven van 14TB of groter) Ik heb op dit moment 6TB en ik ga naar 10TB (mirror) Ik weet nog niet hoe ik dat vol moet krijgen.

Grappig, er is een heel DIY NAS server topic, waarbij veel builds juist voorbij de 4 schijfjes gaan. Ik denk dat je de behoefte aan meer schijven vs netwerk aansluitingen niet zo tegen elkaar weg kan strepen.

[Zenix]

@Q Natuurlijk ga je die schijf niet kopen en is dat een pluspunt, maar mijn bedoeling was puur qua prijs vergelijken en dan valt de 'hoge' prijs van de Gen10 nog wel mee. Het mag wel iets goedkoper.

Voor de NIC features, denk hierbij aan SR-IOV. Ik vind het persoonlijk jammer dat er geen 10Gbit of 2.5Gb in zit. Dan had ik genoeg aan één aansluiting.

En natuurlijk zal je in het DIY NAS veel meer mensen zien die een NAS bouwen met 4 schijven of meer Maar met zoveel schijven wil je eigenlijk 10Gb hebben en niet 2x1Gb. Aangezien ik mijn gigabit glasvezel verbinding ook laat routeren door de Microserver heb ik niet genoeg aan 'maar' twee aansluitingen.

[Q]

Zenix schreef op donderdag 9 april 2020 @ 18:03:
@Q Natuurlijk ga je die schijf niet kopen en is dat een pluspunt, maar mijn bedoeling was puur qua prijs vergelijken en dan valt de 'hoge' prijs van de Gen10 nog wel mee. Het mag wel iets goedkoper.

Ok ik snap je punt, excuses.

Voor de NIC features, denk hierbij aan SR-IOV. Ik vind het persoonlijk jammer dat er geen 10Gbit of 2.5Gb in zit. Dan had ik genoeg aan één aansluiting.

Ah, SR-IOV ken ik maar als dat voor jou belangrijk is dan denk ik dat je tot de 1% van Microserver kopers behoord die hier gebruik van maakt, misschien 2% als je op virtualisatie focust.

En natuurlijk zal je in het DIY NAS veel meer mensen zien die een NAS bouwen met 4 schijven of meer Maar met zoveel schijven wil je eigenlijk 10Gb hebben en niet 2x1Gb.

Aan 2 x 1 GB heb je weinig tot niets omdat je kopieer actie toch maar beperkt wordt door 1 interface tenzij je hele netwerk gebond is en dat doet niemand.

10Gbit is dan veel realistischer, maar veel mensen hebben grotere servers voor media. En voor media afspelen is 1Gbit meer dan zat. En anders heb je nog USB 3 voor bulk data ingest/export.

Aangezien ik mijn gigabit glasvezel verbinding ook laat routeren door de Microserver heb ik niet genoeg aan 'maar' twee aansluitingen.

Dat is al een hele andere toepassing eigenlijk: ik focus me eigenlijk puur op de Microserver als NAS, als ESXi server met andere functies zoals router/firewall, en andere hobby / lab services, dat wordt een ander verhaal.

Als je een VM als router wilt gebruiken en je trunkt de zooi, dan heb je toch maar 1 Nic nodig voor verkeer in en uit? Tenminste, dat is wat ik doe met een oude N40L Microserver met maar 1 Nic die puur als router werkt.

[chaoscontrol]

Q schreef op donderdag 9 april 2020 @ 18:22:


[...]


Ah, SR-IOV ken ik maar als dat voor jou belangrijk is dan denk ik dat je tot de 1% van Microserver kopers behoord die hier gebruik van maakt, misschien 2% als je op virtualisatie focust.

Dat valt wel mee hoor. Net als dat genoeg gebruikers alle nics zullen gebruiken. Iemand die een Microserver koopt doet er al gauw meer mee dan iemand die een Wordpressje op een oude Core2Duo zet.

SR-IOV is gewoon een handige veelgebruikte virtualisatie techniek. We verkopen ook geen CPU's meer zonder onder het mom van 'dat gebruiken ze toch niet'.

[Zenix]

Q schreef op donderdag 9 april 2020 @ 18:22:
[...]


Ok ik snap je punt, excuses.

Geen probleem, snap jou punt ook.

Q schreef op donderdag 9 april 2020 @ 18:22:
Ah, SR-IOV ken ik maar als dat voor jou belangrijk is dan denk ik dat je tot de 1% van Microserver kopers behoord die hier gebruik van maakt, misschien 2% als je op virtualisatie focust.

Aan 2 x 1 GB heb je weinig tot niets omdat je kopieer actie toch maar beperkt wordt door 1 interface tenzij je hele netwerk gebond is en dat doet niemand.

10Gbit is dan veel realistischer, maar veel mensen hebben grotere servers voor media. En voor media afspelen is 1Gbit meer dan zat. En anders heb je nog USB 3 voor bulk data ingest/export.

SR-IOV ga ik wel testen, maar weet nog niet zeker of ik het ga gebruiken. Het is afhankelijk van de impact op het CPU verbruik. Er zitten ook nadelen aan.

Klopt bij een LAG/LACP link aggregation ben je nog altijd beperkt tot die 1Gb voor een sessie. Alleen in mijn geval heb ik dus een glasvezel verbinding die direct (mediaconverter) in de Microserver gaat. Vervolgens maak ik nog een link aggregation met twee interfaces voor de overige netwerken. Ik overweeg nog of ik niet de glasvezel direct moeten laten binnenkomen op een switch met een SFP port en dan een link aggregation naar de Microserver.

2.5Gb NIC's zijn al te koop voor 20 euro, helaas van Realtek. Dat is ook een overweging waard, als die switches betaalbaarder worden.

[ Voor 3% gewijzigd door Zenix op 09-04-2020 19:26 ]

[rookie no. 1]

@Q 2x 1Gb in teaming doet ook nog zoiets als fail-over en dat kan best handig zijn als je af en toe wat loopt te klieren met switches en kabels.

Daarnaast kan de ene client sessie over de ene poort gaan en de andere sessie over de tweede. Scheelt toch weer.

Ik zou daarom twee poorten voor mijn reguliere netwerk in load-balancing / fail-over zetten en de andere twee poorten dedicated naar mijn NAS (met 4 NIC's) voor ISCSI targets. En dat is ook weer het voordeel bij de MS; hardware matige ISCSI ondersteuning vanuit de BIOS, althans dat is mijn verwachting en hoop voor de MS 10+.

En tsja...met zelfbouw krijg je gewoon niet de support en solide 24x7 oplossing als bij een echte server (bouwer). Daar hebben zij al -tig jaar ervaring mee en kan geen consument bakje tegen op.

[Q]

rookie no. 1 schreef op donderdag 9 april 2020 @ 22:08:
@Q 2x 1Gb in teaming doet ook nog zoiets als fail-over en dat kan best handig zijn als je af en toe wat loopt te klieren met switches en kabels.

Daarnaast kan de ene client sessie over de ene poort gaan en de andere sessie over de tweede. Scheelt toch weer.

Dat zijn allemaal valide toepassingen maar thuis voor mijzelf persoonlijk niet zo relevant of een realistisch scenario: ik ben de enige die het spul gebruikt.

Ik heb het gevoel dat dit echter voor de meeste mensen die een microserver kopen eigenlijk ook geldt. Maar dat kan ik mis hebben. Zelfs als anderen soms het netwerk gebruiken geeft dat onvoldoende belasting om daarvoor een dual-nic op te zetten. Misschien eens leuk voor een poll.

Ik zou daarom twee poorten voor mijn reguliere netwerk in load-balancing / fail-over zetten en de andere twee poorten dedicated naar mijn NAS (met 4 NIC's) voor ISCSI targets. En dat is ook weer het voordeel bij de MS; hardware matige ISCSI ondersteuning vanuit de BIOS, althans dat is mijn verwachting en hoop voor de MS 10+.

iSCSI is al weer een heel ander verhaal, dan kun je tenminste ook de bandbreedte van de nics benutten. En met iSCSI is beschikbaarheid ook wat kritischer, heb je ook dubbele switches

En tsja...met zelfbouw krijg je gewoon niet de support en solide 24x7 oplossing als bij een echte server (bouwer). Daar hebben zij al -tig jaar ervaring mee en kan geen consument bakje tegen op.

Zelfbouw hoeft geen consumenten spul te zijn. In mijn lijstje hierboven kies ik ook een server bord!
En thuis zijn al mijn zelfbouw bakjes op basis van Supermicro Bordjes, prima spul.

Mijn punt met mijn hele betoogje / lijstje van onderdelen is om een beetje context te geven.

Zoals al opgemerkt: de hele waarde propositie sinds de Gen10 is eigenlijk veranderd en het is handig om daar even goed over na te denken. Met name de mensen die een NAS willen gebruiken.

Dat is het eigenlijk wel.

[ Voor 6% gewijzigd door Q op 10-04-2020 00:47 ]

[GekkePrutser]

Als je iSCSI overweegt is het trouwens ook een optie om Fibre channel kaarten te gebruiken. Dat is eigenlijk hetzelfde maar dan met fysieke hardware.

Die kaarten worden vrijwel alleen in enterprise omgevingen gebruikt om te praten met een SAN. Ze zijn heel erg duur maar omdat ze eigenlijk alleen in enterprise omgevingen gebruikt worden en dat soort omgevingen alleen nieuw kopen met garantie, zijn ze tweedehands bijna niks waard. Letterlijk 1 of 2 tientjes. De meesten kunnen ook in point to point mode werken, en zijn sneller dan een 1Gbit ethernet. Vaak 2 of 4 Gbit maar je hebt ook sneller. Ze worden op de 'client' ook gezien als een lokale schijf. De meeste kaarten zijn low-profile dus passen prima in een microserver.

Ik heb het zelf zo draaien, op mijn tweede G8 gebruik ik alleen een basale Linux distributie met Fibre channel target software en verder niks. Draait heel goed alleen moet de target liefst wel eerst up komen maar dat is makkelijk te regelen met de power on delay.

Het is wel even puzzelen om het ingesteld te krijgen maar dan werkt het lekker soepel en snel, het is er immers helemaal op gemaakt. Heb het zelf ooit ingericht als projectje om het beter in de vingers te krijgen omdat ik op werk alleen de client-kant zag (iemand anders beheerde de SAN), maar uiteindelijk gewoon zo laten draaien.

PS: Alleen naar je clients toe is het natuurlijk niet handig omdat je dan aparte fibers moet gaan leggen. Ik gebruik meerdere G8 boxen met FC ertussen om zo 1 grote NAS te hebben die alle schijven ziet. Nu 2 en ik denk er over om een derde zo in te richten.

[ Voor 8% gewijzigd door GekkePrutser op 10-04-2020 01:45 ]

[JustSys]

CopyCatz schreef op donderdag 9 april 2020 @ 11:40:
[...]


wow, ik heb de xeon uitvoering met 16 gig (P16006-421) laatst voor 705 euro kunnen kopen bij redable, de prijs is aan het stijgen..

Kan dit model de 64GB ram aan? En hoe zit het met de powersupply? Moest je er een andere erbij kopen

[Zenix]

JustSys schreef op maandag 13 april 2020 @ 15:05:
[...]


Kan dit model de 64GB ram aan? En hoe zit het met de powersupply? Moest je er een andere erbij kopen

Ja en nee. Zoek naar servthehome review.

[danman15]

Ter vervanging van mijn huidige NAS (ReadyNas RN104) en zelfbouw ESXI PCtje met Sophos FireWall, Domoticz en nog wat ander klein spul wat hierop draait, is mijn keuze gevallen op de nieuwe MSG10+. De bedoeling is om uiteindelijk een degelijk en stabiel systeempje te hebben die weer jaren vooruit kan.

De planning is om ESXI 7 te gaan draaien met daarbovenop OMV? en natuurlijk Domoticz en nog wat klein spul.

De Setup van de MSG10+ server:

• 2x 10TB HDD gemirrord
• Standaard CPU
• Mogelijk de 16GB RAM uit de ITX bak, geen idee of het gaat werken.

Toekomstige upgrades in willekeurige volgorde:

• Processor vervangen door een Core i3-9100F.
• Geheugen uitbreiden naar 32GB of 64GB.
• Harddisk uitbreiden met nog eens 2x 10TB.
• ILO 5.

Ik zit zelf te kijken naar OMV vanwege de specs van de server (FreeNas is wat zwaar). Iemand ervaringen mee?

[Zenix]

@danman15 Volgens mij doet de Gen10+ geen hardware raid, dus ik weet niet hoe je die 10TB hdd's in mirror wilt zetten met ESXi?

Je zou ook Proxmox kunnen overwegen met ZFS en LXC containers.

[danman15]

@Zenix De Gen10+ doet inderdaad geen hardware raid. De planning is om eerst ESXI te installeren. Vervolgens OMV en vanuit OMV weer een disk beschikbaar stellen aan ESXI. Met OMV de raid configuratie regelen. Dat was eigenlijk het idee .

Of kom je dan toch weer op FreeNas uit om dit te kunnen?

Ik ga eens kijken naar Proxmox. Bedankt!

[ Voor 14% gewijzigd door danman15 op 14-04-2020 21:08 ]

[Zenix]

danman15 schreef op dinsdag 14 april 2020 @ 21:05:
@Zenix De Gen10+ doet inderdaad geen hardware raid. De planning is om eerst ESXI te installeren. Vervolgens OMV en vanuit OMV weer een disk beschikbaar stellen aan ESXI. Met OMV de raid configuratie regelen. Dat was eigenlijk het idee .

Of kom je dan toch weer op FreeNas uit om dit te kunnen?

Ik ga eens kijken naar Proxmox. Bedankt!

Ik zou dat alleen doen als je de controller kan doorgeven aan de VM, zodat deze de schijven ook kan monitoren. In jou geval zal je eerst virtuele schijven moeten maken (of RDM) maar die kan de VM nooit monitoren. Met Proxmox kan je direct op de hypervisor laag een ZFS mirror maken en de storage via bindmounts doorgeven aan containers bijvoorbeeld.

[jwvdst]

Heeft de microserver g10+ geen nvme slot? zo ja dan dan druk je daar een nvme ssd in en die gebruik je dan als primaire datastore voor esxi. Dan heb je je sata controller vrij om deze door te geven aan je nas

[CopyCatz]

jwvdst schreef op dinsdag 14 april 2020 @ 22:11:
Heeft de microserver g10+ geen nvme slot? zo ja dan dan druk je daar een nvme ssd in en die gebruik je dan als primaire datastore voor esxi. Dan heb je je sata controller vrij om deze door te geven aan je nas

heeft geen nvme slots helaas.

[jwvdst]

CopyCatz schreef op dinsdag 14 april 2020 @ 22:36:
[...]


heeft geen nvme slots helaas.

Dat is een gemiste kans

[Fonta]

danman15 schreef op dinsdag 14 april 2020 @ 21:05:
@Zenix De Gen10+ doet inderdaad geen hardware raid. De planning is om eerst ESXI te installeren. Vervolgens OMV en vanuit OMV weer een disk beschikbaar stellen aan ESXI. Met OMV de raid configuratie regelen. Dat was eigenlijk het idee .

Of kom je dan toch weer op FreeNas uit om dit te kunnen?

Ik ga eens kijken naar Proxmox. Bedankt!

Er zit toch wel iets van een controller in om de disken in een raid te zetten al zou dit software software matig zijn?

Ik heb juist afgelopen weekend mijn microserver Gen10 omgezet van Proxmox naar ESXi.
Geinstalleerd op de ssd die op sata5 zit, en 2 diskjes voor lokale datastore in een raid 0 gezet.
Daarnaast een LUN op me nas via iSCSI.
Daarvoor ben ik nog even aan het kijken wat de beste methode is van aansluiten.
De nas kan namelijk LACP, ESXi free kan dit niet. Daarvoor heb je weer een distributed switch nog uit vSphere.
Je kan wel NIC teaming doen en dat in active/active draaien.
Ook heb ik geprobeerd met op beide devices NIC 2 via een crosslink rechtstreeks met elkaar te verbinden en daartussen dus een p2p verbinding op te zetten om het verkeer niet via de switch te hoevel laten gaan.
Hiermee haal ik echter maar 30 a 40 MB/s terwijl via de switch ik 100 a 110 MB/s haal.

Welke van deze 5 oplossingen is denken jullie het beste? Op dit moment draai ik oplossing 1 (links bovenin) waarbij ik 2 vSwitches heb met elk hun eigen ip.


Nog een andere oplossing is overigens om beide NICs in de NAS ook hun eigen IP te geven.
De iSCSI target is dan op een dedicated poort te"binden".

[ Voor 5% gewijzigd door Fonta op 14-04-2020 23:58 ]

[Q]

Ik denk dat je aan LACP niet zoveel hebt. Ik denk dat iSCSI met multipath je de dubbele gigabit laat benutten en dat dit de enige optie is die dit kan doen.

LACP en dat soort spul is alleen nuttig met heel veel verschillende clients zoals ik het begrijp.

[Fonta]

Zou eens kunnen kijken wat er gebeurd als ik de nas 2 IPs geef en dan in de iSCSI 2 targets op geef. Misschien dat hij dan via beide paden gaat lopen.
Zal ook eens googlen naar opzetten van multipath voor iSCSI. Zal vast iets voor te vinden zijn.

[Zenix]

@Fonta Klopt, maar ESXi werkt niet met software raid.

[Verwijderd]

Q schreef op woensdag 15 april 2020 @ 01:25:
Ik denk dat je aan LACP niet zoveel hebt. Ik denk dat iSCSI met multipath je de dubbele gigabit laat benutten en dat dit de enige optie is die dit kan doen.

LACP en dat soort spul is alleen nuttig met heel veel verschillende clients zoals ik het begrijp.

Dan is 10gig misschien een beter idee voor iSCSI.

[Q]

Verwijderd schreef op woensdag 15 april 2020 @ 11:54:
[...]


Dan is 10gig misschien een beter idee voor iSCSI.

Als je de PCI slots vrij hebt en er geld aan uit wil geven: zeker weten.

[Verwijderd]

@Q Voornamleijk het geld is het probleem ;p

[Q]

Verwijderd schreef op woensdag 15 april 2020 @ 14:39:
@Q Voornamleijk het geld is het probleem ;p

Ik gebruik zelf twee 20G infiniband kaartjes point-to-point, kosten niets en de performance via ip over infiniband is prima.

Blog post:

https://louwrentius.com/u...-to-point-networking.html

Edit: dat ik die infiniband kaartjes kocht was het al oud spul en nu is het nergens meer te krijgen voor lekkere prijzen helaas.

[ Voor 14% gewijzigd door Q op 15-04-2020 17:26 ]

[Fonta]

Kan wel een 10G kaartje in de server stoppen, maar een Synology 1019+ heeft geen uitbreidingsslot.

Heb nu wel multipathing voor elkaar.
Server en NAS hebben beiden 2 IPs en met verschillende vSwitches is het verkeer compleet gescheiden.
Ook heb de multipathing policy naar round robin gezet en ik zie in de stat verkeer over beide nics lopen.
Toch is de performance nog steeds gelijk als met een enkel path... zucht.
Wat ook opvalt is dat als je een grote file kopieert, de performance van zo'n 100MB/s naar 60MB/s dropt na zo'n 4GB.

[Q]

Fonta schreef op woensdag 15 april 2020 @ 16:30:
Kan wel een 10G kaartje in de server stoppen, maar een Synology 1019+ heeft geen uitbreidingsslot.

Heb nu wel multipathing voor elkaar.
Server en NAS hebben beiden 2 IPs en met verschillende vSwitches is het verkeer compleet gescheiden.
Ook heb de multipathing policy naar round robin gezet en ik zie in de stat verkeer over beide nics lopen.
Toch is de performance nog steeds gelijk als met een enkel path... zucht.
Wat ook opvalt is dat als je een grote file kopieert, de performance van zo'n 100MB/s naar 60MB/s dropt na zo'n 4GB.

Helpt dit?

https://louwrentius.com/i...nd-robin-performance.html

[Fonta]

Q schreef op woensdag 15 april 2020 @ 17:15:
[...]


Helpt dit?

https://louwrentius.com/i...nd-robin-performance.html

Ga ik zeker even naar kijken. Thanks!

Instelling aangepast.
In esxtop zie je in ieder geval de data over beide poorten heen gaan:


Een eerste initiële test laat echter nog geen verbetering zien.

[ Voor 49% gewijzigd door Fonta op 15-04-2020 18:34 ]

[zeroday]

heeft iemand voor mij nog de laatste Gen8 VMWARE iso file liggen ? liefst 6.7 als tie er is . .
anders moet ik van 6.5 later alsnog naar 6.7 zien over te gaan ..

ik wil mijn bak met de fakeraid B120i laten werken, maar dan moet ik wel de juiste custom image hebben want anders wordt dat ding niet herkend met die andere iso's ..

ah .. je moet de pre-gen9 hebben .. dan worden de juiste drivers geladen .. dus wel eerst naar 6.5 ..
ok .. het regent toch l)

van het weekend bezig geweest. van 6.5U3 uiteindelijk via vele omwegen en errors naar 6.7U3 en laatste patches kunnen overgaan.
Nu is dit een test server, dus het was een goede leerschool. Omdat het een celeron processor is ga ik er niet verder mee aan de slag, alleen als ik nog 2x8GB memory ergens kan scoren en een update 1265 processor of zo .. ik heb nog een esxi key liggen

Grootste struikelblok was wel de B120i raidcontroller. Die heeft drivers nodig, zitten in de HPE custom image, op zich is dat niet erg, maar zorgt er wel voor dat je bijv. nu niet meer naar Esxi 7 over kan
want dat heb ik ook nog even geprobeerd.

Dus ik weet nu dat ik op 6.5 moet blijven met mijn oude server.

Dus dat wordt wellicht overgaan naar ProxMox om zo toch 'raid' te kunnen blijven doen voor in de toekomst.

[ Voor 62% gewijzigd door zeroday op 20-04-2020 08:00 ]

[Q]

Fonta schreef op woensdag 15 april 2020 @ 17:15:
[...]

Ga ik zeker even naar kijken. Thanks!

Instelling aangepast.
In esxtop zie je in ieder geval de data over beide poorten heen gaan:
[Afbeelding]

Een eerste initiële test laat echter nog geen verbetering zien.

Hoe test jij dit? (edit omdat ik vmware niet meer zo goed ken) Hoe genereer je de load?
En wat als je die load 2 x toepast?

[ Voor 12% gewijzigd door Q op 18-04-2020 18:59 ]

[olson]

Het volgende probleem doet zich hier voor:

Proxmox v6.x en een HPE microserver gen8 AHCI mode waarbij bay2 steeds write errors geeft in ZFS.
Eerst dacht ik nog dat een disk kapot was, maar elke disk (HDD of SSD) heeft na een aantal uur een paar write errors waardoor ZFS de pool of single disk als degraded ziet.
zfs clear pool helpt voor een paar uur. Daarna weer write errors.

Connector bekeken.Ziet er allemaal goed uit. Disk in EXT3 of EXT4 lijkt geen problemen te geven.
Iemand enig idee wat hier aan de hand kan zijn?

[Fonta]

Q schreef op zaterdag 18 april 2020 @ 18:57:
[...]


Hoe test jij dit? (edit omdat ik vmware niet meer zo goed ken) Hoe genereer je de load?
En wat als je die load 2 x toepast?

Windows VM-tje.
VM heeft 2 disks, 1 die op een lokale datastore zit en 1 dit via iSCSI op de NAS zit.
Dan kopieer ik simpelweg grote file van de ene naar de andere kant.
Misschien niet een hele representatieve test, maar het is in ieder geval iets.

Ondertussen heb ik wel de Synology plugin in ESXi geïnstalleerd, dit lijkt ook wel iets geholpen te hebben.
Dit zorgt namelijk voor hardware offloading.
Misschien van de week weer even verder kijken.

Ik loop er ook nog steeds tegen aan dat de overdracht na enkele GBs inkakt naar zo'n 40/50 MB/s.
Dat is ook niet zoals het hoord en lijkt op een cache die volloopt.

[Dakillerbean]

zeroday schreef op zaterdag 18 april 2020 @ 16:41:
heeft iemand voor mij nog de laatste Gen8 VMWARE iso file liggen ? liefst 6.7 als tie er is . .
anders moet ik van 6.5 later alsnog naar 6.7 zien over te gaan ..

ik wil mijn bak met de fakeraid B120i laten werken, maar dan moet ik wel de juiste custom image hebben want anders wordt dat ding niet herkend met die andere iso's ..

ah .. je moet de pre-gen9 hebben .. dan worden de juiste drivers geladen .. dus wel eerst naar 6.5 ..
ok .. het regent toch l)

van het weekend bezig geweest. van 6.5U3 uiteindelijk via vele omwegen en errors naar 6.7U3 en laatste patches kunnen overgaan.
Nu is dit een test server, dus het was een goede leerschool. Omdat het een celeron processor is ga ik er niet verder mee aan de slag, alleen als ik nog 2x8GB memory ergens kan scoren en een update 1265 processor of zo .. ik heb nog een esxi key liggen

Grootste struikelblok was wel de B120i raidcontroller. Die heeft drivers nodig, zitten in de HPE custom image, op zich is dat niet erg, maar zorgt er wel voor dat je bijv. nu niet meer naar Esxi 7 over kan
want dat heb ik ook nog even geprobeerd.

Dus ik weet nu dat ik op 6.5 moet blijven met mijn oude server.

Dus dat wordt wellicht overgaan naar ProxMox om zo toch 'raid' te kunnen blijven doen voor in de toekomst.

Morgen een E3-1240v2 in mijn Gen8 prikken, en dan komt er een E3-1265L vrij. Als de nieuwe cpu het netjes volhoudt qua temperaturen, is de 1265 voor een zacht prijsje over te nemen

[Dakillerbean]

Tijdje weggeweest uit dit topic, maar inmiddels de weg terug weer gevonden. Zoals hierboven te lezen, nog steeds erg blij met mijn Gen8, op het feit na dat de CPU langzaam ontoereikend begint te worden. Om dit op te vangen morgen maar een 1240v2 prikken. Volgens diverse bronnen met de standaard koeler en de settings op middel koelen moet het prima kunnen. Met name streamen van 4K naar de TV via Plex trekt de 1265L maar amper. Draai ESXi met nog meer machines, en die moeten ook nog wat kunnen blijven doen.

Mocht de passieve koeling het toch niet trekken, dan de boel maar ombouwen naar actieve koeling. Heb nog andere opties bekeken zoals offloading via een GPU maar dan is de ruimte beperkt in een Gen8, alsmede de ondersteunende kaarten voor Plex. Ook nog gekeken naar de nieuwe Gen10+ maar los van extra geheugencapaciteit en nieuwer, vind ik ‘m aardig aan de prijs als je er ook 32gb geheugen en een leuke CPU in wil zetten. Nu ben ik met een kleine €60 weer een tijdje gered.

Wellicht binnenkort eens rondneuzen voor een 2e Gen8 voor een zacht prijsje. Blijf het een mooie machine vinden, zoveel mogelijkheden in zo’n klein kubusje ;-)

[Verwijderd]

@Dakillerbean Past de Inno3D GTX 1050 Ti of Quadro P620 niet?

[Q]

Fonta schreef op maandag 20 april 2020 @ 00:55:
[...]

Windows VM-tje.
VM heeft 2 disks, 1 die op een lokale datastore zit en 1 dit via iSCSI op de NAS zit.
Dan kopieer ik simpelweg grote file van de ene naar de andere kant.
Misschien niet een hele representatieve test, maar het is in ieder geval iets.

Ondertussen heb ik wel de Synology plugin in ESXi geïnstalleerd, dit lijkt ook wel iets geholpen te hebben.
Dit zorgt namelijk voor hardware offloading.
Misschien van de week weer even verder kijken.

Ik loop er ook nog steeds tegen aan dat de overdracht na enkele GBs inkakt naar zo'n 40/50 MB/s.
Dat is ook niet zoals het hoord en lijkt op een cache die volloopt.

Misschien kun je eens testen vanaf de VMware host zelf via SSH rechtstreeks op de datastore met dd (eventueel meerdere dds) om te zien of je voorbij 1 Gbit kunt komen, zo sluit je misschien weer iets uit.

[_JGC_]

Q schreef op maandag 20 april 2020 @ 16:25:
[...]


Misschien kun je eens testen vanaf de VMware host zelf via SSH rechtstreeks op de datastore met dd (eventueel meerdere dds) om te zien of je voorbij 1 Gbit kunt komen, zo sluit je misschien weer iets uit.

Dat zegt niks, want vanuit de host is I/O bagger traag in VMWare. Dit om ervoor te zorgen dat guests zoveel mogelijk resources krijgen.

[Q]

_JGC_ schreef op maandag 20 april 2020 @ 16:39:
[...]

Dat zegt niks, want vanuit de host is I/O bagger traag in VMWare. Dit om ervoor te zorgen dat guests zoveel mogelijk resources krijgen.

Seeing is believing. Zeker als de guests idle zijn.

[Q]

Uit nieuwsgierigheid kon ik het niet laten om een 5-bay 3.5" USB3 docking station te kopen op Aliexpress.
Het is een Orico 6558US3-C en kost 75 euro, ik mocht ook nog even 28 euro inklaringskosten aftikken. Dus met 103 euro werd mijn nieuwsgierigheid ietsje duurder dan gehoopt, maar niet onverwacht.

Performance

Sequentieel lezen: 170 MB/s
Sequentieel schrijven: 120 MB/s

Schijven worden te warm

Dit ding heeft - niet onverwacht - een heel groot nadeel wat mij betreft: geen actieve koeling. Dat betekent dat de schijven - afhankelijk van het type - gewoon serieus (te) warm gaan worden. Je mag dus zelf iets gaan beunhazen of op zijn minst een usb-fan ergens vandaan halen en op je schijven richten.

Ik zou zo'n ding als dit nooit voor serieuze data gebruiken. Maar als backup-target lijkt mij het een redelijke budget toepassing, als je een knappe oplossing weet te beunhazen voor het koelingsprobleem.

RAID

Vanwege de extreem beperkte bandbreedte is de rebuild performance ongeveer 1 TB per 6 uur! (gemeten met Linux kernel RAID). Als deze schijven backup data bevatten, is RAID misschien niet zo relevant, maar dat moet je zelf beslissen. Misschien is snapraid nog een mooi compromis.

Om de capaciteit van 5 schijven te benutten is een optie om er een groot vollume van te maken misschien toch wel fijn, maar daar zijn ook andere opties voor, zoals RAID0, LVM, mergerfs.

[zeroday]

Q schreef op woensdag 22 april 2020 @ 18:08:
Uit nieuwsgierigheid kon ik het niet laten om een 5-bay 3.5" USB3 docking station te kopen op Aliexpress.
Het is een Orico 6558US3-C en kost 75 euro, ik mocht ook nog even 28 euro inklaringskosten aftikken. Dus met 103 euro werd mijn nieuwsgierigheid ietsje duurder dan gehoopt, maar niet onverwacht.
[/qote]

En je hebt hem dan via USB3 aangesloten?
ik heb helaas een slechte batch 5TB disken gehad die, ondanks 2 jaar 24/7 gebruik (aan), toch bad sectors ging genereren en uiteindelijk niet handig was als Backup functie via USB3 (het trok mijn server zelfs praktisch omver). Daar kwam ik dus achter toen ik beide 5TB's in de nieuwe NAS wilde stoppen.
En bad sectors oplossen kan m.i. niet.

ik heb uiteindelijk toch besloten om een 2e HP gen8 om te bouwen naar een 2e NAS die via rysnc een backup doet van miijn 30TB NAS (alleen datgeen wat ik wil wat gebackupped wordt)

[Q]

zeroday schreef op woensdag 22 april 2020 @ 18:57:
[...]


En je hebt hem dan via USB3 aangesloten?
ik heb helaas een slechte batch 5TB disken gehad die, ondanks 2 jaar 24/7 gebruik (aan), toch bad sectors ging genereren en uiteindelijk niet handig was als Backup functie via USB3 (het trok mijn server zelfs praktisch omver). Daar kwam ik dus achter toen ik beide 5TB's in de nieuwe NAS wilde stoppen.
En bad sectors oplossen kan m.i. niet.

ik heb uiteindelijk toch besloten om een 2e HP gen8 om te bouwen naar een 2e NAS die via rysnc een backup doet van miijn 30TB NAS (alleen datgeen wat ik wil wat gebackupped wordt)

Ja dat klopt, alleen USB3 is mogelijk.

Bad sectors / leesfouten trekken alles omver, ik denk niet dat er een relatie is met USB3 (ik weet niet of je dat bedoelde).

Ik denk dat een groot probleem is dat veel mensen hun schijven niet regelmatig op bad sectors scannen (scrub/check_array). Mensen die Linux MDADM gebruiken doen dit - mogelijk zonder dat ze het weten - wel.

[ViezeVis]

Hi all!

Voor mij is het de eerste keer dat ik hier iets vraag dus weet niet of dit beter in een apart topic kan. Ik heb al enige tijd (sinds 2016) een HP Microserver Gen8 draaien met 4x4TB schijven (MD04ACA400 van Toshiba). De CPU is geupgrade voor een Intel Xeon E3-1220V2 en er draait XPenology 5.2 op met RAID5 config.

Deze config was 4 jaar geleden echt super fijn maar sinds dat XPenology niet meer wordt geupdate door de toenmalige developers is het upgraden van je NAS een stuk lastiger geworden. Bovendien wil ik ook niet op 5.2 blijven draaien en maar blijven doortuffen op oude meuk.

Nu twijfel ik over mijn nieuwe opstelling. Ik heb alle data gebackupt en ben dus 'vrij' om wat nieuws te doen. Ik zit te twijfelen tussen een FreeNAS opstelling of een Windows Server opstelling met daarin virtualisatiemogelijkheden. Ik kan dan i.c.m. HyperV alsnog een FreeNAS Setup opzetten maar eventueel ook nog andere VM's aanmaken waar ik dan het e.e.a. mee kan testen.

De twijfel is groot... wat denken jullie?

/E
Ik zie bijv. een aantal pagina's terug ook nog Proxmox terugkomen. Zou een goeie virtualisatietooling kunnen zijn en dán FreeNas installeren via hier.

[ Voor 7% gewijzigd door ViezeVis op 24-04-2020 15:28 ]

[MAdD]

ViezeVis schreef op vrijdag 24 april 2020 @ 15:25:
Hi all!

Voor mij is het de eerste keer dat ik hier iets vraag dus weet niet of dit beter in een apart topic kan. Ik heb al enige tijd (sinds 2016) een HP Microserver Gen8 draaien met 4x4TB schijven (MD04ACA400 van Toshiba). De CPU is geupgrade voor een Intel Xeon E3-1220V2 en er draait XPenology 5.2 op met RAID5 config.

Deze config was 4 jaar geleden echt super fijn maar sinds dat XPenology niet meer wordt geupdate door de toenmalige developers is het upgraden van je NAS een stuk lastiger geworden. Bovendien wil ik ook niet op 5.2 blijven draaien en maar blijven doortuffen op oude meuk.

Nu twijfel ik over mijn nieuwe opstelling. Ik heb alle data gebackupt en ben dus 'vrij' om wat nieuws te doen. Ik zit te twijfelen tussen een FreeNAS opstelling of een Windows Server opstelling met daarin virtualisatiemogelijkheden. Ik kan dan i.c.m. HyperV alsnog een FreeNAS Setup opzetten maar eventueel ook nog andere VM's aanmaken waar ik dan het e.e.a. mee kan testen.

De twijfel is groot... wat denken jullie?

je kan ook nog ESX-i draaien.
Daarnaast kan je nog steeds XPEnology draaien tot versie 6.2.3-25423 (deze draai ik in een VM op de esx-i host)

[ViezeVis]

MAdD schreef op vrijdag 24 april 2020 @ 15:29:
[...]

je kan ook nog ESX-i draaien.
Daarnaast kan je nog steeds XPEnology draaien tot versie 6.2.3-25423 (deze draai ik in een VM op de esx-i host)

ESXi zou indd ook nog een goeie zijn. Of ik gebruik wil blijven maken van XPEnology weet ik niet. Ik vind de huidige installatieinstructies van XPEnology behoorlijk complex geworden (ook met upgraden vgm). Het is al even geleden maar ik twijfel wel over XPENology.

ESXi ga ik zeker overwegen (draait behoorlijk lichter t.o.v. Windows )

//E2
Via ESXi zou ik ook Ubuntu kunnen laten draaien voor File Share maar dan wordt t snel technisch.

[ Voor 8% gewijzigd door ViezeVis op 24-04-2020 15:39 ]

[MAdD]

het draaien van XPEnology valt tegenwoordig wel mee, zie ook https://gathering.tweaker...ist_messages/1629671/last

moet zeggen, ik draai deze in een VM en dat werkt prettig, naast deze heb ik nog 4 vm's draaien waaronder win10, Pi-Hole en wat testzaken

[ViezeVis]

MAdD schreef op vrijdag 24 april 2020 @ 15:39:
het draaien van XPEnology valt tegenwoordig wel mee, zie ook https://gathering.tweaker...ist_messages/1629671/last

moet zeggen, ik draai deze in een VM en dat werkt prettig, naast deze heb ik nog 4 vm's draaien waaronder win10, Pi-Hole en wat testzaken

Ik vind de interface van Synology ook zeer prettig werken. Maar ik nijg gek genoeg meer naar oplossingen zoals FreeNAS of wat meer Ubuntu/Linux based.

Ik ga even denken...

[MisteRMeesteR]

ViezeVis schreef op vrijdag 24 april 2020 @ 15:34:
[...]

ESXi zou indd ook nog een goeie zijn. Of ik gebruik wil blijven maken van XPEnology weet ik niet. Ik vind de huidige installatieinstructies van XPEnology behoorlijk complex geworden (ook met upgraden vgm). Het is al even geleden maar ik twijfel wel over XPENology.

ESXi ga ik zeker overwegen (draait behoorlijk lichter t.o.v. Windows )

//E2
Via ESXi zou ik ook Ubuntu kunnen laten draaien voor File Share maar dan wordt t snel technisch.

HP/VMWare heeft speciale ESXi images voor de microserver.

Draait hier al jaren perfect (10+ VM’s)

[Fonta]

MisteRMeesteR schreef op vrijdag 24 april 2020 @ 21:23:
[...]

HP/VMWare heeft speciale ESXi images voor de microserver.

Draait hier al jaren perfect (10+ VM’s)

Helaas is de Microserver Gen10 dan weer niet ondersteund. De Gen10 Plus wel.

Bron: https://techlibrary.hpe.c...supportmatrix/vmware.aspx

Wel draai ik hier ook ESXi 7.0, geïnstalleerd met een HPE iso op de Gen10.
Lijkt allemaal prima te werken voor zover ik kan zien.
Echter geen flauw idee of er drivers missen waardoor het niet optimaal werkt.

[CopyCatz]

Fonta schreef op zondag 26 april 2020 @ 14:17:
[...]

Helaas is de Microserver Gen10 dan weer niet ondersteund. De Gen10 Plus wel.

Zou dat met ILO/IPMI te maken hebben die niet op de Gen10 zit? Ik heb kort esxi getest op mijn 10+ met de custom iso, alles werd prima herkend. Ben nu in afwachting van mijn ilo enablement kit vanuit duitsland, die dingen zijn pas in juni normaal verkrijgbaar..

[Fonta]

CopyCatz schreef op zondag 26 april 2020 @ 18:37:
[...]


Zou dat met ILO/IPMI te maken hebben die niet op de Gen10 zit? Ik heb kort esxi getest op mijn 10+ met de custom iso, alles werd prima herkend. Ben nu in afwachting van mijn ilo enablement kit vanuit duitsland, die dingen zijn pas in juni normaal verkrijgbaar..

Ik heb werkelijk waar geen flauw idee. Ik vermoed ook dat de custom iso gewoon werkt, maar dat HPE alleen geen ondersteuning biedt.

[zeroday]

Fonta schreef op maandag 27 april 2020 @ 01:33:
[...]

Ik heb werkelijk waar geen flauw idee. Ik vermoed ook dat de custom iso gewoon werkt, maar dat HPE alleen geen ondersteuning biedt.

HP Gen8 werkt vast met Esxi 7.0 maar de B120i raidcontroller niet.
Dus als je dit wil gebruiken dan gaat dat niet. En tjsa.. software raid wordt door Esxi niet ondersteund en om nu Esxi op 1 HDD te zetten is me ook weer wat.

Dan zou ik naar wat anders over moeten zoals proxmox en dat wil ik voorlopig niet .. Maar het is wel jammer dat Esxi 7 niet meer kan voor de gen8

[MisteRMeesteR]

zeroday schreef op maandag 27 april 2020 @ 10:08:
[...]


HP Gen8 werkt vast met Esxi 7.0 maar de B120i raidcontroller niet.
Dus als je dit wil gebruiken dan gaat dat niet. En tjsa.. software raid wordt door Esxi niet ondersteund en om nu Esxi op 1 HDD te zetten is me ook weer wat.

Dan zou ik naar wat anders over moeten zoals proxmox en dat wil ik voorlopig niet .. Maar het is wel jammer dat Esxi 7 niet meer kan voor de gen8

ESXi draai je toch vanaf het SD kaartje op het PCB?

[Fonta]

MisteRMeesteR schreef op maandag 27 april 2020 @ 10:24:
[...]

ESXi draai te toch vanaf het SD kaartje op het PCB?

Daar kan je voor kiezen idd.

[k1n9_n01z3]

Is er niemand hier die esxi 7 op z'n gen8 heeft gegooid ?

[CurlyMo]

dijkmane schreef op vrijdag 10 januari 2020 @ 16:54:
behuizing voor de 4 schijven gekocht, een Oimaster MR-6410 met als resultaat :
[Afbeelding]

Kan je iets meer zeggen over de kwaliteit van die Oimaster? Ik ben aan het kijken naar hun 4x 2.5" hot-swap in 5.25" bay, maar kan vrijwel nergens echt degelijke reviews vinden:

[chaoscontrol]

CurlyMo schreef op dinsdag 5 mei 2020 @ 23:06:
[...]

Kan je iets meer zeggen over de kwaliteit van die Oimaster? Ik ben aan het kijken naar hun 4x 2.5" hot-swap in 5.25" bay, maar kan vrijwel nergens echt degelijke reviews vinden:
[Afbeelding]

Ik gebruik deze al jaren na alle tevredenheid.

_{(Zie dat ik hem in 2015 zelfs "gereviewed" heb. )}

[LeGato23]

CurlyMo schreef op dinsdag 5 mei 2020 @ 23:06:
[...]

Kan je iets meer zeggen over de kwaliteit van die Oimaster? Ik ben aan het kijken naar hun 4x 2.5" hot-swap in 5.25" bay, maar kan vrijwel nergens echt degelijke reviews vinden:
[Afbeelding]

Zelf heb ik deze Sharkoon Quickport al jaren in gebruik. Helaas is deze niet meer leverbaar volgens de pricewatch, maar volgens mij kan je met soortgelijke 5.25" bay oplossingen niet echt een verkeerde keuze maken. Zodra de HDD's aangesloten zijn en herkend worden met de juiste SATA snelheid werkt het naar behoren, toch?

[ Voor 0% gewijzigd door LeGato23 op 07-05-2020 17:55 . Reden: typo ]

[Zenix]

Ik heb nu een aantal weken de Gen10 Plus draaien met Promox gaat prima! Ik ben tegen twee problemen aangelopen. Mijn Samsung Enterprise SSD pricewatch: Samsung SM843T 480GB werd niet herkend. Hetzelfde probleem had ik bij de Crucial M4, de Crucial M500 deed het wel. Heb er dus maar een MX500 1TB in gedaan. Dat ging ook goed.

Bij de Proxmox installatie had ik ook een probleem. De installer verscheen niet in beeld via Displayport, alleen een grijze achtergrond. Via de VGA aansluiting had ik geen problemen.

[PublishedMeteor]

Even een snelle vraag. Ik ben momenteel aan het kijken om een Gen10 Plus te configureren/uitzoeken als thuis virtualisatieserver. Naast de 4HDD's zou ik toch echt wel een SSD op SATA/m.2 via PCI aangesloten willen hebben. Zijn de HP machines kieskeurig in wat ze accepteren of werken de meeste PCI SATA/m.2 insteekkaarten wel?

[dijkmane]

LeGato23 schreef op woensdag 6 mei 2020 @ 20:18:
[...]

Zelf heb ik deze Sharkoon Quickport al jaren gebruik. Helaas is deze niet meer leverbaar volgens de pricewatch, maar, volgens mij kan je met soortgelijke 5.25" bay oplossingen niet echt een verkeerde keuze maken. Zodra de HDD's aangesloten zijn en herkend worden met de juiste SATA snelheid werkt het naar behoren, toch?

inderdaad, het staat maar te staan, mechanisch is t best sterk.
schijven kun je hot swap eruit/erin doen, gaat redelijk soepel.
maar als t goed is doe je dit 1x/jaar ofzo ?

vond de fan wat herrie maken, dus daar heb ik een potmeter tussen gezet zodat ie nu op iets van 9V draait.

verder heb ik er geen omkijken naar, het draait.

[CopyCatz]

PublishedMeteor schreef op donderdag 7 mei 2020 @ 11:48:
Even een snelle vraag. Ik ben momenteel aan het kijken om een Gen10 Plus te configureren/uitzoeken als thuis virtualisatieserver. Naast de 4HDD's zou ik toch echt wel een SSD op SATA/m.2 via PCI aangesloten willen hebben. Zijn de HP machines kieskeurig in wat ze accepteren of werken de meeste PCI SATA/m.2 insteekkaarten wel?

Ik heb deze in mijn gen10+:

https://www.raidsonic.de/...x_en.php?we_objectID=5460

Met alleen het nvme slot gevuld met een WD SN550 1TB.

[PublishedMeteor]

CopyCatz schreef op vrijdag 8 mei 2020 @ 00:37:
[...]


Ik heb deze in mijn gen10+:

https://www.raidsonic.de/...x_en.php?we_objectID=5460

Met alleen het nvme slot gevuld met een WD SN550 1TB.

Oke bedankt! Ik heb nog een kaartje liggen, dat test ik eerst en mocht dat niet functioneren dan koop ik deze!

[SED]

Draai nu alweer bijna 2 jaar op mijn i3


Vandaag kreeg ik voor 2 tientjes de grotere Intel Core I5-3340S aangeboden. Ben benieuwd.. eveneens 65Watt. Nog even wachten totdat hij hier is en dan maar weer eens proberen.

Die oude HP proliant Gen 8 blijft hier lekker doordraaien

[_JGC_]

SED schreef op vrijdag 5 juni 2020 @ 22:22:
Draai nu alweer bijna 2 jaar op mijn i3
[Afbeelding]

Vandaag kreeg ik voor 2 tientjes de grotere Intel Core I5-3340S aangeboden. Ben benieuwd.. eveneens 65Watt. Nog even wachten totdat hij hier is en dan maar weer eens proberen.

Die oude HP proliant Gen 8 blijft hier lekker doordraaien

Die i5 S dingen worden veel toegepast in kleine desktopjes en all in ones, worden niet heel erg warm. Heb laatst nog een i5 3570S uit een kapotte Elite 8300 USDT in een computer gezet, was leuke upgrade voor een G2020 (die mensen wilden een nieuwe pc kopen... ssd erin en cpu swap omdat ik 'm had liggen, kan nog jaren vooruit).

[Pyramiden]

Welke HBA controller gebruiken jullie in de Gen8 in combinatie met Windows Server? Ik heb op dit moment een HP P420 met twee RAID 1 arrays, maar zou graag naar software RAID over willen omdat je de SMART waarden niet helemaal lekker uit kunt lezen wanneer je deze vorm van RAID gebruikt.

[rookie no. 1]

@Pyramiden 2 Gen8's hier met de geïntegreerde controller op AHCi en dan RAID1 of 0 via Windows Storage Pools. Als file system ReFS op deze volumes en hier staan Hyper-V VM's op.

Mijn boot disk is een MicroSD volume en Windows Server (Hyper-V core) staat op een SSD op SATA poort 5 aangesloten.

[Dutchylex]

Beste tweakers, Ik heb iets opmerkelijks (volgens mij) Ik heb deze week mijn HPE ProLiant MicroServer Gen10 Plus (P18584-421) gekregen. Ik heb daar zelf 2x 32 Crucial geheugen ingezet ipv de HP 16 GB module. Ik heb ESXi 7 (HP versie) geinstalleerd (op een USB stick) en alles werkt op het oog prima. Er zitten 3 sata disken in, 1 SSD Samsung Evo 1TB, en dan 1 normale sata disk van 6TB en de standaard Satadisk van 1TB die erbij zit. Ik doe vooralsnog niets met (software) raid.

Echter heb ik een performance issue met de 2 normale SATA disken. Ik heb een aantal VM's (Server 2019) gemaakt en een share ingesteld op de 6TB normale sata disk. Als ik vanaf een andere VM, Fysiek werkstation of NAS naar deze share kopieer kom ik niet hoger dan 30MB/s terwijl ik echt wel boven de 100MB/s moet kunnen komen. Dat bewijst het feit als ik de share even verplaats naar de SSD datastore. Dan zit ik strak op 113MB/s. De 6 TB disk komt uit een Synology NAS waar hij wel maximale snelheid geeft. Ik heb van alles geprobeerd maar krijg het niet sneller.

Ik heb uitgesloten dat het aan het netwerk ligt (door wat tooltjes en de SSD actie)

Het volgende heb ik nog meer geprobeerd, zonder het gewenste resultaat:
- Op de HP server direct Windows 2019 geinstaleerd en de kopieerslag gedaan. Daarna ook in HyperV geprobeerd.
- In plaats van een fileshare uit server 2019 een FreeNas VM geinstalleerd.
- Kopieeren tussen VM's op de ESX host.
- Uiteraard gezocht op firmware/driver updates

Ik hoop dat jullie enige idee hebben. Alvast bedankt!

[Q]

Hoe heb je vastgesteld dat het niet aan het netwerk ligt?
Hoe heb je getest dat de schijven gewoon onder ESXi de volle snelheid halen?

[ Voor 255% gewijzigd door Q op 26-06-2020 14:35 ]

[Dutchylex]

Q schreef op vrijdag 26 juni 2020 @ 14:25:
Hoe heb je vastgesteld dat het niet aan het netwerk ligt?
Hoe heb je getest dat de schijven gewoon onder ESXi de volle snelheid halen?

Ik heb het volgende getest om het netwerk te testen:
- met iPerf getest -> Volle bak 1gbit. Zowel tussen VM's op dezelfde host als vanaf een PC in het netwerk.
- Bestanden kopiëren naar een share, in een VM op de Esx omgeving die op de SSD disk staat. Een bestand van 16GB naar een machine met 4GB ram. -> gaat met 113MB per seconde, zoals verwacht
- Clean Windows isntallatie en van een vaste PC naar de interne SSD gezet. Gaat ook goed

[Q]

Zou je eens op de ESXi host in kunnen loggen en dan binnen de juiste datastores dit testen:

code:

dd if=/dev/zero of=/path/to/datastore/test.bin bs=1M count=10000 conv=fsync

Ik zou dit even doen voor alle schijven.

De 1 TB zou 100-130 MB/s moeten halen minimaal
De 6 TB zou 160-200+ MB/s moeten halen.
De SSD moet 550+ MB/s halen.

Je hebt het netwerk met iperf als oorzaak al uitgesloten met iperf. Maar misschien dat een storage driver nog lastig doet?!

Test je een netwerk share met een kopie van een grote file of veel kleine files? Dat laatste is typisch iets waar SSDs prima mee presteren, maar waar je schijven op ziet instorten, een beetje het plaatje wat je nu schetst (hoeft niet zo te zijn).

[ Voor 38% gewijzigd door Q op 26-06-2020 16:05 ]

[Eastern]

En kijk eens met

code:

dmesg

of je geen errors hebt. Had ik laatst ook op een andere server (was met esx 6.5 en een big in de ahci driver)

[Dutchylex]

Q schreef op vrijdag 26 juni 2020 @ 16:00:
Zou je eens op de ESXi host in kunnen loggen en dan binnen de juiste datastores dit testen:

code:

dd if=/dev/zero of=/path/to/datastore/test.bin bs=1M count=10000 conv=fsync

Ik zou dit even doen voor alle schijven.

De 1 TB zou 100-130 MB/s moeten halen minimaal
De 6 TB zou 160-200+ MB/s moeten halen.
De SSD moet 550+ MB/s halen.

Je hebt het netwerk met iperf als oorzaak al uitgesloten met iperf. Maar misschien dat een storage driver nog lastig doet?!

Test je een netwerk share met een kopie van een grote file of veel kleine files? Dat laatste is typisch iets waar SSDs prima mee presteren, maar waar je schijven op ziet instorten, een beetje het plaatje wat je nu schetst (hoeft niet zo te zijn).

Ik heb er even 1Gb van gemaakt ipv 10Gb maar dit was het resultaat:

de SSD: 15 sec, dus 66MB/s
De 1TB: 85 sec, dus nog geen 12MB/s
De 6TB: 54 sec, dus nog geen 19MB/s

[Dutchylex]

Eastern schreef op vrijdag 26 juni 2020 @ 16:05:
En kijk eens met

code:

dmesg

of je geen errors hebt. Had ik laatst ook op een andere server (was met esx 6.5 en een big in de ahci driver)

Nope, kan geen rare fouten zien.

[Dutchylex]

Ik zie net dat het Lezen vanaf de disken wel goed gaat. Het beperkt zich dus tot schrijfacties

[Q]

Dutchylex schreef op vrijdag 26 juni 2020 @ 16:27:
[...]


Ik heb er even 1Gb van gemaakt ipv 10Gb maar dit was het resultaat:

de SSD: 15 sec, dus 66MB/s
De 1TB: 85 sec, dus nog geen 12MB/s
De 6TB: 54 sec, dus nog geen 19MB/s

Dat is niet best, maar de silver lining: Ik denk dat we dan in ieder geval hebben ontdekt waar het probleem zit en we weten hoe we het simpel kunnen testen valideren. Dat is al heel wat.

Mijn eerste reactie is om eens goed te kijken naar de BIOS settings voor de RAID controller, ik zou 'm op AHCI zetten als dat niet al het geval is.

Ook zou ik even Linux, Ubuntu is wel makkelijk, op een van de schijven of de SSD installeren om dat dd-commando dan nog eens te herhalen.

Ik vraag me af of dit een ESXi quirk is of niet, vandaar dat ik deze test voorstel.

Ook zou je kunnen testen of een van de schijven op de een of andere onverklaarbare manier problemen geeft, dus met 1 schijf / ssd tegelijk aan te koppelen en te testen.

Dat de SSD nog steeds veel sneller gaat dan de HDDs vind ik trouwens ook wel opvallend.

[ Voor 4% gewijzigd door Q op 26-06-2020 17:45 ]

[Dutchylex]

Q schreef op vrijdag 26 juni 2020 @ 17:43:
[...]


Dat is niet best, maar de silver lining: Ik denk dat we dan in ieder geval hebben ontdekt waar het probleem zit en we weten hoe we het simpel kunnen testen valideren. Dat is al heel wat.

Mijn eerste reactie is om eens goed te kijken naar de BIOS settings voor de RAID controller, ik zou 'm op AHCI zetten als dat niet al het geval is.

Ook zou ik even Linux, Ubuntu is wel makkelijk, op een van de schijven of de SSD installeren om dat dd-commando dan nog eens te herhalen.

Ik vraag me af of dit een ESXi quirk is of niet, vandaar dat ik deze test voorstel.

Ook zou je kunnen testen of een van de schijven op de een of andere onverklaarbare manier problemen geeft, dus met 1 schijf / ssd tegelijk aan te koppelen en te testen.

Dat de SSD nog steeds veel sneller gaat dan de HDDs vind ik trouwens ook wel opvallend.

Dank je voor het meedenken. Ik zal morgen even kijken of ik dit kan doen, al had ik ook al een keer "plain" Windows erop gezet met dezelfde resultaten. En wat jij zegt, het feit dat de SSD redelijk snel is vind ik wel apart. Dat zou suggeren dat het niet aan de SATA interface ligt als je het mij vraagt.

[Dutchylex]

Q schreef op vrijdag 26 juni 2020 @ 17:43:
[...]


Dat is niet best, maar de silver lining: Ik denk dat we dan in ieder geval hebben ontdekt waar het probleem zit en we weten hoe we het simpel kunnen testen valideren. Dat is al heel wat.

Mijn eerste reactie is om eens goed te kijken naar de BIOS settings voor de RAID controller, ik zou 'm op AHCI zetten als dat niet al het geval is.

Ook zou ik even Linux, Ubuntu is wel makkelijk, op een van de schijven of de SSD installeren om dat dd-commando dan nog eens te herhalen.

Ik vraag me af of dit een ESXi quirk is of niet, vandaar dat ik deze test voorstel.

Ook zou je kunnen testen of een van de schijven op de een of andere onverklaarbare manier problemen geeft, dus met 1 schijf / ssd tegelijk aan te koppelen en te testen.

Dat de SSD nog steeds veel sneller gaat dan de HDDs vind ik trouwens ook wel opvallend.

Jammer genoeg geen oplossing en dezelfde resultaten. Ik heb maar een case ingeschoten bij HP...

[Q]

Dutchylex schreef op zaterdag 27 juni 2020 @ 08:50:
[...]


Jammer genoeg geen oplossing en dezelfde resultaten. Ik heb maar een case ingeschoten bij HP...

Ik ben benieuwd. Niets in het bios / raid rom gevonden dat mogelijk de moeite loont om mee te testen? En heb je schijven los getrokken?

[ Voor 5% gewijzigd door Q op 27-06-2020 12:02 ]

[Dutchylex]

Q schreef op zaterdag 27 juni 2020 @ 12:02:
[...]


Ik ben benieuwd. Niets in het bios / raid rom gevonden dat mogelijk de moeite loont om mee te testen? En heb je schijven los getrokken?

Ja, heb schijven los getrokken. Nu zit alleen de supported disk van HP erin. In de bios geen rare dingen gezien. Ook hardware checks etc. gedaan zonder rare meldingen.

Ik heb net Ubuntu Live opgestart en de disk gemount en het dd commando uitgevoer. Ik kwam nu op 188MB/s uit! Dat lijkt er meer op. Maar ik vraag me even af (ben hier niet zo bekend mee) of er wellicht eerst naar RAM wordt weggeschreven en daarna naar de disk. Dus dat het lijkt dat het snel gaat maar uiteindelijk niet zo is? Er zit 64GB Ram in de machine.

[Q]

Dutchylex schreef op zaterdag 27 juni 2020 @ 12:17:
[...]


Ja, heb schijven los getrokken. Nu zit alleen de supported disk van HP erin. In de bios geen rare dingen gezien. Ook hardware checks etc. gedaan zonder rare meldingen.

Ik heb net Ubuntu Live opgestart en de disk gemount en het dd commando uitgevoer. Ik kwam nu op 188MB/s uit! Dat lijkt er meer op. Maar ik vraag me even af (ben hier niet zo bekend mee) of er wellicht eerst naar RAM wordt weggeschreven en daarna naar de disk. Dus dat het lijkt dat het snel gaat maar uiteindelijk niet zo is? Er zit 64GB Ram in de machine.

Hmm, dat is interessant. Ik denk niet dat dit je RAM cache is. Vaak zie je dan 500+ mb/s voor een schijf dat theoretisch niet eens kan halen. En het is al een forse afwijking van je eerdere resultaten.

Dit zou ik even proberen: doe de DD test nog eens, maar dan met 10GB+ of meer.
Installeer de applicatie dstat of iotop of iostat (package sysstat) en draai deze in een 2e venster om tegelijk te zien wat je schijf echt doet qua throughput.

Herhaal de test voor iedere schijf / ssd om een idee te krijgen. Koppel ze dan (als ze allemaal goed zijn) gestructureerd 1 voor 1 aan en kijk of de prestaties goed blijven.

Zie ook: https://louwrentius.com/p...nitoring-using-dstat.html

Ik was vergeten dat ik er een artikel over had geschreven

[ Voor 18% gewijzigd door Q op 27-06-2020 12:30 ]

[Dutchylex]

Q schreef op zaterdag 27 juni 2020 @ 12:25:
[...]


Hmm, dat is interessant. Ik denk niet dat dit je RAM cache is. Vaak zie je dan 500+ mb/s voor een schijf dat theoretisch niet eens kan halen. En het is al een forse afwijking van je eerdere resultaten.

Dit zou ik even proberen: doe de DD test nog eens, maar dan met 10GB+ of meer.
Installeer de applicatie dstat of iotop of iostat (package sysstat) en draai deze in een 2e venster om tegelijk te zien wat je schijf echt doet qua throughput.

Herhaal de test voor iedere schijf / ssd om een idee te krijgen. Koppel ze dan (als ze allemaal goed zijn) gestructureerd 1 voor 1 aan en kijk of de prestaties goed blijven.

Zie ook: https://louwrentius.com/p...nitoring-using-dstat.html

Ik was vergeten dat ik er een artikel over had geschreven

Ben de hele ochtend en middag met allerlei setups, os-en en hypervisors aan het testen geweest op diverse disken. Het komt er grofweg op neer dat bij Linux achtige (XEN, Ubuntu) de schijven op de host snel performen. Op het moment dat ik virtuele servers ga installeren (op bv XEN) dan wordt het weer super traag. Kan er geen touw maar aan vast knopen Esxi is zowel de host traag als de vm's...

[Dutchylex]

Hmmm, Ik heb op de ESXi server de 6TB disk via RDM aan mijn VM gekoppeld. Ik zit nu op 1 Gbit snelheid. Ben benieuwd of andere Gen 10 Plus hier ook last van hebben of krijen.

[Q]

Als een RDM device wel goed presteert dan zegt mijn instinct - met de cijfers die je noemt - dat er ergens iets mis gaat met de settings voor write-trough / write-back. Die misschien wel gehonoreerd worden door de driver via
vmfs / of de windows equivalent.

Ik heb je nog niet over het BIOS gehoord of niet goed gelezen: zit daar niet nog iets te tunen?

Staat de controller in RAID modus of in AHCI mode? Dit is wel kritisch.

Heb je trouwens de meest recente SPP over de server heen gehaald en gebruik je de vendor-specific image?

dat ook XEN niet lekker loopt is ook wel typisch.

Overigens - mogelijk totaal ongerelateerd - zie ik dat in het verleden veel mensen problemen hadden met performance en bepaalde esxi drivers. Maar dat waren oudere microservers met andere controllers.

[ Voor 55% gewijzigd door Q op 27-06-2020 17:45 ]

[Dutchylex]

Q schreef op zaterdag 27 juni 2020 @ 17:27:
Als een RDM device wel goed presteert dan zegt mijn instinct - met de cijfers die je noemt - dat er ergens iets mis gaat met de settings voor write-trough / write-back. Die misschien wel gehonoreerd worden door de driver via
vmfs / of de windows equivalent.

Ik heb je nog niet over het BIOS gehoord of niet goed gelezen: zit daar niet nog iets te tunen?

Staat de controller in RAID modus of in AHCI mode? Dit is wel kritisch.

Heb je trouwens de meest recente SPP over de server heen gehaald en gebruik je de vendor-specific image?

dat ook XEN niet lekker loopt is ook wel typisch.

Overigens - mogelijk totaal ongerelateerd - zie ik dat in het verleden veel mensen problemen hadden met performance en bepaalde esxi drivers. Maar dat waren oudere microservers met andere controllers.

Hi Q, dank (wederom) voor je feedback! Ik heb inderdaad meteen de nieuwste firmware etc. geinstalleerd en ook de "HP branded" Esxi 7 image gebruikt. In de bios is niet veel meer aan te passen dan de setting "Embedded SATA Configuration". Deze staat op "SATA AHCI Support" Op dit moment is hij al 3 uur aan het stampen vanaf een NAS naar de genoemde VM met volle snelheid (1 Gbit) So-far-so-good maar a toch verder zoeken omdat ik wil weten wat het is