Hyper-V server met iSCSI

[Verwijderd]

Wegens een te kleine server qua ruimte en geheugen zijn wij aan het kijken naar een nieuwe grotere server.
Wij draaien nu op enkele fysieke esxi servers maar ivm beheertechnische kennis willen wij over stappen naar Hyper-V (oude esxi zal een backup hyper-V worden)
en dan tevens van een Linux omgeving overstappen naar Windows.

Op de host komen 3-4 servers te draaien , een AD server en een Exchange server en een SQL server (en evt fileserver)
qua specs voor de host zijn we er nog niet helemaal over uit. iig relatief veel geheugen 48GB voor hoofdzakelijk exchange. (weinig gebruikers maar erg grote mailboxen momenteel max 100GB)

Qua data is nu alleen de keuze, of een server met 6x4TB schijven in Raid 10. of een NAS met iSCSI
(dus exchange server en AD server staan fysiek op de NAS). De verbinding tussen de Server en de NAS zal 10Gb worden. Qua NAS is de Thecus n8810u-g een goede qua prijs kwaliteit met WD of HGST Deskstar schijven.

Als we voor de schijven in de server kiezen dan zijn de schijven erg duur +- 450 euro bij een Dell voor 4TB SATA en een wd of een HGST heb je al voor minder dan de helft.

En als we voor een NAS kiezen dan kan de rest van het netwerk de data kwijt op de NAS en dat scheelt dan weer een virtuele fileserver want de Thecus kan die taak mooi doen dan.

Qua schaalbaarheid is de oplossing met de NAS de beste volgens mij, qua performance met iSCSI heb ik geen ervaring maar een 10Gb link tussen de NAS en de server zal ruim voldoende moeten zijn. de SMB krijgt een 1Gb verbinding naar de switch

Totale budget is +-5000,-- voor de hardware. Dus we hebben veel ruimte nodig met een niet te hoog budget, dus een DAS ligt buiten ons budget.
Is het voor dit budget beter om een NAS versie te gebruiken of om een server vol te drukken met hardschijven ? vooral qua performance.

[KillerAce_NL]

Simpel, kijk hoeveel iops je nodig hebben en of die spindels dat aankunnen.

[johnkeates]

ivm beheertechnische kennis

Wat bedoel je daar mee? Heb je expertise in huis voor Hyper-V en Windows Server en niet voor ESXi en Linux?

Of zijn er vooral Windows desktop gebruikers in is de gedachte: "oh, dan kunnen we Hyper-V en Server ook wel even doen want het heet ook Windows". Want in dat laatste geval gaat het beheer net zo makkelijk mis als met ESXi en Linux.

[Killah_Priest]

Waarom ga je voor SATA schijven en niet voor SAS?
Wat eigenlijk vooral belangrijk is om te weten : hoeveel data heb je momenteel? En hoeveel verwacht jij dat dit toe zal nemen voordat de server afgeschreven is?
(En doe dit ook voor de IOPS).

[Verwijderd]

De expertise voor linux is niet meer in huis, basis kennis wel aanwezig voor linux maar niet meer als dat (standaard beheer gaat goed) maar windows / exchange kennis is er veel meer

Huidige data is +- 2 TB (ex os systemen) verwachting is max 1Tb per jaar er bij ( maar huidige server is ook te klein geschaalt achteraf) dus nu liever wat aan de ruime kant

de Iops heb ik zo niet bij de hand, morgen even kijken

De keuze voor sata ipv sas is kosten technisch, met 6 schijven in raid10 kunnen we ook een hoop iops krijgen. Evt zou een seagate Constellation wel passen binnen het budget

[ Voor 56% gewijzigd door Verwijderd op 01-12-2014 17:13 ]

[KillerAce_NL]

Tja, ik weet niet hoeveel users en vm's je erop loslaat, maar verwacht niet veel van 8 consumenten diskjes....

[Verwijderd]

qua aantal vm's valt het mee 3-4 en evt een paar kleintjes er bij wel bijna geen io hebben.
de huidige esxi servers draaien op 4 sas disken in raid 10

aantal users is 25 waarvan 10 echter powerusers veel data en heel erg veel email, en de rest gebruikt weinig

[ Voor 26% gewijzigd door Verwijderd op 01-12-2014 22:04 ]

[DukeBox]

Fyi iscsi word als SAN gezien niet een NAS.

[Question Mark]

Verwijderd schreef op maandag 01 december 2014 @ 17:02:
de Iops heb ik zo niet bij de hand, morgen even kijken

Doe dat als eerste... Meet wat je nodig bent, gooi daar een percentage voor toekomstige groei bij en kijk hoeveel spindels je nodig bent van een bepaald type disk en Raid level.

Verder ben ik even benieuwd welke beschikbaarheid je omgeving moet hebben. De NAS die je uitkiest heeft namelijk maar één netwerkaansluiting. Een verstoring hiervan zorgt ervoor dat alles down gaat. Kijk dus even of je dit risico aandurft.

Overigens, je hebt het over ongeveer 8 vm's en een enkele host. Kies voor een server waar veel disken in kunnen (bv. een DL380 G9 waar 12 LFF disken in kunnen), en stap af van die NAS. In deze opzet is dat alleen maar een extra single point of failure. Maar... bepaal eerst goed wat je nodig bent.

[Mike2k]

Verwijderd schreef op maandag 01 december 2014 @ 16:43:
Op de host komen 3-4 servers te draaien , een AD server en een Exchange server en een SQL server (en evt fileserver)
qua specs voor de host zijn we er nog niet helemaal over uit. iig relatief veel geheugen 48GB voor hoofdzakelijk exchange. (weinig gebruikers maar erg grote mailboxen momenteel max 100GB)

Ik vind 48Gb eigenlijk nog best weinig....? Een beetje exchange server weet met gemak 16Gb vol te krijgen (pakt per definitie zoveel als je toewijst maar ik had een exchange test bak met 8Gb, 2 users! en daar werd de information store service gestopt door gebrek aan geheugen )
Dan wil je ook nog SQL draaien...die lust ook wel 16Gb (zelfde verhaal als Exchange) en dan hou je nog 'maar' 16Gb over voor de rest...

Als je toch geld uitgeeft, ga dan voor 64Gb geheugen.

[mindcre8r]

Is een Dell VRTX niks voor jullie? opschalen en gedeelde storage mogelijk.
Scheelt je weer een NAS. kosten zijn wel 20K in een leuke config.

[Question Mark]

mindcre8r schreef op dinsdag 02 december 2014 @ 09:57:
Is een Dell VRTX niks voor jullie? opschalen en gedeelde storage mogelijk.
Scheelt je weer een NAS. kosten zijn wel 20K in een leuke config.

Verwijderd schreef op maandag 01 december 2014 @ 16:43:
Totale budget is +-5000,-- voor de hardware.

Wat denk je dat het antwoord van TS is?

[The Lord]

Verwijderd schreef op maandag 01 december 2014 @ 16:43:
Qua data is nu alleen de keuze, of een server met 6x4TB schijven in Raid 10. of een NAS met iSCSI

Ook Storage Spaces afgewogen?

De verbinding tussen de Server en de NAS zal 10Gb worden. Qua NAS is de Thecus n8810u-g een goede qua prijs kwaliteit met WD of HGST Deskstar schijven.

Een losse NAS met 10Gbps zal niet snel veel goedkoper worden dan DAS (in de de server).

Los daarvan moet je er wel bij stil staan of een 'next business day on site support' wenselijk is en kan worden bereikt met losse NAS. Is het überhaupt niet wenselijk dan kan wellicht ook met losse consumer grade SATA schijven in een server caddy worden gewerkt.

Ik heb dit zelf al een aantal keer gedaan (in een volledig 'supported' omgeving) door stomweg alle trays van disken te voorzien en de helft als hot spare aan te merken. Dit was goedkoper dan de helft vullen met 4y NBD support schijven.

Het resultaat na iets meer dan 2 jaar draaien is dat geen enkele disk gefaald heeft.

Als we voor de schijven in de server kiezen dan zijn de schijven erg duur +- 450 euro bij een Dell voor 4TB SATA en een wd of een HGST heb je al voor minder dan de helft.

Maar worden ze waarschijnlijk wel in het eerste jaar, waarin de meeste uitval is, NBD on site vervangen.

En als we voor een NAS kiezen dan kan de rest van het netwerk de data kwijt op de NAS en dat scheelt dan weer een virtuele fileserver want de Thecus kan die taak mooi doen dan.

Maar de NAS voegt weer complexiteit en een extra pad SPOF toe. Bovendien kun je er voor kiezen de SMB functie te delen met Exchange of SQL; dat scheelt weer een licentie.

Qua schaalbaarheid is de oplossing met de NAS de beste volgens mij, qua performance met iSCSI heb ik geen ervaring maar een 10Gb link tussen de NAS en de server zal ruim voldoende moeten zijn. de SMB krijgt een 1Gb verbinding naar de switch

Met slechts 8 bays (in de Thecus) kan ik me configuraties voorstellen met DAS (in de server) welke veel beter schalen. Maar dat is zonder IOps, db groottes en mail users een beetje appels en peren.

[_H_G_]

Niet echt je vraag, maar wel eens gedacht om heel die mail in de cloud te gooien? Omdat je het hebt over "heel erg veel email". Het klinkt alsof een groot deel van die €5.000,- nodig is voor enkel email. En dan lees ik nog niks over backups (ik weet niet of dat ook binnen die €5.000,- moet komen of dat dat al geregeld is)

[mindcre8r]

Question Mark schreef op dinsdag 02 december 2014 @ 10:07:
[...]


[...]

Wat denk je dat het antwoord van TS is?

Ai overheen gelezen.

5000 is uberhaupt niet veel natuurlijk om een basis in te gaan richten met centrale storage.
Je hebt al Fiber nodig (8/10 gbit) voor een productie omgeving met centrale storage imho.
Wanneer je kijkt wat die kaartjes en switches kosten wat heb je al staan?

[Question Mark]

Waarom zijn je FC nodig zijn voor slechts 8 VM's?

Bandbreedte is eigenlijk nooit het probleem. Performance issue's komt bijna altijd door te weinig iops en storage latency's.

Edit:

Ik heb net even een willekeurige ESX host hier bekeken. Op deze host draaien 14 VM's. Deze is met 2x 1 Gbit ISCSI ontsloten op het SAN.

• Average I/O size: 21,5 Kbyte
• Average IOPS: 320
• Average Througput: 6,8 MByte/sec
• Average I/O latency: 1,9 ms.

Dat stelt dus 2x niks voor, die 2x 1 Gbit is qua bandbreedte al overkill. Dit is overigens een host waar wat simpele KA-systemen op draaien.

Topicstarter zal gewoon even moeten meten wat er nu aan IOPS "verbruikt" wordt. Er kan in mijn ogen momenteel echt nog niet geroepen worden welke technieken en snelheden nodig zijn.

[mindcre8r]

mijn ervaring:

ja we willen 3 servers
na 1 jaar: shit we hadden er toch 8 nodig

[DukeBox]

^ Het zijn net konijnen..

[mindcre8r]

maar mail onderbrengen in o365 in deze grootte vind ik er een goede. Office 365 Essentials a 5 euro per maand.

25 users keer 5 euro * 12 = 1500 per jaar met 50gb mailbox per users. backup en licenties geen omkijken meer en beheer practisch ook niet. geen SSL kopen etc.

[Question Mark]

mindcre8r schreef op dinsdag 02 december 2014 @ 14:04:
mijn ervaring:

ja we willen 3 servers
na 1 jaar: shit we hadden er toch 8 nodig

Da's geen antwoord op mijn vraag. Die was nl. waarom je aangeeft dat er relatief duur FC nodig was, terwijl in het geval van topicstarter ISCSI wellicht ook kan voldoen.

Jij geeft nu een reden aan om nu bij de opstart al te kiezen voor shared storage (wat overigens een valide punt is), maar daar ging mijn opmerking niet over. Shared storage via ISCSI is veel voordeliger, vanwege de goedkopere infrastructuur componenten. FC is technisch gezien wel beter, maar waarschijnlijk overkill en vanuit die optiek niet zinnig in dit geval.

[mindcre8r]

Daar heb je een punt. technisch is het met minder goed mogelijk.
Hoe peformt je omgeving met 1gb, hebben we het dan ook over de 10 users met heavy io?

De klachten zijn snel geboren zoals je weet, en de beheerder heeft het dan gedaan terwijl zijn budget beperkt was voor beter.

[Question Mark]

^^ eens.

Daarom hamer ik ook zo op het achterhalen van de benodigde iops. Een storage traject valt en staat met een goede behoefte inventarisatie.

[mindcre8r]

nog even ter info een review van de NAS:

In terms of random I/O, the SSDs performed quite well, although random 4K write performance with the HDDs was lacking compared to some tower-style NAS systems such as the Synology DS1813+ leveraging just 1GbE. For users needing to move lots of multimedia content around in a smaller environment this type of system would work quite well. In a multi-user environment leveraging either iSCSI or SMB, units like the DiskStation DS1813+ or QNAP TS-470 offer double the mixed workload performance with the same amount or half the SSDs respectively.

pricewatch: Synology DiskStation DS1815+

is misschien een optie wanneer je uitkomt.

https://www.synology.com/...rmance#five_to_twelve_bay

[Verwijderd]

Heb even gemeten op 1 van de huidige systemen, max iops 380 (cmd/s gemeten) gemiddeld rond de 20 over een periode van een uur. dus dat valt wel mee.
een 7200rpm sata disk doet ook rond de 135 iops dus 6 of 8 Sata disken zou rond de 600-800 iops uit komen in raid 10.

(vind het aantal cmd/s wel erg laag uitvallen, )

--
De backup is geregeld dit word via usb disks gedaan en via glasvezel naar een andere lokatie

[ Voor 22% gewijzigd door Verwijderd op 02-12-2014 19:49 ]

[Question Mark]

Verwijderd schreef op dinsdag 02 december 2014 @ 19:24:
(vind het aantal cmd/s wel erg laag uitvallen, )

Het komt gemiddeld wel aardig uit met wat ik vandaag even snel bekeken heb. (320 iops / 14 vm's = 22 iops per vm...

Pest is wel dat dit gemiddelden zijn. Je hebt gezien dat bepaalde transacties toch voor een piek van 380 iops kan zorgen, da's een factor 19x zoveel. En toch wil je dat ook deze transacties lekker vlot lopen. Het grote vraagstuk is nu even waar je de sizing op moet gaan baseren.

Wat vaak gedaan wordt is om de load te verdelen over de tijd van de meting.Dat wil zeggen dat er een grafiek of tabel gemaakt wordt met daarin de iops meting op 95% van de tijd, 99% van de tijd en de maximale load. Je krijgt dan bijvoorbeeld een resultaat als:

• 95% van de tijd: 20 < iops < 40
• 99% van de tijd: 20< iops < 120
• peak load 380 iops

Je zou dan kunnen overwegen om de load te basseren op de maximale iops vraag op 99% van de tijd. In dit geval dan 120 iops voor dit specifieke systeem. Op peak load sizen is vaak ook simpelweg niet te betalen.

Zie onderstaande blog hoe dit met Perfmon en Excel te realiseren valt voor Windows systemen:

How to measure IOPS for Windows

[The Lord]

Verwijderd schreef op dinsdag 02 december 2014 @ 19:24:
Heb even gemeten op 1 van de huidige systemen

Maar je gaat consolideren; dan wil je gelijktijdig gemeten gegevens van alle systemen. En dan over een lange periode waar alle standaard te verwachten IO patronen in voorbij komen. Heel vaak is dit een kalenderweek (Full & incremental schedule, Windows Updates, indexing, log roll over, etc).

Hanteer de methode welke Question Mark beschrijft. Wil je het echt zo goed mogelijk inschatten dan moet je ook weten wat in het slechtste geval de hoeveelheid data is die verwerkt wordt.

max iops 380 (cmd/s gemeten) gemiddeld rond de 20 over een periode van een uur. dus dat valt wel mee.

Is dit echt piek of wordt dit afgevlakt over een langere periode door b.v. blocking IOs?

een 7200rpm sata disk doet ook rond de 135 iops dus 6 of 8 Sata disken zou rond de 600-800 iops uit komen in raid 10.

Of 50 IOps. Of 97, of... Dat is helemaal afhankelijk van wat er op de disk wordt losgelaten.

In een erg geval is er b.v. sprake van mis-alignment, random writes op een data/page/block grootte waar SQL, het FS, controller en disk niet van houden met een trage RAID specifiek voor R10. Of in geval van iSCSI ook problemen met ethernet frames, MTU, offloading, etc. Voordat je het weet heb je een enorme queue.

Een beetje het moraal van het verhaal: Kijk nog even niet naar R-level, NAS, Ethernet, FC, etc. Dat komt als de meetgegevens ondubbelzinnig te verklaren zijn.

hmmm, beetje teveel schoolmeesterstoontje; daar moet je maar even overheen lezen.

[Verwijderd]

ik heb gemeten op 1 esxi server, waarvan de systeem naar hyper-V gaat dus op de console en niet in een vm.
dus heb ik de vm's welke daar op draaien allemaal in die meting zitten, het is niet helemaal representatief omdat 1 server (linux fileserver / mail ) er uit gaat een naar AD en exchange word omgezet. dus. dus qua iops zal het wel wat anders kunnen zijn