Zuinige ESXi Server

[A1AD]

FireDrunk schreef op dinsdag 15 oktober 2013 @ 09:10:
Dat weet je nooit van buitenaf. Ga eens in de controller events neuzen of hij de disk gedropped heeft, en met welke reden.

De logs geven mij de volgende error:

code:

2013-10-14T20:09:53.969Z [FFA45D20 error 'Statssvc.vim.PerformanceManager'] Error while loading stats depot: "FileIO error: Could not find file  : /var/lib/vmware/hostd/stats/hostAgentStats.idMap". Possible file corruption!
2013-10-14T20:09:53.970Z [FFA45D20 error 'Statssvc.vim.PerformanceManager'] Unable to load stats depot hostAgentStats in directory /var/lib/vmware/hostd/stats/ : FileIO error: Could not find file  : /var/lib/vmware/hostd/stats/hostAgentStats.idMap
2013-10-14T20:09:55.029Z [430E2B90 warning 'Vmsvc'] LoadVm file check error: vim.fault.FileFault
2013-10-14T20:09:55.029Z [43123B90 warning 'Vmsvc'] LoadVm file check error: vim.fault.FileFault
2013-10-14T20:09:55.031Z [43040B90 warning 'Vmsvc'] LoadVm file check error: vim.fault.FileFault
2013-10-14T20:09:55.032Z [43392B90 warning 'Vmsvc'] LoadVm file check error: vim.fault.FileFault
2013-10-14T20:09:55.034Z [43454B90 warning 'Vmsvc'] LoadVm file check error: vim.fault.FileFault
2013-10-14T20:09:57.627Z [FFA45D20 error 'Hbrsvc'] Failed to retrieve VM config (id=28)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Replicator: Failed to process VM (id=28)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Failed to retrieve VM config (id=29)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Replicator: Failed to process VM (id=29)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Failed to retrieve VM config (id=43)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Replicator: Failed to process VM (id=43)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Failed to retrieve VM config (id=45)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Replicator: Failed to process VM (id=45)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Failed to retrieve VM config (id=47)
2013-10-14T20:09:57.628Z [FFA45D20 error 'Hbrsvc'] Replicator: Failed to process VM (id=47)
2013-10-14T20:09:57.678Z [43123B90 error 'Solo.VmwareCLI'] GetPrimitiveParam: Cannot find (help)
2013-10-14T20:09:57.929Z [43392B90 info 'Libs'] TPMLIB: Failed to open /vmfs/devices/char/vmkdriver/tpm0; Error: No such file or directory
2013-10-14T20:09:57.929Z [43392B90 info 'Libs'] TPMLIB: Failed to open /dev/tpm0; Error: No such file or directory
2013-10-14T20:09:57.929Z [43392B90 info 'Libs'] TPMLIB: Failed to open /udev/tpm0; Error: No such file or directory
2013-10-14T20:09:57.929Z [43392B90 info 'Libs'] TPMLIB: Failed to open /dev/tpm; Error: No such file or directory
2013-10-14T20:09:57.988Z [43495B90 error 'Solo.VmwareCLI'] GetPrimitiveParam: Cannot find (help)
2013-10-14T20:10:00.325Z [430E2B90 info 'Libs'] Vix: [4968 foundryHandleProperties.c:3359]: Error VIX_E_NOT_FOUND in Vix_GetPropertiesImpl(): Unable to get bool property 107.
2013-10-14T20:10:01.368Z [434D6B90 verbose 'Vmsvc.vm:/vmfs/volumes/5228c3b1-f3601630-324d-6805ca1a86a7/JeroSense_1/JeroSense.vmx'] Imgcust event values read from vmdb tree are state = 0, errorCode = 0, errorMsgSize = 0
2013-10-14T20:10:10.373Z [434D6B90 info 'Libs'] Vix: [5304 foundryHandleProperties.c:3359]: Error VIX_E_NOT_FOUND in Vix_GetPropertiesImpl(): Unable to get bool property 107.
2013-10-14T20:10:11.380Z [430A1B90 verbose 'Vmsvc.vm:/vmfs/volumes/5228c3b1-f3601630-324d-6805ca1a86a7/JeroNas/JeroNas.vmx'] Imgcust event values read from vmdb tree are state = 0, errorCode = 0, errorMsgSize = 0
2013-10-14T20:10:11.381Z [43164B90 info 'Libs'] Vix: [4994 vixVigor.c:3086]: Error VIX_E_VM_NOT_RUNNING in VixVM_GetVigorOnline(): The virtual machine needs to be powered on
2013-10-14T20:10:11.381Z [43164B90 info 'Vmsvc'] Failed to clone online Vigor context for the VM: Error: (3006) The virtual machine needs to be powered on
2013-10-14T20:10:11.381Z [43164B90 error 'Vmsvc.vm:/vmfs/volumes/5228c3b1-f3601630-324d-6805ca1a86a7/JeroNas/JeroNas.vmx'] Could not get namespace generation info: N3Vim5Fault17InvalidPowerState9ExceptionE(vim.fault.InvalidPowerState)
2013-10-14T20:10:15.378Z [434D6B90 info 'Libs'] Vix: [5304 foundryHandleProperties.c:3359]: Error VIX_E_NOT_FOUND in Vix_GetPropertiesImpl(): Unable to get bool property 107.
2013-10-14T20:10:16.756Z [FFA45D20 verbose 'Vmsvc.vm:/vmfs/volumes/5228c3b1-f3601630-324d-6805ca1a86a7/Nagios/Nagios.vmx'] Imgcust event values read from vmdb tree are state = 0, errorCode = 0, errorMsgSize = 0

FileIO error? Defecte USB stick? Buiten de verdwenen lokale datastore draaide esx nog vrolijk door.

Net ervoor verlies ik blijkbaar de connecte met mijn iscsi ds:

code:

-->    eventTypeId = "esx.problem.storage.iscsi.discovery.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.target.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.discovery.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.target.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.discovery.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.target.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.discovery.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.target.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.discovery.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.target.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.discovery.connect.error",
-->    eventTypeId = "esx.problem.storage.iscsi.target.connect.error",

De nas staat op de lokale datastore, dus wanneer met deze ds iets misloopt zal de iscsi connectie uiteraard ook falen.

Ik zie sinds gisteren ook veel van deze entries in de log:

code:

2013-10-15T07:01:18.905Z [FFA45D20 error 'SoapAdapter.HTTPService'] HTTP Transaction failed on stream TCP(error:Transport endpoint is not connected) with error N7Vmacore15SystemExceptionE(Connection reset by peer)

In de tab "events" vind ik geen nuttige info, of kijk ik verkeerd?

[FREAKJAM]

Ik was eigenlijk van plan om de Seagate .15 4TB harddisks aan te schaffen, maar ben nogal huiverig ze te halen en te gebruiken in combinatie met de X10SL7 na het lezen van de volgende post op newegg:(onder het tabje feedback).

"Pros: Low Power Usage
High Capacity

Cons: Does not work at all with LSI controller cards!

Other Thoughts: This drive does not work with some controller cards! When connected to LSI host bus adapters and connected to LSI backplanes the drive will not spin up. Additionally the bay that the drive was inserted into is permanently disabled until the entire computer is powered off and cold-booted!

This is a hardware/firmware flaw either in one of:
* LSI SAS9207-8i (contains an LSISAS2308 controller)
* Supermicro BPN-SAS-826EL2 (contains an LSI SASX28 expander)
* Seagate ST4000DM000

LSI refuses to address the problem since this drive is a "desktop" drive. That's stupid because the drive is in my _desktop_ -- not a server! Seagate has clearly done something different to this drive since their "enterprise" class drives work just fine -- and cost double the price of this one. I'm not even using RAID.

This drive model is defective and I will not be purchasing any more unless either Seagate or LSI provide me with a working firmware to fix this problem. I tested 6 different drives with two different firmwares, from two different stores, manufactuered in two different countries on two different controller cards. This is a design flaw!"

Ik denk dat ik dan maar 4TB reds (WD40EFRX) ga halen van WD. Beetje jammer, die Seagate's scoren erg goed, ondanks dat ze maar 2 jaar garantie hebben.

[FireDrunk]

A1AD schreef op dinsdag 15 oktober 2013 @ 09:50:
[...]


De logs geven mij de volgende error:
*knip*

Je NAS is een VM waarop je iSCSI LUN's weer uitdeelt aan je ESXi machine?

FREAKJAM schreef op dinsdag 15 oktober 2013 @ 09:53:
Ik was eigenlijk van plan om de Seagate .15 4TB harddisks aan te schaffen, maar ben nogal huiverig ze te halen en te gebruiken in combinatie met de X10SL7 na het lezen van de volgende post op newegg:(onder het tabje feedback).

*knip*

Ik denk dat ik dan maar 4TB reds (WD40EFRX) ga halen van WD. Beetje jammer, die Seagate's scoren erg goed, ondanks dat ze maar 2 jaar garantie hebben.

Ik heb nog een M1015 liggen en heb die schijven, ik kan nog even kijken of ze werken.
Ik verwacht namelijk dat het aan de expander ligt.

[ Voor 93% gewijzigd door FireDrunk op 15-10-2013 10:48 ]

[Verwijderd]

Hallo allemaal,

Ik lees al een behoorlijke tijd mee hier en vond het tijd om ook eens een vraag te stellen. Ik zou graag van wat losse onderdelen die ik heb liggen een ESX bak willen bouwen. Om tot een geheel te komen moet ik nog een moederbord, SSD en RAID adapter kopen. Dit is wat ik heb liggen:

* 2 x CPU - Intel Xeon 5520
* 12 x Dual In-line Memory Module, 4G 1066
* 6 x 1 TB Seagate disken
* 1 x Dual port Intel 82571EB
* 1 x single port Qlogic ISCSi QLE406Xc

Nou kom je nog al snel uit op een SuperMicro moederbord als je twee maal een 1366 socket wil plaatsen. Ik heb gekeken naar een X8DAi of X8DTi.
Hierin kan ik zowel mijn dualport nic kwijt als mijn Qlogic ISCSi adapter.

Voor een RAID adapter zou ik dan voor een IBM M1015 willen kiezen. SSD denk ik aan Samsung Evo 240G.

De hardware zit momenteel in een Dell R710 maar deze maakt (voor thuis) heel veel herrie en vreet veel stroom. Misschien kan ik de Perc i6 ook nog wel gebruiken maar weet niet welke aansluiting deze gebruikt en of het uberhaupt mogelijk is.

Doel is om de server dan wel 24/7 te laten draaien. Nu zet ik het steeds uit als het niet gebruik wordt. Is voor mij puur hobby en soms zakelijk om eea uit te proberen.

Mijn vragen zijn de volgende:
Heeft deze setup toekomst gericht ook nog iets te bieden? Of kan ik beter voor een nieuwe generatie i7 gaan en de CPU's en het geheugen proberen te verkopen?
Is verstandig om deze "oude" hardware opnieuw te gebruiken?

Tips, opmerkingen en aanvulling zijn zeer welkom!

Alvast bedankt.

[FireDrunk]

Als je die CPU's in een ander bord stopt gaat je server niet spontaan minder verbruiken dan een R710... Die zitten prima in elkaar voor wat ze kunnen.

Verder moet je goed bedenken dat zo'n systeem echt niet zuinig is. Een idle verbruik van over de 100W is niet uniek. En dan moeten er nog schijven bij.

Het is lastig om een afweging te maken tussen deze meuk hergebruiken en/of nieuw kopen.
Wil je dezelfde performance met nieuwe hardware moet je wel wat investeren. Wil je gewoon wat kunnen spelen kan je met _veel_ minder toe... Een dual Xeon 5500 series systeem is behoorlijk dik, maar voor wat simpele VM's is het zwaar overkill...

Wil je dus goedkoop en functioneel, koop je beter wat anders. Wil je een snelle server, dan kan je dit bakje wel hergebruiken.

[A1AD]

FireDrunk schreef op dinsdag 15 oktober 2013 @ 10:47:
[...]
Je NAS is een VM waarop je iSCSI LUN's weer uitdeelt aan je ESXi machine?
[...]

Ik heb 1 lokale datastore: een 2.5inch laptop schijf
en inderdaad ook een ISCSI datastore.

De NAS en de firewall staan allebei op de lokale datastore, en de lokale datastore was verdwenen. Wanneer de NAS uitvalt verdwijnt uiteraard ook de ISCSI datastore.

Die ISCSI datastore is voor test doeleinden en daar maak ik mij geen zorgen over.

Dat de Lokala datastore wegvalt dat vind ik iets minder leuk

[Verwijderd]

FREAKJAM schreef op dinsdag 15 oktober 2013 @ 09:53:
Ik was eigenlijk van plan om de Seagate .15 4TB harddisks aan te schaffen, maar ben nogal huiverig ze te halen en te gebruiken in combinatie met de X10SL7 na het lezen van de volgende post op newegg:(onder het tabje feedback).

"Pros: Low Power Usage
High Capacity

Cons: Does not work at all with LSI controller cards!

Other Thoughts: This drive does not work with some controller cards! When connected to LSI host bus adapters and connected to LSI backplanes the drive will not spin up. Additionally the bay that the drive was inserted into is permanently disabled until the entire computer is powered off and cold-booted!

This is a hardware/firmware flaw either in one of:
* LSI SAS9207-8i (contains an LSISAS2308 controller)
* Supermicro BPN-SAS-826EL2 (contains an LSI SASX28 expander)
* Seagate ST4000DM000

LSI refuses to address the problem since this drive is a "desktop" drive. That's stupid because the drive is in my _desktop_ -- not a server! Seagate has clearly done something different to this drive since their "enterprise" class drives work just fine -- and cost double the price of this one. I'm not even using RAID.

This drive model is defective and I will not be purchasing any more unless either Seagate or LSI provide me with a working firmware to fix this problem. I tested 6 different drives with two different firmwares, from two different stores, manufactuered in two different countries on two different controller cards. This is a design flaw!"

Ik denk dat ik dan maar 4TB reds (WD40EFRX) ga halen van WD. Beetje jammer, die Seagate's scoren erg goed, ondanks dat ze maar 2 jaar garantie hebben.

Ook al hoort het niet in dit topic. Toch maar even de waarschuwing voor een ieder die niet op de hoogte is van root cause van bovenstaande problemen. Hier komt het dan:
GEEN SATA aan je SAS fabric hangen en al helemaal niet via een LSI expander
SATA is een volkomen aan protocol dan SAS. Ja, de SAS HBA controller kan het SATA protocol in meer of mindere mate verwerken. Er zijn allerlei bekende (randgevallen) waarbij een specifieke combinatie van hardware (hba en disk) en firmware serieuze ellende veroorzaakt. De LSI expander chips is helemaal een hoofdpijn dossier. Echte enterprise arrays/jbods kunnen wel degelijk worden geleverd met sata disks en aan de achterkant toch sas uit. Que? Huh? De oem levert deze componenten uit met eigen firmware die foutloze werking garandeert op zijn systeem. Daarnaast zit er bijna altijd een interposer achter de disk. Het ontwikkelen en testen van de firmware betaal je voor maar voorkomt allerlei ellende. Daarom mag/kan je alleen in een Dell, EMC, NetApp alleen maar schijven van hetzelfde merk plaatsen.

Hoe groot zijn de risico's nu echt?
SATA disks achter een LSI expander. Niet doen, zie ook bron. De PMC Sierra expander werkt beter maar is minder goed te verkrijgen, bijv SM levert alleen maar LSI componenten. De enige die ik ken is de HP pcie SAS expander.
SATA disks met LSI interposer van SM. Het schijnt nu wel beter te werken, maar oudere interposers waren domweg brak. Interposers van andere oems hadden andere firmware maar die werken vaak niet met je whitebox componenten. Pas dus op met het kopen van deze dingen op ebay. Als er niet bij staat waar ze uit komen kan je het beter niet kopen.
SATA disks direct aan de HBA via een breakout cable. Gaat vaak goed, maar zeker niet altijd zie boven. Bij grotere belasting (lees meer commando's niet meer data) van de disk is de kans op ellende groter. En bij fouten als bad sectors kan de HBA ook niet goed reageren.

We moeten niet vergeten dat we enterprise technieken (ESX, SAS & HBA's) aan het gebruiken zijn. Dat deze technieken ook bijbehorende componenten verwachten (lees SAS drives) is niet onredelijk. Het gebruik van componenten die specifiek zijn bedoeld voor de desktop in een dergelijke mini enterprise setting kan werken maar vaak ook niet. De stap van desktop SATA drives naar enterprise SATA drives scheelt al een boel ellende. De stap naar native SAS levert bijna altijd feilloze werking op.

Eigen ervaringen:
desktop en enterprise SATA via AHCI geen issues. Maar beperkt tot zes poorten.
desktop sata (samsung iets en WDC black iets) via LSI2008. Alleen ZFS issues bij falende drives door de extreme retries. Nooit hotswap en cable pull getest. Beperkt getest.
WDC RE en RE2 via LSI2008 en 2308 geen problemen. Bad sectors, cable pull allemaal ook. Ik heb een ZFS b104 met 4 WDC RE 1tb + 1 spare sinds eind 2008 nonstop draaien als NAS voor oa een ESXi. En een X8Si6-F met 8 WDC RE2 1tb sinds eind 2010 nonstop zonder issues.
Diverse SM SAS backplanes, met de WDC RE, RE2 en RE4 en diverse intel SSD's. Redelijk. Toch wel eens een complete lockup van de backplane gehad. Hotswap gaat meestal goed...
Diverse SM SAS backplanes, met de Seagate Constellations. Nooit een issue.
Diverse SM SAS backplanes, met de Seagate Constellations met enkele intel SSD's op dezelfde backplane. Ellende.
Diverse SM SAS backplanes, met de Seagate Constellations met enkele intel SSD's via een (recente) interposer op dezelfde backplane. Geen problemen.
Geen handson ervaring met SAS SSD's.

Diegene die zich afvragen waarom ik met die kleine (max 1Tb) diskjes werk is dat de resilver tijd, voor mij, te lang is. Los van de tijd dat je systeem een duidelijke performance degradatie laat zien. Loop je tijdens het resilveren een verhoogde kans dat nog een disk het begeeft. Zeker RAIDZ vdevs zijn daar vatbaar voor. Alle resterende data moet immers ingelezen worden. Dat levert maximale stress op voor je drives. Wij swappen preventief drives om niet allemaal drives van dezelfde leeftijd in de array te hebben. De jong gebruikte gaan dan weer op de plank of in een andere array. Des te sneller de resilver gedaan is des te liever het me is. Maar ik kan voorstellen dat je voor een laag belaste array, als een backup of archive, dit minder relevant is en dat je zo veel mogelijk data in de array wilt kunnen opslaan.

Nog even over de link/bron die ik had vermeld hierboven. Voor diegene die niet weten wie de auteur is, het is de project leider en een van de hoofd ontwikkelaars van Illumos. Die ook een tijd voor Nexenta heeft gewerkt. Hij weet dus redelijk goed waar hij het over heeft.

[FREAKJAM]

Dank voor je uitgebreide antwoord. Volgens de website van LSI betreft de 2308 een "PCI Express to 8-Port 6Gb/s SAS/SATA Controller", dus ook al gebruiken we enterprise technieken, dan mag ik er eigenlijk toch wel van uitgaan dat het product overweg kan met SATA.(zoals ook wordt vermeld in de PDF).

Ik snap dat SAS drives het beste zullen werken in mijn setup, maar om ~300 euro voor een 4TB drive te betalen vind ik teveel van het goede. Ik denk dat de RED's dan een goed alternatief zijn. Dit zijn "enterprise desktop" drives, geschikt voor een NAS en 24/7 setup.

[HyperBart]

Verwijderd schreef op dinsdag 15 oktober 2013 @ 21:47:
[...]

Diegene die zich afvragen waarom ik met die kleine (max 1Tb) diskjes werk is dat de resilver tijd, voor mij, te lang is. Los van de tijd dat je systeem een duidelijke performance degradatie laat zien. Loop je tijdens het resilveren een verhoogde kans dat nog een disk het begeeft. Zeker RAIDZ vdevs zijn daar vatbaar voor. Alle resterende data moet immers ingelezen worden. Dat levert maximale stress op voor je drives.

Dit vind ik ook een beetje te fel richting het FUD aanleunen, in die zin dat er wel een heel stuk klopt van je uitleg, maar dat ZFS er net een heel stuk beter tegen. Waar traditionele RAID knikt als een andere disk om de een of andere reden één blokje data niet kan teruggeven tijdens een rebuild, gaat ZFS vrolijk door en is misschien alleen dat ene bestand corrupt en dat geeft hij dan ook aan. Wat betreft je resilver en het gevaar daarvan: akkoord en niet akkoord, met een periodieke scrub lees je ook altijd je volledige data in, tijdens die scrubs kan je vaak al op voorhand detecteren of er iets mis aan het gaan is met je disks. OK, het kan nog altijd falen tijdens de echte resilver, maar je hebt adhv scrubs meer indicaties of het mis gaat lopen. Bezie het als een dry run van je resilver.

Hier loopt er 2 keer per week een scrub van mijn 3 x 5TB in RAIDZ...

Wij swappen preventief drives om niet allemaal drives van dezelfde leeftijd in de array te hebben. De jong gebruikte gaan dan weer op de plank of in een andere array. Des te sneller de resilver gedaan is des te liever het me is. Maar ik kan voorstellen dat je voor een laag belaste array, als een backup of archive, dit minder relevant is en dat je zo veel mogelijk data in de array wilt kunnen opslaan.

Dat vind ik op zich een prima manier van werken. Mijn klant is nog niet zo matuur om van die processen uit te voeren hiero, maar ik merk het vaak bij een aantal EVA's die ik operations heb, als één diskje faalt, dan kan je er donder op zeggen dat disks er om heen ook beginnen falen (maar dat heeft eerder met vibraties en temperatuur correlatie te maken)

[Verwijderd]

FREAKJAM schreef op dinsdag 15 oktober 2013 @ 23:10:
Dank voor je uitgebreide antwoord. Volgens de website van LSI betreft de 2308 een "PCI Express to 8-Port 6Gb/s SAS/SATA Controller", dus ook al gebruiken we enterprise technieken, dan mag ik er eigenlijk toch wel van uitgaan dat het product overweg kan met SATA.(zoals ook wordt vermeld in de PDF).

Ja LSI heeft zeker spullen verbetert. Vooral de nieuwste interposers leveren veel minder problemen op. Ook de 2308 is weer verder verbetert. Maar SATA zal geen SAS worden. SATA drives direct aan de HBA zal vermoedelijk geen problemen opleveren. Het enige wat een beetje onzeker blijft is de firmware van de drives.

Ik snap dat SAS drives het beste zullen werken in mijn setup, maar om ~300 euro voor een 4TB drive te betalen vind ik teveel van het goede. Ik denk dat de RED's dan een goed alternatief zijn. Dit zijn "enterprise desktop" drives, geschikt voor een NAS en 24/7 setup.

De WD RED's zijn wat je schrijft als laatste geschikt voor NAS en 24/7 maar niet enterprise. Dan moet je de RE's kiezen. En ja ik heb net even gekeken die zijn helaas twee keer zo duur. Een veel goedkoper alternatief zijn de Hitachi 7k4000 Ultrastars, voor 180eur. Heb je daar al eens naar gekeken? Dat zijn wel echte enterprise drives.
Maar ik volg al deze ontwikkelingen niet dagelijks, lees je zelf goed in. Ik heb in het verleden een aantal keren drives gevalideerd voor een specifieke toepassing, maar niet het afgelopen jaar. Ik heb wel gelezen dat de RED's niet zo goed zijn als de RE's.
Denk aub aan je resilver tijd (je ging toch een RAIDZ1 maken??) 4TB zal schat ik zo'n 24 uur kosten. Maar wel 24 uur maximale belasting van je andere disken. Ik ga ervan uit dat je geen backup hebt, de NAS is de backup. Lastig lastig.

Het onderstaande is nog net ontopic als je het leest als "hoe maak ik een echte backup van een ESX datastore groter dan 4TB op een ZFS FS"

Nog een tip voor een ieder die meer dan 4TB op een ZFS FS wil backuppen met behoud van alle ZFS goodies zonder gebruik te maken van een tape library.
Alles boven de 4TB past niet meer op een enkele externe usb disk. Je kan meerdere USB disken aansluiten en daar een RAIDZ van maken. Het werkt maar is niet echt optimaal, beperkt aantal poorten en lage snelheid. Een alternatief is een tweede servertje. De kosten van een g1610 met echt ecc ram en losse drives zal in de buurt komen van dezelfde capaciteit met externe drives. Deze setup biedt heel veel voordelen. Je hebt nu niet alleen een echte backup van je data je hebt zelfs een backup van je NAS. Als je primaire NAS uitvalt kan je deze snel, wel wat handwerk, zijn rol over laten nemen. Backup snelheid van 120MB/s via gbit dus reken maar uit. Incrementele backups via ZFS snapshots. Voordat een ieder gaat roepen "energie". Na het oversturen van de snapshot kan je de backup server via ssh uitzetten. En later weer via IPMI of WOL aanzetten.
Het aardige van een dergelijke setup is dat je de backup server zelfs buitenshuis kan plaatsen. Als je de snapshot kan oversturen voor de volgende snapshot dan heb je een volwaardig offsite backup. Als beide locaties een symmetrische verbinding hebben als glas/fibre dan is dit echt goed te doen. Het enige waar het van afhangt is hoeveel data je wijzigt/toevoegd. Het moet allemaal wel voor de volgende snapshot verstuurd kunnen worden.
Thuis heb ik helaas geen glas of kabel. Om toch een offsite kopie te hebben heb ik het volgende gemaakt.
Men neme:

• 1x 4x3.5" in 3x5.25" bracket bijv van CoolerMaster of LianLi
• 4x 3.5" backup drives
• wat voedings kabels
• een SFF8088 naar 4x sata break out kabel
• een lsi 9200-8e

De drive cage bouw ik dus niet in, het blijft gewoon op de kast staan. Een keer per week of twee weken neem ik het blokje mee en leg dat bij iemand anders neer en neem de oude van daar mee terug. Ik zou zelfs twee blokken (2x4 drives) kunnen aansluiten maar ik heb niet zoveel data. Je kan dit zelf natuurlijk ook in je primaire NAS bouwen. Het is allemaal hotswapable, wel netjes zpool export en cfgadm unconfigure uitvoeren. Het enige is dat de signaal connectors er niet op gemaakt zijn om veelvuldig te (ont)koppelen, wat usb bijv wel het geval is. Maar wekelijks is geen probleem. Na de backup kan je de backup pool laten downspinnen.
Tsja nog meer drives nog meer kosten maar data weg is pas echt kosten. En cloud is voor mij niet te doen, niet te betalen en niet wenselijk. Deze beun oplossing is voor mij prive het hoogste haalbare qua kosten/baten. Eenmalige kosten, goede prestaties, betrouwbaar en echte offsite backup en geen gezeur. Vooral dat laatste, mijn tijd is ook wat waard. Ik heb simpel weg niet de tijd om me met falende drives bezig te houden, die paar extra drives is een koopje in relatie tot de kosten van dataloss.

Ter afronding, het maken van een snaphot van je datastore met running vm's is niet een echte backup. Je hebt daar additionele software als veeam. Als je de snapshot terugzet dan zullen de vm's actief worden in de state van weleer. Maar de email die je mail server aan het ontvangen was gaat niet meer goed komen want de verbinding met de andere smtp server is allang weg. Het is sterk afhankelijk van het OS en applicatie hoe ongelukkig ze zijn als je ze start vanaf een snapshot. Testen testen testen. Wat wel goed werkt is alle vm's uitzetten, snapshot maken, alle vm weer aanzetten. Dat kleine beetje downtime is vaak prima te verantwoorden. Ik heb helaas ook familie in het buitenland dus moet rekening houden met het tijd verschil maar iedereen weet dat op een bepaald moment sommige services zo'n 3 minuten offline zijn. Deze procedure is verre de meest betrouwbare en simpele en hoef je heel weinig te testen. Kan ik de vm clean uitzetten? Kan ik de vm weer aanzetten en starten alle apps daarbinnen ook weer.
Voor diegenen die alleen XBMC en een desktopje hebben draaien op hun ESX is dit allemaal wat veel. Maar voor anderen die echte applicaties als email, databases, groupware en meerdere gebruikers hebben is dit helaas iets waar je rekening mee moet houden. Anders zou het bedrijfsleven er niet zoveel geld voor over hebben. Betrouwbare backups zijn backups die je kan restoren en dan een voorspelbaar resultaat opleveren. Niet dat je na de restore moet gaan fsck'en en dat je database voor de zekerheid wat transacties terug rolt.

[FREAKJAM]

Even snel een reactie op je post, (ik lees het straks nog helemaal goed door), de Ultrastar is helaas ook rond de ~300 euro. Ik gok dat die van 180 euro bij Max ICT een typo is en een deskstar variant betreft.

Ik heb dit in het topic al eerder gezegd, maar ik twijfel nog ernstig of ik ZFS moet nemen. Ik ga puur een NAS draaien om films/series te storen en ik neem ESXi "erbij", omdat het gewoon kan. Ik werk met VMWare op mijn werk en het is goed voor mijn ontwikkeling als ik thuis met VM's kan spelen.

Op dit moment heb ik het volgende voor ogen:
Een supermicro moederbordje met onboard LSI 2308 waar ik drie harde schijven van 4TB aan wil hangen. Een losse SSD erbij voor de ESXi datastore zodat ik daar mijn VM's op kan plaatsen.

De drie harde schijven wil ik aanbieden in een RAID5 en deze doorgeven aan een VM. Op dit moment heb ik Openmediavault voor ogen. Debian-based en ondersteunt de nodige plugins (sickbeard, plex etc). Ondersteunt wel geen ZFS, maar voor puur mkv-opslag is dit een goed systeem (heeft maar 2gb geheugen nodig in principe en EXT4 kan gebruikt worden als file system).

Overige VM's waar ik wellicht mee wil spelen:
pfsense
windows 2012r2/hyper-v

ZFS is denk ik overkill, aangezien ik ook niet echt met kritieke data ga werken. Ik lees je post straks nog even thuis op mijn gemak door. Als ik nog vragen heb, dan zal ik dat toevoegen aan deze post.

[wopie]

Verwijderd schreef op woensdag 16 oktober 2013 @ 11:54:
[...]

De WD RED's zijn wat je schrijft als laatste geschikt voor NAS en 24/7 maar niet enterprise. Dan moet je de RE's kiezen. En ja ik heb net even gekeken die zijn helaas twee keer zo duur. Een veel goedkoper alternatief zijn de Hitachi 7k4000 Ultrastars, voor 180eur. Heb je daar al eens naar gekeken? Dat zijn wel echte enterprise drives.
Maar ik volg al deze ontwikkelingen niet dagelijks, lees je zelf goed in. Ik heb in het verleden een aantal keren drives gevalideerd voor een specifieke toepassing, maar niet het afgelopen jaar. Ik heb wel gelezen dat de RED's niet zo goed zijn als de RE's.

Toevallig dat ik straks ook aan het kijken was naar aanleiding van jouw verhaal, blijkt dat WD nog een lijn heeft, de http://www.wdc.com/nl/products/products.aspx?id=1050 WD-SE, enterprise/datacenter-use, grote volumes, redelijke prijs (vergelijkbaar met de Hitachi's)

[Verwijderd]

HyperBart schreef op woensdag 16 oktober 2013 @ 11:07:
[...]

Dit vind ik ook een beetje te fel richting het FUD aanleunen, in die zin dat er wel een heel stuk klopt van je uitleg, maar dat ZFS er net een heel stuk beter tegen.

FUD vind ik wel een beetje zware aanteiging. Om te beginnen wordt dit meestal ingezet voor gewin van de verspreider. Wat ik totaal niet heb. Fear, jazeker maar op een positieve manier. Ik waarschuw de lezer voor een vaak onderbelicht risico. Dat het bekent worden van het risico een zekere angst inboezemd is niet meer dan menselijk. Uncertainty en Doubt, denk ik niet. Heel neutraal, houd rekening met dit aspect. Zeker als mensen 4 tb desktop drives die tegelijk gekocht zijn gaan inzetten in een 3 drive RAIDZ1 is de kans op dataloss groter dan bij 4 kleinere drives. Kan ik dat quantificeren? Nee data ontbreekt. De enige indicatie die ik kan geven is dat je dit niet ziet in een enterprise oplossing. Dat moet je te denken zetten. Zie ook je eigen observatie bij de EVA's, als er een faalt volgen er vaak snel meer. Ik heb best wat gevallen gezien waarbij tijdens het resilveren een tweede disk faalt.

Waar traditionele RAID knikt als een andere disk om de een of andere reden één blokje data niet kan teruggeven tijdens een rebuild, gaat ZFS vrolijk door en is misschien alleen dat ene bestand corrupt en dat geeft hij dan ook aan. Wat betreft je resilver en het gevaar daarvan: akkoord en niet akkoord, met een periodieke scrub lees je ook altijd je volledige data in, tijdens die scrubs kan je vaak al op voorhand detecteren of er iets mis aan het gaan is met je disks. OK, het kan nog altijd falen tijdens de echte resilver, maar je hebt adhv scrubs meer indicaties of het mis gaat lopen. Bezie het als een dry run van je resilver.

Hier loopt er 2 keer per week een scrub van mijn 3 x 5TB in RAIDZ...

De scrub en resilver tijd zijn niet gelijk, verre van.
Voor jouw mischien acceptabel dat ZFS een bestand als corrupt markeert maar voor mij niet. Dateloss, zelfs een enkel bestand, is wat ik in de eerste plaats wil voorkomen.
Hier nog een wat links mbt mttdl:

• zfs vdevs en mttdl
• een mttdl calculator

Beide links doen geen voorspelling over de kans dat er een tweede disk faalt tijdens het resilveren.

Waar ik benieuwd naar ben is wie er hier uberhaubt een hotspare heeft?
En wie er een monitoring systeem heeft dat hem op de hoogte stelt dat er een disk kapot is gegaan?

Servers zijn prachtig maar als je er niet meer naar omkijkt dan kan systeem zomaar (maanden) blijven draaien met een of meer kapotte disks. En dan heb je natuurlijk geen redundantie meer.
Disclaimer ik kijk zelf uberhaubt NIET naar mijn infrastructure. Ik krijg een keer week een status email en voor de rest vertrouw ik er op dat het allemaal werkt. Ik heb alles geautomatiseerd, ups test, fault management via FMA en fault reporting via smtp-notify, spare disk in de pool. Die enkele keer dat er een disk kapot gaat is dan veel minder stress. Ik pak een disk van de plank of sloop een backup set en verwissel de kapotte door een werkend exemplaar in het weekend.
vCenter kan een hoop van deze monitoring en reporting regelen maar dat hebben velen net als ik niet thuis. Ik zal het op een andere manier moeten regelen. De klagende eindgebruiker helpt ook.

Dat vind ik op zich een prima manier van werken. Mijn klant is nog niet zo matuur om van die processen uit te voeren hiero, maar ik merk het vaak bij een aantal EVA's die ik operations heb, als één diskje faalt, dan kan je er donder op zeggen dat disks er om heen ook beginnen falen (maar dat heeft eerder met vibraties en temperatuur correlatie te maken)

I rest my case. De thuis omstandigheden zijn veel beroerder door het ontbreken van een vast klimaat. Ook de vibratie kan thuis erger zijn, tenzij je de drives in rubbers hebt hangen. Voor de rest zie boven.

[Verwijderd]

Sorry van die dode Ultrastar mus. Dat vind ik altijd zo'n rotstreek in de pricewatch (express) zo'n foutje erin zetten. Dit was natuurlijk een typisch geval van te mooi om waar te zijn.

FREAKJAM schreef op woensdag 16 oktober 2013 @ 12:35:
Op dit moment heb ik het volgende voor ogen:
Een supermicro moederbordje met onboard LSI 2308 waar ik drie harde schijven van 4TB aan wil hangen. Een losse SSD erbij voor de ESXi datastore zodat ik daar mijn VM's op kan plaatsen.

Prima bord maar is dat niet een beetje overkill? Ik lees dat je maar vier drives wilt gebruiken dan heb je de extra poorten van de SAS HBA toch niet nodig. Je kan dan prima vooruit met je 6 SATA poorten. En scheelt een paar watt ivm SAS chip. Wel natuurlijk een bord met IPM nemen, dan kan je alles remote doen.
Wil je voor een losse ESXi machine gaan icm met een losse (ZFS) NAS of moet het een all-in-one worden?
Hoe wil je de datastore aan ESX aanbieden via iSCSI of NFS?

Als ik het zo lees is dit allemaal nog wat nieuw voor je en ZFS al helemaal. Als deze technieken je uit je comfortzone halen, niet doen dan. Ik wil je niks opdringen. Alleen even goede voorlichting geven over de voordelen en risico's van bepaalde keuzes. Laat onverlet dat ZFS voor mij een life saver is en game changer was. Het is helemaal top. Tuurlijk zijn er features die je mist omdat je ervoor moet betalen vaak, bijv encryptie of HA. Maar dat is niet erg. Dat basis is ok, eh nee super. Ik ben nog nooit data kwijt geraakt op een ZFS filesysteem. Wat ik niet kan zeggen bij tradionele raid controllers en ufs en ext3. Dit alles op meerdere locaties en honderden spindles.
Net als ESX destijds een game changer was. De hele vSphere family is alleen te duur naar mijn smaak, getuige de winst. Feit blijft dat als algemene tool het de beste blijft. Hyper-V begint wel met rasse schreden in te lopen. En die streken bij major ESX upgrades dat features weg vallen hou ik ook niet van. Zoals destijds de 32gb limiet bij de introductie van 5. En nu met 5.5 die vCenter afhankelijkheid, maar daar weet ik nog alles van.

[FREAKJAM]

Ik heb toch juist de poorten van de LSI2308 nodig om een passthrough te kunnen doen van mijn harde schijven naar ESXi? Zover ik heb begrepen kan dit met bijvoorbeeld een M1015 geflashed naar IT-mode of in dit geval de LSI2308 die aan boord zit van de X10SL7 van Supermicro.

Mijn gekozen CPU en moederboard ondersteunen beiden ook VT-d en VT-x dus dan moet dat goedkomen lijkt me. Reden dat ik ook voor dit moederbord heb gekozen is dat er 2 nics onboard zitten. Handig om een WAN/LAN op te zetten in ESXi/pfSense.Moederbord ondersteunt ook IPMI zodat ik inderdaad alles remote kan doen.

Als ik ZFS kies moet ik naast de normale harde schijven ook ssd regelen voor ZIL/L2ARC en dat vind ik bij elkaar allemaal te prijzig. Hoe ik de datastore ga aanbieden aan ESX wil ik gaan doen via iSCSI (Wat is de beste optie, softwarematig/hardwarematig, kan dit met mijn setup?). Als ik het web moet geloven is iSCSI ook vele malen beter/sneller dan NFS.

En over game changers gesproken, ik ben zelf van het motto wie niet waagt, wie niet wint. Ik heb me de afgelopen 6 weken nu gestort op ESXi, FreeNAS, ZFS en alles daar maar om heen en ben bereid een keuze te maken, maar dan wel de juiste. (En meest betaalbare configuratie natuurlijk).

[ Voor 9% gewijzigd door FREAKJAM op 16-10-2013 14:24 ]

[Verwijderd]

wopie schreef op woensdag 16 oktober 2013 @ 12:37:
[...]


Toevallig dat ik straks ook aan het kijken was naar aanleiding van jouw verhaal, blijkt dat WD nog een lijn heeft, de http://www.wdc.com/nl/products/products.aspx?id=1050 WD-SE, enterprise/datacenter-use, grote volumes, redelijke prijs (vergelijkbaar met de Hitachi's)

Goede tip. Je ziet onmiddelijk aan de specs dat deze drive echt bedoeld is voor het datacentre. Bij de RED wordt er alleen vermeld dat de betrouwbaarheid op basis is van "Based on a typical NAS product environment under normal operating conditions" terwijl bij de SE dat wordt gequantificeerd. Ook lijkt de SE slechter te scoren met zn MBTF van 800000 maar de BER is lager terwijl de belasting voor hoger is. De 5 jaar garantie is ook een indicatie dat dit een betere drive is. Je ziet het ook onmiddelijk terug in het energie verbruik los van de 7200 toeren. Het beperkt aantal load cycles geeft ook aan dat deze drive gemaakt is voor een omgeving waarbij het woord idle zwaar bestraft wordt.
De 7200 toeren is leuk maar je betaalt er wel flink voor met het extra verbruik. Thuis combineer ik snelle slogs met veel "green" drives in mirrors. Voor gigabit is meestal voldoende. Veel opslag voor weinig kosten en energie. Ik was zelf behoorlijk teleurgesteld in de winst van een ssd backed datastore. Met meer concurrency merk je het verschil wel beter. Als je de ssd in je esx hebt is het een ander verhaal. Ook dan nog blijf je met het feit dat er op een gegeven moment data uit je vm moet en je weer aan het netwerk bent gebonden. Op het werk zijn wij steeds meer werk gaan verplaatsen van ESX naar de ZFS nas. Dat maakt pas echt wat uit.

[sphere]

Verwijderd schreef op woensdag 16 oktober 2013 @ 13:14:
Waar ik benieuwd naar ben is wie er hier uberhaubt een hotspare heeft?
En wie er een monitoring systeem heeft dat hem op de hoogte stelt dat er een disk kapot is gegaan?

Hotspares... ik snap het nut niet met ZFS. Hang hem dan gewoon erbij in RAIDZ[1234]+1?

[Verwijderd]

FREAKJAM schreef op woensdag 16 oktober 2013 @ 14:16:
Ik heb toch juist de poorten van de LSI2308 nodig om een passthrough te kunnen doen van mijn harde schijven naar ESXi? Zover ik heb begrepen kan dit met bijvoorbeeld een M1015 geflashed naar IT-mode of in dit geval de LSI2308 die aan boord zit van de X10SL7 van Supermicro.

Mijn gekozen CPU en moederboard ondersteunen beiden ook VT-d en VT-x dus dan moet dat goedkomen lijkt me. Reden dat ik ook voor dit moederbord heb gekozen is dat er 2 nics onboard zitten. Handig om een WAN/LAN op te zetten in ESXi/pfSense.Moederbord ondersteunt ook IPMI zodat ik inderdaad alles remote kan doen.

Prima bord. De 2308 doorgeven gaat sowieso werken. Misschien dat een ESXi 5.5 je de ahci ook kan door geven weet ik niet zeker. Je wilt dus de all in one maken. Houd er rekening mee dat zfs graag veel geheugen heeft. Dat wordt als cache gebruikt en werkt super. Met 8 gb ram ben je een heel eind.

Als ik ZFS kies moet ik naast de normale harde schijven ook ssd regelen voor ZIL/L2ARC en dat vind ik bij elkaar allemaal te prijzig. Hoe ik de datastore ga aanbieden aan ESX wil ik gaan doen via iSCSI (De i210-AT ondersteunt iSCSI boot dus ik ga er vanuit dat dit moet werken?). Als ik het web moet geloven is iSCSI ook vele malen beter/sneller dan NFS.

Snelheid iSCSI en NFS ontlopen elkaar niet zoveel. Er zijn wel verschillen. Wat je misschien hebt gelezen is een ESX datastore over NFS heel langzaam is. Dat kan maar hoeft niet. Er is hier al heel veel over geschreven maar dan nog een keer. ESX schrijft alleen maar met de SYNC vlag. Dat betekent dat ESX wacht tot dat de NAS heeft bevestigd dat de write op "stable storage" staat. Dat laatste betekent dat je de stroom kan uitschakelen zonder gegevens verlies. Sommige NFS server cachen deze writes en flushen ze periodiek. Dat is tegen de afspraak van het protocol in. Je de prestaties gaan omhoog maar bij stroomonderbreking of reset heb je dataloss. De SUN NFS server icm ZFS houdt zich aan het protocol als iemand een sync write doet dan wordt de write naar disk gedaan inclusief flush. En dat kost veel tijd. ZFS heeft hiervoor een oplossing in de vorm van een SLOG. De ZIL is er altijd maar je kan heb verplaatsen naar een SLOG. Als de SLOG nu supersnel ieder write afhandelt dan kan de NFS server bevestigen dat de write op stable storage staat. ZFS schrijft de transactie naar de SLOG en buffert het in RAM. Zo'n 5 tot 30 seconden later schrijft ZFS alle transacties uit ram naar de langzame disks in de pool. Maar omdat dit nu als geordende stream plaats vindt ipv random transacties gaat dit veel sneller. Het keyword hier is latency. Des te sneller de individuele writes van de SLOG des te sneller je NFS datastore. De SLOG wordt in principe nooit gelezen, alleen na een crash. De snelste SLOG's zijn ram based met een flash backup. Allemaal buiten budget. Een SSD kan maar moet wel tegen stroomuitval kunnen. Bijv de seagate 600 pro of de intel 320 hebben wel voorzieningen hiervoor. Het grote nadeel van ssd's is dat ze slijten. En de ZIL is een writeonly workload. Alles wat je schrijft naar je vmdk's passeert je ZIL en dus je SLOG's. Als jij weet hoeveel je schrijft dan kan je uitrekenen wanneer je je ssd hebt opgebrand.
Nu iSCSI. Als jij een zvol exporteerd via iSCSI dan kan jij van de iSCSI lun de WCD flag op false zetten. Waardoor je een write cache krijgt voor je VMFS. Ja dat sneller dan NFS zonder SLOG maar wel weer kans op dataloss bij crash. Wat ik zelf een groot nadeel van iSCSI of FC vind is dat het je VM's in VMFS staan. Ik kan daar weinig mee. Alles moet via vSphere. Ja, ik weet dat je (bepaalde versies) van VMFS kan mounten buiten vSphere om. Maar dat is niet echt supported en daar houd ik niet van. Met NFS kan ik de vm's gewoon copieren en vmx editen bijv. Als je een bataalbare onverslijtbare SLOG zoekt, dan is er de ACARD ANS-9010. Een beetje brak als formfactor en vreet energie 15 tot 20 watt ouch! Maar is onverslijtbaar omdat het met DDR werkt ipv flash. Als je de hele tijd wilt gaan benchmarken, media transcoden of wat maar veel schrijft. Dan is het zeker te overwegen. Want je sjieke SSD gaat gewoon stuk, na zoveel terabyte.
Het andere wat je kan doen is je storage opdelen in betrouwbare en minder betrouwbare storage. Maar dat gaat bij jouw met zo weinig spindles weinig uithalen.
En mbt de L2ARC wacht daarmee totdat je systeem volledige werkend hebt en kijk dan eens met arc_summary.pl hoe een en ander gaat. Ik denk dat je met 8gb best uit de voeten kunt. Je kan het altijd later toevoegen en weer weg halen.
Over het uitzetten van de ZIL moet je niet bij mij zijn.

"Snel, betrouwbaar, goedkoop" Kies er maar twee, alle drie bestaat niet.

PS de iSCSI boot feature heb jij helemaal niets aan in jouw setup.

En over game changers gesproken, ik ben zelf van het motto wie niet waagt, wie niet wint. Ik heb me de afgelopen 6 weken nu gestort op ESXi, FreeNAS, ZFS en alles daar maar om heen en ben bereid een keuze te maken, maar dan wel de juiste. (En meest betaalbare configuratie natuurlijk).

Dat is de goede houding. Ik hoop je voldoende te hebben geinformeerd en wens je veel succes met je project.

[Verwijderd]

sphere schreef op woensdag 16 oktober 2013 @ 15:10:
[...]

Hotspares... ik snap het nut niet met ZFS. Hang hem dan gewoon erbij in RAIDZ\[1234]+1?

De spare is global voor alle vdevs en wordt niet gebruikt/geen slijtage. Als jij de spare toevoegd aan je vdev dan neemt de mttdl zeker toe maar de drive is dan geen spare maar slijt net zo snel als de andere drives.
Een zpool met meerdere vdevs zouden in jouw redenering allemaal naar een hoger redundantie niveau moeten. De spares staan standby en kunnen worden toegewezen aan ieder vdev met een falende drive. Je kan dus snel weer je vdev op het gewenste redundantie niveau krijgen. Het is niet bedoeling dat je vdevs steeds verder laat falen, met de gedachte ik kan nog wel een disk kwijt raken want mijn vdev is RAIDZ3 Nee je wilt zsm die kapotte disk vervangen zonder tussenkomst. Dat is de rol van de spare.

[FREAKJAM]

Dit mag dan wel het ESXi topic zijn, maar ik wil het toch even melden:
Hyper-V 2012 R2 is ook gereleased (de gratis hypervisor van MS).

Kreeg gister een mailtje van Microsoft:

We hope you enjoyed your preview of Microsoft Hyper-V Server 2012 R2. We’re proud to announce that the final release of Hyper-V Server 2012 R2 is now generally available. We invite you to download the software and experience firsthand how Hyper-V Server 2012 R2 can help your organization consolidate workloads, improve server utilization and reduce costs.

Waarna ik de volgende mail kreeg na het downloaden van R2:
Thanks for downloading Microsoft Hyper-V Server 2012 R2. We’ve put together some great resources to get you started with Hyper-V Server 2012 R2.

For example, check out this guidance:

Windows Server 2012 R2 Evaluation Guide (see server virtualization section)
Windows Server 2012 R2 Virtualization: Whitepaper
Virtualization Training Courses: Microsoft Virtual Academy
Exploring Windows Server 2012 R2 Hyper-V: Virtual Lab

[ Voor 98% gewijzigd door FREAKJAM op 19-10-2013 18:26 ]

[eagl0r]

Hi!

Ik ging toevallig wat bestellen bij een webshop dus ik dacht laat ik een extra stille 120mm fan meenemen. Nu is die inderdaad stiller, maar het was toch voornamelijk de boxed G1610 die de overbleven 'humm' produceert. Firedrunk raadde aan om de CPU fan op 55c/131f te zetten met level 1 speed (http://i.imgur.com/zX2SPiv.jpg), dat heeft prima gewerkt. Nu zag ik dat je nog lager kan dmv custom speed. Vanaf 55 gaat de RPM alleen niet meer naar beneden dus dit is het minimum, http://i.imgur.com/y4ILOXW.jpg, en dit is echt heerlijk fluisterstil.

De idle load is 0.7%, bij gebruik spikes naar max 12%. Hoeveel load zou het beestje aan kunnen met zo weinig koeling? Die 3 graden verschil stemmen me hoopvol, en tegenwoordig zet je mobo je hele boel toch gewoon uit voordat de cpu eraan gaat? Ik draai niets super belangrijks dus dat is het proberen waard.

[manmetdehamer]

Ik ben aan het kijken voor een leuke server voor wat lab/download werkt thuis.
Nu staat er in v&a een leuk systeem met de volgende specs:
Processor: Intel Core i7-920 2,7 Ghz
Moederbord: Asus P6T SE

Heeft iemand zo een idee of dit nog een beetje zuinig zou kunnen zijn?
Ik verwacht dat zon oudere i7 redelijk wat stroom verbruikt.

[Dadona]

Ik weet niet wat je onder lab verstaat, maar voor downloads is een i7 920 geen goede kandidaat. De 920 is echt een (vijf jaar oud) werkpaard met 4 cores en HT. Met downloads kun je ook met een simpele Pentium (G2xxx) wat gaan doen die idle een stuk zuiniger is. En ook zo'n Pentium is krachtig zat om snel naar idle te kunnen gaan.

[manmetdehamer]

Dadona schreef op donderdag 24 oktober 2013 @ 10:30:
Ik weet niet wat je onder lab verstaat, maar voor downloads is een i7 920 geen goede kandidaat. De 920 is echt een (vijf jaar oud) werkpaard met 4 cores en HT. Met downloads kun je ook met een simpele Pentium (G2xxx) wat gaan doen die idle een stuk zuiniger is. En ook zo'n Pentium is krachtig zat om snel naar idle te kunnen gaan.

Draaien van een aantal 4-6 vms voor testen van verschillende omgevingen.

[FireDrunk]

Dat kan met elke moderne CPU.

[Dadona]

Het aantal VMs zegt niets, het gaat erom wat er in die VMs gebeurt. Je kunt legio VMs tegelijk draaien, als ze allemaal idle zijn. Dit terwijl één VM al in staat kan zijn om de volledige processor lam te leggen als die VM een video encoding taak krijgt en alle cores mag benutten.
Bedenk wel, ik heb het hier alleen over de CPU kant van het verhaal. Geheugen, opslag, .. zijn ook nog een uiterst belangrijke factor die al eerder de bottleneck kunnen vormen.

[manmetdehamer]

Dadona schreef op donderdag 24 oktober 2013 @ 11:20:
Het aantal VMs zegt niets, het gaat erom wat er in die VMs gebeurt. Je kunt legio VMs tegelijk draaien, als ze allemaal idle zijn. Dit terwijl één VM al in staat kan zijn om de volledige processor lam te leggen als die VM een video encoding taak krijgt en alle cores mag benutten.
Bedenk wel, ik heb het hier alleen over de CPU kant van het verhaal. Geheugen, opslag, .. zijn ook nog een uiterst belangrijke factor die al eerder de bottleneck kunnen vormen.

Daarom zit ik eigenlijk te twijfelen om dit systeem uit de v&a te kopen voor ongeveer het zelfde geld als een pentium G2xxx systeem welke toch aardig wat minder stroom zal gebruiken denk ik.

[Dadona]

Voor een server is de situatie, neem een klasse G2xxx tenzij... Mocht de G2xxx het toch te zwaar krijgen dan kun je altijd nog upgraden. 'Downgraden' ga je vast niet doen en dus zit je met een onbenut hoger potentieel tegen hogere idle kosten.
Tot nu toe hoor ik niet een duidelijke reden waarom de 920 zo aantrekkelijk is. Ik kan redenen bedenken, maar niet voor een thuis server die een tijd in idle komt te staan. Met een 920 wil je de bezetting maximaliseren en daarna het ding uitzetten.

[manmetdehamer]

Dadona schreef op donderdag 24 oktober 2013 @ 14:29:
Voor een server is de situatie, neem een klasse G2xxx tenzij... Mocht de G2xxx het toch te zwaar krijgen dan kun je altijd nog upgraden. 'Downgraden' ga je vast niet doen en dus zit je met een onbenut hoger potentieel tegen hogere idle kosten.
Tot nu toe hoor ik niet een duidelijke reden waarom de 920 zo aantrekkelijk is. Ik kan redenen bedenken, maar niet voor een thuis server die een tijd in idle komt te staan. Met een 920 wil je de bezetting maximaliseren en daarna het ding uitzetten.

Hmm daar heb je denk ik inderdaad wel een goed punt! Thanks voor de reacties zo ver.

[Ultimation]

Ik heb onderstaande onderdelen besteld (op het geheugen na) om mijn ESXi machine te upgraden. Nu kan ik 2 SSD's, 6 hardeschijven en 1 domme RAID controller en netwerkkaart vervangen. Komt dan wel weer een 4-poorts netwerkkaart bij. Maar ik heb nu wel mijn server zuiniger gemaakt.

Voor:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3550 Boxed	€ 176,50	€ 176,50
1	MSI B75MA-P45	€ 53,80	€ 53,80
2	Samsung Spinpoint F1 HD103UJ, 1TB	€ 0,-	€ 0,-
1	Samsung Spinpoint F3 HD103SJ, 1TB	€ 78,62	€ 78,62
2	Samsung Spinpoint F3 HD503HI, 500GB	€ 0,-	€ 0,-
1	Western Digital Green WD20EARS, 2TB	€ 0,-	€ 0,-
1	Cooler Master Silencio 550	€ 63,95	€ 63,95
1	Intel Gigabit CT Desktop Adapter	€ 21,83	€ 21,83
1	Cooler Master Hyper 412S	€ 30,63	€ 30,63
3	Scythe Slip Stream SY1225SL12L, 120mm	€ 5,69	€ 17,07
2	Kingston ValueRAM 8GB (KVR1333D3D8R9SK2/8GI)	€ 0,-	€ 0,-
1	Highpoint RocketRAID 3520	€ 0,-	€ 0,-
1	be quiet! Pure Power L7 300W	€ 37,95	€ 37,95
2	Intel Postville X25-M SSDSA2MH080G2C1 80GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 480,35

Na:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3550 Boxed	€ 176,50	€ 176,50
1	ASRock B75 Pro3-M	€ 53,85	€ 53,85
3	Seagate Desktop HDD.15 (OEM), 4TB	€ 145,50	€ 436,50
1	Cooler Master Silencio 550 (zonder voeding)	€ 63,95	€ 63,95
2	Delock Cable mini SAS 36pin > 4x SATA metal (SFF 8087 > 4x SATA) 50cm	€ 16,75	€ 33,50
1	HP NC364T PCI Express Quad Port Gigabit Server Adapter	€ 192,39	€ 192,39
1	Cooler Master Hyper 412S	€ 30,63	€ 30,63
3	Scythe Slip Stream SY1225SL12L, 120mm	€ 5,69	€ 17,07
4	Kingston KVR1333D3N9/8G	€ 54,95	€ 219,80
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	be quiet! Pure Power L7 300W	€ 37,95	€ 37,95
1	Intel Postville X25-M SSDSA2MH080G2C1 80GB	€ 0,-	€ 0,-
1	Samsung 840 series Pro 512GB	€ 379,-	€ 379,-
Bekijk collectie Importeer producten		Totaal	€ 1.759,72

[ Voor 112% gewijzigd door Ultimation op 24-10-2013 18:00 ]

[Dadona]

Het was duidelijker als je een voor- en na- lijstje plaatst. Nu krijgen we een nieuw- en na- lijstje, wat maakt dat het niet echt duidelijk is wat er nu werkelijk door wat is vervangen.

[Ultimation]

Ik heb mijn post aangepast.

[wihe1]

Kun je aangeven of je gebruik maakt van vt-d en of je nieuwe configuratie dit ook werkelijk ondersteund.
Bij de start van deze topic wordt dat wel bij een aantal configuraties vermeld, maardie zijn imiddels twee jaar oud. Ik ben nu een aantal weken allerlei forums aan het lezen omdat ik een esxi-server wil inrichtn, maar zie veel tegenstrijdige informatie over het daadwerkelijk vt-d compliant zijn van de combinaite moederboard - processor.

Ik nodig ook anderen uit om dit bij hun configuratie aan te geven en dan gaat het daadwerkelijk om het kunnen gebruiken van vt-d

Onderstaande componenten vormen de core van de esxi server die ik wil gaan inrichten.
Deze moet dus VT-d ondersteunen
Ik ben van plan om kast, voeding en hdd's uit bestaande computers te gebruiken.

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 159,-	€ 159,-
1	ASRock B85 Pro4	€ 65,20	€ 65,20
4	Kingston HyperX KHX1600C10D3B1/8G	€ 63,09	€ 252,36
Bekijk collectie Importeer producten		Totaal	€ 476,56

Graag jullie commentaar en aanvullingen

Esxi server moet volgende VM's draaien:
-Homeserver 2011
-PC van mijzelf
-PC van mijn vrouw
daarnaast in de toekomst
- webserver
- exchange server
- mediaserver
- mogelijk een centrale opslagserver
- diverse test vm's

De homeserver 2011 wordt voornamelijk gebruikt om backups en system images te maken van de vm's die Windows draaien.

Daarnaast wil ik de VM's van diverse platforms kunnen benaderen. Oude PC's als thin client, iPad, Android, remote(via VPN). Nu gebruik ik hiervoor RDP, maar ik ben ook op zoek naar andere thin-client oplossingen. Dus suggesties zijn welkom. Of hoort dat in een ander topic thuis?

[ Voor 72% gewijzigd door wihe1 op 25-10-2013 09:52 . Reden: configuratie toegevoegd ]

[Ultimation]

In combinatie met het MSI B75MA-P45 bordje kon ik wel gebruik maken van VT-D in ESXi ondanks dat dit geen feature was die het moederbord biedt. Het is ook geen optie die je aan/uit kan zetten in de BIOS maar het werkt wel. Ook het ASRock B75 Pro3-M bordje geeft VT-D mogelijkheden. Hangt eerder van de processor af denk ik dan het moederbord. Voor VT-D moet je minimaal een Core i5 hebben volgens mij.

[ Voor 30% gewijzigd door Ultimation op 25-10-2013 10:10 ]

[FireDrunk]

Niet helemaal correct, Zowel Moederbord (chipset), CPU als BIOS/UEFI moeten het expliciet ondersteunen. Dat je het niet uit kan zetten wil niet zeggen dat het er niet is.

[wopie]

Vraag:

Kan ik unbuffered-ECC RAM in een non-ecc mobo stoppen en dat het dan zonder crc wel werkt? Net als standaard unbuffered RAM? (ik lees wisselende ervaringen online, ik denk tot nog toe dat het zal werken, maar ik heb meer vertrouwen in de got'ters)

Ik wil spullen aanschaffen voor een build (Supermicro, Xeon, ECC), maar om de kosten te spreiden (initiele aanschaf ligt rond de 600,- voor mobo-cpu-ram) wil ik klein beginnen (ik ben voornemens te testen of SmartOS voor mij wat is, mocht dit niet naar wens zijn, dan wil ik de build geschikt maken voor ESXi). Het kleine begin moet zijn G3220, ECC, cheap moederbord (aanschaf rond de 250,-).

Mocht de SmartOS-ervaring niet volstaan, dan kan ik relatief eenvoudig doorgroeien naar een ESXi-build (waarvan ik wel weet dat deze doet wat het zou moeten doen, maarja, de nieuwsgierigheid naar nieuwe technologieen moet ook bevredigd worden :-P).

Edit (toch nog gevonden @ forum :-)):
"ECC en non-ECC DIMM’s kunnen samenwerken op één moederbord, met als gevolg dat de ECC functie niet gebruikt kan worden. Overigens moet een moederbord/geheugencontroller wel de mogelijkheid hebben om met ECC om te gaan; niet alle moederborden kunnen de ECC functie van ECC DIMM’s activeren."

[ Voor 19% gewijzigd door wopie op 26-10-2013 14:30 . Reden: Antwoord al gevonden... ]

[ThinkPad]

Uh oh.... Een van m'n VM's was vastgelopen. Resetten lukte niet, hij bleef dan hangen op het "Starting" BIOS scherm van VMware. Bleek uiteindelijk door dit te komen: http://enterpriseit.co/vm...mware-bios-splash-screen/

Nu zie ik dat m'n 2e schijf (die via RDM gemount is in die VM) bij Configuration > Devices als "Dead/Error" er tussen staat. Ik mag hopen dat hij niet echt dood is

Net de host een reboot gegeven, fingers crossed dat de schijf zometeen weer up komt

Edit: Was even zweten, duurde ruim een kwartier voordat ik er weer in kon mbv VPN die ik in een VM heb draaien. Was al bang dat de server was blijven hangen in POST vanwege de schijf.

Na een reboot van de host is de schijf nogsteeds "dead/error". Opvragen van de SMART informatie via SSH lukt ook niet, krijg dan de melding "Cannot open device". Vanmiddag de schijf maar even testen met een boot CD met SMART tools. Hoop echt dat de schijf niet dood is

[ Voor 73% gewijzigd door ThinkPad op 29-10-2013 10:59 ]

[FREAKJAM]

Interresante post over de huidige restrictie in ESXi 5.5 mbt het editen van VM's met HW10.

[mvddonk]

Gister mijn sil3112 kaartje binnen gekregen en gelijk geprobeerd om deze werkend te krijgen. Helaas is dit tot zover nog niet gelukt. Mijn harddisk (Samsung spinpoint 750GB) werd schijnbaar niet herkent door deze pci kaart ook de grotere Hitachi 2TB schijven herkende hij niet. Dit houd in dat tijdens het booten van de pc het systeem bleef hangen op het starten van de sil3112.
Vervolgens heb ik een nog wat oudere harddisk geprobeerd (Hitachi 500GB) en deze werd wel herkent. Nu gaat tijdens het booten de sil3112 vrolijk verder na het herkennen van mijn Hitachi schijf maar vervolgens zit ik vast op het POST scherm waar ik de optie krijg om o.a. de UEFI Setup te starten en het Boot menu op te roepen. Geen van deze opties werken en ook gaat het systeem niet verder (zou van USB moeten booten).
Zodra ik de harddisk los haal van de sil3112 werkt alles weer goed...
Iemand enig idee hoe ik dit kan verhelpen?

[Tall0ne]

Hoi,

Ik lees dit topic al geruime tijd mee en ben nog aant kijken wat handig is...

NU: een HP ML110G5 met 8 Gb en daarin een Del Perc 5i raid controller (met BWC) met 5 disks (raid 5)
Daarop heb ik ESXi 5.1 draaien waarop dan weer een 4 tal vm's draaien (DC,FS,EX2010 en een XP voor downloaden)

TOEKOMST:..??...Mail naar de cloud zetten, en een dikke nas kopen voor downloaden enzo. Ik heb nog een laptop van het werk en een thuis waarop surfen enzo gedaan kan worden.Maar ja dan mis ik wel mijn ESXi platform waar ik ook weer op kan spelen /testen etc.

Dus toch ook maar eens gekeken wat ik dan zou moeten aanschaffen om alles weer thuis te laten draaien en dan kom ik tot onderstaande:
(Ik wil deze keer wel iets meer leten op power/noise)

#	Product	Prijs	Subtotaal
1	Intel Core i7 4770 Boxed	€ 259,-	€ 259,-
1	ASRock Q87M vPro	€ 95,30	€ 95,30
1	Corsair Carbide 330R	€ 72,70	€ 72,70
1	Gelid Solutions Tranquillo Rev.2	€ 22,60	€ 22,60
1	Corsair AF140 Quiet Edition, 140mm	€ 13,12	€ 13,12
2	Corsair Vengeance 16GB 1600MHz CL10	€ 146,25	€ 292,50
1	Seasonic G-Serie 450Watt	€ 75,-	€ 75,-
1	Crucial 2.5" M500 240GB	€ 136,92	€ 136,92
Bekijk collectie Importeer producten		Totaal	€ 967,14

Kunnen jullie hier eens op schieten met jullie kennis en ervaring?
PS budget is niet unlimted

[Rendier2710]

Op dit moment draai ik ESXi5.1 op een intel dq67ow moederbord. 5.5 wil echter niet installeren (installatie lukt wel door diverse BIOS opties uit te zetten, waaronder UEFI, maar dan start het moederbord niet automatisch meer vanaf USB of HDD).

Heeft iemand ervaring met een Q77 bordje icm ESXi5.5? Ik wil namelijk wel graag gebruik maken van mijn huidige cpu (i2500) en intel AMT.

Als iemand een goed alternatief heeft, dan hoor ik dat natuurlijk ook graag :-)

[Verwijderd]

Vriendelijke collega's en tweakers,

Sinds een tijd geleden volg ik dit topic aandachtig ..

Echter wil ik van mijn huidige ' dedicated ' server oplossing af, die ik nu huur van een derde partij ( PCextr3m3 ).

Ik heb nu de oplossing van 16GB, 1gbit netwerk, en een quadcore. Waar ik nu enkele webservers, fileservers en backup servers op draai.

Heeft er iemand een kant en klare zuinige server lijst beschikbaar van rond de 4 'a 500 euro? Ik ben benieuwd!

Is het volgende aan te raden?

#	Product	Prijs	Subtotaal
1	Intel Core i5 3550 Boxed	€ 169,95	€ 169,95
1	MSI B75MA-P45	€ 53,89	€ 53,89
1	Seagate Barracuda 7200.14 ST1000DM003, 1TB	€ 52,01	€ 52,01
1	Intel Gigabit CT Desktop Adapter	€ 21,77	€ 21,77
1	Cooler Master Hyper 412S	€ 30,63	€ 30,63
1	Corsair Vengeance LP CML8GX3M2A1600C9	€ 75,68	€ 75,68
1	Highpoint RocketRAID 640L	€ 55,50	€ 55,50
1	be quiet! System Power 7 300W	€ 31,93	€ 31,93
1	Samsung 840 EVO 120GB	€ 86,50	€ 86,50
Bekijk collectie Importeer producten		Totaal	€ 577,86

[ Voor 77% gewijzigd door Verwijderd op 30-10-2013 11:51 ]

[teddysleep]

@Unflux, Ik denk dat je als voeding beter de be quiet system power 7 kan nemen, deze iets ietsje goedkoper en ook een beetje efficiënter, heeft een beetje langere kabels en zou stiller moeten zijn als je volgende testresultaten mag geloven: http://be.hardware.info/v...el/producten/170749-77349
Het enige nadeel is dat deze geen aansluiting heeft voor een grafische kaart.

Ook zou ik kijken voor een haswell processor. De processor die ik op het oog heb is zelfs goedkoper (en nieuwer)

---

Nu zou ik zelf ook een esxi systeem bouwen. Ik had het volgende in gedachten:

#	Product	Prijs	Subtotaal
1	Intel Core i5 4570 Boxed	€ 168,50	€ 168,50
1	ASRock H87M Pro4	€ 71,-	€ 71,-
1	WD Green SATA 6 Gb/s, 3TB	€ 102,-	€ 102,-
1	Cooler Master N200	€ 30,95	€ 30,95
1	be quiet! System Power 7 300W	€ 31,93	€ 31,93
1	Samsung 840 EVO 250GB	€ 144,-	€ 144,-
Bekijk collectie Importeer producten		Totaal	€ 548,38

+ nog eens 16Gb ddr3 1600MHZ ram (4x4GB of 2X8GB, zal van de prijs afhangen)

Zou dit een goed systeem zijn om wat te spelen met esxi en virtuele systemen? Ik maak mij een beetje zorgen over de voeding of die wel krachtig genoeg is en of het moederbord wel goed is.
Iemand hier opmerkingen bij?

[Verwijderd]

Ook ik wil dat graag weten, gebaseerd op mijn collectie. Teddy, bedankt trouwens voor je opmerking. ik heb de lijst bewerkt :0

[teddysleep]

Hier kan je een haswell processor kiezen, ik dacht dat deze net iets krachtiger waren en zuiniger : http://tweakers.net/categ...jmQdTmhd1d-Y1ENHt53sLTW_g

Je zal dan ook een 8 serie moederbord moeten nemen

edit: IK LAS JUIST OP HET INTERNET DAT NIET ELKE PSU INTEL HASWELL COMPATIBLE IS, IK GA NU ZOEKEN OF DIT HET GEVAL IS BIJ DIE BE QUIET.

edit2: Hij blijkt dit te ondersteunen: http://www.bequiet.com/en/press/2635

[ Voor 22% gewijzigd door teddysleep op 30-10-2013 12:26 ]

[Verwijderd]

Hoe zit het trouwens met mijn samenstelling teddy, hij moet wel in een 1U passen. dat gaat met deze koeler niet lukken denk?

[Zenix]

Verwijderd schreef op woensdag 30 oktober 2013 @ 13:48:
Hoe zit het trouwens met mijn samenstelling teddy, hij moet wel in een 1U passen. dat gaat met deze koeler niet lukken denk?

Lijkt mij dat het inderdaad niet gaat lukken, tevens denk ik ook dat je voeding niet gaat passen in een 1U case. Daar zal je zelf even naar moeten kijken.

Meestal heb je in 1U case gewoon een heatsink op de CPU en paar klein fans die heel hard blazen, door de airflow heb je dan geen cpu koeler nodig.

[ Voor 3% gewijzigd door Zenix op 30-10-2013 14:12 ]

[teddysleep]

doh, die 1U cases zijn zeer plat. Ik denk dat die koeler met een hoogte van 16cm daar niet in gaat passen. Heb je die kast nog liggen? Anders zou ik toch uitkijken naar een klein kastje van rond de 30 euro.

edit: wat zenix zei

[ Voor 12% gewijzigd door teddysleep op 30-10-2013 14:00 ]

[Verwijderd]

Ik ben van plan de technieken van facebook en google te gebruiken, op dit moment huur ik een server in een datacenter die ook geen behuizing heeft ( maar heatsink en fans ). Ik ben alleen benieuwd of hier bouwtekeningen van bestaan, ik ga het in ieder geval zelf bouwen

Heeft iemand tips wat betreft heatsinks voor CPU' s en lage voedingen voor servers? etc.?

edit: voor de heatsink heb ik het volgende gevonden die ik eventueel kan gebruiken pricewatch: Intel HTS1155LP

[ Voor 24% gewijzigd door Verwijderd op 30-10-2013 14:36 ]

[Xenophoben]

Ik heb mijn esxi machine te koop gezet! 365 euro:
V&A aangeboden: HP Proliant ML110 G7

[Paul]

Als je een 1u server gaat colocaten kun je dan niet veel beter kijken naar een Supermicro / Dell / HP-server?

Natuurlijk betaal je bij veel colocaters zelf de stroom en de server is ook iets duurder dan 4 of 500, maar je zit zelf ook al op 650 (of 575 met maar 8 GB ram) en dan heb je nog geen behuizing / voeding...

[Verwijderd]

Paul, dat is op te lossen met bijv. de PicoPSU 120-WI-25 12-25V

[FREAKJAM]

Ik zie heel veel configs met een Seasonic G360 voorbij komen (Ik heb deze ook in mijn lijstje staan). Ik zie echter dat hij 4x sata connectors heeft en in mijn setup heb ik er minimaal 7 nodig. Als ik een beetje zoek naar PSU's die meer sata connectors heeft, kom ik meteen bij flinke (veel watt) voedingen uit.

Welke PSU is dan aan te raden?

[ Voor 4% gewijzigd door FREAKJAM op 30-10-2013 15:52 ]

[FireDrunk]

Een verloopkabeltje

Ik heb deze:
http://www.highflow.nl/aa...-sleeved-black.html?sl=NL

Veel steviger dan sata->sata.

[ Voor 79% gewijzigd door FireDrunk op 30-10-2013 15:53 ]

[jadjong]

FREAKJAM schreef op woensdag 30 oktober 2013 @ 15:49:
Ik zie heel veel configs met een Seasonic G360 voorbij komen (Ik heb deze ook in mijn lijstje staan). Ik zie echter dat hij 4x sata connectors heeft en in mijn setup heb ik er minimaal 7 nodig. Als ik een beetje zoek naar PSU's die meer sata connectors heeft, kom ik meteen bij flinke (veel watt) voedingen uit.

Welke PSU is dan aan te raden?

Je koopt zo'n EVGA -ding.
pricewatch: EVGA SuperNOVA NEX1500 Classified

Of een splitter van 3 euro.

[Paul]

Verwijderd schreef op woensdag 30 oktober 2013 @ 15:41:
Paul, dat is op te lossen met bijv. de PicoPSU 120-WI-25 12-25V

Ok, dan zit je dus al op 740 euro, nog steeds zonder behuizing... Oh, en je hoster ziet je al aankomen met zo'n laptop-baksteen...

[FREAKJAM]

jadjong schreef op woensdag 30 oktober 2013 @ 15:53:
[...]

Je koopt zo'n EVGA -ding.
pricewatch: EVGA SuperNOVA NEX1500 Classified

Of een splitter van 3 euro.

Ik ben een held in teveel doordenken ipv zoeken naar de makkelijkste oplossing.

[Verwijderd]

Paul schreef op woensdag 30 oktober 2013 @ 16:05:
[...]
Ok, dan zit je dus al op 740 euro, nog steeds zonder behuizing... Oh, en je hoster ziet je al aankomen met zo'n laptop-baksteen...

haha, dan denk ik dat je mij verkeerd begrijpt ik stuur je binnenkort wel een foto als hij af is, in de rack

[mvddonk]

Heeft iemand de SIL3112 werkend met een ASRock B75 Pro3-M moederbord?

Zo ja: heb je iets speciaals gedaan met je harddisk/bios/uefi of de firmware van de SIL3112? Welke firmware draait op de SIL3112?

-- Edit --
De enige manier dat ik de kaart werkend krijg op mij ESXi server is door de harddisk tijdens het booten los te koppelen en deze later (tijdens het laden van ESXi vanaf de usb stick) weer aan te sluiten... Herkent iemand dit probleem?

[ Voor 38% gewijzigd door mvddonk op 30-10-2013 20:21 ]

[kakanox]

Min-of-meer nieuw hier, al eens ooit meegelezen en toen de volgende machine opgebouwd met het oog op eventuele virtualisatie in de toekomst:

#	Product
1	Intel Celeron G1610 Boxed
1	Foxconn H67M-V
1	Antec LifeStyle Sonata II Zwart
1	Microsoft Windows Home Server 2011 64bit Nederlands OEM 10clients
1	Kingston ValueRAM KVR1066D3S8N7/2G
1	Kingston ValueRAM KVR1333D3N9K3/6G
Bekijk collectie Importeer producten

Inmiddels is gebleken dat ik véél meer vermogen nodig heb en - gezien ik vaak thuis werk - verstook ik momenteel vaak flink wat privéwattjes aan verschillende (workrelated) machines. Dan staan er daarnaast vaak een HTPC en een fileserver aan, en ook de laptop staat regelmatig een paar uur grotendeels te idlen. Bovenstaande machine gaat dus verkocht worden, net als die laptop en nog een paar apparaten.

Gezien ik nu eigenlijk nog een machine tekort kom lijkt virtualiseren een goede oplossing Als het goed is houd ik uiteindelijk dan enkel een werklaptop, een extra scherm en deze werkbak over.
Een goede quadcore zou in principe prima zijn, om toch een beetje over te hebben en hopelijk zuinig uit te zijn ziet het er nu als volgt uit:

#	Product
1	Intel Xeon L5639 Boxed (link brengt je bij de L5640)
1	Asus P6T WS Professional
1	HIS HD 5570 Silence 1GB DDR3 PCIe
1	Kingston ValueRAM KVR1333D3E9SK3/12GI
Bekijk collectie Importeer producten

Er moet op gaan draaien:
- enkele ontwikkelomgevingen (die ik om beurten start van een nog te plaatsen SSD - Win7, 2008R2 of 2012);
- een fileservertje (Linux, licht, geen GUI, wel 24/7);
- databaseservertje (Windows 2008R2, niet 24/7);
- een webservertje (Linux, geen GUI, voor ontwikkeling dus niet 24/7);
- de HTPC (Windows 7);

De komende tijd ga ik me verdiepen in het goed en zo zuinig mogelijk werkend krijgen van deze machine. Daarnaast ben ik van plan jullie te updaten over hoe het gaat, gezien de L5639 niet zoveel voorkomt en volgens mij wel erg geschikt is voor dit soort zaken (weliswaar licht verouderd platform, maar volgens mij efficiënter dan S2011, en een passief te koelen 6-core mét HT i.c.m. 60W TDP biedt mooie mogelijkheden).

Een leuke extra uitdaging voor mezelf (voor in de vrije uurtjes) is het werkend krijgen van een VM met OSX waarin ik ook nog redelijk verdienstelijk met video kan spelen. Nog geen idee of ik dat ook maar enigszins werkend krijg but time will tell.

[ Voor 6% gewijzigd door kakanox op 31-10-2013 00:30 ]

[Paul]

Een HTPC wil geluid en beeld uitzenden. Ik ga niet zeggen dat dat onmogelijk is want dat weet ik niet, er zitten wel veel mitsen en maren aan, ik zou die eerst uitzoeken

Ik heb het zelf opgelost door niet mijn HTPC op ESXi te draaien, maar VMware Player op mijn HTPC

[Tall0ne]

Heeft iemand een idee of de ASRock Q87M vPro uit mijn lijstje in die Vpro ook echt AMT zit zodat ik die als KVM vervanging kan gebruiken? ik wil mijn opstelling van mijn zolder weg halen en in de meterkast zetten waar ik niet zo 123 een monitor meer kwijt kan dus als dat werk dat zou ik volgens mij uit de brand zijn. maar na veel lezen ben ik nog niet veel wijzer geworden. Is er hier een ervarings deskundige?

ik zit nog steeds te twijfelen tussen een dikke NAS kopen + mijn email naar de cloud zetten en dan maar wat klote met vmware op mijn laptop middels workstation...of toch maar mijn verlanglijstje (evt met aanvullingen vanuit de goeroe's hier) kopen en stug doorgaan met een eigen server/hosting

[teddysleep]

Zou iemand mij kunnen vertellen hoe ik het best mijn storage kan indelen op esxi. Ik heb een machine besteld, deze moet ik nog gaan bouwen, maar i kheb al wat nagedacht.

De machine gaat over een ssd van 250gb beschikken, en een harde schijf van 2TB. Ik vroeg mij af of het mogelijk was de .iso files te plaatsen op de harde schijf, en de kostbare ssd te gebruiken als installdevice voor deze .iso's. Is dit de normale gang van zaken? of zette de meetste mensen die.iso bestanden ook gewoon op hun ssd? Ik vroeg mij dit af gezien zo'n .iso bestand toch wel redelijk groot kan zijn en omdat ik slechts 250gb ssd zal hebben.

Ik heb ook nog een unraid server staan, maar deze is natuurlijk niet zo snel in vergelijking met een interne Harde schijf.

Kan ik dus het best de .iso files o pde HDD zetten en de machines dan installeren op de ssd? Of toch iets anders?


Sorry ik ben een echte noob hierin

edit: Ik vroeg mij ook af, gaat die ssd dat wel lang uithouden als ik verschillende vm's hierop install?
En ook met die Host Cache, die gaat dus eigenlijk de cache o pde ssd zetten als ik het goed begrijp. Gaat je ssd dan niet snel stuk? Hoeveel Host Cache is goed om te gebruiken van die ssd voor mijn systeem?
Ik moet er ook nog bij zeggen dat het systeem 16gb ram zal hebben.

[ Voor 17% gewijzigd door teddysleep op 31-10-2013 14:36 ]

[tsjoender]

Tall0ne schreef op donderdag 31 oktober 2013 @ 13:56:
Heeft iemand een idee of de ASRock Q87M vPro uit mijn lijstje in die Vpro ook echt AMT zit zodat ik die als KVM vervanging kan gebruiken? ik wil mijn opstelling van mijn zolder weg halen en in de meterkast zetten waar ik niet zo 123 een monitor meer kwijt kan dus als dat werk dat zou ik volgens mij uit de brand zijn. maar na veel lezen ben ik nog niet veel wijzer geworden. Is er hier een ervarings deskundige?

Geen ervaringsdeskundige met die hardware, maar wel eens gespeeld met Dell Optiplex systemen die vPro/AMT ondersteunen. Ik heb toen overwogen om een Asrock Q77M vPro te komen met vPro ondersteunende CPU en had toen Asrock support gevraagd of de "KVM over IP" optie dan ook zou werken. De supportmedewerker heeft dit toen speciaal voor mij uitgetest en met screenshots bevestigd dat het werkte. Ik vond dat toen hele goede presales support! Bijna zeker dat het ook met de Q87M vPro zal werken, maar je kunt er dus een mail aan wagen naar Asrock support als je het echt zeker wilt weten.

[FireDrunk]

Intel vPro is een leuke feature, maar werkt niet zo makkelijk als dat je gewend bent van SuperMicro's KVM oplossingen. Het werkt soms met vage provisioning, en remote een ISO mounten is minder makkelijk dan je zou denken (dat moet met losse tools).

Er wordt vaak geroepen dat VNC Viewer Pro dit allemaal vlekkeloos zou moeten kunnen, maar in mijn ervaring kan dat nog wel eens vies tegenvallen.

Voor de quick'n'dirty reset/reboot is het overigens prima, dat kan je zelfs via de webinterface doen van je KVM volgens mij.

[vanisher]

Ultimation schreef op donderdag 24 oktober 2013 @ 17:43:
Ik heb onderstaande onderdelen besteld (op het geheugen na) om mijn ESXi machine te upgraden. Nu kan ik 2 SSD's, 6 hardeschijven en 1 domme RAID controller en netwerkkaart vervangen. Komt dan wel weer een 4-poorts netwerkkaart bij. Maar ik heb nu wel mijn server zuiniger gemaakt.

Heb je het spulletje ondertussen al draaien? Ik ben zelf ook al een poosje op zoek, valt niet mee pff..

[FREAKJAM]

Iemand die pfSense heeft draaien op ESXi met de Horizon box van UPC?
Op mijn Horizon box komt het internet binnen via coax:

Hoe kan ik een WAN/LAN inrichten op ESXi mbv 2 nics op een SM mobo?
Ik heb eventueel nog een TP-Link TL-WR1043ND in de kast liggen als ik deze ook nodig heb.

Ik dacht zelf:
Ethernetkabel van Horizonbox naar NIC 1 = WAN
Ethernetkabel van NIC2 naar TP-Link in AP mode = LAN

Vanuit AP de rest van mijn huis voorzien van Internet. (xbox, receiver, htpc etc).
Setup zonder TP-Link gaat niet lukken i guess?

[ Voor 25% gewijzigd door FREAKJAM op 01-11-2013 09:45 ]

[FireDrunk]

Niet, je Horizon box is zowel Kabel modem als Router in dit geval volgens mij.

pfSense gaat je hier niet bij helpen denk ik zo. Je kan pfSense eventueel achter je Horizon box zetten en daarachter weer al je clients.

[FREAKJAM]

Ja, dacht zelf ook al dat pfSense weinig toegevoegde waarde heeft in mijn setup. Achter mijn Horizon box de boel opzetten zie ik niet zo zitten. (Horizon is modem en router inderdaad).

[Tall0ne]

bīj ziggo kun je je modem/router in bridge mode laten zetten zodat hiī echt modem is dan kun je weer wel met pfsense spelen. Misschien is dat bij UPC ook mogelijk?

[FREAKJAM]

Helaas kan dat niet

Anyways, zojuist alles besteld! (werd tijd na 6 weken huiswerk).

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 214,-	€ 214,-
1	Supermicro X10SL7-F	€ 229,90	€ 229,90
6	WD Red SATA 6 Gb/s WD30EFRX, 3TB	€ 115,44	€ 692,64
1	BitFenix Shadow	€ 60,40	€ 60,40
7	Sharkoon SATA III standard (50cm)	€ 2,98	€ 20,86
1	Kingston ValueRAM KVR16E11K4/32	€ 299,-	€ 299,-
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 135,03	€ 135,03
Bekijk collectie Importeer producten		Totaal	€ 1.709,83

En nog 2x een molex naar 4x sata adaptertje (Met dank aan FireDrunk voor het meedenken)
pricewatch unsorted: BitFenix Adapter (Molex zu 4x SATA), 20 cm schwarz/schwarz

Toch maar een nieuwe case besteld, waar 7 drives in passen. De bitfenix gaat vandaag met DHL terug naar caseking. Mooi 6 drives onder elkaar en de ssd op de bodem. Het worden 6 drives in een RAIDZ2 opstelling. Ik ga het toch doen zonder ZIL/L2CACHE trouwens. Hopelijk volgend weekend met ESXi en ZFSGuru spelen. USB stickie heb ik nog hier op het werk liggen voor de ESXi boot.

Nu nog kijken of ik het bij XBMC houd of dat ik met Plex ga spelen. XBMC met SQL is nu ook een optie. Kan een SQL-servertje in een VM draaien of iets dergelijks.

Ik wil FireDrunk en CiPHER en velen anderen ook bedanken voor het beantwoorden van mijn vele vragen de afgelopen weken. (welke vast nog een aantal gaan komen als ik mijn setup ga bouwen).

[ Voor 102% gewijzigd door FREAKJAM op 01-11-2013 12:12 ]

[Tall0ne]

dan overstappen ;-)
En nee ik heb geen aandelen Ziggo

[FireDrunk]

@FREAKJAM, mooi setje! Ga je lang plezier van hebben!

[OsiriS.nl]

Ten eerste, ik weet niet of dit de juiste plek is om dit te vragen. Als ik deze vraag beter ergens anders kan stellen dan hoor ik het graag.

Ik ben voor familie op zoek naar een oplossing. Het gaat om een zakelijke oplossing, er wordt van een eenmanszaak overgegaan naar twee personen.
De volgende mogelijkheden zijn het meest wenselijk:
- Mail server, zodat alle mail lokaal binnen komt en gebackupt kan worden en naar de twee clients toe kan.
- Agenda delen met schrijfrechten. Het is mogelijk via outlook online de agenda te delen echter is het niet mogelijk om te beschrijven..
- Data storage voor voornamelijk documenten e.a. Het is de bedoeling dat vanaf deze data storage door de twee clients wordt gewerkt en dat deze data veilig is.
- Beveiligde toegang van buitenaf tot de data storage.

Zeker de komende 5 jaar zal het bij 2 personen/ wellicht 3 personen blijven. De data die opgeslagen wordt neemt niet super veel plaats in, momenteel slechts 100GB. Daarom zat ik zelf te denken om een goedkoop ESXi server in te richten met diverse VM’s voor de bepaalde taken. Dit omdat het op deze manier flexibel blijft en toevoegen van functionaliteit d.m.v. een extra VM relatief eenvoudig is.

Mijn vraag is daarom: kan iemand mij in de goede richting duwen voor wat betreft hardware en software? En of dit überhaupt wel een goede oplossing is voor dit vraagstuk? Ik heb zelf ook al gezocht en ideeën echter voornamelijk qua hardware heb ik nog grote vraagtekens..

Alle ideeën en tips zijn welkom!

[Paul]

Daarvoor kun je beter een eigen topic openen Ik zeg in eerste instantie: Office 365. Een VMware server voor de diverse rollen is niet goedkoop, zeker niet als je er support op wilt. Vervolgens komen daar nog een heleboel licentiekosten bij als je het op Windows wilt draaien (ik zie Outlook staan, wil je Exchange gaan draaien?). Voor 4,10 per gebruiker per maand ben je dan klaar, dat is nog geen 100 euro per jaar met zijn tweeën, oftewel, voor de prijs van de hardware kun je al 4 tot 8 jaar aan de slag...

Als je dan ruimte tekort komt voor je bestanden en je deze (of een groot gedeelte ervan) alleen vanaf kantoor hoeft te benaderen dan kun je nog een NAS neerzetten voor de bestanden die niet op de SkyDrive passen en niet online beschikbaar hoeven te zijn. Deze bestanden backup je regelmatig naar een werkstation.

Ik denk dat je dan voor 300 euro eenmalig en 100 euro per jaar een hele mooie oplossing hebt waar je vrijwel geen onderhoud op hoeft te doen, tegenover een VMware host met allemaal VM's waar ze voor iedere scheet een systeembeheerder in moeten huren omdat ze het waarschijnlijk zelf niet kunnen.

[OsiriS.nl]

Oké dankje Paul, ik heb mijn eigen topic geopend en ook daar wordt voornamelijk naar cloud services verwezen. Als ik eerlijk ben vind ik dat niks, i.v.m. security en privacy houdt ik de data liever lokaal...

@FREAKJAM: ik ben wel geïnteresseerd in jouw verdere ervaringen met die setup (voor mijzelf dan :-P )

[ Voor 20% gewijzigd door OsiriS.nl op 02-11-2013 09:03 ]

[mvddonk]

Ik gebruik ESXi 5.5 en heb mijn datastorage op een SIL3112 (pci kaart) aangesloten.
Ik probeer nu de Intel Panther Point AHCI Controller (onboard SATA controller van de pricewatch: ASRock B75 Pro3-M) door te geven aan FreeNAS (9.1.1) of Nas4Free (9.1.0.1). In ESXi heb ik als passthrough hetvolgende ingesteld:


Bij mijn FreeNAS (of Nas4Free) VM heb ik de controller via PCI doorgegeven:


Als ik nu in FreeNAS (of Nas4Free) probeer de harddisk's te configureren zijn deze niet aanwezig. Als ik in de log kijk zie ik de volgende melding staan:

ahci0: <Intel Panther Point AHCI SATA controller> port 0x4038-0x403f,0x4030-0x4033,0x4028-0x402f,0x4024-0x4027,0x4000-0x401f mem 0xfd4fe800-0xfd4fefff irq 19 at device 0.0 on pci3
ahci0: AHCI controller reset failure
device_attach: ahci0 attach returned 6

Kan iemand mij uitleggen wat ik fout doe of waarom dit niet werkt?

[FireDrunk]

Ik heb ditzelfde probleem ook eens gehad bij ASMedia 1061 controllertjes, geen idee waar het mee te maken heeft, maar ik ben er eerlijk gezegd nooit mee verder gegaan. De controller wilde gewoon niet resetten (wat vaak gedaan wordt tijdens het initialiseren van drivers).

Het kan een foutje in FreeBSD (9.1) zijn, maar het kan ook aan de combinatie met VT-d liggen.

Probeer eens een oudere versie van FreeNAS of NAS4Free, die nog gebaseerd zijn op 8.2/8.3 ofzo. Misschien geeft dat een andere foutmelding.

[abusimbal]

Bent aan het kijken voor een nieuwe "zuinige" Esxi server.

Denk voor onderstaande te gaan.

Supermicro SuperServer 5018D-MTLN4F
Intel Xeon E3-1265L v3
Kingston KVR16E11K4/32
Samsung 840 Pro 512GB

Nog even wachten, CPU is nog niet te bestellen.

[sphere]

mvddonk schreef op zaterdag 02 november 2013 @ 11:52:
Als ik nu in FreeNAS (of Nas4Free) probeer de harddisk's te configureren zijn deze niet aanwezig. Als ik in de log kijk zie ik de volgende melding staan:

ahci0: <Intel Panther Point AHCI SATA controller> port 0x4038-0x403f,0x4030-0x4033,0x4028-0x402f,0x4024-0x4027,0x4000-0x401f mem 0xfd4fe800-0xfd4fefff irq 19 at device 0.0 on pci3
ahci0: AHCI controller reset failure
device_attach: ahci0 attach returned 6

Kan iemand mij uitleggen wat ik fout doe of waarom dit niet werkt?

Ik ben wel benieuwd of je die controller uberhaupt kan gebruiken in een andere guest. Bijv Windows of Linux?

[abusimbal]

Is het de moeite om een Nvidia Quadro 410 of 600 of K600 in mijn toekomstige Esxi server te stoppen ?
Er is een driver voor Esxi 5.5.

EDIT
Jammer, GPU blijft een probleem in Esxi.

[ Voor 15% gewijzigd door abusimbal op 03-11-2013 17:56 ]

[FireDrunk]

Nee, dat heeft alleen maar zin voor VDI machines icm VMware Horizon View.

[mvddonk]

FireDrunk schreef op zaterdag 02 november 2013 @ 17:04:
Ik heb ditzelfde probleem ook eens gehad bij ASMedia 1061 controllertjes, geen idee waar het mee te maken heeft, maar ik ben er eerlijk gezegd nooit mee verder gegaan. De controller wilde gewoon niet resetten (wat vaak gedaan wordt tijdens het initialiseren van drivers).

Het kan een foutje in FreeBSD (9.1) zijn, maar het kan ook aan de combinatie met VT-d liggen.

Probeer eens een oudere versie van FreeNAS of NAS4Free, die nog gebaseerd zijn op 8.2/8.3 ofzo. Misschien geeft dat een andere foutmelding.

Het is me gelukt door een oudere versie van ESXi te gebruiken. Met versie 5.0 update 1 werkt alles goed. Wel vreemd dat een nieuwere versie bepaalde controllers minder goed support...
Zijn er grote/belangrijke dingen die ik nu mis in vergelijking met 5.5?

[gassiepaart]

abusimbal schreef op zaterdag 02 november 2013 @ 19:01:
Bent aan het kijken voor een nieuwe "zuinige" Esxi server.

Denk voor onderstaande te gaan.

Supermicro SuperServer 5018D-MTLN4F
Intel Xeon E3-1265L v3
Kingston KVR16E11K4/32
Samsung 840 Pro 512GB

Nog even wachten, CPU is nog niet te bestellen.

Wat is de reden dat je voor de 1265 gaat, en dan bedoel ik vooral de intel igp die hier ingebakken is? Dit moederbord heeft gewoon een VGA uitgang. Daarnaast is de C224 chipset niet geschikt voor de IGP versies van socket 1150. Dit moederbord ondersteunt ook IPMI, dus beheer kan volledig headless via de IPMI ethernet poort.
Trouwens, de 'L' versie van de Xeons leveren je echt niet zo heel veel zuinigheid op, en zijn ook niet leverbaar... Neem bv een 1230v3, die heeft een goede verhouding tussen bang en bucks...

[abusimbal]

Ok, dacht dat de L's veel zuiniger gingen zijn. Dan ga ik voor de 1230v3 of de 1240v3, zit maar 15 of 20€ tussen.

[Tall0ne]

FREAKJAM schreef op vrijdag 01 november 2013 @ 11:13:
Helaas kan dat niet

Anyways, zojuist alles besteld! (werd tijd na 6 weken huiswerk).

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 214,-	€ 214,-
1	Supermicro X10SL7-F	€ 229,90	€ 229,90
6	WD Red SATA 6 Gb/s WD30EFRX, 3TB	€ 115,44	€ 692,64
1	BitFenix Shadow	€ 60,40	€ 60,40
7	Sharkoon SATA III standard (50cm)	€ 2,98	€ 20,86
1	Kingston ValueRAM KVR16E11K4/32	€ 299,-	€ 299,-
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 135,03	€ 135,03
Bekijk collectie Importeer producten		Totaal	€ 1.709,83

mmm die opzet van Freakjam (zonder de disken) of toch dat wat ik had uitgezocht...

#	Product	Prijs	Subtotaal
1	Intel Core i7 4770 Boxed	€ 256,50	€ 256,50
1	ASRock Q87M vPro	€ 95,60	€ 95,60
1	Corsair Carbide 330R	€ 73,-	€ 73,-
1	Gelid Solutions Tranquillo Rev.2	€ 22,60	€ 22,60
1	Corsair AF140 Quiet Edition, 140mm	€ 13,25	€ 13,25
2	Corsair Vengeance 16GB 1600MHz CL10	€ 146,25	€ 292,50
1	Seasonic G-Serie 450Watt	€ 75,-	€ 75,-
1	Crucial 2.5" M500 240GB	€ 133,49	€ 133,49
Bekijk collectie Importeer producten		Totaal	€ 961,94

want ik wil mijn Dell Perc 5/i met 5* 1 TB disken uit mijn huidige ML 110G5 ESX server her gerbuiken en twijfel nu na het lezen van allerhande manuals - PCi bussen of dat wel gaat werken op die Q87

Ik heb Asrock gevraagd naar de AMT ondersteuning en daarop kreeg ik
"Something like in the attached screenshot? When I tested this myself with a Q77M vPro earlier this year it was working fine after a BIOS update, so I expect that it will also work with Q87M vPro. I have not tested it in combination ESXi, but I don’t see why that would be a problem."

Wat is nu wijsheid....

[FREAKJAM]

De Q87 chipset in je mobo heeft gewoon AMT ondersteuning volgens de website van Intel. De website zelf van de Asrock geeft ook aan dat het AMT ondersteunt. Je CPU en Q87 mobo ondersteunen ook VT-d zie ik.

De i7 heeft ten opzichte van de 1230V3 een interne gpu die ik persoonlijk niet nodig heb (IPMI op het SM mobo). De Xeon is ook iets zuiniger en cheaper. Hier kun je de cpu's met elkaar vergelijken.

Ik denk trouwens persoonlijk dat ik geen cpu fan nodig heb. Ik ga er vanuit dat de stock cooler van de Xeon goed genoeg is, plus ik heb 4 fans in de case zelf draaien straks.

Ik moet nog een weekje wachten op mijn hardware. Mijn hardware is een stuk "zwaarder" dan jouw setup, maar ik ga ook meerdere VM's draaien. Mijn setup is ook volledig ECC wat het een stuk duurder maakt.

Mooie case trouwens!

[ Voor 87% gewijzigd door FREAKJAM op 04-11-2013 15:04 ]

[Tall0ne]

hahaha die mooie case zal wel slaan op "Toch maar een nieuwe case besteld, waar 7 drives in passen. De bitfenix gaat vandaag met DHL teru..." toevallig dezelfde ;-)

Verder scheelt de gehele opzet basis kwa euro's niet zo heel veel. jou cpu is iets bieliger, maar mb weer wat duurder. geheugen kom ik weer zowat op dezelfde prijs. dus ± 100 op 1000 euro... is overheen te komen. zeker als alles werkt. Die KVM van de supermicro scheelt mij weer geknutsel om in mijn meterkast een monitor voor trouble shooting neer te zetten... En je hebt al dual nic...

Echte video heb ik op mijn ESX server niet echt nodig... die Q87M zou ik inderdaad rechtstreeks aan mijn AV reciever kunnen hangen maar of dat voordeel zal bieden...

Ik heb nog een weekje om na te denken voordat ik iets ga bestellen....

PS mag ik vragen waar jij je spullen besteld hebt en hoeveel VM's je gaat draaien op je server?

[FREAKJAM]

Haha, nee hoor! Ik vind de Corsair Carbide 330R oprecht een mooie case. Ik was met mijn Bitfenix gewoon iets te voorbarig. Ik had hem voornamelijk beoordeeld op zijn looks. Erg mooie case, maar het installeren van de hard drives in deze case is alles behalve practisch. (2 op de bodem, en 2 in een sidepanel en de ssd's weer in een panel aan de andere zijde). Daarnaast kwam ik erachter dat ik toch liever een opstelling had waarin ik de hdd's onder elkaar kwijt kan.

Heb je aan 4 drives voldoende in jouw setup? De hoofdreden dat ik voor SM heb gekozen is dat het een alles in 1 is. Hoef geen M1015 aan te schaffen (LSI2308 zit onboard), dual nic en ik lees gewoon hele goede verhalen over SM.

Ik heb ook geen echte video nodig. Mijn huidige HTPC, daar zit nu 2x2tb in, maar die hdd's haal ik eruit en ik ga een SSD in die HTPC installeren. Ik wil voornamelijk media streamen vanaf die nieuwe ESXi bak naar me HTPC. (XBMC of Plex).

Ik heb mijn spullen besteld bij Afuture en 4Launch. Ik heb enkel de Xeon en het geheugen besteld bij 4Launch omdat de CPU daar goedkoper was. Het geheugen staat wel niet vermeld in de pricewatch als te koop zijnde bij 4launch, maar dat is zeker wel het geval. pricewatch: Kingston ValueRAM KVR16E11K4/32 Ik bestel liever iets bij 2 betrouwbare shops, dan het geheugen ook nog los te moeten bestellen bij een 3de partij.

Over de VM's ben ik nog niet helemaal uit. ZFSGuru of FreeNAS gaat het worden met sowieso 8GB geheugen. Ik wil ook voornamelijk met VM's spelen. pfSense is bij mij geen optie omdat ik mijn Horizon Box niet in bridge mode kan zetten. Misschien dat ik een dedicated VM ga inrichten die puur het downloaden gaat doen (sb/couchpotato/sab etc). Ik kan ook wat meer geheugen in me ZFS-VM proppen natuurlijk en het ZFSGuru/FreeNAS laten doen (plugins). Daarnaast wil ik ook spelen met Hyper-V misschien. Moet nog even kijken welke VM's ik zeker moet gaan inrichten (productie zeg maar).

[Tall0ne]

Tja 4 drives... middels mijn Perc 5/i controller kan ik mijn huidige raid 5 van 5 disken overzetten, en dan nog dvd-tje erin een 1 ssd. en die krijg ik wel kwijt in de 4* 3,5 en 3*5,25 bays middels van die kits... dus dat komt in totaal op 6 disken + 1 dvd heb ik nog een plekje over.

thanx voor de andere info... maakt de keuze niet gemakkelijker... jouw setup heeft weer voordelen, maar mijn setup is evt weer makkelijk naar een gewone PC te trekken mocht ik toch nog kiezen om mijn exchange omgevingen naar de cloud van MS te verplaatsen en dan kan hij als "super" htpc worden ingezet, want htps onder ESX.... en van de andere kant mijn media player doet het ook nog steeds...
en als gewone PC kan ik natuurlijk nog altijd met vmworkstation spelen als is dat niet zo kewl ;-)

[FireDrunk]

Aaaaaaaaaaaaaaaaaaaaaaaaaaaaaah
* FireDrunk word gek(ker)...

Paar dagen geleden mijn Opteron 4164EE (6-core 1.8Ghz) met 64GB ECC Registered geheugen als primaire NAS in gebruik genomen icm ZFS / FreeBSD.

Daarnaast heb ik een ESXi clustertje van 3 hosts (2xG1610, 1 x i5-3550).
Alles werkt in principe naar behoren, alleen is de snelheid van NFS om te janken...

Alle ESXi installaties zijn ongetuned en ook FreeBSD bevat geen speciale tuning voor ZFS. (ten tijde van deze test, ik heb er wel veel mee gespeeld, maar het helpt allemaal niets)

Mijn snelheden:


Ik weet niet of iedereen het ziet, daarom zal ik het maar uitleggen.

De sequentiele reads zijn veel te traag, die zouden dik 100MB/s moeten aantikken.
Sequentiele writes zijn ook aan de trage kant met 84MB/s maar acceptabel. Ook deze zouden dik over de 100MB/s moeten gaan.

Ik test met maar 1GB, dit betekend dat alle data na de eerste run in ARC zou moeten staan en ALLE acties op de data dus razendsnel zouden moeten zijn. Ik verwacht daarom ook dat de 512K en 4K reads de 100MB/s aantikken omdat de disks letterlijk tijdens de bench niets meer te doen hebben na 1 run.
4KQ1 schrijven zou inderdaad 7.3MB/s kunnen zijn omdat er altijd synced geschreven word.

En dan de 4KQD32 reads, die halen ineens 99MB/s????



Ik heb echt al van alles geprobeerd met de NFS server (oude NFS server in FreeBSD gebruiken, meer threads, minder threads, sync uit, sync aan).

Gisteravond heb ik voor de test maar even ZFSguru geinstalleerd op een losse ssd, en mijn pool geimporteerd, en de snelheden zijn net zo waardeloos.

Iemand een idee?

Zojuist met een Ubuntu VM getest op ESXi en die haalt 71MB/s schrijven en 117MB/s sequentieel lezen, MAAR als ik ondertussen kijk met iftop op FreeBSD zie ik geen traffic... Het zou dus goed kunnen zijn dat ESXi die data gecached heeft.

En inderdaad, als ik een random andere file pak die niet door de VM zelf geschreven is, zijn de leesnelheden om te janken. Uh, iftop geeft aan dat er met 7Mb/s gecommuniceerd wordt, maar de snelheden op de VM komen uit op 89MB/s effectief... Ik gok dat er ergens iets van compressie gedaan wordt, maar begrijpen doe ik het nog niet.

* FireDrunk gaat even een random file maken.

[ Voor 13% gewijzigd door FireDrunk op 05-11-2013 08:55 ]

[Afwezig]

FREAKJAM schreef op maandag 04 november 2013 @ 18:03:
Haha, nee hoor! Ik vind de Corsair Carbide 330R oprecht een mooie case. Ik was met mijn Bitfenix gewoon iets te voorbarig. Ik had hem voornamelijk beoordeeld op zijn looks. Erg mooie case, maar het installeren van de hard drives in deze case is alles behalve practisch. (2 op de bodem, en 2 in een sidepanel en de ssd's weer in een panel aan de andere zijde). Daarnaast kwam ik erachter dat ik toch liever een opstelling had waarin ik de hdd's onder elkaar kwijt kan.

Heb je aan 4 drives voldoende in jouw setup? De hoofdreden dat ik voor SM heb gekozen is dat het een alles in 1 is. Hoef geen M1015 aan te schaffen (LSI2308 zit onboard), dual nic en ik lees gewoon hele goede verhalen over SM.

Ik heb ook geen echte video nodig. Mijn huidige HTPC, daar zit nu 2x2tb in, maar die hdd's haal ik eruit en ik ga een SSD in die HTPC installeren. Ik wil voornamelijk media streamen vanaf die nieuwe ESXi bak naar me HTPC. (XBMC of Plex).

Ik heb mijn spullen besteld bij Afuture en 4Launch. Ik heb enkel de Xeon en het geheugen besteld bij 4Launch omdat de CPU daar goedkoper was. Het geheugen staat wel niet vermeld in de pricewatch als te koop zijnde bij 4launch, maar dat is zeker wel het geval. pricewatch: Kingston ValueRAM KVR16E11K4/32 Ik bestel liever iets bij 2 betrouwbare shops, dan het geheugen ook nog los te moeten bestellen bij een 3de partij.

Over de VM's ben ik nog niet helemaal uit. ZFSGuru of FreeNAS gaat het worden met sowieso 8GB geheugen. Ik wil ook voornamelijk met VM's spelen. pfSense is bij mij geen optie omdat ik mijn Horizon Box niet in bridge mode kan zetten. Misschien dat ik een dedicated VM ga inrichten die puur het downloaden gaat doen (sb/couchpotato/sab etc). Ik kan ook wat meer geheugen in me ZFS-VM proppen natuurlijk en het ZFSGuru/FreeNAS laten doen (plugins). Daarnaast wil ik ook spelen met Hyper-V misschien. Moet nog even kijken welke VM's ik zeker moet gaan inrichten (productie zeg maar).

Ik ben heel erg benieuwd naar hoe deze setup jou gaat bevallen. Zonder dit topic echt te hebben bijgehouden ben ik tot vrijwel dezelfde opstelling gekomen (alleen wel met een E3-12xxL v3, want elk beetje minder stroom is meegenomen ). Ik wil ESXi gaat draaien op een USB device met FreeNAS als VM, die de onboard SAS controller via VT-d beschikbaar heeft in TI mode. Ik ben dan ook heel benieuwd naar de benchmarks!

[Dukejohn]

FireDrunk schreef op dinsdag 05 november 2013 @ 08:19:
Aaaaaaaaaaaaaaaaaaaaaaaaaaaaaah
* FireDrunk word gek(ker)...

Paar dagen geleden mijn Opteron 4164EE (6-core 1.8Ghz) met 64GB ECC Registered geheugen als primaire NAS in gebruik genomen icm ZFS / FreeBSD.

Daarnaast heb ik een ESXi clustertje van 3 hosts (2xG1610, 1 x i5-3550).
Alles werkt in principe naar behoren, alleen is de snelheid van NFS om te janken...

Probeer je NAS eens als ISCSI te benaderen, ik ben met zelf van NFS naar ISCSI gegaan ivm snelheids problemen met NFS

[FireDrunk]

Ik vind iSCSI nogal een configuratie hell in vergelijking met NFS...

[gitaarwerk]

iSCSI is wel de s*it voor datastores moet ik zeggen. Ik moet nog steeds aanleggen als ik link aggegration voor elkaar heb.

[FireDrunk]

Wat probeer je nou te zeggen?

[A1AD]

FireDrunk schreef op dinsdag 05 november 2013 @ 10:28:
Wat probeer je nou te zeggen?

Probeer eens 1 datastore te maken via iSCSI, de config valt toch best mee? Dan kan je het protocol toch al uitsluiten...

[FireDrunk]

Dat zegt niet zoveel, want als dat wel snel is, wat is er dan fout? NFS aan de kant van ESXi of NFS aan de kant van FreeBSD? Of het netwerk omdat NFS met andere packetsizes werkt?

Ik kan het best testen hoor, maar of het helpt.

* FireDrunk gaat even aan het klooien.

Hmm, iSCSI op ZFSguru installeren gaat best makkelijk
Nu even een vm installeren.

[ Voor 13% gewijzigd door FireDrunk op 05-11-2013 13:08 ]

[A1AD]

FireDrunk schreef op dinsdag 05 november 2013 @ 12:52:
Nu even een vm installeren.

Of migreren?

[FireDrunk]

Nog geen vCenter momenteel. Eerste tests zijn asociaal goed...

100/80
100/80
8/8
64/8

En dat terwijl er een scrub draait...