Zuinige ESXi Server

[sloth]

ESXi

ESXi is een bare metal embedded hypervisor waarmee je, afhankelijk van de gebruikte hardware, een efficiënte virtuele omgeving kunt neerzetten. Door het bare metal aspect heb je namelijk minder overhead en haal je betere prestaties dan met een virtualisatieoplossing die bovenop een besturingssysteem draait. (Hoe bare metal ESXi werkelijk is, is een andere discussie.)
Bare metal kan zelfs zover gaan dat verschillende hardware kan worden doorgegeven aan virtuele machines, mits je moederbord en processor dit toelaten.

Installeren (op USB)

ESXi neemt weinig ruimte in en kan worden geïnstallesterd op een USB stick, dat scheelt weer een SATA poort. Daarnaast heb je niets te maken met harde schijven die bezwijken onder de last of andere ongemakken. De USB stick is na boot alleen nog maar actief voor configuratie wijzigingen, er word verder niets actiefs op gedaan, ESXi draait volledig in RAM.

Voor het installatieproces op USB-stick heb je er (to keep it simple) in feite maar 1 nodig. Je USB stick moet minstens 1GB zijn, liever 2GB zodat er ruimte is voor toekomstige hotfixes en updates. De installatie is heel eenvoudig, er zijn een aantal manieren:

1) Zonder CD speler: Via Unetbootin
Je downloadt UNetbootin en de ISO van ESXi, je start UNetbootin, selecteert geen Linux distro maar gewoon rechtstreeks "ISO" en dan de ISO van ESXi en het station waar je naar wilt installeren. Hij vraagt of je menu.c32 wilt overschrijven, hier mag je "JA" op antwoorden. De stick is nu na een tijdje werken klaar .
Wil je het nog gedetailleerder en netjes met screenshots uitgewerkt? http://blog.vmpros.nl/201...-bootable-esxi-usb-stick/

Installeren van ESXi is dan een fluitje, je steekt een andere USB-stick in je server samen met het installatie-stick en je kan tijdens het installatieproces aangeven op welke stick je wilt installeren (wel de juiste selecteren natuurlijk , 2 sticks van verschillende grootte zijn dan wel fijn om het verschil te kunnen zien...)

2) Zonder CD speler: Via VMware player of Worksation
Download de ESXi ISO, koppel deze aan een VM en koppel ook je USB stick aan de VM. Start nu je VM op en laat deze starten vanaf de ISO. Start de ESXi installatie. Als het goed is ziet deze nu alleen de USB stick. Installeer hier ESXi op. Nadat alles klaar is, sluit de VM af en stop de USB stick in de gewenste computer.

3) Met CD speler
Download en brand de ESXi ISO op een CD. Koppel alle harde schijven los van je computer, steek een USB stick er in. Start de computer op vanaf de CD. Start de ESXi installatie. Kies als locatie de gevonden USB stick. Rond de installatie af. Koppel je harde schijven weer aan, verwijder de CD, stel je BIOS in om vanaf USB op te starten. Klaar.

Om het allemaal netjes weg te werken kan je je USB-stick in je computer (ja er echt IN) laten steken via een kabeltje: http://pcpartsandcables.com//product_info.php?products_id=42 of je doet het op de Tweaker-manier (site laadt traag): http://www.justblair.co.uk/adding-an-internal-usb-port.html of je kan een chipje op de USB-pinout van je moederbord steken waardoor je ook een interne USB-poort krijgt: Google Shopping USBMBADAPT2

Hardware

Intel en AMD ondersteunen beide hardwarematige virtualisatie. Bij Intel heet dit VT-x, bij AMD heet dit AMD-V. Voor hardwarematige virtualisatie van devices heb je in het geval van Intel VT-d nodig en in het geval van AMD heet het AMD-Vi. Hardwarematige virtualisatie (oftewel het "doormappen van devices aan VM's"), denk maar aan een TV-kaart of bv een PCI Wifi-kaartje met VT-D is pas ondersteund bij de i5-series en op voorwaarde dat je moederbordje natuurlijk het ondersteunt...

Onthou wel dat je GEEN VT-D nodig hebt om bv een USB-device door te geven aan je VM (zie hiervoor HyperBart in "Zuinige ESXi Server"), net zoals je geen VT-D nodig hebt om een harde schijf via een zogenaamde Raw Device Mapping door te geven aan je VM (zie hiervoor FireDrunk in "Zuinige ESXi Server")

Wil je goed ondersteunde hardware, kan je het beste kijken op VM-Help.com.

Zuiniger!

ESXi verbruikt na een kale installatie nog relatief veel, aangezien het een hele kale 'installatie' bovenop je hardware is. Deze installatie kan standaard niet profiteren van alle mooie besparingsfuncties die componenten bieden. Op deze pagina staan een aantal tweaks om toch behoorlijk wat van het idle verbruik van ESXi installatie af te kunnen halen. Het belangrijkste probleem van ESXi is dat je niet standaard drivers kan installeren wat je onder een volwaardig OS meestal wel kan. Van Intel weten we bijvoorbeeld dat de videokaart vaak door de driver in standby gezet word, omdat deze driver onder ESXi niet te installeren is, kan dit onder ESXi dus niet.

Mux, een tweaker die een behoorlijk opvallende blog heeft gemaakt ivm het zuinige verbruik van zijn i3 machine (8.5W idle) heeft ook nog een interessante post gemaakt over het gebruik van Pico-PSU's en de voor- en nadelen, die post kan je hier mux in "Zuinige ESXi Server" terugvinden...

Tutorials en handige tips

The Hyperactive Blog: Zuinig virtualiseren met ESXi

Enablen van nested 64-bit VM's en Hyper-V VM's (met deze kan je ook VM's onder een virtuele Hyper-V opstarten)

How to Enable Nested vFT (virtual Fault Tolerance) in vSphere 5

How to Install VMware VSA in Nested ESXi 5 Host Using the GUI (/me heeft hier ook een blog over geschreven omdat er wat problemen waren met onder andere poort 80 en niet standaard dingen van vCenter: The Hyperactive Blog: Installing VSA on a ghetto-lab)

Een ZFS-machine virtualiseren onder ESXi

Als je je ZFS-bak wilt virtualiseren dmv ESXi, moet je er rekening mee houden dat je je HDDs het beste direct doorgeeft aan ZFS. Dat wil zeggen: Niet als block device of in een VMFS-container. Je guest-OS heeft dan geen directe toegang tot de HDD. Dit heeft namelijk de volgende nadelen:

• Je guest-OS heeft geen toegang tot S.M.A.R.T.
• Je guest-OS kan geen APM/AAM-parameters veranderen van de HDDs
• Je guest-OS kan de schijven niet downspinnen
• Afhandeling van UREs en bad sectors gaat vaak problematisch

Vooral dit laatste punt is vervelend. ZFS weet niet waar eventuele bad sectors zich bevinden en kan daar dus niet omheen werken.
Uit eigen ervaring weet ik dat dit zelfs grotere problemen zal opleveren als je een stervende schijf hebt, aangezien ZFS allerlei 'vreemde' read-errors krijgt die niet direct zijn terug te leiden op een bad sector.

RDM

RDM is een functie van ESXi om losse HDDs door te geven aan RDM. Helaas is het alleen officieel ondersteund voor SCSI-LUNs en werkt het alleen met een 'hack' op SATA-disks. RDM bestaat in twee smaken:

Virtual RDM

Bij virtual RDM zit er nog een flinke abstractielaag tussen je VM en je disk. Sterker nog: Je disk wordt als block device doorgegeven, ongeveer vergelijkbaar met hoe dat gaat met iSCSI. Deze methode valt dus af.

Physical RDM

Dit is een kansmaker. De enige abstractielaag die er tussenzit is een vertaalslag van ATA naar SCSI. Dit betekent dat er een SAS-controller wordt geëmuleerd, maar de HDD wordt wel zo doorgegeven dat je VM er echt 'als schijf' bij kan.
Helaas veroorzaakt juist deze geëmuleerde SAS-controller problemen met FreeBSD9.1, waarop de laatste versie van o.a. Nas4Free en ZFSGuru op is gebaseerd. (zie Compizfox in "Zuinige ESXi Server")

Gebruik je geen FreeBSD9.1? Dan is dit een optie voor jou. Wil je dat wel gebruiken? (grote kans ) Dan zul je even verder moeten kijken.

PCI-e passthrough van een complete HBA

De enige optie die nog overblijft is het doorgeven van een complete HBA met PCI-e passthrough (AMD-Vi / VT-d vereist!). Normaliter werkt ZFS prima met de onboard HBA, maar ESXi wil graag een datastore hebben die niet op een USB-stick mag staan. Je bent dus al redelijk snel aangewezen op een aparte disk voor je datastore, die aan je onboard HBA hangt.
ESXi houdt dus een complete HBA 'bezet' in dit geval.

Een losse controller (IBM M1015)

De makkelijkste, en beste oplossing is een aparte HBA die je doorgeeft aan je guest.
De M1015 is zo'n beetje de goedkoopste HBA die goed door ZFS wordt ondersteund.
Je onboard HBA gebruik je dan voor de datastore voor ESXi.

Helaas is dit wel een relatief dure oplossing. Maar het is vergeleken met de andere oplossingen wel de makkelijkste.

Doorgeven van de onboard HBA

Goedkoper is het om een cheap-ass HBA te kopen, die je gebruikt om de datastore aan te hangen. Je kunt dan de onboard HBA doorgeven aan je guest en gebruiken voor ZFS. Het probleem hierbij is wel dat er niet zo heel veel SATA-kaartjes zijn die door ESXi ondersteund worden. Enkele dingen die wel en niet werken:

Werkt:

• HBAs op basis van sil3112 (eBay!)
• HBAs op basis van sil3114 (hetzelfde als sil3112, maar met 4 ipv 2 SATA-poorten) (eBay!)

Wat niet werkt:

• HBAs op basis van ASM1061 (sinds ESXi 5.1) (pricewatch: Conceptronic PCI Express Card SATA 600) Als je deze kaart voor ESXi wilt 'overhouden', en je geeft je onboard HBA door, gaat deze kaart mee op de 1 of andere manier. Met wat testen ben ik erachter gekomen dat de kaart zelfs niet functioneert als de onboard HBA in de fysieke BIOS is uitgeschakeld. (zie [a href="Compizfox in "Zuinige ESXi Server"Compizfox in "Zuinige ESXi Server"
• [/MESSAGE]Compizfox in "Zuinige ESXi Server"[/MESSAGE]Compizfox in "Zuinige ESXi Server"[/MESSAGE]Compizfox in "Zuinige ESXi Server"[/MESSAGE]" rel="external nofollow"]Compizfox in "Zuinige ESXi Server"[/a])
• Er zijn aanwijzingen dat het bovenstaande voor alle HBAs op PCI-e geldt. (zie Compizfox in "Zuinige ESXi Server")

Het 'splitsen' van je onboard HBA

Op sommige moederborden is een leuk trucje beschikbaar wat een extra HBA overbodig maakt (gegeven dat je genoeg SATA-poorten onboard hebt): SATA IDE Combined mode.

Deze BIOS-optie maakt het mogelijk om je onboard HBA te splitsen: De eerste 4 SATA-poorten worden aangeboden onder een AHCI-device, en je 5e en 6e poorten (je eSATA-poort) worden aangeboden onder een (legacy) IDE-device.
Dit maakt het mogelijk om de controller gewoon door te geven aan een VM. Het is gebleken dat de twee IDE-poorten blijven 'hangen' bij ESXi. Hiervan kunnen wij mooi gebruikmaken door de datastore aan juist deze poort te hangen.

Moederborden waarop deze BIOS-optie is tegengekomen:

• Asrock 970 Extreme3

(zie Compizfox in "Zuinige ESXi Server")

Geweldige ghetto-lab tools en scripts

ESXi afsluiten bij stroomuitval

Meest simpele oplossing tot nu toe om ESXi te laten detecteren dat de stroom uitgevallen is en te shutdownen:
http://communities.vmware.com/docs/DOC-17485

Basically komt het er op neer dat hij een check doet of een VMNIC nog up is, als dat niet het geval is doet hij een shutdown van je ESXi. Het is dan wel zo handig om al je VM's te voorzien van de VMware Tools zodat ze een graceful shutdown krijgen...

RVTools

RVTools

RVTools is a windows .NET 2.0 application which uses the VI SDK to display information about your virtual machines and ESX hosts. Interacting with VirtualCenter 2.5, ESX 3.5, ESX3i, ESX4i and vSphere 4 RVTools is able to list information about cpu, memory, disks, nics, cd-rom, floppy drives, snapshots, VMware tools, ESX hosts, nics, datastores, service console, VM Kernel, switches, ports and health checks. With RVTools you can disconnect the cd-rom or floppy drives from the virtual machines and RVTools is able to list the current version of the VMware Tools installed inside each virtual machine. and update them to the latest version.

vSphere Health Check 5.0

vSphere Health Check 5.0 Script

Ghetto Backups

ghettoVCB.sh
ghettoVCBg2

ESXi Health Monitoring per mail

ESXi 5 Health Status Monitoring

Werkende set-ups

Om mogelijke geïnteresseerden te helpen en hun zoektocht wat te vergemakkelijken hebben we hier een aantal setups die verified werkend zijn. Waar ESXi vooral heel picky op is, is op het moederbord (SATA en netwerkcontroller). Vaak zie je in de setups een moederbordje gecombineerd met een aparte insteek-netwerkkaart van Intel. Dit is omdat ESXi tijdens de installatieprocedure een netwerkkaart nodig heeft, anders struikelt hij en kan de setup niet gestart worden... Na de installatie kan je soms met een extra driver de onboardnetwerkkaart aan het werk krijgen. Kijk daarvoor ook even de bovenvermelde blog van HyperBart na...

Op basis van i3

Allemaal op basis van een pricewatch: MSI H55M-E33

Belangrijke melding: sinds kort is ESXi 5 uit, deze biedt voor het bedrijfsleven heel wat nieuwe functies, voor de basisgebruiker (zoals sommigen) verandert er niet veel. Niettemin is * HyperBart wel iets opgevallen: ESXi 5 ondersteunt zonder tampering met oem.tgz standaard de onboard NIC van de MSI H55M-E33.
Het gaat hierbij om de Realtek 8111DL die ook in heel wat andere moederborden terug te vinden is...


De setup van HyperBart
VT-D: neen
On-board NIC werkend: ja, met http://www.vm-help.com/fo...78c47e123d5d3d5c497821835

#	Product	Prijs	Subtotaal
1	Antec New Solution VSK-2000-EC	€ 38,72	€ 38,72
1	Intel Core i3 540	€ 79,10	€ 79,10
1	be quiet! Pure Power L7 300W	€ 35,50	€ 35,50
1	GeIL Value PLUS GVP38GB1333C9DC	€ 40,94	€ 40,94
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 36,35
1	MSI H55M-E33	€ 62,-	€ 62,-
Bekijk collectie Importeer producten		Totaal	€ 292,61

De setup van Staatslot
VT-D: neen
On-board NIC werkend: ja, met http://www.vm-help.com/fo...78c47e123d5d3d5c497821835

#	Product	Prijs	Subtotaal
4	Western Digital Caviar Green WD20EARX, 2TB SATA-600, 64MB, 5400rpm	€ 62,-	€ 248,-
1	Intel PRO/1000 GT	€ 22,40	€ 22,40
1	Fractal Design Define R3 (Zwart)	€ 86,55	€ 86,55
1	Intel Core i3 540	€ 79,10	€ 79,10
1	Corsair Builder CX430 V2	€ 36,95	€ 36,95
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 72,70
1	MSI H55M-E33	€ 62,-	€ 62,-
Bekijk collectie Importeer producten		Totaal	€ 607,70

De setup van TrailBlazer
VT-D: neen
On-board NIC werkend: ja, met http://www.vm-help.com/fo...78c47e123d5d3d5c497821835

#	Product	Prijs	Subtotaal
2	Intel Gigabit CT Desktop Adapter	€ 22,99	€ 45,98
2	Samsung Spinpoint F1 HD161GJ, 160GB	€ 26,23	€ 52,46
2	MS-Tech CA-0130	€ 21,35	€ 42,70
2	Intel Core i3 540	€ 79,10	€ 158,20
2	be quiet! Pure Power L7 300W	€ 35,50	€ 71,-
2	GeIL Value PLUS GVP38GB1333C9DC	€ 40,94	€ 81,88
2	MSI H55M-E33	€ 62,-	€ 124,-
Bekijk collectie Importeer producten		Totaal	€ 576,22

Op basis van i5

De setup van Appel
VT-D: ja
On-board NIC werkend: ja, met http://www.vm-help.com/forum/viewtopic.php?p=11181#p11181

#	Product	Prijs	Subtotaal
2	Delock Nano Memory stick 4GB Zwart	€ 9,-	€ 18,-
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,46	€ 233,84
1	Fractal Design Core 3000	€ 58,60	€ 58,60
1	Fractal Design Define R3 (Zwart)	€ 86,70	€ 86,70
1	Scythe Mugen 2 Rev. B	€ 32,99	€ 32,99
1	Intel Core i5 2500 Boxed	€ 162,41	€ 162,41
1	be quiet! BN081	€ 35,90	€ 35,90
2	Kingston ValueRAM KVR1333D3N9/4G	€ 18,30	€ 36,60
1	Intel Desktop Board DQ67OWB3	€ 92,15	€ 92,15
Bekijk collectie Importeer producten		Totaal	€ 757,19

De setup van TheMOD
VT-D: ja
On-board NIC werkend: ja, met http://www.vm-help.com/fo...=12&t=2194&p=11181#p11181[/b]
Verbruik: 60-70W

#	Product	Prijs	Subtotaal
1	Samsung Spinpoint F3 HD103SJ, 1TB	€ 42,90	€ 42,90
3	Western Digital Caviar Green WD10EARS, 1TB	€ 42,20	€ 126,60
1	Cooler Master Elite 335	€ 33,90	€ 33,90
1	Intel Core i5 2400S	€ 157,40	€ 157,40
1	Antec Basiq BP350	€ 30,54	€ 30,54
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 35,90	€ 35,90
1	Intel Desktop Board DQ67OWB3	€ 92,15	€ 92,15
Bekijk collectie Importeer producten		Totaal	€ 519,39

De setup van BlackAdder
VT-D: vermoedelijk, gezien de grote gelijkenis met de OWB3-variant van het moederbord waarbij andere tweakers aangeven dat het werkt...
On-board NIC werkend: ja
Verbruik: 45W onder ESXi, met W7 27W

#	Product	Prijs	Subtotaal
1	Kingston DataTraveler G3 4GB Zwart	€ 5,14	€ 5,14
2	Western Digital Caviar Black WD5002AALX, 500GB	€ 45,-	€ 90,-
1	Western Digital Caviar Blue 6Gb/s WD5000AAKX, 500GB	€ 31,-	€ 31,-
1	Cooler Master Elite 342	€ 24,25	€ 24,25
1	Intel Core i5 2500 Boxed	€ 162,-	€ 162,-
1	be quiet! Pure Power L7 300W	€ 34,50	€ 34,50
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 59,50	€ 119,-
1	Intel Desktop Board DQ67SWB3	€ 101,85	€ 101,85
Bekijk collectie Importeer producten		Totaal	€ 567,74

De setup van MadMike261
VT-D: ja
On-board NIC werkend: neen, maar kan wel gepasstroughed worden naar een VM
Verbruik: rond de 80W

#	Product	Prijs	Subtotaal
1	Intel Gigabit CT Desktop Adapter	€ 22,99	€ 22,99
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,46	€ 350,76
1	Fractal Design Define R3 (Zwart)	€ 86,55	€ 86,55
1	Scythe Ninja 3	€ 32,88	€ 32,88
4	Scythe Slip Stream SY1225SL12SL, 120mm	€ 6,43	€ 25,72
1	Intel RAID Controller SASUC8I	€ 126,72	€ 126,72
1	Intel Core i5 2400	€ 149,95	€ 149,95
1	Cooler Master Silent Pro Gold 600W	€ 109,90	€ 109,90
1	Crucial RealSSD C300 2.5" 128GB	€ 169,90	€ 169,90
2	GeIL Value PLUS GVP38GB1333C9DC	€ 40,94	€ 81,88
1	Intel Desktop Board DQ67OWB3	€ 92,15	€ 92,15
Bekijk collectie Importeer producten		Totaal	€ 1.249,40

CWO in "Zuinige ESXi Server" UNVERIFIED!
Ritchie in "Zuinige ESXi Server" UNVERIFIED!

Op basis van een G620

De cluster (2 hosts) van FireDrunk
VT-D: neen
On-board NIC werkend: onbekend
Verbruik: 33W

#	Product	Prijs	Subtotaal
2	Intel Pentium G620	€ 57,-	€ 114,-
2	Antec ISK 300-65	€ 68,85	€ 137,70
4	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 145,40
2	Biostar TH61 ITX	€ 70,80	€ 141,60
Bekijk collectie Importeer producten		Totaal	€ 538,70

jeanj in "Zuinige ESXi Server"
GH45T in "Zuinige ESXi Server"

Op basis van een i7

VT-D: ja
On-board NIC werkend: neen, maar kan wel gepasstroughed worden naar een VM
Verbruik: * HyperBart denkt dat hij zijn handen er aan kan verwarmen

#	Product	Prijs	Subtotaal
2	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 59,60	€ 119,20
1	Cooler Master Elite 371	€ 34,19	€ 34,19
1	Intel Core i7 2600 Boxed	€ 231,90	€ 231,90
1	be quiet! Pure Power L7 530W	€ 55,22	€ 55,22
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 72,70
1	Intel Desktop Board DQ67SWB3	€ 104,18	€ 104,18
Bekijk collectie Importeer producten		Totaal	€ 617,39

Op basis van AMD

Setup van StefanvanGelder:

AMD-Vi of IOMMU: nee
On-board NIC werkend: ja. Additionele drivers toegevoegd aan ESXi voor de Atheros AR8151
Verbruik: 50W idle

#	Product	Prijs	Subtotaal
2	Western Digital Caviar Green WD15EADS, 1.5TB	€ 105,-	€ 210,-
1	Fractal Design Core 1000	€ 32,95	€ 32,95
1	Scythe Big Shuriken	€ 30,-	€ 30,-
1	AMD Athlon II X3 415e Boxed	€ 75,-	€ 75,-
1	be quiet! System Power S6 300W	€ 26,95	€ 26,95
1	Crucial m4 CT256M4SSD2 256GB	€ 184,90	€ 184,90
2	Kingston ValueRAM KVR1333D3N9/4G	€ 19,90	€ 39,80
1	Asrock 890GM Pro3 R2.0	€ 80,-	€ 80,-
Bekijk collectie Importeer producten		Totaal	€ 679.60

Op basis van een Xeon (moet nog geindexeerd worden)

De setup van FireDrunk
VT-D: ja
On-board NIC werkend: onbekend, ik ga er van uit van wel
Verbruik: 60W spindown, 90W spinup, 150W full load

#	Product	Prijs	Subtotaal
1	Tyan S5502 (S1156) KVM-Over-IP	--	--
1	LSI LSI SAS3081E-R-SGL	€ 186,90	€ 186,90
1	Intel Xeon X3430 Boxed	€ 159,90	€ 159,90
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,46	€ 233,84
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 59,60	€ 238,40
1	be quiet! Pure Power L7 300W	€ 35,50	€ 35,50
1	Kingston ValueRAM KVR1333D3E9SK2/4G	€ 28,81	€ 28,81
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 66,53	€ 66,53
Bekijk collectie Importeer producten		Totaal	€ 949,88

VT-D: ja
On-board NIC werkend: onbekend, ik ga er van uit van wel
Verbruik: 65W idle, max 120W onder load

#	Product	Prijs	Subtotaal
1	LSI LSI SAS3041E-R-SGL	€ 131,90	€ 131,90
1	Intel Xeon X3440	€ 184,-	€ 184,-
4	Samsung EcoGreen F2 EG HD154UI, 1.5TB	€ 47,25	€ 189,-
1	Seagate Momentus 5400.6 ST9160314AS, 160GB SATA-300, 8MB, 5400rpm	€ 31,90	€ 31,90
1	Seagate Momentus 7200.2 ST980813AS, 80GB SATA-150, 8MB, 7200rpm	€ 29,95	€ 29,95
1	Western Digital AV-25 WD5000BUDT, 500GB SATA-300, 32MB, 5400rpm	€ 48,90	€ 48,90
1	Antec Earthwatts EA-380D Green	€ 42,38	€ 42,38
1	Kingston ValueRAM KVR1333D3D4R9SK2/8GI	€ 100,-	€ 100,-
1	Kingston ValueRAM KVR1333D3D8R9SK2/4GI	€ 58,80	€ 58,80
1	Supermicro X8SIL-F	€ 161,99	€ 161,99
Bekijk collectie Importeer producten		Totaal	€ 978,82

De setup van Microkid op basis van Xeon D-1541.

VT-D: ja
SR-IOV: ja
On-board NIC werkend: ja, het hele bobo werkt in 1x
Verbruik: 26W idle, max 47W onder load

#	Product	Prijs	Subtotaal
1	Supermicro X10SDV-F (Bulk pack)	€ 923,81	€ 923,81
1	Antec ISK 110 Vesa	€ 81,-	€ 81,-
1	Transcend MTS400 64GB	€ 33,83	€ 33,83
2	Samsung M393A4K40BB1-CRC	€ 155,50	€ 311,-
1	Samsung 850 EVO 1TB	€ 302	€ 302
1	Promilatech Ultra Sleek Vortex 14	€ 20	€ 20
Bekijk collectie Importeer producten		Totaal	€ 1.637,81

Nextron in "Zuinige ESXi Server"
Ultimation in "Zuinige ESXi Server"
Nextron in "Zuinige ESXi Server"

Faq

V:

Hej, ik heb Intel VT-d capable hardware, maar toch werkt het niet!

A:

Er zijn een aantal moederbordfabrikanten die hoewel het chipset op een moederbord VT-d ondersteunt, ze de ondersteuning ervan niet in het BIOS stoppen. Gigabyte heeft nog wel eens in 'achterafschappen' een VT-d capable BIOS liggen. Beste is om even op internet te kijken voor dat je een moederbord koopt, of er ook daadwerkelijk BIOS opties zijn voor VT-d

V:

Kan je harde schijven laten downspinnen met ESXi?

A:

Ja, dat kan gewoon. Zie hiervoor ook FireDrunk in "Zuinige ESXi Server"
Bijkomende informatie i.v.m. het downspinnen via RDM kan je, met dank aan neographikal, hier vinden.

[ Voor 255% gewijzigd door Microkid op 24-07-2016 19:01 ]

[FireDrunk]

Waar jij het over hebt is RDM (Raw Device Mapping). Dat werkt zeker in het voordeel van ZFS inderdaad.

Misschien kan je beter 2008R2 gebruiken als guest, die is iets beter en lichter dan W7, en 99.9% van alle tools werkt ook onder 2008R2.

[jeanj]

@iRReeL

1 Houd er rekening mee dat je als je spindown wilt, niet je (Windows) VM's vanaf de storage wil gaan draaien. Een read/write van je VM zorgt bij zfs voor een volledige spinup van de array dan wel dat er nooit een spindown plaats vindt. Spindown is volgens mij lastig om te realiseren
(heeft iemand het al gerealiseerd op een VT-d setup?)

2 Als je directe toegang wilt dan wil je een moederbord met VT-d (intel, of amd ook zo iets heeft weet ik niet) dus een Q67 bordje en een additionele sata card (hierboven ergens word 1 genoemd van 25 euro) voor een (of meer) HD's voor je ESXi en je VM's (die dan niet vanaf ZFS starten).

3 Houd er ook rekening mee als je echte directe toegang (VT-d, is wat anders als RDM) tot de schijven wilt vanuit je VM deze schijven alleen door je VM benaderd kunnen worden (en dus niet door ESXi). Dit geldt ook voor andere hardware (bv je diigtale TV card voor je HTPC) via VT-d

4 Volgens mij heb je de volgende mogelijkheden om voor te gaan
a) ESXi setup gaan met twee VM's, freena/BSD (of iets anders voor je NAS) en Win7 vm, dus 2 VM's totaal
b) Een freenas/BSD/Ubuntu etc (of iets anders voor je NAS), met daarop virtualisatie software (virutalbox) en je Windows 7 WM
c) Een Windows 7 met virtualsatie software (vmware server is dacht ik nog gratis, virtualbox) met daarin een een VM voor je NAS

Er zijn diverse voor en nadelen bij de bovenstaande mogelijkheden, ik noem er een paar
1) Een nadeel voor ESXi is dat deze wat kieskeuriger qua supported hardware, dan bijvoorbeeld c)
2) Een voordeel voor ESXi is dat je er zo een nieuwe VM bij kan starten (als je genoeg resources hebt) en je bijvoorbeeld een nieuwe versie of andere ZFS software kan testen

NB er is een nieuw Q67 mobo bij gekomen van gigabyte

[FireDrunk]

Waarom wil je FreeNAS op USB3 hebben? Daar merkt FreeNAS niets van hoor... Dat is een memory only OS, net als ESXi.

Het verschil tussen de SW en de OW was dacht ik een stuk terug al besproken.

Verder heb je niet persé VT-d nodig om een ZFS VM te kunnen draaien hoor... Met RDM werkt dat ook prima.

[Ritchie]

FireDrunk schreef op dinsdag 19 juli 2011 @ 09:27:

Verder heb je niet persé VT-d nodig om een ZFS VM te kunnen draaien hoor... Met RDM werkt dat ook prima.

Maar het maakt het wel een stukje makkelijk inrichten.

[Anoniem: 187449]

ik lees ff terug

'k heb nu de vier SATA schijven via Physical RDM aan FreeNAS gegeven en daar een RAIDZ1 pool gemaakt. Vervolgens heb ik de machine uitgezet en de SSD met daarop ESXi uit het systeem gehaald. Daarna heb ik een USB stick erin gestopt en hierop FreeNAS geïnstalleerd. ' ..
en
' Ik heb dus alles weer aangesloten en OpenIndiana + Napp-it een paar dagen laten draaien '

heb je die pool nou 2 x geimporteerd en welke versie (148/151) gebruik je nu ?

zou een nieuwe pool aanmaken om is te kijken of het dan weer voorkomt.
maar wellicht kan je je vraag beter in het ZFS topic plaatsen.. daar zitten de specialisten

(wat ik meestal dan doe is ff met gparted eerst de bestaande partities clearen)

[ Voor 38% gewijzigd door Anoniem: 187449 op 05-08-2011 19:27 ]

[Zer0]

iBurger schreef op zondag 07 augustus 2011 @ 17:42:
[...]


Met die laatste optie heb je vt-d hardware nodig, zoals een Core i7, right? M'n gevoel zegt dat de NAS raid5 performance met ESXi, softraid, en vt-d gaat tegenvallen, en ik beter niet ESXi kan gebruiken tenzij ik een dure raid-controller aanschaf.

Voor RDM heb je geen vt-d nodig, wil je een complete sata-controller aan een VM toekennen wel.
De performance impact is laag, ik gebruik vt-d om de interne sata-controller van mijn server aan een OpenIndiana vm te hangen. Daarop draait een ZFS raidz2 pool van 6 schijven welke ongeveer 450 MBps levert, meer dan genoeg om een gigabit netwerk te vullen

[iBurger]

HyperBart schreef op zondag 07 augustus 2011 @ 23:33:
[...]

Je softraid gaat in ieder geval niet beperkt worden door het gebruik met RDM... En een i5 is ook al genoeg hoor, je hoeft geen kachel van een i7 neer te zetten om VT-D te doen...

Ik snap dit stukje ook niet:

[...]

Softraid kan je op twee manieren: via een VM of via een "mottig kaartje" dat eigenlijk niet meer is dan een HBA en waarbij de CPU toch nog gebruikt wordt voor RAID
OF
je gebruikt idd VT-D om een RAID-controller door te geven aan een VM...

http://www.virtualization...-for-performance-but.html

Zoals het er daar in staat bij de titel lijkt het alsof je best geen RDM gebruikt, maar hun gebruikte argumenten zijn bij ons niet van toepassing, ik quote:


[...]


Grof genomen (en dat is dan heel grof) verlies je MOGELIJK, afhankelijk van de situatie en manier van data wegschrijven of lezen maximaal 10% als je VMFS gebruikt ipv RDM...

Redenen om RDM niet te gebruiken...

[...]


Zowieso is een RAID-kaartje met eigen pariteitsberekening beter dan de RAID calculaties offloaden naar je CPU (ongeacht of die RAID in een VM wordt aangemaakt of in een fysieke machine).

Het probleem in mijn ogen is dat als je data gaat wegschrijven met een VM naar de RAID aangemaakt binnen een andere VM dat CPU-usage omhoog gaat (ik weet niet in welke mate), ik hoop dan dat er genoeg over schiet voor de andere VM's, maar dat is dan weer netjes te regelen met resource pools...

Mijn idee als je echt geen risico wilt lopen (zwaar overkill imho in een thuissituatie)? RAID-kaartje erin (ja ja, ik weet het, das duur) en dan heb je twee mogelijkheden:
volume aanmaken van 16TB of whatever je wil...
Dat volume als datastore gebruiken voor een VM die het via whatever protocol floats your boat aanbiedt aan je client...
OF
de RAID-kaart via VT-D doormappen naar je VM zodat je alle functies hebt van de kaart nog hebt en dan op dat niveau je RAID presenteren...

Wil je dat niet? Dan zal het RDM zijn met een softraid en volgens mij ben je dan nog altijd bloedsnel uit...

Bedenk ook dat een CPU bijna NOOIT de bottleneck is in een ESXi... Trouwens... een i5 met 4 cores, CPU-power zat lijkt me zo... een i3 krijg ik hier al niet echt "vol", maar ik moet wel zeggen dat mijn VM's alleen spike loads hebben (en dan nog is het er maar ééntje, mijn downloadbak voor unparren/rarren)

Nu ik deze post twee of drie doorlees begint het wel door te dringen dat ik weinig 'echt' van esxi begrijp. Maar de conclusie is wel duidelijk: softraid met rdm kan prima performance opleveren mits spike loads van andere vms niet in de weg zitten.

Het verschil tussen softraid en hardware raid en dat je hier beschrijft is erg duidelijk:

"Softraid kan je op twee manieren: via een VM of via een "mottig kaartje" dat eigenlijk niet meer is dan een HBA en waarbij de CPU toch nog gebruikt wordt voor RAID
OF
je gebruikt idd VT-D om een RAID-controller door te geven aan een VM..."

Chill.

Als je kijkt naar zer0's setup dan lijkt me dat super interessant. ZFS pool met open-indianna en 450Mbps . Haal ik die 450 Mbps ook met een Core i5 2400? Hij heeft dacht ik een Intel Xeon e3-1230 en server mobo in z'n setup staan.

[Morphix]

FireDrunk schreef op vrijdag 12 augustus 2011 @ 17:15:
Je wil een server gecombineerd met een NAS, en je roept gelijk dat je daarvoor VT-d nodig hebt...
Dat is natuurlijk niet waar... 1 VM met een disk die over het netwerk geshared word is ook al een NAS...

Bedenk wat je precies voor functionaliteiten wil voor de server en voor de NAS, bedenk daarna of deze persé in 1 box moeten (vanwege stroombesparing of iets dergelijks) of dat ze gescheiden moeten/kunnen.

Maak daarna een lijstje met basis hardware die je nodig hebt om te realiseren wat je nodig hebt.
Bedenk daarna op welke manier je alles aan elkaar wil knopen...

Heh Om dan wat vollediger te zijn, de NAS wordt een solaris/bsd gebaseerd ZFS systeem van ten minste 8 TB. Dit komt te draaien op mijn huidige setup. Bij een komende volgende upgrade, is er een kans dat ik die NAS op de dan gevormde esxi server wil gaan draaien. Hiervoor heb ik zviw vt-d nodig. RDM leidt tot performance verlies (?) wat ik liever vermijd als ik op dit moment de keuze heb daar iets aan te doen.

Maar, als ik het goed begrijp moet ik al mijn schijven op één sata controller aansluiten om ze op een geschikte manier te kunnen doorgeven aan een vm?

[Zer0]

Morphix schreef op vrijdag 12 augustus 2011 @ 22:50:
[...]


Heh Om dan wat vollediger te zijn, de NAS wordt een solaris/bsd gebaseerd ZFS systeem van ten minste 8 TB. Dit komt te draaien op mijn huidige setup. Bij een komende volgende upgrade, is er een kans dat ik die NAS op de dan gevormde esxi server wil gaan draaien. Hiervoor heb ik zviw vt-d nodig. RDM leidt tot performance verlies (?) wat ik liever vermijd als ik op dit moment de keuze heb daar iets aan te doen.

RDM heeft geen noemenswaardig performace verlies. Hyperbart verklaart eea daarover in een post een paar pagina's terug.

Maar, als ik het goed begrijp moet ik al mijn schijven op één sata controller aansluiten om ze op een geschikte manier te kunnen doorgeven aan een vm?

Het mogen ook meer controllers zijn, als je er maar rekening mee houd dat je alleen de hele controller door kan geven, en dus de schijven die er aan hangen niet direct als datastore voor vmware kunt gebruiken. Je hebt dus minimaal twee controllers nodig, één voor een disk met een datastore voor esxi, en één die je aan de vm kunt geven dmv pci-passthrough.

[ Voor 4% gewijzigd door Zer0 op 12-08-2011 23:03 ]

[Sjeik]

Ik wil graag binnenkort een thuis-servertje installeren met ESXi. De server moet mijn huidige HTPC vervangen. Hierop draai ik nu een torrentclient en xbmc onder ubuntu. Ook wil ik wat meer harde schijven installeren (daarom vervang ik mijn huidige HTPC). Ik wil dus in een tweede virtuele machine iets als FreeNAS ofzo gaan draaien om van de 5 harde schijven één RAIDZ1 array te maken. Daarnaast moet het geheel een beetje energiezuinig zijn.

Ik wil het volgende aanschaffen:

#	Product	Prijs	Subtotaal
5	Samsung EcoGreen F4EG HD204UI, 2TB	€ 56,91	€ 284,55
1	Cooler Master Elite 335	€ 33,90	€ 33,90
1	Huntkey Jumper 300	€ 55,80	€ 55,80
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,30	€ 36,30
1	Asus E35M1-M	€ 98,-	€ 98,-
Bekijk collectie Importeer producten		Totaal	€ 508,55

Ik heb al een boel gelezen over ESXi, ZFS en weet ik veel wat nog meer. Dat ESXi te installeren is op dit moederbord is bijvoorbeeld hier te vinden. Toch heb ik nog wat vragen. Ik hoop dat jullie mij hierbij kunnen helpen.
Kan Ubuntu/XBMC gebruik gaan maken VDPAU zoals het ook zou kunnen als je geen ESXi er op had staan. Als ik de tweede post van dit topic lees zou ik denken van wel... maar just a check
Ook heb ik nog wat vragen over de NAS die ik zou willen virtualiseren. Ik zou een oude harde schijf gebruiken voor de OS'en en de 5 nieuwe sata-schijven willen gebruiken als array die door bijvoorbeeld FreeNAS beheerd zal worden. Nu heb ik wat gelezen over raw device mapping. Mij lijkt dat dat is wat ik zoek. Er staat alleen in de handleiding dat RDM alleen werkt voor Fibre Channel of iSCSI. Hoe zit dat nu precies? En niet onbelangrijk... als ik het beheer van die harde schijven aan FreeNAS geef, zullen ze dan ook gebruik kunnen maken van de energiebesparende functies? Ik neem aan dat FreeNAS dat wel kan. ESXi schijnt daar namelijk niet zo goed mee te zijn.
Hopelijk is het duidelijk wat ik wil. Als jullie nog vragen of opmerkingen/tips hebben, dan hoor ik dat natuurlijk ook graag! TIA

[Anoniem: 187449]

dat processortje moet nogal wat gaan doen.. hd film afspelen via xbmc / ESXi / ZFS met FreeNAS / torrentclient .. als dat maar goed gaat en daar bedoel ik mee.. slechte performance


(wat in ieder geval niet goed zal gaan is dat ene slot inzetten met een raidkaart in geval je RDM niet lekker gaat werken)

[ Voor 105% gewijzigd door Anoniem: 187449 op 23-08-2011 22:24 ]

[HyperBart]

En dan vraag ik me af hoe je dat beeld voor je htpc via een beeldkaart krijgt doorgemapt... Zoals gezegd is er hier nog niemand die dat werkend heeft gekregen... Nu ja ik probeer het binnen een a twee weken uit met een tijdelijke setup hier...

Je beseft toch dar je hier wel een beetje het principe van zuinigheid en 'server' voorbij gaat, toch? Je bouwt en een nas en een htpc en een downloadbak in mekaar en je wilt nog eens zuinig zijn? Mja als je al die functies kan draaien op een machine draai je inderdaad zuinig... Absolujt gezien niet. Bedenk ook dat zfs heel leuk is en een beestig FS is, maar dat rdm's en zfs nu niet bepaald verliefd zijn op mekaar... Disks die opeens verdwijnen, trager toch... Je moet eens gaan kijken hier of in het grote zfs topic en zoeken op mijn naam, ik was dat ook van plan maar heb er voorlopig van af gezien.

Nog een vraagje voor allen hier, is er nog iemand geinteresseerd in een chipje wat je rechtstreeks op de pinout van je moederbord kan steken en wat een interne usb poort voorziet? In principe kosten ze 9 euro maar afhankelijk van de vraag kan ik een custom quote aanvragen...

Of we doen het tweakerwaardig: http://www.justblair.co.uk/adding-an-internal-usb-port.html

[ Voor 17% gewijzigd door HyperBart op 24-08-2011 00:44 ]

[HyperBart]

Anoniem: 422343 schreef op zaterdag 10 september 2011 @ 15:19:
Dit moet zowat het meest informatieve topic zijn dat ik tot hiertoe gevonden heb voor wat betreft het gebruik van ESXi buiten datacenters. In ieder geval interessant genoeg om me ertoe te bewegen te registreren zodat ik hier ook kon posten

Glad to hear, welkom alvast

Even voor wat betreft het "zuinig" stuk: daar heb ik blijkbaar niet helemaal dezelfde invulling voor als vele anderen hier. Voor mij betekent dit niet het minimaliseren van het verbruikte vermogen, maar het maximaliseren van de prestaties per verbruikt vermogen. Uiteraard moet je ook even kijken naar hoeveel prestatie je eigenlijk nodig hebt, want teveel is ook weggegooid geld. Ik heb bijvoorbeeld waarschijnlijk geen i7 2600 nodig, maar die lijkt me verder anders best zuinig als je kijkt naar wat die aan prestaties levert.

Zuinig is een relatief begrip... Als jij 1000VM's kan draaien op een host en die host trekt 1kW uit het stopcontact dan ben je VM/W gezien heel zuinig, absoluut gezien niet... We proberen daar een gulden middenweg tussen te vinden, enkele pagina's geleden was er daar nog een geanimeerde discussie daarover tussen enkele Tweakers... We hebben wel enkele grenzen daaromtrent ingesteld... Maar stel nu dat je hier af komt met een i7 machine en dat is de enige onzuinige component, dan gaan we je daarvoor niet scheef aankijken . Let je bv al wat op de gebruikte HDD's (Green series bv en onderbouwing daaromtrent), doe je al moeite om disks te laten downspinnen enz, dat maakt het natuurlijk allemaal wat aannemelijker... . Kijk eens even in de vorige posts omtrent die grens en probeer daar naar te werken...

Er zijn meerdere redenen waarom ik een ESXi server wil opzetten, maar bezuiniging van energie is zeker een belangrijke. Op dit ogenblik draai ik 24/7 een ipcop firewall op een oude pentium 2 en af en toe een Fedora 12 met KVM op een phenom am2+ X4. De eerste begint erg oud te worden en hoewel de tweede min of meer werkt, zoek ik toch iets gebruiksvriendelijker.

Waar ik naar toe wil voor VMs op mijn ESXi:
1. Raid Z2 NAS/SAN server: OpenIndiana/Napp-it
2. goede firewall/router/VPN: pfSense lijkt toch meer mogelijkheden te hebben dan IPcop op dit gebied
3. Zimbra mailserver: draai ik onder KVM nu reeds op Ubuntu
4. Webserver: nog geen keuze voor gemaakt, maar wordt waarschijnlijk Apache onder Fedora of Ubuntu
5. scanpc: Windows 2000 Pro voor gebruik met HP OfficeJet G85 op JetDirect. Dit is het enige OS waarvoor ik de volledige mogelijkheden van het toestel werkend heb gekregen. Geen 24/7 gebruik nodig hiervoor, al vraag ik me af of ik wel iets zou bezuinigen door die tussendoor uit te schakelen.
6. VOCP pc: kan mogelijk toegevoegd worden op de webserver.

Wat is een VOCP PC?

7. windows remote werkstation: de scanpc kan dit zeker deels opvangen, maar een modernere windows zou voor sommige zaken toch wenselijker zijn. Adobe Flash houdt niet meer van Windows 2000 om maar iets te noemen.
8. domain controller: kan in theorie door samba, maar wenselijker om dit over te laten aan een m$ OS. Als ik de scanpc verander in een 2000 server, zijn die twee functies ook weer te combineren

Draai dan ineens de W2K8R2, veel leukere functies en je kan dan als je het echt wil die W2K8R2 als remote machine gebruiken... Spaar je weer een VM uit, alhoewel ik VM's deploy naar eigen zin... Binnenkort is het gedaan met XP, voorlopig voldoet dat nog als remote machine of "hulp-machine" op het werk zelfs, maar ooit moet ik ook overstappen op W7...

9. wat ik ook kan bedenken in de toekomst....

Met virtualisatie zit je flexibel

Dit is de installatie die ik gepland had:
- ESXi (4.1 of 5.0, nog niet over uit) op 300GB HD aangesloten op een SATA-II van het moederbord. Data store "HDstore" op deze disk. Ik zie niet echt een goede reden om ESXi op een USB-stick te willen hebben.

Makkelijker te updaten, ik zit altijd te kl*ten om 'm juist te formatteren en zorgen dat ie geen foutmeldingen geeft omdat hij al een ESXi installatie vind enz... Een USB stick sluit je makkelijk aan op een ander laptop of desktop, formatteren en huppa...

- Data store "SSDstore" op SSD aangesloten op een SATA-III van het moederbord

Als je ESXi 5 gebruikt kan hij die automatisch als "swap-drive" op hypervisor niveau gebruiken, je kan dat ook handmatig bewerkstelligen in de 4 door je swap files naar de SSD te moven, maar dat vind ik minder clean...

- VM OpenIndiana op "SSDstore" (backup op HD)

Hoe wil je dat doen? RDM's? Dan kreeg je problemen met ZFS als ik het goed begreep...

- Data store "NASstore" als NFS export van OpenIndiana
- alle andere servers op "NASstore" met swap op "SSDstore". Backup van firewall op HD want die is te belangrijk en moet nog kunnen werken als de NAS server besluit even moeilijk te doen. Proxy cache kan op "HDstore" want die is niet belangrijk genoeg om raid aan te verspillen.

Lijkt me een goed plan... Cfr mijn vorige comment ivm versie 5

Kwestie van hardware zijn er al een aantal zaken die ik reeds heb en wens te hergebruiken:
- 7x 7200RPM SATA-II 1.5TB HD

Hergebruiken van materiaal is niet bepaald altijd zuinig omdat die niet met die insteek origineel is gekocht, welke type's en merk betreft het?

- 2 Chieftec SATA backplanes (4x SATA HD in de ene, 3x SATA HD in de andere)
- Chieftec full tower case
- 300GB SATA-II HD

Merk en serie?

Voor wat betreft nieuwe hardware:
- CPU: i5 2400 komt in zowat alle reviews uit de bus als de beste keuze voor performance/price (beter dan i5 2400S en veel beter dan i3). Bovendien ondersteunt die VT-d wat ik "nodig" heb voor de OI/Napp-it NAS en de WAN interface voor de firewall
- moederbord: niet veel keuze als je VT-d wil gebruiken: Intel DQ67SWB3

OWB3 is ook nog een optie

- DDR3 geheugen: 4x8GB is veel te duur, dus 4x4GB van wat het goedkoopst is op het ogenblik van de aankoop

Idem, ik heb het ook zo gedaan, maar als het aan mij lag had ik er onmiddellijk 4x4GB ingestoken ipv 2x4 en daarna nog eens, nu zit ik met twee verschillende setjes...

- NIC: Intel EXPI9301CT is goedkoop en werkt blijkbaar voor ESXi. Ik zou liever een multi-port kaart gebruiken en die in het x4 slot steken, maar die zijn ook waanzinnig duur. Misschien dat de prijs ervan ooit zakt of ik ergens voor een redelijkere prijs zo'n 4-poorts kaart kan vinden. Afgaande op wat ik las, is het echter ook niet zo evident om ESXi te doen werken met zo'n kaart.

Neem eens even contact met me op per mail aub, ik heb nog iets liggen voor jou...

- SSD: de OCZ Agility3 60G lijkt een prima keuze.

Bedenk wel dat de ESXi geen trim support biedt, is de OCZ agility echt een goede keus? Had die niet mindere Garbage collection (wat eigenlijk automatische trim is buiten het OS om...). Kijk even binnen het SSD-topic, ik ben daar ook wat vragen gaan stellen en op zoek geweest naar een SSD voor in mijn ESXi...

Resten enkele zaken waarover ik nog erg twijfel:

1) de voeding: ik heb op dit ogenblik een be-quiet 700W voeding in gebruik in het systeem met de 7 schijven en dat is een beetje overkill. Maar de 300W die hier aanbevolen wordt, lijkt me nogal zuinigjes genomen. Mij is steeds verteld dat je voeding niet te slap mag zijn als je geen problemen met de stabiliteit van je PC wil krijgen, dus wat is volgens jullie voldoende? Is het verlies bij gebruik van een wat zwaardere voeding trouwens de moeite om over wakker te liggen of is dat maar marginaal ?

Wat ik geleerd heb bij de blogs van mux is dat een voeding net het meest renderend is als hij goed belast wordt... Ik zou eens even gaan uitrekenen en navragen bij specialisten in deze materie of je toekomt met deze voeding...

2) de extra SATA controller: de Intel SASUC8I is een goedkope 8 poorts kaart, maar ik begrijp dat die geen disken van 3TB ondersteunt.

Prima kaartje van wat ik er van lees, maar dan moet je idd met die limiet kunnen leven... Nu ja, als je ooit wilt overstappen is dat nu ook niet het grote geld, kaartjes met +2TB ondersteuning zijn dun gezaaid, althans de goedkope als ik het goed lees...

Op dit ogenblik zijn mijn disken niet zo groot, maar vroeg of laat swap ik ze toch uit voor beter en dan wil ik liever niet op problemen botsen. Iemand een aanbeveling voor iets dat werkt om via VT-d door te geven aan OpenIndiana ? SATA-II is voor mij genoeg want ik zie harde schijven nog niet snel de extra snelheid van SATA-III benutten. Ook vraag ik me af of zo'n kaart kan gebruikt worden in het x16 slot van het moederbord.

Niet bekend mee...

3) Voor de 32GB limiet van ESXi 5.0 is me nog niet geheel duidelijk hoe die geteld wordt. Is dat de som van het geheugen toegewezen aan alle geïnstalleerde VMs ? Of enkel van degenen die tegelijk gestart zijn ? Of is het toch fysiek geheugen in welk geval ik me die limiet zeker niet moet aantrekken. Voorlopig ben ik me nog ernstig aan het afvragen of ESXi 5.0 me iets biedt dat de moeite is om ESXi 4.1 voor te laten.

Het is gebaseerd op de entitlement, dus het zogenaamde toegewezen geheugen... Dus als je de free draait kan je maar 32GB toekennen aan VM's...

VMware had met de prijzen van servers en geheugen gemerkt dat ze daar nogal wat lieten liggen, dus hebben ze het nu op vRAM gebaseerd, zeker als je naar Cisco-bakjes keek van 1U waar dan 128GB in stak, tja... Dan waren ze veel minder licenties kwijt, begin nu maar eens te tellen hoeveel het in de v5 licentiepolitiek kan kosten dan...

http://www.vmware.com/files/pdf/vsphere_pricing.pdf

[Anoniem: 422343]

HyperBart schreef op zaterdag 10 september 2011 @ 15:46:
Wat is een VOCP PC?

Een linux antwoordapparaat om het simpel te stellen. Nogal oud wel.
Zie http://www.vocpsystem.com/

Draai dan ineens de W2K8R2, veel leukere functies en je kan dan als je het echt wil die W2K8R2 als remote machine gebruiken... Spaar je weer een VM uit, alhoewel ik VM's deploy naar eigen zin... Binnenkort is het gedaan met XP, voorlopig voldoet dat nog als remote machine of "hulp-machine" op het werk zelfs, maar ooit moet ik ook overstappen op W7...

Ah, ik ben nog niet zo lang geleden overgestapt van 2000 naar XP
Om eerlijk te zijn ben ik niet zo'n voorstander van het gebruik van servers als werkstation. Je wil tenslotte liever niet je domeincontroller onderuit halen omdat je iets dom deed. De scanpc daareentegen zou maar dienen voor één welbepaald en goed gekend programma, dus daar is het risico laag. Verder zit ik ook met het punt dat ik niet zo direct een W2K8R2 DVD-tje in de kast heb liggen en die dingen zijn ook niet echt goedkoop.

Met virtualisatie zit je flexibel

Inderdaad Ik gebruik nu al KVM onder Fedora en VMware player op mijn windows PC. ESXi lijkt me echter toch net iets interessanter voor de 24/7 dingen.

Als je ESXi 5 gebruikt kan hij die automatisch als "swap-drive" op hypervisor niveau gebruiken, je kan dat ook handmatig bewerkstelligen in de 4 door je swap files naar de SSD te moven, maar dat vind ik minder clean...

Ik heb er wat tekstjes van gelezen, maar ik ben er toch nog niet achter waarom dat nieuwe systeem beter is. Extra mogelijkheden zijn altijd welkom natuurlijk, maar ik krijg niet de indruk dat dit me veel biedt.

Hoe wil je dat doen? RDM's? Dan kreeg je problemen met ZFS als ik het goed begreep...

Ik dacht dat ik toch vrij duidelijk gemaakt had dat ik met VT-d een 8-poort SATA controller aan OpenIndiana wilde geven. Geen RDM maar VT-d dus.

Hergebruiken van materiaal is niet bepaald altijd zuinig omdat die niet met die insteek origineel is gekocht, welke type's en merk betreft het?

Alle harde schijven zijn Seagate Baracuda, zowel de ene 300GB (7200.10) als de zeven 1.5TB (7200.11)

Bedenk wel dat de ESXi geen trim support biedt, is de OCZ agility echt een goede keus? Had die niet mindere Garbage collection (wat eigenlijk automatische trim is buiten het OS om...). Kijk even binnen het SSD-topic, ik ben daar ook wat vragen gaan stellen en op zoek geweest naar een SSD voor in mijn ESXi...

Ik zal het lokale topic eens raadplegen, maar de reviews die ik tot hiertoe vond, zeggen dat de OCZ Agility 3 zeer goede garbage collection heeft. Daarbij werd natuurlijk gewoonlijk wel vergeleken met Vertex 2 of Agility 2.

Wat ik geleerd heb bij de blogs van mux is dat een voeding net het meest renderend is als hij goed belast wordt...

Goed belast zal die waarschijnlijk het grootste deel van de tijd niet zijn denk ik wegens korte periodes van grote vraag en lange periodes van weinig gebruik. Helaas moet je voeding rekening houden met piekverbruik.

Prima kaartje van wat ik er van lees, maar dan moet je idd met die limiet kunnen leven... Nu ja, als je ooit wilt overstappen is dat nu ook niet het grote geld, kaartjes met +2TB ondersteuning zijn dun gezaaid, althans de goedkope als ik het goed lees...

Dan zal het waarschijnlijk moeten dienen. 7x 1.5TB in raid Z2 geeft me een goede 7TB, dus daar kom ik hopelijk wel even verder mee. Maar ik laat me niet verleiden toch uitspraken dat dit voor iedereen toch genoeg moet zijn

Het is gebaseerd op de entitlement, dus het zogenaamde toegewezen geheugen... Dus als je de free draait kan je maar 32GB toekennen aan VM's...

Maar is dat effectief in gebruik zijnde VM's of worden degenen die uit staan meegeteld ? In dat laatste geval zet ik beter geen VM's op die ik maar af en toe opzet. Ik zou deze natuurlijk wel in een geneste ESXi kunnen plaatsen

[Nextron]

WORKe wil sowieso al een directe datastore gebruiken. FreeNAS op USB zetten en booten is dan wel mogelijk maar dan zou ik het direct op de datastore zetten.

Dan het je FreeNAS, Win2k8 en soms nog een andere Windows op één HD, dat zal denk ik niet een al te groot probleem zijn, tenzij je ze erg belast.

Er werd hier of in het ZFS forum volgens mij wel afgeraden om ZFS te gebruiken op VMFS-partities, dus dan moet je RDM gebruiken.

[HyperBart]

Nextron schreef op zondag 18 september 2011 @ 17:39:
WORKe wil sowieso al een directe datastore gebruiken. FreeNAS op USB zetten en booten is dan wel mogelijk maar dan zou ik het direct op de datastore zetten.

Dan het je FreeNAS, Win2k8 en soms nog een andere Windows op één HD, dat zal denk ik niet een al te groot probleem zijn, tenzij je ze erg belast.

Er werd hier of in het ZFS forum volgens mij wel afgeraden om ZFS te gebruiken op VMFS-partities, dus dan moet je RDM gebruiken.

Hold your whores, RDM gaat ook niet goed werken volgens mij... De enige deftige manier die ik tot nu toe heb gevonden en verified is via VT-d de HBA door te geven aan de VM...

[HyperBart]

Zoek eens even dit topic door op de volgende keywords: ZFS VM ESXi RDM ... Dan ga je onmiddellijk zien dat het zonder VT-d dikke problemen is...

[jeanj]

HyperBart schreef op maandag 19 september 2011 @ 23:27:
Zoek eens even dit topic door op de volgende keywords: ZFS VM ESXi RDM ... Dan ga je onmiddellijk zien dat het zonder VT-d dikke problemen is...

Ik heb net even gezocht op de woorden ZFS RDM en RDM in dit topic en op RDM in het zfs topic, maar ik vind zelf maar weinig ervaringen die dit onderbouwen

Ik vind in het zfs topic 2 mensen die problemen hebben, in dit topic vind ik die maar twee of drie mensen problemen melden. Verder zijn er ook een paar mensen die melden dat het wel werkt, waarbij het niet altijd duidelijk is of ze ook zfs gebruiken en hoeveel gebruik ze er van maken.

Misschien zie ik een aantal reacties over het hoofd, maar ik vindt dit nog niet zo heel erg schokkend. Ik zou zelf ook de voorkeur geven aan een VT-D oplosisng boven RDM, maar ik heb mijn hardware bewust van te voren daarop afgestemd. Niet iedereen heeft die luxe....

> Zijn er mensen die het al een tijdje ZFS via RDM hebben draaien en het vaak gebruiken? Wat zijn jullie ervaringen?

Ik had eerst ook RDM ingericht, maar heb het nooit echt gebruik om er iets over te kunnen zeggen. Ik ben nu zelf ook naar VT-d overgegaan, maar dat kwam omdat mijn controller niet meer herkend werd in ESXi nadat ik een (tweede) oem.tgz had toegevoegd voor een Sil 3132 controller (daarvoor werd de controller plus disken wel herkend). Ik heb niet uitgezocht waarom en of het te herstellen was. De controller zit volg met 6 disken en is wel via VT-d door te geven ondanks dat ie niet meer wordt herkend. Waarom mijn controller niet meer wordt herkend is mij niet geheel duidelijk, ik vermoed een conflict in de pci of de map file (in de oem.tgz voor de SiL 3132)

[FireDrunk]

Ik heb een hele tijd MDADM gedraaid via RDM, en dat werkte prima. Ik kon zelfs SMART data uitlezen en diskinfo opvragen met hdparm en sdparm. Ik ga er dus redelijkerwijs vanuit dat ZFS geen problemen oplevert.

Ik zal wel eens een test scenario bouwen, heb nog wel wat hardware waarmee dat kan.

[Sleepie]

Ik heb geprobeerd om een ZFS pool te maken met 8 disks aan een Intel SASUI8i in pass-through mode en nog 2 disks op mijn SuperMicro mobo-controller die ik als RDMs doorgaf. Dat leverde inderdaad problemen op, de schijven op de mobo-controller klapten constant uit de pool.

Later heb ik eens ergens gelezen (dom genoeg de link niet opgeslagen) dat het te maken heeft met de manier hoe je de RDMs aanmaakt. Ik had dat gedaan met iets als:

vmkfstools -z /vmfs/devices/disks/vml.01000000002020202020202020202020203951473358423630535433353030 RDM1P.vmdk -a lsilogic

En het schijnt dat de -z niet de goede optie is. Zoals gezegd, ik heb de link niet bewaard, dus ik weet niet meer wat dan wel de goede optie is, maar misschien heb je hier iets aan als je gaat Googlen

Met mdadm inderdaad geen problemen trouwens.

[DaitoX]

elnaeth schreef op zaterdag 24 september 2011 @ 18:41:
Nou snap ik er niets meer van. Heb nu echt best belabberd slechte doorvoersnelheden, terwijl ik alle disks via RDM heb gehangen aan mijn freenas vm.

Kan het zijn dat ik dus echt gewoon betere performance had toen ik ze netjes als vmfs eraan had gehangen? Snap hier vrij weinig van, had echt verwacht betere doorvoer te hebben, maar mijn freenas verstookt nu bergen CPU, en ik denk ook dat daar de bottleneck nu zit, waar dat eerst dus niet was

Je kan even op de console kijken, ik had bij freenas problemen met interrupt storms nadat ik vt-d ingeschakeld had om me controller aan freenas toe te kennen. Dit kon overigens opgelost worden door maar 1 cpu met 1 core toe te wijzen aan de freenas vm.

Zelf heb ik alleen freenas gebruikt om de zfs pool aan te maken met ashift 12, toen kon ik die niet koppelen in openindiana, dus heb ik het opnieuw moeten doen in zfsguru (of zelf zfs patchen in openindiana, maar leek het me makkelijker om even met de zfsguru life cd te doen). In zfsguru had ik ook last van interrupt storms bij het gebruik van meer dan 1 cpu/core, leek dus bij op freebsd gebaseerde OS te liggen. In openindiana 1 cpu met 4 cores toegewezen en geen problemen ondervonden.

Maar een interrupt storm zou dus wel een reden kunnen zijn van je hogere cpu gebruik. Als je via de vsphere client even de console in de gaten houdt zou je error messages voorbij moeten zien komen als je daar last van hebt.

Heb zelf nu dus 6x2TB (samsung) met ashift 12 in een zfspool met zraid2 openindiana en krijg de volgende benchmark resultaten:
dd:
10.24 GB in 27.6s = 371.01 MB/s Write
10.24 GB in 19.3s = 530.57 MB/s Read

bonnie ++ bench mark: Seq-Write 434 MB/s, Seq-Read 491 MB/s

In zfsguru met dezelfde pool:
128GB:
Read throughput : 425.4 MB/s
Read throughput : 405.7 MiB/s
Write throughput: 276.3 MB/s
Write throughput: 263.5 MiB/s

64GB:
Read throughput : 439.9 MB/s
Read throughput : 419.6 MiB/s
Write throughput: 267.7 MB/s
Write throughput: 255.3 MiB/s

16GB:
Read throughput : 378.9 MB/s
Read throughput : 361.4 MiB/s
Write throughput: 394.5 MB/s
Write throughput: 376.2 MiB/s

[neographikal]

Misschien heb ik een wat aparte oplossing bedacht (...) maar ik loop tegen een performanceprobleempje aan: ik heb 3 disks via rdm aan een freenas installatie gehangen, dat werkt als een zonnetje. Vervolgens heb ik een vswitch aangemaakt en de freenas guest aan die vswitch gehangen, samen met esxi via een vmkernel adapter. esxi ziet de freenas nfs store, kan daar schrijven, helemaal okay. Maar nu merk ik dat de schrijfsnelheid naar die nfs store erg laag ligt, terwijl samba vanaf mijn desktop vrolijk doorkachelt. Ook de cpuload op de freenasmachine is bij tijden behoorlijk hoog door nfsd. In de vsphere client zie ik ook dat de write latency een volle seconde is..

Heeft iemand zoiets al eens eerder gebouwd of ben ik nu hele rare dingen aan het doen?

Op zich kan ik een paar vm's ook wel op de 2.5" 160GB disk laten draaien die ook in de machine zit (daar staat ook de freenas-installatie op). Het leek me alleen wel mooi om gelijk te profiteren van de voordelen van ZFS.

[ Voor 18% gewijzigd door neographikal op 27-09-2011 21:05 ]

[Zer0]

neographikal schreef op dinsdag 27 september 2011 @ 20:52:
Misschien heb ik een wat aparte oplossing bedacht (...) maar ik loop tegen een performanceprobleempje aan: ik heb 3 disks via rdm aan een freenas installatie gehangen, dat werkt als een zonnetje. Vervolgens heb ik een vswitch aangemaakt en de freenas guest aan die vswitch gehangen, samen met esxi via een vmkernel adapter. esxi ziet de freenas nfs store, kan daar schrijven, helemaal okay. Maar nu merk ik dat de schrijfsnelheid naar die nfs store erg laag ligt, terwijl samba vanaf mijn desktop vrolijk doorkachelt. Ook de cpuload op de freenasmachine is bij tijden behoorlijk hoog door nfsd. In de vsphere client zie ik ook dat de write latency een volle seconde is..

Heeft iemand zoiets al eens eerder gebouwd of ben ik nu hele rare dingen aan het doen?

Op zich kan ik een paar vm's ook wel op de 2.5" 160GB disk laten draaien die ook in de machine zit (daar staat ook de freenas-installatie op). Het leek me alleen wel mooi om gelijk te profiteren van de voordelen van ZFS.

Ik liep tegen soortgelijke problemen op, VM's op de NFS datastore gehost op FreeNAS-vm hebben last van een heel hoge disk latency, en waren in sommige situaties in staat de totale performance van de server omlaag te brengen. Voorlopig heb ik de vm's op een lokale disk gezet, volgende stap wordt uitvogelen waar het probleem zit.
Ik heb wat meer posts op oa het FreeNAS forum gevonden die dezelfde problemen omschrijven. Daarin wordt oa het gebruiken van iscsi aanbevolen.
Overigens hebben NFS mounts naar dezelfde server vanuit de vm's (met oa een mysql-db) geen last van hoge latencies.

[HyperBart]

RudolfR schreef op maandag 14 november 2011 @ 21:39:
Ik gebruik mijn WNDR3700 met OpenWrt nu als network storage (met een USB schijfje van 320GiB),
maar aangezien deze toch wat power tekort komt om
services te draaien zoals Sickbeard en Couchpotato ben ik op zoek naar een iets krachtiger oplossing.

Voor die twee dingen is voor jou in principe een simpel Atom bakje al genoeg... Hang daar wat storage aan en je hebt het meest zuinige en compacte...

Al een tijdje rondgekeken in de synology en qnap topics, omdat deze vooral kwa zuinigheid interessant zijn,
maar ik wilde toch liever iets zelf in elkaar zetten om meer mogelijkheden te hebben en makkelijker te kunnen uitbreiden.

het "ik wil zelf iets in mekaarsteken principe" biedt je idd heel wat meer flexibiliteit, maar je beseft toch dat QNAP en Synology vaak heel deftige producten hebben die uiteindelijk jouw harde eisen perfect voldoen? QNAP heb ik zelf staan, en van sl1000 hier op GoT weet ik dat packages heel simpel en deftig in mekaar zitten voor SB en CP...

Nu is de behoefte aan storage nog niet zo heel groot, maar de USB schijf is steeds vaker vol, en bovendien zou ik graag backups op
de storage plaatsen, en bij sommige data vind ik een vorm van redundantie wel prettig.

Een 2-bay NAS is voor jou dan al een leuke oplossing... Je hebt dan nog altijd relatief weinig capaciteit en een laag rendement door het verlies van de helft van je diskspace bij redundantie, maar je kan wel anticiperen natuurlijk...

Snapshot RAID zou voldoende zijn omdat het vooral statische data is.

Voor zover ik weet niet mogelijk bij QNAP en Synology... Als dat een eis is, is zelfbouw en ZFS een goede insteek...

Het liefst zou ik voor de storage/mediaserver/downloadmachine een linux-distributie gebruiken; freenas (o.i.d) voor storage en ubuntu voor de downloadmachine,

In feite zou je dan bv in jouw geval een OS kunnen gebruiken dat ZFS ondersteunt en daarover een applicatie-virtualisatie laagje zoals VirtualBox oid... Het gaat wel trager, maar het werkt...

maar omdat ik de machine ook wil gaan inzetten als PVR met Mediaportal is Windows weer handiger.
Dus daarom lijkt virtualiseren mij zo gek nog niet.

idem als vorige antwoord

Een setup met een 620 lijkt me wel interessant, omdat daarmee, zeker in combinatie met een PicoPSU, een behoorlijk laag gebruik kan worden behaald.
Performance is ondergeschikt, omdat er maar één of bij uitzondering twee mediaclients tegelijk streamen, met meestal SD content en af en toe 'ns 720p.
Maar dat is wel aan't verschuiven in het voordeel van 720p.

Deze ondersteunt geen VT-D, in hoeverre is dit een nadeel als ik een VM wil gebruiken als storage?
(Vergelijkbaar met zoiets: http://www.napp-it.org/doc/downloads/all-in-one.pdf)

Voor ZFS geef je best een volledige controller aan een VM, VT-d is dan wel zo handig... RDM's gaat niet zo goed icm ZFS blijkbaar...

Kom ik dan weg met RDMs vanaf de on-board SATA poorten?
Ook als ik van één schijf mijn VMs wil draaien?

Je kan perfect bv een controller via VT-d aan een VM geven en dan een disk op een andere controller als RDM aan een VM geven en dan nog een disk als datastore onder ESXi gebruiken...

En hoe zit dat met tunerkaarten? Is Passthrough alleen weggelegd voor SAS/RAID kaarten e.d?
Want dan worden het sowieso USB tuners en is de behoefte aan VT-D compatibele hardware nog kleiner.

Passtrough werkt niet altijd met alle devices... Voor een tuner kan je USB-mappings zetten als het een USB-tuner is en hiervoor heb je GEEN VT-d nodig... In het topic heb ik dat hier ergens vermeld...

Dus:
- Biedt virtualisatie voordelen in voor de door mij geschetse situatie?

Twijfelgevalletje bij jou... Ik merk in je post dat je veel dingen "nice to have" zou vinden, maar niet "need to have" buiten het storage verhaal en CP+SB... In mijn opinie ga je dan het best voor een ZFS-based besturingssysteem met daarin een VM die je CP en SB kan afhandelen...

- Heb ik dan een losse SAS kaart nodig?

Als je voor ZFS gaat niet echt (genomen dat het ZFS OS het primary OS gaat zijn), wil je virtualiseren met ESXi, dan raad ik je aan om een extra HBA te steken waar je disks op kan hangen, test ook even uit welke controller je best doormapt aan je ZFS VM dan...

- Is het verstandig om hardware te kiezen die VT-D ondersteunt?

Verstandig, tis handig, maar je moet zelf afwegen of het handig is... Alleen vanaf de i5 (of ik moet iets gemist hebben en de 620 doet het ook) heb je in combinatie met een juist moederbord ondersteuning voor VT-d, en dan verlies je een stukje zuinigheid...

[FireDrunk]

Zijn er nog mensen die RDM icm MDADM of ZFS gebruiken? Ik heb namelijk gezien dat de LSI SAS Controller in VMware een virtuele 1068e is, en zoals we allemaal weten is dat een 'echte' HBA.

Ikzelf heb RDM toendertijd met Paravirtualisatie gebruikt, en dat heeft bij mij nooit problemen opgeleverd, maar ik vraag me af of bad sectors anders opgevangen worden door de paravirtual controller dan door de LSI SAS Controller.

Iemand die dit kan testen?

[neographikal]

FireDrunk schreef op zondag 15 januari 2012 @ 12:46:
Let wel op dat RDM soms wat grof met bad sectors omgaat. Let dus goed op je smart waardes en maak goede backups.

Tot op heden gaat het hier goed en doet esxi hetzelfde als wat Ubuntu native deed. Gelukkig beperkt het leed zich bij mij tot 5 sectoren op elke schijf (waar mdadm direct over struikelde), maar met FreeBSD/ZFS is er geen vuiltje aan de lucht.

[HyperBart]

Anoniem: 222728 schreef op zondag 27 mei 2012 @ 00:16:
ik zal volgende week eens het verbruik gaan meten en hier melden. ik ben zelf ook eens benieuwd ;-)

misschien beetje offtopic: wie gebruikt nog meer ZFS-raidz(2) (freebsd, opensolaris, openindiana) binnen een VM? wat zijn jullie disk read/write/access waardes?

Ik heb mijn I/O's nog niet gemeten, maar voorlopig haal ik volgende waardes met 4 x 80GB (HP branded spul, een pull uit een andere server), HP Modelnummer: FB080C4080

bart@OpenIndianaVirtual:/tank/test1$ dd if=/dev/zero of=zero.file bs=1M count=10                                240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 63.0561 s, 170 MB/s
bart@OpenIndianaVirtual:/tank/test1$ dd if=zero.file of=/dev/null bs=1M
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 48.6626 s, 221 MB/s

Dat is met mijn M1015 doorgeven aan een OpenIndiana VM met 2 cores dacht ik en dan 1 of 2GB RAM...

Een collega van mij die haalt iets sexy'ere speeds met wenslijst: Server Matthias deze setup...

Hij heeft zijn M1015 nog niet, maar RDM's gebruikt en trekt even los mijn array erdoor:
290MB/s write
332MB/read

Ik hoop vandaag die Patriot SSD van die collega die in dezelfde wenslijst staat aan te kunnen koppelen aan mijn M1015 om eens te zien hoe dit nu mijn performance gaat beïnvloeden... Eerst config ik 'm als ZIL en daarna eens kijken hoe hij het doet als L2ARC...

[ Voor 9% gewijzigd door HyperBart op 27-05-2012 11:36 ]

[Deveon]

Na veel uitzoeken en vergelijken van allerlei onderdelen heb ik eindelijk mijn ESX thuis staan. Misschien zijn een aantal hier al bekend met mij vanuit mijn eigen topic over VGA passthrough en dan zul je zien dat budget flink veranderd is. Dankzij een connectie kon ik overal voor inkoopprijs aan komen en dan doe je toch gekke dingen..

Voor nu nog even een show&tell, maar later ga ik hier weer mee verder aan de slag als ik er weer tijd voor heb.

Momenteel heb ik het volgende draaien
- FreeNAS via RDM gekoppeld aan 2 disken (RAID0 via ZFS)
- Ubuntu Server voor NZB en toekomstige SAMBA server
- Windows 7 (nog niet gelukt om te draaien met hd5770)
- Ubuntu client om vanaf overal in te loggen
- Windows 8 (test systeem)

Specs:

#	Product	Prijs	Subtotaal
1	Cooler Master Elite 330U	€ 32,45	€ 32,45
4	Seagate SV35.5 ST2000VX002, 2TB	€ 117,90	€ 471,60
1	Intel Core i5 3550 Boxed	€ 182,95	€ 182,95
1	Antec Earthwatts EA-380D Green	€ 41,29	€ 41,29
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 35,83	€ 35,83
1	Sapphire HD5770 1GB GDDR5 PCI-E	€ 0,-	€ 0,-
1	Intel DZ77BH-55K	€ 184,70	€ 184,70
Bekijk collectie Importeer producten		Totaal	€ 942,43

Voordelen van dit systeem:
- Volledige VT-d support
- Voorlopig ruim voldoende rekenkracht
- Voorlopig voldoende opslag (ongeveer 75% muv raid)

Helaas zijn er nog een aantal punten waar ik tegenaan loop:
- Marvell controller werkt niet in ESX en ook niet met passthrough
- HD5770 naar windows 7 wil wel, maar zodra ik een beeldscherm aansluit krijg ik een BSOD en driver worden niet helemaal juist herkend
- Mijn idee was om FreeNAS op een USB datastore te plaatsen, maar dit ondersteunt ESX niet. Hierdoor heb ik 1 van mijn 2tb schijven idle draaien op het moment en 1 als lokale datastore.
- Ram....

Voor de rest is eigenlijk van installatie tot de RDM heel goed gelukt aangezien ik hier nog nooit me mee bezig heb gehouden en ook 0,0 verstand heb van Linux en/of Unix. De installatie van ESX heb ik wel moeten manipuleren om de driver van mij moederbord toe te voegen

Toekomst plannen:
- Extra Ram
- samba
- SSD (helaas maar 4 SATA poorten..)
- Raid 5 configuratie (twijfel vanwege iops)
- 5770 passthrough werkend krijgen

[ Voor 4% gewijzigd door Deveon op 19-06-2012 23:18 ]

[jackorobot]

Deveon schreef op dinsdag 19 juni 2012 @ 21:56:
Momenteel heb ik het volgende draaien
- FreeNAS via RDM gekoppeld aan 2 disken (RAID0 via ZFS)
- Ubuntu Server voor NZB en toekomstige SAMBA server
- Windows 7 (nog niet gelukt om te draaien met hd5770)
- Ubuntu client om vanaf overal in te loggen
- Windows 8 (test systeem)

Waarom een aparte ubuntu installatie voor file shares?
Freenas heeft van zichzelf al de functie om de shares e.d. aan te maken, dan bespaar je dus een hoop resources als je maar 1 server neemt.

Deveon schreef op dinsdag 19 juni 2012 @ 21:56:
Helaas zijn er nog een aantal punten waar ik tegenaan loop:
- Marvell controller werkt niet in ESX en ook niet met passthrough
- HD5770 naar windows 7 wil wel, maar zodra ik een beeldscherm aansluit krijg ik een BSOD en driver worden niet helemaal juist herkend
- Mijn idee was om FreeNAS op een USB datastore te plaatsen, maar dit ondersteunt ESX niet. Hierdoor heb ik 1 van mijn 2tb schijven idle draaien op het moment en 1 als lokale datastore.
- Ram....

Als je de schijven met RDM aan de VM hangt kan hij als het goed is gewoon van de schijven direct opstarten, zonder dat je een vmdk etc moet hebben.
Ik maak hier ook uit op dat je dus je VM's via NFS oid wilt aanbieden aan esx?
Weet je dan zeker dat je de schijven in RAID0 zou zetten? En foutje en poef, al je data en vm's weg!

[Deveon]

Workaholic schreef op woensdag 20 juni 2012 @ 07:23:
Denk niet echt dat jou server valt onder een zuinige esxi server Wat verbruikt hij in watts in idle/load toestand?

Als het goed is die relatief zuinig, heb alleen nog geen wattage meter gehaald om er achter te komen. De processor is volgens mij 99% van de tijd idle, dus het zal vooral in de disken zitten (als het goed is met spindown). Daarnaast is zuinigheid relatief aan performance.

edit: Daarnaast is het de zuinigste Ivy Bridge met VT-d

Waarom zou je vga passthrough nodig hebben op een server btw?

via vga passthrough wil ik een htcp virtualiseren

jackorobot schreef op woensdag 20 juni 2012 @ 08:47:
[...]

Waarom een aparte ubuntu installatie voor file shares?
Freenas heeft van zichzelf al de functie om de shares e.d. aan te maken, dan bespaar je dus een hoop resources als je maar 1 server neemt.

Ik ben met FreeNAS bezig geweest, maar ik vond de rechten en het accountbeheer zeer onduidelijk, daarom wil ik hier een Samba voor gaan gebruiken. Daarnaast ben ik zeer benieuwd naar Samba (wat de doorslag geeft voor mij).

Als je de schijven met RDM aan de VM hangt kan hij als het goed is gewoon van de schijven direct opstarten, zonder dat je een vmdk etc moet hebben.

Hmmm... dat was een puntje wat ik nog niet wist. Kan ik dan nog wel beide schijven gebruiken voor ZFS? Deze pool moet je namelijk later pas aanmaken...

Ik maak hier ook uit op dat je dus je VM's via NFS oid wilt aanbieden aan esx?
Weet je dan zeker dat je de schijven in RAID0 zou zetten? En foutje en poef, al je data en vm's weg!

Dat klopt (A), uiteindelijk wil ik een backup oplossing inrichten hiervoor. Als het een maand niet werkt is het ten slotte geen probleem alleen vervelend.

Tevens ben ik nu met een Solaris projectje bezig voor zfs ipv FreeNAS. Dit om ervaring op te doen voor m'n werk.

[Pantagruel]

HyperBart schreef op woensdag 18 juli 2012 @ 08:34:

Goudduif schreef op woensdag 18 juli 2012 @ 06:52:
[...]


Als ik het goed hebt, is dit een hardware matige Raid controller, voor wat betreft het creëren van een zuinige server natuurlijk wel mooi, maar als ik in ESXi een ZFS NAS wil plaatsen, dan is dit toch niet de juiste controller?

Euh... Net wel, een aparte controller kunnen doorgeven aan een ZFS VM is net het beste...

SAS controllers als de M1015 en de LSI 9211-8i zijn inderdaad hardware RAID controllers (ze doen RAID 0,1 en 10), voordeel is wel dat er IT mode firmware beschikbaar is en je daarmee deze relatief goedkope controller in een 'domme' goed ondersteunde SATA controller veranderd. ZFS kan t beste overweg met een normale SATA controller (txt en uitleg van hoe wat en waarom is in t ZFS topic te vinden),

Dan vraag ik mij af, kan ik niet beter een goedkope controller plaatsen, met een kleine SSD. Zodat ik daar mijn NAS VM op kan instaleren. Zodat ik mijn onboard SATA connectors allemaal aan mijn NAS toewijst.

Ja, of je nu je onboard SATA chipset doorgeeft aan de VM of een insteekkaartje, ligt maar net aan wat het beste ondersteund is...

Is inderdaad een mogelijkheid, moet die goedkope SATA wel willen werken mbt ESXi en je VM O, Google is je vriend.

Of denk ik nu te moeilijk, en kan ik net zo goed mijn schijven via RDP aan mijn NAS toe wijzen? Dit is officieel wel niet ondersteund word, maar via de vmkfstools -r eenvoudig te realiseren. Dan blijft ik nog wel met de vraag zitten of de hardisken dan nog spin down gaan, en de smart tools ook werken?

Euuh? Remote Desktop Protocol?

RDM

Geen idee of spin down werkt en SMART data is uit te lezen, ff kijken.

[Pantagruel]

Goudduif schreef op woensdag 18 juli 2012 @ 09:43:
[...]


Ja, Ja, en jij wist niet dat ik daar Raw Device Mapping mee bedoelde?

Als ik dit via de vmkfstools -r methode doe, verlies ik dan veel performance?

Waarschijnlijk een fractie, de WD 400 GB SATA disk die ik via RDM heb doorgegeven doet in de quick bench van ZFSguru tussen de 75 en de 50 MB/sec.

ZFSguru benchmark van de ZFS pool bestaande uit 1 RDM disk en 4 disks aan een passthrough controller:

En werkt de smart functi dan nog wel?

Ja, schaamteloze plug van t ZFS topic

Als ik namelijk weer een extra kaart gaat gebruiken gaat volgens mij ook het verbruik weer omhoog!

Yep, een M1015 bijv. gebruikt vlgs de datasheet zon ±9W

[ Voor 10% gewijzigd door Pantagruel op 18-07-2012 11:33 . Reden: benchmark ]

[Zenix]

Pantagruel schreef op woensdag 18 juli 2012 @ 11:13:
[...]

Ja, schaamteloze plug van t ZFS topic

Hoe heb jij smart aan de praat gekregen? Want het werkt bij mij niet
Gebruik een paravirtual controller in combinatie met mijn RDM schijven.

[ppl]

HyperBart schreef op donderdag 19 juli 2012 @ 10:23:
Waarom sommige mensen (waaronder ik) in specifieke gevallen een controller doorgeven aan een VM is omdat we ZFS gebruiken, ZFS heeft graag directe volledige toegang tot disks omdat het een heel robuust mechanisme wat vanaf het begin is opgezet om heel veilig te zijn... Maar daarvoor moet ie wel zo direct mogelijk met zijn disks kunnen praten... Steek er 2 SSD's bij en je hebt ongelooflijke grote performance-winsten... Wij presenteren dan die storage terug aan onze ESXi via de vNIC en we kunnen dan weer verder...

Dan zou ik weer geen RAID controller gebruiken maar een doodnormale SATA/SAS controller want het hele RAID gebeuren wil je dan graag helemaal door ZFS zelf laten afhandelen (daar is dat filesystem ook goed in).

Dit zou ook prima kunnen in het bedrijfsleven omdat je hiermee directe aanspraak van de hardware hebt wat beter voor bijv. de performance is plus dat je in geval van ZFS ook over alle features kunt beschikken. Het komt alleen niet zo veel in het bedrijfsleven voor omdat men dan al snel een dedicated fileserver hiervoor zullen inrichten of alles compleet via een vm doen (je kunt het op diverse manieren doen). Dit soort setups zie je vaker bij de hobbyisten omdat dit een goede prijs-performance verhouding heeft. Je hebt maar 1 machine nodig en je hebt de beste performance.

Wat echter niet helemaal verstandig is en wat velen hier toch doen is een fileserver/NAS via ESXi opzetten en deze weer terug presenteren aan ESXi als dataopslag voor de virtuele machines (en bijbehorende virtuele disks). Als er iets mis gaat heb je een aardige klus om alles weer werkend te krijgen omdat het dan ook echt goed stuk gaat. Je kunt dan beter een NAS van bijv. Synology aanschaffen en dat gebruiken (met VAAI aan heb je weer wat performancewinst bij het verplaatsen van data omdat je dit nu direct op de NAS laat doen ipv via de ESXi host).

Edit: misschien handig om uit te leggen wat ik met mijn ESXi doos van plan ben, wellicht dat het wat meer duidelijkheid verschaft waarom een aparte controller handig kan zijn:
- ESXi draait hier vanaf een microsd kaartje die in een usb adaptertje zit (het kan prima, performance is ook prima en aangezien het hier toch lag weg te stoffen...).
- De datastore voor de vm's staat op een Samsung 830 512GB ssd vanwege de snelheid (latency, iops).
- De datastore voor dingen als de iso files staat op een 80GB laptopschijfje die ik nog had liggen; iso files op ssd neemt alleen maar ruimte in beslag, je hebt er verder weinig voordeel aan.

Dat laatste geldt ook voor een fileserver/NAS. Die ssd is leuk maar de data is groot en heeft niet zoveel baat bij een ssd dus gewone schijven it is. Die kan ik weliswaar naast de rest doen, daar een datastore van maken en daar alleen de vmdk van de fileserver/NAS opzetten maar dat heeft een aantal nadelen. Ik gebruik dat ESXi hoofdzakelijk om te prutsen, als homelab dus, en 1 van de dingen waarmee ik graag wil prutsen is ZFS. Dan wil je juist direct de hardware aanspreken dus ga ik voor het doorgeven van een SATA controller aan een vm. De performance zal dan beter zijn dan wanneer je met dingen als VMDK's en RDM gaat werken. De reden om voor ZFS te gaan is vrij simpel: het fs biedt enorm veel mogelijkheden voor veilige dataopslag (als in integriteit; data raakt niet corrupt; dus niet als in het hebben van een backup!) en uitbreiden van je opslag. Zo'n uitbreidingsmogelijkheid is bijv. het gebruik van een ssd om de performance op te krikken. Dit is iets wat je niet kunt doen met VMFS (het filesystem wat door ESXi wordt gebruikt).

Waarom dan niet een aparte machine? Zie topic title Het gaat om een zuinige ESXi server en die zuinigheid wil ik eigenlijk verder doortrekken. Ik heb dan liever 1 machine die optimaal wordt ingezet voor diverse taken en dat is nou juist wat ESXi toelaat. Ik heb dadelijk 1 fysieke server die heel mijn homelab omvat en bijgevolg dus ook maar het energieverbruik van die ene fysieke server.

[ Voor 42% gewijzigd door ppl op 19-07-2012 13:46 ]

[ThinkPad]

Oke.

Ik begin het nu een beetje te snappen. Ik zie dat de meeste mensen hier een schijf via RDM aan een VM met FreeNAS hangen. Deze FreeNAS shared dan bepaalde mappen (NFS wordt hier vaakste voor gebruikt dacht ik?), en die mappen zijn dan weer beschikbaar op de andere VM's...

Dan zou ik dus ook niet hoeven te formatteren.

Zit mij ook in te lezen over ZFS, klinkt allemaal erg mooi, maar dat kan dus niet met 1 schijf. Op dit moment kopieer ik de belangrijke data via eSATA naar een externe schijf.

[Deveon]

Zelf heb ik ook een tijdje 2x 2tb schijven (stripe) via RDM gekoppeld aan mijn ZFS machine. In performance merkte ik hier geen vertraging op. Als ik vanaf die disk probeerde te booten gaf de netjes aan dat het een zfs disk was en er niet van kon booten.

Ik raad eerder aan om RDM te gebruiken ipv VMDK. De allermooiste oplossing is een raidcontroller in passthrough.

Je kan aanhikken tegen het feit dat het niet supported is, maar ik denk dat 9/10 hier thuis een machine hebben staan die niet supported is.. Dit houdt niet direct in dat het niet gaat werken.

[FireDrunk]

Deveon schreef op donderdag 11 oktober 2012 @ 13:48:
Zelf heb ik ook een tijdje 2x 2tb schijven (stripe) via RDM gekoppeld aan mijn ZFS machine. In performance merkte ik hier geen vertraging op. Als ik vanaf die disk probeerde te booten gaf de netjes aan dat het een zfs disk was en er niet van kon booten.

Ik raad eerder aan om RDM te gebruiken ipv VMDK. De allermooiste oplossing is een raidcontroller in passthrough HBA.

Je kan aanhikken tegen het feit dat het niet supported is, maar ik denk dat 9/10 hier thuis een machine hebben staan die niet supported is.. Dit houdt niet direct in dat het niet gaat werken.

FTFY.

[Valkyre]

Nou nu heb ik een windows 2008 r2 draaien met een raid 5 volume over de 4x 2tb's.
Ik ben nog even in dubio wat ik ga doen:
A. windows 2008 RDM naar het bestaande raid 5 volume, volgens mij kan ik dan zonder te hoeven te backuppen de schijven RDM mounten en dan word het volume weer herkent.

Maar goed ik lees ook wel dingen als bitrot, en om flexibeler te zijn dacht ik aan:
B. Freenas + ZFS dit kon voorheen niet omdat ik maar 1 machine in de kast wou stoppen.

Wat ik hier ook nog las en nog ga uitvoeren is een +-100gig 2.5 inch laptop schijfje voor inkomende downloads.

Indeling:
* SSD = VM's met thin provisioning denk ik dat ik wel Freenas en 2 windows 2k8r2 servers (File server & DC) er op kwijt kan.
* 2.5, 2 datastores 1 voor inkomende downloads, en 1 voor test vm's
* 4x 2tb RDM

[Pantagruel]

Koffie schreef op donderdag 13 december 2012 @ 20:36:
[...]

Begrijp ik goed dat bovenstaande een van de belangrijkere redenen is om een board te nemen welke goed zijn hardware door kan geven aan een VM om zo de volledige SATA controller dooe je guest te laten regelen ipv een RDM aanmaken?

Ik maak nu gebruik van deze methode: http://blog.davidwarburto...al-sata-storage-for-esxi/ om zo mijn schijven rechtstreeks aan FreeNAS door te geven.
Dat zou dus beter/soepeler/sneller/stabieler gaan als ik de gehele controller doorgeef?

De gebruikte RDM methode/'hack' wordt door VMWare niet ondersteund, dus bij problemen sta je in de kou (eerlijkheidshalve moet ik zeggen dat ik geen idee heb of je wel ondersteuning krijgt als je 'free' versie gebruikt van ESxi). Als je een redelijke kans van slagen wilt zul je voor ESXi 'gekeurde' hardware moeten gaan en kom je uit op server bordjes en Xeon's. Voor het gros van de hobbyisten is dat zwaar overtrokken, te meer omdat het vaak op HT&K hardware ook werkt (internet afstruinen op zoek naar esxi 'white box' config geeft voldoende hits).

Het 'probleem' van de genoemde rdm methode schuilt hem in de errors/foutmeldingen en data corruptie problemen die sommige bij de combi van esxi en ZFS melden, kant tekening is wel dat het niet altijd even reproduceerbaar lijkt te zijn.

Of je bij een passthrough van een controller middels Vt-d gevrijwaard bent van enige vorm van emulatie durf ik niet te beloven.

[sloth]

ZFS i.c.m. ESXi en RDM zonder VT-D al gelezen?

[FireDrunk]

buell schreef op donderdag 20 december 2012 @ 18:39:
@ firedrunk
bedankt voor je reply. Kan ik niet gewoon de schijven aan de sata conectoren hangen van het MB en dan deze op een of andere manier in esxi doorgeven aan freenas? Moet ik die IBM controller alleen hebben als ik een zfs raid ga draaien of is dit altijd nodig?

Dat is lastig uit te leggen, maar doorgeven van schijven als ze op een gewone (onboard) controller zitten, gaat via RDM, en dat werkt volgens mij (zoals je een paar posts terug kan lezen) niet met 3TB disks.

Bovendien is de werking van RDM icm ZFS nog altijd niet 100% geverifieerd.

[Compizfox]

FireDrunk schreef op donderdag 20 december 2012 @ 20:46:
[...]
Dat is lastig uit te leggen, maar doorgeven van schijven als ze op een gewone (onboard) controller zitten, gaat via RDM, en dat werkt volgens mij (zoals je een paar posts terug kan lezen) niet met 3TB disks.

Werkt IOMMU/VT-d dan niet met een on-board SATA-controller? Ik ben namelijk ook van plan een ZFS VM te gaan draaien op een Asrock 970 Extreme 3 (PCI-e passthrough/IOMMU bevestigd).

[Valkyre]

pff ik zit aan een nieuwe ESXi config voor mijzelf te denken, mijn huidige config eerder in dit topic gaat naar mijn pa (cpu/mobo enzo)

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 159,-	€ 159,-
1	ASRock B75 Pro3-M	€ 57,90	€ 57,90
Bekijk collectie Importeer producten		Totaal	€ 216,90

Wat ik wil is mijn 4 wd 2tb sata hdd's downspinnen, en middels RDM in mijn windows 2008 server gaat dat niet lukken.
Aangezien ik nu min of meer van scratch mijn ESXi host opnieuw kan opbouwen dacht ik aan VT-d icm Freenas (of iets anders met zfs) zodat ik in ieder geval mijn disken kan downspinnen, en zo energie kan besparen.

Het bovenstaande moederbord heeft 8 sata aansluitingen en 4 memory bankjes dus mooi toekomst proof.

Als ik deze dit dan weer lees word ik wat minder gelukkig gestemd:
http://gathering.tweakers...message/39428603#39428603
ik moet 4 disken vt-d'en (of in ieder geval een controller vt-d'en met minimaal 4 sata poorten)

Hier maak ik niet uit op welke controller nu precies welke is
http://www.asrock.com/mb/...ations&Model=B75%20Pro3-M

Of heeft is er een moederbord welke ik nog niet gevonden hebt die aan de volgende eisen voldoet:
*zuinige
*minimaal 6 sata poorten
*vt-d (een controller die vt-d in esx5.1 pakt met minimaal 4 poorten?)

Chipset H77 of B75 maakt mij niet zo gek veel uit, het verschil is ook maar minimaal..
Dit bord ziet er bijvoorbeeld ook goed uit, waar ook niet duidelijk is welke controller nu precies hoeveel poorten heeft.
http://www.asrock.nl/mb/I...ro4-M/?cat=Specifications

[ Voor 10% gewijzigd door Valkyre op 28-12-2012 10:11 ]

[FireDrunk]

Getsie, dat is echt een smerige oplossing

RDM is dus vanaf nu out of the picture...

offtopic:
Discussie gaat hier verder:FireDrunk in "Het grote ZFS topic"

[ Voor 39% gewijzigd door FireDrunk op 03-01-2013 16:00 ]

[FireDrunk]

RDM kan wel, maar is nog steeds een beetje apart terrein... Er zijn slechte en goede verhalen.

Physical RDM zou werken met ZFS, maar Physical RDM werkt weer niet met FreeBSD 9.1.

Je moet dan dus FreeBSD 9.0 draaien.

Heeft te maken met de MPTSAS drivers.

[ Voor 8% gewijzigd door FireDrunk op 04-01-2013 14:54 ]

[Compizfox]

Voor FreeBSD op ESXi zou ik kiezen tussen 2 dingen:

- Passthrough van een hele controller dmv VT-d/IOMMU (werkt met FreeBSD 9.1)
- Physical RDM van losse schijven (werkt niet met FreeBSD 9.1, wel met 9.0)

Virtual RDM werkt wel met FreeBSD 9.1, maar is icm ZFS echt een smerige oplossing imho.

[Tsurany]

FireDrunk schreef op vrijdag 04 januari 2013 @ 14:53:
RDM kan wel, maar is nog steeds een beetje apart terrein... Er zijn slechte en goede verhalen.

Physical RDM zou werken met ZFS, maar Physical RDM werkt weer niet met FreeBSD 9.1.

Je moet dan dus FreeBSD 9.0 draaien.

Heeft te maken met de MPTSAS drivers.

Hoe zal RDM werken met Server 2008 R2? Ik heb op dit moment een Server 2008 R2 server en hier draai ik FlexRAID op met een redelijk aantal hardeschijven. Nu zit ik aan het upgraden van de server te denken maar wil de FlexRAID installatie intact houden aangezien dat goed bevalt. De overhead van losse arrays zou te groot zijn omdat de hardeschijven verschillen qua formaat.
Zou ik met ESXi gewoon alle huidige schijven via RDM door kunnen geven zodat de schijven exact in dezelfde staat worden doorgegeven zoals ze nu zijn? Dan zou migratie namelijk flink kunnen schelen.

Dan hoef ik enkel een moederbord te hebben dat volledig werkt in ESXi met een leuke CPU en wat geheugen.

En ik zit met een PCI-E HDD controller. Geen RAID controller, enkel losse schijven. Zal dat ook prima werken? Gaat om een Rocket 620 van High point (pricewatch: Highpoint Rocket 620).

[ Voor 11% gewijzigd door Tsurany op 07-01-2013 13:15 ]

[Tha_Butcha]

Gohan-san schreef op woensdag 09 januari 2013 @ 22:08:

Ik moet eigenlijk zien te achterhalen welke sata poorten hangen aan de 00:1c.7 daar mijn 2 disken (ssd + laptop schijf) op zetten, en dan die AHCI controller vt-d'en...

EDIT: alle schijven behalve mijn SSD gedisconnect en vt-d op die AHCI 00:1c.5 aangezet. Elke sata aansluiting geprobeerd en geen van allen ziet uberhaupt nog een storage device.

00:1c:7 is de Asmedia Controller, dat is waar SATA3_A0 en SATA3_A1 aan hangen (zie mijn reactie een paar dagen eerder in dit topic), het is degene die zit bij de ATX aansluiting. Je kan hier wel HD's aanhangen, maar geen passthrough doen zonder dat de andere schijven mee gaan.

De andere controller (de Intel Panther Point) zit bij jou op 00:1c.5, dat zijn de rode aansluitingen op je bord, SATA2. In beide gevallen trekken ze elkaar 'mee' als je ze door wil gooien, dus een NAS op ESXi draaien zonder RDM (en volgens sommige mensen wil je dat niet, zeker niet i.c.m. ZFS) te gebruiken wordt vrij lastig bij dit bordje.
Voor de rest is het een mooi bordje, mux had in zijn blogs nog een link naar een duitse blog, die met dit bordje flink aan het tweaken is geweest en een verbruik voor elkaar kreeg vna 10,8W idle en 31,0W stressed (met prime). Hij draait wel maar 1 SSD en heeft een Pico PSU but still, impressive.

[Valkyre]

magic_japie schreef op donderdag 10 januari 2013 @ 10:17:
Ik ben benieuwd of het je lukt Gohan-san om je videokaart via vt-d te kunnen pass-throughen.

Dan heb ik zo goed als mijn config klaar om te bestellen

Ik denk dat ik van het weekend wel wat tijd heb, en ik zal het even proberen.

Tha_Butcha schreef op donderdag 10 januari 2013 @ 10:22:
[...]


00:1c:7 is de Asmedia Controller, dat is waar SATA3_A0 en SATA3_A1 aan hangen (zie mijn reactie een paar dagen eerder in dit topic), het is degene die zit bij de ATX aansluiting. Je kan hier wel HD's aanhangen, maar geen passthrough doen zonder dat de andere schijven mee gaan.

De andere controller (de Intel Panther Point) zit bij jou op 00:1c.5, dat zijn de rode aansluitingen op je bord, SATA2. In beide gevallen trekken ze elkaar 'mee' als je ze door wil gooien, dus een NAS op ESXi draaien zonder RDM (en volgens sommige mensen wil je dat niet, zeker niet i.c.m. ZFS) te gebruiken wordt vrij lastig bij dit bordje.
Voor de rest is het een mooi bordje, mux had in zijn blogs nog een link naar een duitse blog, die met dit bordje flink aan het tweaken is geweest en een verbruik voor elkaar kreeg vna 10,8W idle en 31,0W stressed (met prime). Hij draait wel maar 1 SSD en heeft een Pico PSU but still, impressive.

Ik heb nu RDM's met Raid 5 draaien naar een windows 2008r2 machine, momenteel draait dit al een paar maanden stabiel (gisteren een andere moederbord + CPU weliswaar)
Deze machine is mijn fileserver dus ook in zekere zin een NAS. voor nu laat ik het zo en dan helaas geen zfs.
Misschien tzt een goedkope sata controller er in prikken en die dan doorgeven. dat wil ik alleen liever niet vanwege het extra verbruik. Heeft iemand daar eigenlijk ervaring mee wat het extra verbruik is van een insteek pci-e kaartje?

Waar vind jij de informatie welke sata poorten met welke controller verbonden is? op de website van asrock kon ik het niet vinden... (kan ook aan mij liggen hoor )

[Deveon]

Voor de geintresseerde heb ik mogelijk binnenkort de Intel RAID Controller SASUC8I in de aanbieding. Dit aangezien ik de overstap na Hyper-V 3.0 ga proberen icm met (Solaris) zfs (daar werkt RDM native ipv controller via VT-d).

[FireDrunk]

Deveon schreef op donderdag 10 januari 2013 @ 19:31:
Voor de geintresseerde heb ik mogelijk binnenkort de Intel RAID Controller SASUC8I in de aanbieding. Dit aangezien ik de overstap na Hyper-V 3.0 ga proberen icm met (Solaris) zfs (daar werkt RDM native ipv controller via VT-d).

Uh wat? RDM heeft niets met VT-d te maken... En voor zover ik weet heeft Hyper-V nog steeds geen VT-d ondersteuning voor PCIe. (Wel maakt het gebruik van bijvoorbeeld VMDq (Virtual Machine Device Queing) en dat is weer een subfunctie van VT-d.

Dus wat bedoel je precies? Want een physieke harde schijf doorgeven kan inderdaad al veel langer bij Hyper-V dan bij ESXi.

Probleem is nog steeds, dat je een virtuele schijf doorgeeft, en niet de disk zelf.
Dus net als met Virtual RDM van VMware, ben je niet veilig met Hyper-V als het gaat om bescherming tegen bad sectors.

[FireDrunk]

Ik heb momenteel ZFS, en aangezien FreeBSD nogal slecht virtualiseert, en RDM niet echt een oplossing is, heb ik FreeBSD een poos native draaien.

Ik heb nog wel ESXi servers hoor, een 1U doosje bijvoorbeeld wat ik altijd voor LAN parties gebruik. Die heeft een AMD Opteron 46xxEE ofzo, en 24GB ECC Registered geheugen.

Dus het is niet alsof ik compleet ESXi loos ben

Ik moet eens kijken hoe ik RDM aan de praat kan krijgen onder FreeBSD, misschien dat het dan wat word met ESXi.

[Compizfox]

FireDrunk schreef op maandag 14 januari 2013 @ 19:58:
Ik heb momenteel ZFS, en aangezien FreeBSD nogal slecht virtualiseert, en RDM niet echt een oplossing is, heb ik FreeBSD een poos native draaien.

En hoe bevalt dat t.o.v. gevirtualiseerd onder ESXi?
Ik zit het toch een beetje in overweging te nemen.

Aan de ene kant vind ik ESXi "1337" (), aan de andere kant heeft het wat nadelen:
- Hoger stroomverbruik
- Zit vast aan FreeBSD 9.0 (ivm physical RDM's die niet werken in 9.1)
- Kan m'n PCI-kaartjes niet gebruiken

Ik ben echter bang dat de performance van bijvoorbeeld Virtualbox onder FreeBSD als host te erg tegenvalt vergeleken met ESXi.

Ik moet eens kijken hoe ik RDM aan de praat kan krijgen onder FreeBSD, misschien dat het dan wat word met ESXi.

Als je het voor elkaar krijgt, hoor ik het graag! Tenminste, onder FreeBSD 9.1 bedoel je dan toch?

[FireDrunk]

Omdat we hier in het Zuinige ESXi topic zitten

Het doorgeven van complete block devices staat ABSOLUUT NIET GARANT voor een goede werking van ZFS.

Ik heb bijna ALLE controllers van KVM geprobeerd (SATA, SCSI, SAS, en VIRTIO) icm Raw device passthrough.
En ALLEMAAL geven ze problemen icm ZFS.
Ik verwacht niet dat Xen ineens een perfecte controller heeft ontwikkeld die NIET in linux zit...
(99% van alle userland tools van Xen komen direct uit Linux).
En ik vertrouw de block device passthrough van Xen dus _nog_ niet.
Ik wil het best een keer proberen

Ik ben ook geen voorstander van RDM, het is meer een poor-mans-solution.

VT-d is de enige veilige way-to-go. Zowel voor KVM, ESXi, als Xen.

[ Voor 88% gewijzigd door FireDrunk op 15-01-2013 13:04 ]

[Compizfox]

FireDrunk schreef op dinsdag 15 januari 2013 @ 08:51:
Stroomverbruik van ESXi is vergelijkbaar met FreeBSD, het scheelt weinig hoor. Als je C- en P- states aan zet in ESXi is het ook vrij zuinig hoor.

Tenzij je veel schijven als datastores hebt (ESXi doet niet aan downspinning)

De performance van FreeBSD native is wel stukken beter dan gevirtualiseerd. Je merkt duidelijk verschil in reads, writes en dingen als inpakken/uitpakken van bestanden. Ik heb nu ook SabNZBd native draaien onder FreeBSD waar ik dat eerste in een Ubuntu VM had draaien.

VirtualBox is wel echt traag. Netwerk is mager en de ruwe CPU performance valt ook tegen. Bovendien zijn de beheersmogelijkheden niet echt top (VNC is nou niet echt handig icm die vage poort definities, maar ach het werkt.)

Ik heb onder Linux wel eens met Virtualbox gewerkt, en dat was echt heel traag. Load van 20 op de host als je een VM gaat opstarten. Maar dat was op mijn vorige serverbuild, zonder VT-x. Dus ik denk dat het met VT-x wel iets beter te doen is.

johnkeates schreef op dinsdag 15 januari 2013 @ 13:14:
Het doorgeven van devices in Xen gaat niet op basis van virtuele SCSI, SATA, SAS of whatever controllers, dat is het mooie eraan, en zoals je aangeeft, ook zonder VT-d te doen! (Maar niet zonder VT-x voor zo ver ik weet, nooit geprobeerd). Ik heb nog geen ZFS draaien om dat ik nu nog met 6 losse RAID1 arrays zit, wat qua migreren een probleem is zonder 12 nieuwe schijven te kopen Maar van wat ik gezien heb op de FreeBSD kernel en Xen pagina's zit goede support voor Xen gewoon ingebouwd, zowel Xen-specifiek, als de algemene virt support drivers.

Maar voor ZFS is het wel redelijk cruciaal dat de HDD low-level wordt doorgegeven. Dat houdt dus in dat SMART moet werken, bepaalde ATA/SCSI-commands enz. (Onder andere voor het kunnen herkennen van bad sectors, downspinnen van de disks)

Als je dat als block device of als virtual RDM (ESXi) gaat doorgeven, krijg je problemen.

[Deveon]

Zorc schreef op woensdag 16 januari 2013 @ 12:32:
Twee sata poorten houdt misschien niet over, maar voor een relatief zuinige ESXI home server zie ik dat best wel zitten: Datastore voor de belangrijkste VM's op een SSD, FreeBSD Vm met ZFS mirror met 2 zuinige disks voor data.
Backups en bulk data storage kunnen wat mij betreft prima op een andere bak die dan niet 24h per dag hoeft te draaien.

Aangezien je maar met 2 disken wilt gaan werken is RDM misschien een oplossing voor je. De meeste moederborden is de extra controller niet door te geven. Daar kwam ik ten minste achter nadat ik mn intel DZ77BH-55k had gekocht.

[Compizfox]

analog_ schreef op zondag 10 februari 2013 @ 02:22:
sil3112 en 3114 (2 en 4 poort) werken onder ESXi

Ook onder ESXi 5.1? Mooi! Dat is dan eindelijk een goede 'uitweg'.

en ook 'fake rdm' met vmkfstools -r of -z.

Dat is wat ik nu gebruik, en problemen mee heb.
Virtual RDMs wil ik niet gebruiken omdat ZFS dan niet op de hoogte is van bad sectors, en geen SMART-data kan uitlezen. Daarnaast werkt spindown niet.

Momenteel gebruik ik physical RDMs, maar die werken niet onder FreeBSD 9.1 ("unsupportable block size 0"). Ik draai dus FreeBSD 9.0 maar die is EOL over een maandje.

Wel erg limiterend in bandbreedte.

Dat maakt niet uit, het het is puur 'omdat het moet'. ESXi wil namelijk per se een datastore hebben, die niet op een USB-stick oid mag staan (dat zou een mooie uitweg zijn).

In principe heb ik hem niet eens nodig. ZFSGuru kan ik immers booten via Root-on-ZFS (geen aparte bootschijf nodig dus), en alle andere VM's kan ik op die ZFS-pool zetten die ik 'terug'-beschikbaar maak aan ESXi dmv iSCSI.

[analog_]

Compizfox schreef op zondag 10 februari 2013 @ 02:28:
[...]
Ook onder ESXi 5.1? Mooi! Dat is dan eindelijk een goede 'uitweg'.

[...]
Dat is wat ik nu gebruik, en problemen mee heb.
Virtual RDMs wil ik niet gebruiken omdat ZFS dan niet op de hoogte is van bad sectors, en geen SMART-data kan uitlezen. Daarnaast werkt spindown niet.

Momenteel gebruik ik physical RDMs, maar die werken niet onder FreeBSD 9.1 ("unsupportable block size 0"). Ik draai dus FreeBSD 9.0 maar die is EOL over een maandje.

[...]
Dat maakt niet uit, het het is puur 'omdat het moet'. ESXi wil namelijk per se een datastore hebben, die niet op een USB-stick oid mag staan (dat zou een mooie uitweg zijn).

In principe heb ik hem niet eens nodig. ZFSGuru kan ik immers booten via Root-on-ZFS (geen aparte bootschijf nodig dus), en alle andere VM's kan ik op die ZFS-pool zetten die ik 'terug'-beschikbaar maak aan ESXi dmv iSCSI.

Destijds was dat 4.0, 4.1 en 5.0 inmiddels die rot kaartjes (was bij mij PCI) weggedaan en vervangen door echt speelgoed. Wat ik beschrijf is wel niet de 'mooie' manier van RDM hé... dit is voor ZFS of gevirtualiseerde storage omgevingen suboptimaal. Ik zou toch echt even door sparen voor een m1015 op ebay.

[Pantagruel]

Compizfox schreef op donderdag 14 februari 2013 @ 18:36:
@BlackShadow: Welke versie van ESXi draai je? Want op je bordje zit een ASM1061, en ik meende van Pantagruel gehoord te hebben dat ESXi 5.1 daar support voor zou moeten hebben.

Om een einde te maken aan of het nu wel of niet werkt ben ik aan t testen geslagen.

setup:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470 Boxed	€ 165,40	€ 165,40
1	ASRock B75 Pro3-M	€ 56,45	€ 56,45
1	Corsair Vengeance CML32GX3M4A1600C10	€ 164,90	€ 164,90
Bekijk collectie Importeer producten		Totaal	€ 386,75

ESXI 5.0, herkend de Asmedia controller op de B75 Pro3-M niet, dus dat is geen optie,

ESXi 5.1 op een USB stick, 400 GB SATA disk aan de on-board Panther point SATA controller en een 320 GB SATA disk aan de Asm1061.

Dus Vt-d enabled CPU, kijken wat er gebeurd als ik SATA controllers door ga geven aan een VM.

Als ik:

- De on-board Panther point doorgeef (ESXi datastore disk hangt aan de Asm1061):

No joy , verlies ik meteen ook de ESXi datastore aanwezig op de disk die aan de Asmedia SATA controller hangt. Zoals al eerder vermeldt gaat de Asm1061 dus samen met de Panther point SATA controler mee (kewl, 8 port passthrough ).

-De Asmedia SATA controller doorgeef (ESXi datastore disk hangt aan de Panther Point):

Joy , de ESXI datastore die aan de Pantherpoint hangt herbergt nog steeds de VM en de ZFSguru install die herkend de disk die aan de doorgegeven Asmedia controller hangt. ESXi ziet de Asm als
'unknown:unknown', maar dat maakt ZFSGuru niets uit. De pech blijft wel dat je slechts 2 SATA poorten doorgeeft, niet echt spannend voor je ZFS-pool

Of t doorsteken van de Asm1061 op langere termijn toch voor problemen gaat zorgen kan ik niet uitsluiten.
Deze test is enkel 'proof of principle' en geen duurtest.
Inmiddels draait de eigenlijke ESXI setup al weer.(ssd als datastore, 3 disks via RDM door gegeven aan verschillende VM's)

[BlackShadow]

Pantagruel schreef op donderdag 14 februari 2013 @ 21:47:
[...]


Om een einde te maken aan of het nu wel of niet werkt ben ik aan t testen geslagen.

setup:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470 Boxed	€ 165,40	€ 165,40
1	ASRock B75 Pro3-M	€ 56,45	€ 56,45
1	Corsair Vengeance CML32GX3M4A1600C10	€ 164,90	€ 164,90
Bekijk collectie Importeer producten		Totaal	€ 386,75

ESXI 5.0, herkend de Asmedia controller op de B75 Pro3-M niet, dus dat is geen optie,

ESXi 5.1 op een USB stick, 400 GB SATA disk aan de on-board Panther point SATA controller en een 320 GB SATA disk aan de Asm1061.

Dus Vt-d enabled CPU, kijken wat er gebeurd als ik SATA controllers door ga geven aan een VM.

Als ik:

- De on-board Panther point doorgeef (ESXi datastore disk hangt aan de Asm1061):

No joy , verlies ik meteen ook de ESXi datastore aanwezig op de disk die aan de Asmedia SATA controller hangt. Zoals al eerder vermeldt gaat de Asm1061 dus samen met de Panther point SATA controler mee (kewl, 8 port passthrough ).

-De Asmedia SATA controller doorgeef (ESXi datastore disk hangt aan de Panther Point):

Joy , de ESXI datastore die aan de Pantherpoint hangt herbergt nog steeds de VM en de ZFSguru install die herkend de disk die aan de doorgegeven Asmedia controller hangt. ESXi ziet de Asm als
'unknown:unknown', maar dat maakt ZFSGuru niets uit. De pech blijft wel dat je slechts 2 SATA poorten doorgeeft, niet echt spannend voor je ZFS-pool

Of t doorsteken van de Asm1061 op langere termijn toch voor problemen gaat zorgen kan ik niet uitsluiten.
Deze test is enkel 'proof of principle' en geen duurtest.
Inmiddels draait de eigenlijke ESXI setup al weer.(ssd als datastore, 3 disks via RDM door gegeven aan verschillende VM's)

Het grote voordeel van de H77 Pro4-m is natuurlijk dat er op beide controllers 4 poorten zitten!

[ Voor 3% gewijzigd door BlackShadow op 14-02-2013 22:31 ]

[Pantagruel]

Compizfox schreef op maandag 25 februari 2013 @ 15:24:
[...]

Performance-wise niet, maar vergeet niet dat RDMs voor SATA unsuported zijn en soms rare quirks heeft.

- Met virtual RDMs geef je je schijven als block devices (met SCSI-emulatielaag) door aan ZFS. Qua 'niveau' is dat te vergelijken met iSCSI eigenlijk. ZFS vind dat niet leuk omdat hij niet direct bij de schijf zelf kan: ZFS kan niet te weten komen waar er bad sectors zitten, kan niet bij SMART-data, kan schijven niet downspinnen en ga zo maar door. Niet gebruiken dus.

- Met physical RDMs heb je dat probleem niet, maar alsnog zit er een vertaalslag van AHCI naar SCSI tussen. De geemuleerde SAS-controller heeft oude (virtuele) firmware waardoor dit niet werkt in o.a. FreeBSD 9.1 (ZFSGuru, Nas4Free)

Second that, physical rdm werkt goed. Ik heb sinds december 2012 een OI VM draaien met 2 physical RDM-d drives en die heeft tot op heden nog geen steek laten vallen (link).

Met virtual RDM heb ik al wel problemen gehad. Ubuntu mekkerde bij een reboot over de omvang van de RDM'd disk en ging over zijn nek. Aangezien t een test was ging er gaan data verloren, maar 't was wel voldoende 'schrikken ' om 't gebruik van virt RDM uit te sluiten.

[lithoijen]

Wederom bedankt voor de nuttige info!

ZFS valt dus af icm block devices, maar heeft ook zijn problemen met een extra controller die via vD-t wordt doorgegeven aan de VM ivm oude virtuele firmware (voor sommige OS'en dan tenminste).

Dan neig ik erna om te gaan werken zonder extra controller en de disks via raw device mapping door te geven aan een linux host (of Xpenology). Dan kan ik in de toekomst altijd nog een controller kaart toevoegen indien gewenst.

edit:
Blijkbaar is dat ook geen ideale oplossing:
Met virtual RDM heb ik al wel problemen gehad. Ubuntu mekkerde bij een reboot over de omvang van de RDM'd disk en ging over zijn nek. Aangezien t een test was ging er gaan data verloren, maar 't was wel voldoende 'schrikken ' om 't gebruik van virt RDM uit te sluiten.

Valt me toch een beetje tegen van een dergelijke "professionele oplossing"als ESXI.
Ik lees me eerst even nog wat verder in in de materie voordat ik een aankoop beslissing neem

[ Voor 36% gewijzigd door lithoijen op 25-02-2013 15:56 ]

[FireDrunk]

lithoijen schreef op maandag 25 februari 2013 @ 15:53:
Wederom bedankt voor de nuttige info!

ZFS valt dus af icm block devices, maar heeft ook zijn problemen met een extra controller die via vD-t wordt doorgegeven aan de VM ivm oude virtuele firmware (voor sommige OS'en dan tenminste).

Nee, nou haal je 2 dingen door elkaar... Als je RDM gebruikt (dus iets anders dan VT-d), DAN heb je mogelijk problemen met de virtuele controller onder ESXi.
Met gewoon VT-d werkt dat allemaal prima.

Dan neig ik erna om te gaan werken zonder extra controller en de disks via raw device mapping door te geven aan een linux host (of Xpenology). Dan kan ik in de toekomst altijd nog een controller kaart toevoegen indien gewenst.

Dat is inderdaad een optie.

edit:
Blijkbaar is dat ook geen ideale oplossing:
Met virtual RDM heb ik al wel problemen gehad. Ubuntu mekkerde bij een reboot over de omvang van de RDM'd disk en ging over zijn nek. Aangezien t een test was ging er gaan data verloren, maar 't was wel voldoende 'schrikken ' om 't gebruik van virt RDM uit te sluiten.

Valt me toch een beetje tegen van een dergelijke "professionele oplossing"als ESXI.
Ik lees me eerst even nog wat verder in in de materie voordat ik een aankoop beslissing neem

Dat mekkeren over de disk size is ongeveer hetzelfde probleem als FreeBSD heeft, RDM's die niet goed werken op die virtuele controller geven namelijk size 0 aan.

[lithoijen]

Ach ik denk dat ik hem nu volg!
Best lastig nog dat virtualiseren

- Virtual RDM is geen optie icm ZFS ivm firmware issues.
- Controller doorgeven via vD-t gaat prima, maar vereist een extra controller met als nadeel stroomverbruik en aanschafkosten (over wat voor extra verbruik hebben we het eigenlijk?).
- RDM is een leuke oplossing in combinatie met bijvoorbeeld linux (scheelt het nog veel performance/processor belasting of valt het binnen de marge?)

Ik vind het nu al een leuke puzzel
Al heeft hij best wel veel stukjes, bedankt voor het mee puzelen, ik denk dat ik alle hoekstukjes nu wel heb gevonden, dan wordt de rest van de puzzel vanzelf steeds makkelijker.

[Pantagruel]

lithoijen schreef op maandag 25 februari 2013 @ 15:53:
snip

Valt me toch een beetje tegen van een dergelijke "professionele oplossing"als ESXI.
Ik lees me eerst even nog wat verder in in de materie voordat ik een aankoop beslissing neem

In zoverre professioneel dat ze duidelijk aangeven dat RDM-en van lokale SATA disks geen ondersteuning geniet en dat je dus op jezelf bent aangewezen.

FireDrunk schreef op maandag 25 februari 2013 @ 15:59:
Dat mekkeren over de disk size is ongeveer hetzelfde probleem als FreeBSD heeft, RDM's die niet goed werken op die virtuele controller geven namelijk size 0 aan.

Klopt, Ubuntu gaf eerst aan dat de RDM-d disks groter was dan de opgegeven omvang en bij de tweede (en de daarop volgende) reboot vol hield dat de disk een omvang van 0 had. Physical RDM-en heeft dat probleem verholpen.

Compizfox schreef op maandag 25 februari 2013 @ 16:01:
[...]
Que?

Ik zei dat virtual RDMs afvallen met ZFS

Met physical RDMs kan het wel, maar dat heeft problemen als je FreeBSD 9.1 als guest OS gebruikt.

[...]

Ook dat heb ik niet gezegd. PCI-e passthrough van een complete HBA (waarvoor je VT-d / AMD-Vi nodig hebt), werkt juist WEL altijd zonder problemen.
Maar dat is wel de duurste oplossing door de aanschaf van een losse HBA.

Passthrough heeft tevens t voordeel dat je 3TiB drives zonder problemen kan gebruiken. RDM en vmdk is beperkt tot 2 TiB in omvang.

lithoijen schreef op maandag 25 februari 2013 @ 16:15:
Ach ik denk dat ik hem nu volg!
Best lastig nog dat virtualiseren

- Virtual RDM is geen optie icm ZFS ivm firmware issues.
- Controller doorgeven via vD-t gaat prima, maar vereist een extra controller met als nadeel stroomverbruik en aanschafkosten (over wat voor extra verbruik hebben we het eigenlijk?).
- RDM is een leuke oplossing in combinatie met bijvoorbeeld linux (scheelt het nog veel performance/processor belasting of valt het binnen de marge?)

Ik vind het nu al een leuke puzzel
Al heeft hij best wel veel stukjes, bedankt voor het mee puzelen, ik denk dat ik alle hoekstukjes nu wel heb gevonden, dan wordt de rest van de puzzel vanzelf steeds makkelijker.

De geliefde IBM M1015 verbruikt ca. 10 Watt en deze kost rondom de €100.= excl. kabels.
Ik heb eerlijk gezegd nooit gekeken wat de 'performance impact' is van RDM vs Vt-d passthrough. Met 3 disks middels RDM doorgegeven aan 2 VM's is het geen dermate wilde opstelling dat een SATA HBA nodig was.

Niemand zei dat het gemakkelijk was

[ Voor 26% gewijzigd door Pantagruel op 25-02-2013 16:24 ]

[Compizfox]

lithoijen schreef op maandag 25 februari 2013 @ 16:15:
Ach ik denk dat ik hem nu volg!
Best lastig nog dat virtualiseren

Bijna

- Virtual RDM is geen optie icm ZFS ivm firmware issues.

- Virtual RDM is geen optie icm ZFS omdat virtual RDM betekent dat je een schijf als block device doorgeeft. ZFS wil (om eerdergenoemde redenen) graag een echte schijf zien.

- Physical RDM geeft een schijf wél door 'als echte schijf' maar FreeBSD 9.1 heeft daar en probleem mee.
Als je het in detail wilt weten: In FreeBSD 9.1 zit een nieuwe driver voor de geemuleerde LSI MPT controller. Deze driver heeft dus een bug met oudere firmwareversies.
ESXi heeft zo'n oude firmwareversie in die geemuleerde controller zitten.

Enerzijds is het dus een probleem van die driver (de bug zit immers daarin), anderzijds is het niet netjes van VMWare dat ze hun virtuele firmware niet up-to-date houden.

[Compizfox]

DDC schreef op woensdag 13 maart 2013 @ 22:50:
Ondersteund ESXi ZFS dan? Want anders ga ik daar even 40 a4tjes over lezen.

Wat bedoel je hier precies mee? ESXi kan natuurlijk zelf geen ZFS 'doen', maar het is de bedoeling dat je dat laat afhandelen door een VM.

Je geeft dan een hele HBA door met PCI-e passthrough (aanbevolen) of losse schijven dmv RDM (doe maar niet, eigenlijk).

Toevallig hebben best wel veel Tweakers in dit topic en Het grote ZFS topic ESXi + ZFS draaien, waaronder ik

Check als je geinteresseerd bent in ZFS ook zeker even de topicstart van bovenstaand topic, erg duidelijk beschreven imho

[ Voor 9% gewijzigd door Compizfox op 13-03-2013 23:03 ]

[thof]

RDM had volgensmij wel zo z'n kuren met ZFS omdat ZFS dan geen volledige controle over de disk heeft. Volgensmij zat er ook een 2TB limiet aan een RDM?

[FireDrunk]

Met Physical RDM moet je volgens mij spindown hebben, bij Virtual niet.
Bij Physical RDM heb je alleen problemen met ZFS r in FreeBSD 9.1, omdat de driver problemen geeft icm RDM (Disk word als 0 bytes disk gedetecteerd).

Elke vorm van RDM is gelimiteerd tot 2TB.

[Tsurany]

Zouden jullie een beetje met mij mee kunnen denken? Ik heb op dit moment een oude server met Windows Server 2008 R2 en heb daar 4x1TB en 2x1.5TB draaien waarbij FlexRAID een van de 1,5TB schijven voor parity gebruikt. In de praktijk dus 5,5TB opslag. Nu is dit niet een van de stabielste methoden en wil ik graag overstappen naar ZFS. Omdat ik mijn server ook voor andere zaken gebruik (vooral downloaden en backups) wil ik graag Windows blijven draaien. Dan is virtualisatie al snel de logische stap, twee VM's waarbij de ZFS VM alle data opslag voor zijn rekening neemt.

Het plan is als volgt:
4x1TB in RAIDZ
4x1,5TB in RAIDZ

Nu is mijn hardware zwaar verouderd (Asus M3N-HD/HDMI, AMD Athlon X2 4850e en 2GB RAM) dus zal er nieuwe hardware moeten komen. Ik wil het echter zo goedkoop mogelijk houden omdat ik geen high-performance server nodig heb, wel moet hij gewoon stabiel werken zonder al te veel rare foefjes.
Tevens moet ik minimaal 9 en liefst 10 harde schijven aan kunnen sluiten. Ik heb namelijk nog 1x160GB en 1x250GB die ik wil inzetten als datastore. ESXi zal vanaf USB stick draaien.

Nu lees ik dat ik voor de harde schijven twee opties heb, namelijk Physical RDM en "het doorgeven van een complete HBA met PCI-e passthrough". Physical RDM gaat niet werken met FreeBSD 9.1 volgens de TS, is dit nog steeds de situatie of is dit al opgelost? En betekent dit dat ik dan perse ben overgeleverd aan VT-D? Dit betekent dat de kosten nogal omhoog zullen gaan.
Is er nog een andere oplossing? Ik zou graag de kosten exclusief harde schijven, voeding en behuizing rond de 300 euro willen houden. Is dit mogelijk of ben ik een beetje te veel aan het dromen?

[Tsurany]

Hoger stroomverbruik is op lange termijn niet wenselijk. Dit systeem moet wel de komende jaren mee gaan en ik denk dat het verschil in een jaar of vier wel merkbaar zal worden?

Ik ben nu hier op uitgekomen als optie:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 155,95	€ 155,95
1	Mushkin Silverline 8GB DDR3 PC3-10666 9-9-9-24	€ 51,-	€ 51,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
Bekijk collectie Importeer producten		Totaal	€ 325,53

Daar moet dan nog een moederbord bij waarvan de SATA controller ondersteund wordt in ESXi. Een alternatief leek mij het vervangen van de IBM M1015 door een SIL3114. Dan kan ik deze gebruiken voor de datastores en de onboard SATA poorten doorgeven aan de ZFS VM. Echter moet het moederbord dan wel 8x SATA poorten hebben.

Welk moederbord zou bij deze situatie goed passen?


Oh en nog een andere vraag, hoe realistisch is RDM gebruiken met een oudere versie van FreeBSD? Is dit verstandig of ga je tegen issues aanlopen? Als het voor FreeBSD 9.1 heeft gewerkt zal het met een oudere versie toch blijven werken? Ik zoek eigenlijk een goedkope storage oplossing, snelheid is niet heel relevant en features ook niet echt. Gewoon ZFS gebruiken voor media storage.


Edit: Even wat rond gezocht en dit gevonden:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 155,95	€ 155,95
1	MSI B75MA-P45	€ 54,95	€ 54,95
1	Mushkin Silverline 8GB DDR3 PC3-10666 9-9-9-24	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 261,90

Moederbord NIC zou werken met ESXi, VT-D zou werken en SATA controllers worden herkend. Dan een SIL3114 voor de datastores en SIL3112 voor twee van de 1TB schijven en dan heb ik acht schijven voor ZFS en kan ik vier schijven gebruiken voor datastores en andere zaken.

Gaat dit goed werken?

Edit 2: Geen 2xPCI, dan gaat het niet werken

[ Voor 34% gewijzigd door Tsurany op 09-07-2013 14:45 ]

[FireDrunk]

Tsurany schreef op dinsdag 09 juli 2013 @ 11:06:
Zouden jullie een beetje met mij mee kunnen denken? Ik heb op dit moment een oude server met Windows Server 2008 R2 en heb daar 4x1TB en 2x1.5TB draaien waarbij FlexRAID een van de 1,5TB schijven voor parity gebruikt. In de praktijk dus 5,5TB opslag. Nu is dit niet een van de stabielste methoden en wil ik graag overstappen naar ZFS. Omdat ik mijn server ook voor andere zaken gebruik (vooral downloaden en backups) wil ik graag Windows blijven draaien. Dan is virtualisatie al snel de logische stap, twee VM's waarbij de ZFS VM alle data opslag voor zijn rekening neemt.

Het plan is als volgt:
4x1TB in RAIDZ
4x1,5TB in RAIDZ

Nu is mijn hardware zwaar verouderd (Asus M3N-HD/HDMI, AMD Athlon X2 4850e en 2GB RAM) dus zal er nieuwe hardware moeten komen. Ik wil het echter zo goedkoop mogelijk houden omdat ik geen high-performance server nodig heb, wel moet hij gewoon stabiel werken zonder al te veel rare foefjes.
Tevens moet ik minimaal 9 en liefst 10 harde schijven aan kunnen sluiten. Ik heb namelijk nog 1x160GB en 1x250GB die ik wil inzetten als datastore. ESXi zal vanaf USB stick draaien.

Nu lees ik dat ik voor de harde schijven twee opties heb, namelijk Physical RDM en "het doorgeven van een complete HBA met PCI-e passthrough". Physical RDM gaat niet werken met FreeBSD 9.1 volgens de TS, is dit nog steeds de situatie of is dit al opgelost? En betekent dit dat ik dan perse ben overgeleverd aan VT-D? Dit betekent dat de kosten nogal omhoog zullen gaan.
Is er nog een andere oplossing? Ik zou graag de kosten exclusief harde schijven, voeding en behuizing rond de 300 euro willen houden. Is dit mogelijk of ben ik een beetje te veel aan het dromen?

Ja dat kan wel, maar dan moet je naar AMD kijken, en daar is het stroomgebruik hoger. Als de server niet de hele dag aan staat kan je dat overwegen, maar als hij 24/7 aan staat ben je goedkoper uit met een Intel setup.

Spuit 11...

Tsurany schreef op dinsdag 09 juli 2013 @ 14:15:
Hoger stroomverbruik is op lange termijn niet wenselijk. Dit systeem moet wel de komende jaren mee gaan en ik denk dat het verschil in een jaar of vier wel merkbaar zal worden?

Ik ben nu hier op uitgekomen als optie:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 155,95	€ 155,95
1	Mushkin Silverline 8GB DDR3 PC3-10666 9-9-9-24	€ 51,-	€ 51,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
Bekijk collectie Importeer producten		Totaal	€ 325,53

Daar moet dan nog een moederbord bij waarvan de SATA controller ondersteund wordt in ESXi. Een alternatief leek mij het vervangen van de IBM M1015 door een SIL3114. Dan kan ik deze gebruiken voor de datastores en de onboard SATA poorten doorgeven aan de ZFS VM. Echter moet het moederbord dan wel 8x SATA poorten hebben.

Welk moederbord zou bij deze situatie goed passen?


Oh en nog een andere vraag, hoe realistisch is RDM gebruiken met een oudere versie van FreeBSD? Is dit verstandig of ga je tegen issues aanlopen? Als het voor FreeBSD 9.1 heeft gewerkt zal het met een oudere versie toch blijven werken? Ik zoek eigenlijk een goedkope storage oplossing, snelheid is niet heel relevant en features ook niet echt. Gewoon ZFS gebruiken voor media storage.


Edit: Even wat rond gezocht en dit gevonden:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 155,95	€ 155,95
1	MSI B75MA-P45	€ 54,95	€ 54,95
1	Mushkin Silverline 8GB DDR3 PC3-10666 9-9-9-24	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 261,90

Moederbord NIC zou werken met ESXi, VT-D zou werken en SATA controllers worden herkend. Dan een SIL3114 voor de datastores en SIL3112 voor twee van de 1TB schijven en dan heb ik acht schijven voor ZFS en kan ik vier schijven gebruiken voor datastores en andere zaken.

Gaat dit goed werken?

Edit 2: Geen 2xPCI, dan gaat het niet werken

Je kan ook Native FreeBSD/ZFSguru draaien, en in VirtualBox een Windows VM maken... Dat werkt ook prima, en aangezien performance toch geen probleem is, zou dat prima aan jouw wensen moeten voldoen?

[ Voor 53% gewijzigd door FireDrunk op 09-07-2013 14:46 ]

[Tsurany]

FireDrunk schreef op dinsdag 09 juli 2013 @ 14:44:
Je kan ook Native FreeBSD/ZFSguru draaien, en in VirtualBox een Windows VM maken... Dat werkt ook prima, en aangezien performance toch geen probleem is, zou dat prima aan jouw wensen moeten voldoen?

Performance van de storage is geen echte issue, ik zou graag wel ESXi willen draaien puur omdat ik dit interessant vind.

Ik zit op dit moment met twee punten:
1: Geschikt moederbord
2: VT-D versus physical RDM met oudere FreeBSD versie

Punt 1: Ik heb nu pricewatch: Asrock H77 Pro4/MVP op het oog. Ik kan dan deze 8 poorten gebruiken voor ZFS en dan een SIL3114 voor de datastores. Werkt niet goed met ESXi 5.1 maar wel met 5.0. Dit zal geen groot issue zijn toch? Zal ik echt ESXi 5.1 willen hebben? Welk ander moederbord met 8x SATA zou geschikt zijn?

Punt 2: Dan is het de vraag of ik perse VT-D nodig heb of dat physical RDM prima werkt met een oudere FreeBSD versie. Wat is hier wijsheid? Het gaat om een aardig prijsplaatje aangezien een i5 overkill is in mijn situatie en een Pentium of i3 prima zal zijn.


Story of my life. Ik wil iets maar wil het dan wel goedkoop hebben en loop dan tegen issues aan omdat ik beknibbel. Ach, wel een uitdaging

[ Voor 6% gewijzigd door Tsurany op 09-07-2013 14:56 ]

[Compizfox]

Ja, physical RDM werkt prima met FreeBSD 9.0. Maar ja, daarvan is de support afgelopen en zo... Dus niet echt handig om op zo'n oude versie te moeten blijven steken.

Wat je ook kunt doen is een moederbord met 6 SATA-poorten aanschaffen + een ASM1061 (voor 2 extra SATA-poorten). Die twee kaarten zet je dan in passthrough terwijl je een (trage!) sil3112/sil3114 voor de datastore gebruikt.

Punt 1: Ik heb nu pricewatch: Asrock H77 Pro4/MVP op het oog. Ik kan dan deze 8 poorten gebruiken voor ZFS en dan een SIL3114 voor de datastores. Werkt niet goed met ESXi 5.1 maar wel met 5.0. Dit zal geen groot issue zijn toch? Zal ik echt ESXi 5.1 willen hebben? Welk ander moederbord met 8x SATA zou geschikt zijn?

Het maakt niet uit of de HBA op je moederbord niet goed werkt met ESXi, want die geef je toch door aan je VM. ESXi hoeft er zelf niet mee overweg te kunnen

[ Voor 38% gewijzigd door Compizfox op 09-07-2013 15:51 ]

[Tsurany]

Compizfox schreef op dinsdag 09 juli 2013 @ 15:50:
Ja, physical RDM werkt prima met FreeBSD 9.0. Maar ja, daarvan is de support afgelopen en zo... Dus niet echt handig om op zo'n oude versie te moeten blijven steken.

Dus feitelijk is VT-D de enige reële optie in mijn situatie?

Wat je ook kunt doen is een moederbord met 6 SATA-poorten aanschaffen + een ASM1061 (voor 2 extra SATA-poorten). Die twee kaarten zet je dan in passthrough terwijl je een (trage!) sil3112/sil3114 voor de datastore gebruikt.

Klinkt goed.

Het maakt niet uit of de HBA op je moederbord niet goed werkt met ESXi, want die geef je toch door aan je VM. ESXi hoeft er zelf niet mee overweg te kunnen

Dus elk moederbord zal werken want ESXi zal de controller volledig doorgeven? De controller hoeft niet ondersteund te worden om doorgegeven te worden? Feitelijk is dus enkel comptabiliteit met FreeBSD relevant?
En de NIC moet compatibel zijn met ESXi tenzij ik een externe NIC gebruik right?

Heb jij of iemand anders tips qua moederbord? Ik overweeg nu pricewatch: ASRock B75 Pro3-M, schijnt prima te werken met VT-D en passtrough zou moeten werken met ESXi. Enkel onboard NIC wordt niet ondersteund. Dit zou bij de pricewatch: ASRock H77 Pro4-M wel moeten werken, correct?

Dan zou dit een goed systeem moeten zijn?

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 155,95	€ 155,95
1	ASRock H77 Pro4-M	€ 68,95	€ 68,95
1	Mushkin Silverline 8GB DDR3 PC3-10666 9-9-9-24	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 275,90

In combinatie met een simpel PCI kaartje voor datastores.

FireDrunk schreef op dinsdag 09 juli 2013 @ 16:06:
Tja het is gewoon simpel. ZFS combineren met ESXi kost je gewoon geld. Als je dat er niet aan uit wil geven, ga je later altijd spijt hebben.

Je kan ook kijken of je tweedehands iets op de kop kan tikken (Sandy Bridge setjes zijn qua energieverbruik ook prima)

Of je nou 17W idle of 19W idle verbruikt, daar moet je je niet zo druk over maken...

Geld uitgeven doe ik enkel als het nodig is. Ik wil een goed functionerende setup maar die wil ik zo goedkoop mogelijk krijgen. Als ZFS en ESXi betekent dat ik VT-D moet nemen dan is dat acceptabel, echter zou het niet hoeven dan zou ik er niet direct voor kiezen.

Tweedehands ga ik niet snel doen, de nieuwprijs is betaalbaar en ik heb liever gewoon volledige garantie.

[ Voor 34% gewijzigd door Tsurany op 09-07-2013 22:16 ]

[FireDrunk]

cooLopke schreef op dinsdag 16 juli 2013 @ 11:35:
[...]


Oké, dit is al positief. Dan ga ik inderdaad kiezen om te booten via USB.


[...]


Wat bedoel je hier precies mee? Heb je hier misschien een voorbeeld van? Ik veronderstel dat ik dan 1 VM bv. Linux VM1 (waar al mijn multimedia data op draait) toch in RAID kan plaatsen? Die Linux VM1 gaat geen freenas worden, maar een gewone ubuntu server dan.

In ieder geval zou dat ideaal zijn, omdat op deze VM de grootste hoeveelheid data terecht komt. Hoe kan ik dit precies doen? Over hoeveel performantie verlies spreek je dan?

Stel je hebt 4 * 1TB onboard aangesloten, je maakt RDM mappings aan van al die schijven naar je Linux VM. Deze laat je door MDADM *in* de VM te gebruiken, een RAID5 (of 6) array maken en deze exporteer je via NFS lokaal weer terug aan ESXi (over het netwerk dus). Daarna kan je nieuwe VM's aanmaken op die NFS share.

[...]


Als bovenstaande manier "werkt" dan niet, indien ik dit wil dan moet ik eigenlijk mijn Intel Celeron vervangen door een i5-3330. Dit is wel even balen, aangezien ik die Intel Celeron G1610 heb gekocht op aanraden van het grote zuinige server topic.

Een i5-3330 verbruikt idle maar een fractie (lees hooguit 4-5W) meer dan een G1610. En een G1610 raak je tweedehands makkelijk kwijt.. (*hint hint, kies mij *)

[...]
Als ik RAID kan opstellen voor linux VM1 (ubuntu server), zoals heel bovenaan staat heb ik niet zozeer een backup meer nodig. Het is dus vooral de data van de fileserver wat ik gebackupt wil hebben of als redundantie mogelijk is, is dat ook goed.

Als je ZFS zou gaan gebruiken zou ik het nog wel ok vinden (dan kan je met snapshots nog op een redelijke manier backups maken) maar met Linux RAID is dat echt gevaarlijk. RAID is echt niet heilig.

[...]

MDADM is hetgene wat ik momenteel gebruik voor de ubuntu server. Jij raadt dit sterk af. Ik veronderstel dat je dan nog meer performantie verlies hebt of waarom gaat dit precies *slecht* functioneren?

Nee hoor, ik raad MDADM helemaal niet af, ik heb het zelf jaren gebruikt. Ik raad het alleen af in combinatie met ESXi zonder VT-d en vanwege performance. MDADM is een prima RAID engine, maar is niet super snel als het gaat om random IOPS, sequentieel is het prima.

Externe backups is natuurlijk een oplossing, maar zoals je ziet ga ik 4 TB data op de fileserver hebben, dus dat wil zeggen dat ik nog een aantal externe schijfjes ga moeten bijkopen, dan koop ik beter een i5-3330 (zelfde hoeveelheid geld kwijt), zodat ik VT-d heb en ZFS kan kiezen. (Het is trouwens de eerste keer dat ik over ZFS hoor, blijkbaar is dit het meest geavanceerde bestandssysteem ooit! Als ik kijk op ZFSguru.com en hetgene lees op de home pagina klinkt dit allemaal te mooi om waar te zijn)

Je gaat mij niet vertellen dat die 4TB onvervangbaar is... Je kan voor het geld dat je uitspaart op je CPU ook een extra 4TB schijf kopen en die in een externe USB3.0 behuizing zetten en 90% van al je data backuppen... Het is maar waar je je prioriteiten legt. Als je mensen vraagt wat *echt* belangrijk is, komen ze vaak maar aan een paar GB. Dat kan prima op DropBox of op CrashPlan...

Als je echt 4TB aan films van je kinderen hebt ofzo die onvervangbaar zijn, dan moet je ook niet voor zo'n goedkope oplossing gaan...

Stel dat ik kies voor totaal geen RAID te gebruiken, dan heb ik als het ware 4 datastores of ben ik mis? (1 datastore van de samsung 840 SSD, en 3 aparte datastores voor elk van de schijven). Kan ik dan onderstaande partities maken? Of gaat dit dan nog niet?

Voorbeeld SSD (datastore1 => opgedeeld over de 4 VM's):
- Windows server VM => 35 GB
- Linux ubuntu server VM1 => 20 GB
- Linux ubuntu server VM2 => 20 GB
- Linux ubuntu server VM3 => 20 GB

Bovenstaande is system data.

Voorbeeld HDD1-3 (datastore2-4):
- Windows Server VM => 300 GB
- Linux ubuntu server VM1 (multimedia data op ubuntu server waarschijnlijk freenas) => 4 TB
- Linux ubuntu server VM2 (LAMP) => 100 GB
- Linux ubuntu server VM3 (testvm) => 50 GB

Alvast bedankt voor de eerdere reactie!

Ja dat kan wel, alleen kan je niet zomaar een VM over meerdere disks heel 'spannen' dan moet je de VM meerdere schijven geven. ESXi heeft geen pools ofzo als het gaat om lokale schijven.

(Voor de andere ESXi kenners: Laten we alsjeblieft extents buiten beschouwing laten, dat is een waardeloze functie om in deze context te gebruiken...)

Tha_Butcha schreef op dinsdag 16 juli 2013 @ 13:16:
[...]


Volgens mij bedoelt hij het volgende:

Je draait op 1 VM bijv linux, en slaat daar je .vmdk files op, en connect die weer terug naar ESXi, zodat je daar de rest van je vm's mee kan laden.

Uh, je legt het erg vaag uit, doe maar niet

[...]


De i5-3330 is ook redelijk zuinig en de goedkoopste proc als je VT-d (meerdere mensen hier hebben hem draaien, incl. mijzelf)


[...]


RAID =! Backup.

Couldn't agree more...

[...]
ZFS is idd. redelijk populair op het moment vanwege alle features. Je zou ook nog kunnen kijken naar Nexenta (solaris) of NAS4Free (FreeBSD). Zeker met grote hoeveelheden data (meerdere TB's) is ZFS aan te raden, al alleen maar vanwege het feit dat een RAID5 array van 5 TB verschrikkelijk lang duurt om te rebuilden (waardoor statistisch de kans erg groot is dat er tijdens de rebuild is mis gaat).

Let wel op dat ZFS nog al memory hungry is (1GB per TB storage en sowieso al 4GB base uit mijn hoofd), dus met al je andere VM's zou je qua geheugen nog problemen kunnen krijgen als je niet meer geheugen bijkoopt.

Dat is een enterprise vuistregel, en helemaal niet van toepassing bij thuisgebruikers.

[...]
In principe kan dat wel, vraag is of je dat wil i.v.m. hardware failure en backups e.d.

Mee eens.

[Tha_Butcha]

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
[...]

Uh, je legt het erg vaag uit, doe maar niet

Ja, ik heb het ff versimpeld uitgelegd. Maar goed, wil je hem echt laten klooien met RDM's en RAID?

Dat is een enterprise vuistregel, en helemaal niet van toepassing bij thuisgebruikers.

Ik had hem van de FreeNAS ZFS system requirements. In hoeverre geldt dat voor Tweakers (powerusers die flink wat HD content over hun netwerk pompen en veel filesharing doet)?

Het destreffende stukje:

The best way to get the most out of your FreeNAS® system is to install as much RAM as possible. If your RAM is limited, consider using UFS until you can afford better hardware. FreeNAS® with ZFS typically requires a minimum of 8 GB of RAM in order to provide good performance and stability. The more RAM, the better the performance, and the FreeNAS® Forums provide anecdotal evidence from users on how much performance is gained by adding more RAM. For systems with large disk capacity (greater than 8 TB), a general rule of thumb is 1 GB of RAM for every 1 TB of storage.

[cooLopke]

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
Stel je hebt 4 * 1TB onboard aangesloten, je maakt RDM mappings aan van al die schijven naar je Linux VM. Deze laat je door MDADM *in* de VM te gebruiken, een RAID5 (of 6) array maken en deze exporteer je via NFS lokaal weer terug aan ESXi (over het netwerk dus). Daarna kan je nieuwe VM's aanmaken op die NFS share.

Oké... Als ik het goed begrijp dan ben je eigenlijk alle VM's op die één bepaalde VM aan het plaatsen? M.a.w. gaat er dan 1 "storage vm" zijn met alle VMDK bestanden op en heb je de zogezegde MDADM RAID. Klopt dit?

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
Een i5-3330 verbruikt idle maar een fractie (lees hooguit 4-5W) meer dan een G1610. En een G1610 raak je tweedehands makkelijk kwijt.. (*hint hint, kies mij *)

Als ik een processor kies uit deze lijst zou kiezen. Dan zou VT-d dus moeten werken? Dan kan ik dus ook een 2dehandse processor zoeken uit de Sandy Bridge of eerdere reeks of is er een reden waarom iedereen de i5-3330 neemt?

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
Als je ZFS zou gaan gebruiken zou ik het nog wel ok vinden (dan kan je met snapshots nog op een redelijke manier backups maken) maar met Linux RAID is dat echt gevaarlijk. RAID is echt niet heilig.

Ik hoop daarom dat het ook mogelijk is met een vorige generatie processor uit de sandy bridge reeks. Een i5-2400 bijvoorbeeld.

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
Nee hoor, ik raad MDADM helemaal niet af, ik heb het zelf jaren gebruikt. Ik raad het alleen af in combinatie met ESXi zonder VT-d en vanwege performance. MDADM is een prima RAID engine, maar is niet super snel als het gaat om random IOPS, sequentieel is het prima.

Oké, ik begrijp het.

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
Je gaat mij niet vertellen dat die 4TB onvervangbaar is... Je kan voor het geld dat je uitspaart op je CPU ook een extra 4TB schijf kopen en die in een externe USB3.0 behuizing zetten en 90% van al je data backuppen... Het is maar waar je je prioriteiten legt. Als je mensen vraagt wat *echt* belangrijk is, komen ze vaak maar aan een paar GB. Dat kan prima op DropBox of op CrashPlan...

Als je echt 4TB aan films van je kinderen hebt ofzo die onvervangbaar zijn, dan moet je ook niet voor zo'n goedkope oplossing gaan...

Nee, als een schijf crasht dan is het zo natuurlijk. Niets aan te doen. Ik weet dat RAID =! Backup, maar iets van de 2 hebben is altijd beter dan geen van beide...

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:00:
Ja dat kan wel, alleen kan je niet zomaar een VM over meerdere disks heel 'spannen' dan moet je de VM meerdere schijven geven. ESXi heeft geen pools ofzo als het gaat om lokale schijven.

(Voor de andere ESXi kenners: Laten we alsjeblieft extents buiten beschouwing laten, dat is een waardeloze functie om in deze context te gebruiken...)

Zoals ik eerder heb vermeldt, heb ik nog nooit een ESXI server opgezet, dus ik weet ook totaal niet hoe het zit met de verdeling van de storage. Ik zoek alleen naar de best mogelijke oplossing voor mijn huidige hardware. Hoe kan ik best te werk gaan als ik de OS'en dus system data op de SSD wil en data op de HDD's. Indien die SSD voor miserie zorgt, dan leg ik deze er wel buiten en blijf ik gewoon bij de HDD's.

Het zou handig zijn als je schetsje maakt voor zowel als ik kies voor de optie aparte HDD's en als ik ga voor ZFS. Dat zou me al een stuk verder helpen.

Ik ben toch al wat wijzer geworden dus hartelijk bedankt voor de reacties! Ook mijn excuses indien mijn reacties te "dom" overkomen, want als ik sommige pro posts hier lees..

edit: na wat nadenken dat ik de storage wijze van esxi begin te begrijpen. Dus zoals je eerder aanhaalde gaan de VM's op een SSD/HDD worden opgeslaan. Dus hiervoor kies ik voor mijn SSD aangezien ik wil dat mijn VM's snel zijn opgestart. De aparte HDD's kan ik dan gebruiken als datastores en die als volgt toevoegen aan de betreffende VM's. Klopt dit?

[ Voor 5% gewijzigd door cooLopke op 17-07-2013 02:03 ]

[Compizfox]

McGreenNL schreef op vrijdag 19 juli 2013 @ 20:55:
[...]


Ik heb spindown aanstaan op mijn RAID controller (LSI 9260) op 30 minuten en in Windows 2008 R2 op 20 minuten, maar nog steeds gebeurd er vrij weinig.
Het is een schone installatie, met niks geinstalleerd

Als ik de RAID controller direct doorgeef aan de VM werkt het wel.

Maar ik wil graag snapshots kunnen maken, daarom dat ik RDM wil.

Gebruik je ook ZFS? Dan kan ik dat Virtual RDM wat je gebruikt sterk afraden. ZFS wil graag een 'echte' schijf zien en geen block device (waar ESXi tussen zit met z'n snapshots)

Maar met Virtual RDM ga je inderdaad spindown niet werkend krijgen omdat ESXi daar zelf geen functie voor heeft.
Met Physical RDM kan het wel, omdat je dan een schijf doorgeeft ipv een block device.

[ Voor 13% gewijzigd door Compizfox op 21-07-2013 19:37 ]

[FrankGNL]

Compizfox schreef op zondag 21 juli 2013 @ 19:36:
[...]

Gebruik je ook ZFS? Dan kan ik dat Virtual RDM wat je gebruikt sterk afraden. ZFS wil graag een 'echte' schijf zien en geen block device (waar ESXi tussen zit met z'n snapshots)

Maar met Virtual RDM ga je inderdaad spindown niet werkend krijgen omdat ESXi daar zelf geen functie voor heeft.
Met Physical RDM kan het wel, omdat je dan een schijf doorgeeft ipv een block device.

Het is een fysieke rdm omdat mijn logische volume 12TB is. De vm is geinstalleerd met windows 2008r2, en hier staan de power settings op low en spindown nu op 30 minuten
Ik heb het getest met hyperv en daar werkt het wel.

[gassiepaart]

FireDrunk schreef op maandag 26 augustus 2013 @ 18:28:....

Beter neem je een klein 2.5" laptop schijfje, of een kleine SSD, waar je je ZFS installatie op doet, en share je de ZFS pool terug naar ESXi, en zet je daar je VM's op.

Dit snap ik niet helemaal, maar het idee staat me wel aan De SSD is dan een RDM? De installatie van een vm moet toch op een vmdk?

[FireDrunk]

Kek schreef op dinsdag 03 september 2013 @ 16:14:
[...]


ik had dit eerder in deze thread gezien:


[...]


Daar zit wel spul tussen wat mij zuinig lijkt.

Dat is zo ongeveer de zuinigste setup nu mogelijk (op een 19V systeem na).

Ik vraag me alleen af hoeveel watt dat verbruikt.

Hangt nogal af van je OS, ik heb hier zo'n setje (alleen dan met een ASRock H77 Pro4-M) op 20W idle met een 1e generatie Wide Input PicoPSU (wat ouder dan de huidige)

mijn WD Green WD20EARXs hebben sata6 gb/s, ga ik er in watvoor geval ook op achteruit als ik die op een sata 3gb poort aansluit?

Nee.

en heb ik om deze schijven direct naar een guest te sturen vt-d nodig? ik dacht van niet...

Dat ligt er een beetje aan wat je ermee wil doen, wil je er ZFS op draaien, dan zou ik het niet doen, ga je Linux MD RAID of helemaal geen RAID draaien, kan het wel.

[...]
De reden dat ik voor zfs zou kiezen is omdat ik de WD Green WD20EARX als schijven gebruik, ik zou Raid5 of raidz1 willen gebruiken, en heb begrepen dat die greens niet lekker werken met raid controllers en raid5 dus eigelijk af valt

De opstelling hoeft niet retesnel te zijn, het gaat voornamelijk om grotere opslag en redelijke doorvoer.

Zoals ik hierboven al zeg is ZFS combineren met RDM (want dat is je enige optie als je geen VT-d en een extra controller gebruikt) niet echt een goede oplossing. Er zijn verhalen dat het kan, maar het is een nogal shady gebied... Liever niet dus.

[DrDoo]

Heb nu een aantal dagen mijn ESXi 5.1 servertje draaien. Draait nog niet hoe ik wil maar hopelijk binnenkort.

#	Product	Prijs	Subtotaal
1	Intel Core i7 4770 Boxed	€ 267,-	€ 267,-
1	ASRock B85M Pro4	€ 64,20	€ 64,20
1	Cooler Master Elite 344 USB 3.0 Zilver	€ 31,64	€ 31,64
1	HP NC364T PCI Express Quad Port Gigabit Server Adapter	€ 150,32	€ 150,32
2	Crucial Ballistix Sport BLS2CP8G3D1609DS1S00CEU	€ 110,-	€ 220,-
1	be quiet! Pure Power L8 300W	€ 38,40	€ 38,40
1	Samsung 840 series Pro 256GB	€ 193,99	€ 193,99

Op dit moment zitten er nog het volgende in;

#	Product	Prijs	Subtotaal
4	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 0,-

En een Fujitsu 2.5" Notebook HDD als lokale datastore. De F4's zijn dmv passthrough RDM aan een Windows 2012 storage server gehangen (geen Spindown).

Volgende staat nog in bestelling;

1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
4	Seagate Desktop HDD.15 (OEM), 4TB	€ 148,-	€ 592,-

En is bedoeld om een ZFS VM te maken (nog geen keuze kunnen maken tussen FreeNAS of nas4free of ZFSguru).

Gebruik zit op 54 Watt, dit is dus zonder spindown en gemeten met een plugwise circle.
Wellicht dat ik hem nog wat verder kan tweaken maar al met al ben ik redelijk tevreden over deze cijfers.

[Compizfox]

Tsurany schreef op dinsdag 10 september 2013 @ 15:31:
Ze bieden allen ZFS aan en zijn allen gebaseerd op een FreeBSD variant. Het is vooral persoonlijke voorkeur. Ik vind de interface van FreeBSD een stuk fijner maar anderen zweren weer bij ZFSGuru.

ZFSGuru is FreeBSD

---

FireDrunk schreef op dinsdag 10 september 2013 @ 19:20:
Ik heb al meerdere keren (zowel in ZFS topic als hier) uitgebreid gereageerd op die post... Tis dikke kolder...

Er zit wel een kern van waarheid in hoor, het is alleen veel genuanceerder.

Ik zal ze ff weerleggen/nuanceren:

FreeNAS is designed to run on bare metal, without any clever storage systems (UNIX/VMFS filesystem layers, RAID card caches, etc!) getting in the way. Think about this: ZFS is designed to implement the functionality of a RAID controller. However, its cache is your system's RAM, and its processor is your system's CPU, both of which are probably a lot larger and faster than your hardware RAID controller's cache!

Ja, true. Maar, so what? Als je ESXi gebruikt geldt dat nog steeds gewoon

Without direct access to the hard drives, FreeNAS lacks the ability to read SMART data and identify other storage failures.

True. Daarom moet je ook physical RDM gebruiken of (beter nog) een controller doorgeven met VT-d.

A lot of the power of FreeNAS comes from ZFS. Passing your hard disks to ZFS as RDM to gain the benefits of ZFS *and* virtualization seems like it would make sense, except that the actual experiences of FreeNAS users is that this works great, right up until something bad happens, at which point usually more wrong things happen, and it becomes a nightmare scenario to work out what has happened with RDM, and in many instances, users have lost their pool. VMware does not support using RDM in this manner, and relying on hacking up your VM config file to force it to happen is dangerous and risky.

Ik denk dat ik wel weet wat meneer hiermee bedoelt: Virtual RDM. Dat moet je inderdaad niet gebuiken met ZFS. Gelukkig hebben we ook nog Physical RDM, wat meneer voor het gemak even buiten beschouwing laat.

FreeNAS with hardware PCI passthrough of the storage controller (Intel VT-d) is a smart idea, as it actually addresses the three points above. However, PCI passthrough on most consumer and prosumer grade motherboards is unlikely to work reliably. VT-d for your storage controller is dangerous and risky to your pool. A few server manufacturers seem to have a handle on making this work correctly, but do NOT assume that your non-server-grade board will reliably support this (even if it appears to).

Bullshit. Als je een moederbord uitzoekt wat IOMMU ondersteunt (vooronderzoek vereist!), gaat het gewoon werken. PCI-e passthrough hebben we het dan over, PCI werkt vaak niet.

Virtualization tempts people to under-resource a FreeNAS instance. FreeNAS can, and will, use as much RAM as you throw at it, for example. Making a 4GB FreeNAS VM may leave you 12GB for other VM's, but is placing your FreeNAS at a dangerously low amount of RAM.

Ja dus? Alweer geen geldig argument. Gewoon zorgen dat je genoeg RAM aan FreeBSD geeft. Met andere woorden: Als je op een dedicated storage server (niet gevirtualiseerd) FreeBSD zo'n 8 GB geeft, zorg dan dat je dat ook doet met ESXi. Wil je naast FreeBSD nog wat andere VM's draaien die in totaal ook 8 GB nodig hebben? Gooi dan 16 GB in je fysieke server. Zo moeilijk is dat niet, toch?

The vast majority of wannabe-virtualizers seem to want to run FreeNAS in order to provide additional reliable VM storage. Great idea, except that virtualization software typically wants its datastores to all be available prior to powering on VM's, which creates a bootstrap paradox. Put simply, this doesn't work, at least not without lots of manual intervention, timeouts during rebooting, and other headaches.

Niet per se. Het is inderdaad waar dat de FreeBSD-VM online moet zijn voordat je de andere VM's (die daarvan afhankelijk zijn) kunt booten, maar dat hoeft geen problemen op te leveren aangezien het idee van een server zo'n beetje is dat je hem niet uitzet.

Moraal van het verhaal: Ja, ZFS virtualiseren levert soms dilemma's op (vooral op gebied van doorgeven van de schijven) en je komt met ESXi zo af en toe voor verassingen te staan waar je niet aan had gedacht, maar zeggen dat het een slecht idee is om ZFS te virtualiseren is onzin als je weet waar je mee bezig bent.

[ Voor 3% gewijzigd door Compizfox op 11-09-2013 00:12 ]

[FireDrunk]

redfoxert schreef op maandag 16 september 2013 @ 17:32:
[...]


ESX 5.5 ondersteunt disken (en datastores) groter dan 2TB. Waarschijnlijk met RDM dan dus ook.

Die aanname zou ik niet zomaar doen. Zeer waarschijnlijk is die 2TB alleen supported op de PVSCSI controller, en die werkt weer niet onder BSD. Dat komt omdat de 'oude' LSI Logic SAS controller een 1068E controller is, en die doet sowieso geen 2TB, los van wat ESXi wil/kan. Ze zullen dus met een nieuwe controller op de proppen moeten komen.

Als we *ECHT* mazzel hebben, gaan ze de LSI2008 controller faken, maar dat zou walhalla zijn...

Enige optie is dan om ZFS-on-Linux te gebruiken.

[ Voor 26% gewijzigd door FireDrunk op 16-09-2013 18:05 ]

[Kek]

redfoxert schreef op woensdag 18 september 2013 @ 15:53:
Er is nog geen officiele release datum bekend gemaakt volgens onze vExpert Volgens geruchten komt het spul misschien morgen uit.

DO want!

want ik ben net een esxi servertje aan het maken, en die nieuwe RDM maakt nogal uit, zoals ik hier nu lees heb ik dan geen cpu met vt-d nodig en externe hba om meerdere disks voor zfs te gebruiken.

iig ga ik het eerst zonder proberen en laat wel horen hoe dat gaat (met 5.5 zodra dat er is)

[analog_]

Kek schreef op woensdag 18 september 2013 @ 16:46:
[...]


DO want!

want ik ben net een esxi servertje aan het maken, en die nieuwe RDM maakt nogal uit, zoals ik hier nu lees heb ik dan geen cpu met vt-d nodig en externe hba om meerdere disks voor zfs te gebruiken.

iig ga ik het eerst zonder proberen en laat wel horen hoe dat gaat (met 5.5 zodra dat er is)

Mooi, we hadden het net over jouw gebruikersgroep, diy nas. We zouden erg benieuwd zijn naar failure afhandeling. Doelbewust je array slopen en zien hoe ESXi daarop reageert.

[FREAKJAM]

Nou ik ben ook bezig met het samenstellen van een setup, maar ik heb nog niets besteld. Als inderdaad zou blijken dat bij ESXi 5.5 geen M1015 benodigd is, dan hoor ik dat graag.

Op het forum van FreeNAS lopen er nog steeds hevige discussies over RDM+FreeNAS+ZFS+ESXi.

[wopie]

Dr Pro schreef op donderdag 19 september 2013 @ 14:35:
[...]


Maar dit een een Atom bord, draait ESXi daar wel op?

Het Asrock bordje wat eerder gepost wordt biedt ondersteuning voor ESXi, deze heeft dezelfde CPU als degene die ik linkte.

Het lijkt mij een ERG interessant bordje, enige wat voor mij nog ontbreekt is VT-D, maar wellicht dat dit met de nieuwe ESXi-5.5 opgelost wordt (ik las eerder in dit topic al iets over RDM support die verbeterd is waardoor VT-D niet meer nodig is om disken aan een VM toe te wijzen.

Hiermee zou mijn wens voor een ESXI-machine met ZFS, ECC (32GB support) en een kleine footprint qua powerconsumptie wel eens waar kunnen worden

[sphere]

Kek schreef op maandag 23 september 2013 @ 12:28:
[...]
Mijn idee is nas4free met 3x3gb wd green schijven "RDMen" en dan met zfs in raidz1, en dan kijken hoe dat loopt, en wat er gebeurt als een disk "failed"

Wat gebeurt er nu als je schijven doorgeeft met RDM en je knipt de sata kabel door?

[sphere]

Ik zie hier nog niet echt iets om blij van te worden https://www.google.nl/sea...m+zfs&oq=esxi+5.5+rdm+zfs

[FireDrunk]

Mystic Spirit schreef op maandag 07 oktober 2013 @ 15:31:
[...]

Zelf heb ik ook maar twee NIC's in mijn ESXi bak zitten. Eentje voor regulier verkeer en eentje die rechtstreeks aan mijn ZFS VM hangt. Meer heb ik niet nodig. Ik ben ook maar een iemand die thuis wat rommelt met dit geheel. Professioneel kom ik niet in de buurt van dit soort dingen. Mijn punt was alleen dat ik mij voor kan stellen dat je in bepaalde sitauties liever kiest voor het doorgeven van hardware via VT-D dan voor een virtuele oplossing.


[...]

Ik heb nog niet zo lang geleden een IBM kaartje gekocht om ZFS te kunnen draaien. Alles draait momenteel nog in test en ik denk in november alle data van mijn NAS over te gaan zetten naar een VM met ZFS. kan mijn IBM mogelijk tegen die tijd de deur uit kan omdat ik het kan emuleren? Scheelt toch weer een paar watt en dat zou ook beteken dat ik misschien helemaal geen VT-D setup meer nodig heb. Of ben ik dan te snel met mijn conclusies?
Het nadeeltje van vCenter is volgens mij trouwens best wel een behoorlijk nadeeltje. Een vCenter license is volgens mij een behoorlijk stukje duurder dan een goede kwaliteit HBA. Of ben ik in de verkeerde stores aan het kijken?

vCenter is heel duur ja, maar je kan in principe gewoon de trial gebruiken. En een vCenter Appliance is zo gemaakt.

Volgorde is dan dus:

1) ESXi installeren
2) RDM's aanmaken voor je schijven
2) vCenter Appliance maken
3) inloggen op vCenter appliance
4) nieuwe VM maken met VM hardware lvl 10, met een sata controller.
5) RDM's aan sata controller hangen
6) VM installeren
7) vCenter appliance uitzetten.

Mocht je in de tussentijd iets moeten wijzigen, start je de vCenter appliance en wijzig je je VM. Mocht je trial verlopen zijn, kan je gewoon een nieuwe vCenter Appliance installeren met trial licentie.

Het duurt inderdaad allemaal heel lang als je *even* iets moet wijzigen...

Als je dat echt zat wordt kan je natuurlijk via via wel een key vinden voor vCenter.
De vCenter appliance hoeft niet aan te staan om je VM te laten functioneren.

RutgerDB schreef op dinsdag 08 oktober 2013 @ 11:22:
Ben op zoek naar een zuinige ESXi server maar wil voor datastores Iscsi vanaf Qnap 879 pro gebruiken. Zou het liefst de 10g interfaces uitnutten. Kan ik gewoon een 10g Intel NIC op een moederbord prikken en deze configureren? ESX wil ik gewoon vanaf een USB stickje draaien. Zie in de topicstart alleen systemen staan met local storage maar ben dus op zoek naar een goede oplossing met iscsi.

1) Ja je kan gewoon een 10Gb NIC in je ESXi bak stoppen, mits deze gesupport is natuurlijk.
2) Ja je kan ESXi vanaf een USB stick draaien, alleen kan je daar geen VM's van draaien.
3) ESXi werkt prima met iSCSI, bedenk alleen wel dat dit niet erg snel is (ook al komt het vanaf een dure QNAP), het kan nooit concurreren met lokale storage qua performance.

[ Voor 16% gewijzigd door FireDrunk op 08-10-2013 12:04 ]

[sphere]

[...]
Ben gewoon benieuwd naar een setup die wat langer draait, hoe stabiel het is met zeg 5-6 schijven in raid. Nog maar even even afwachten.

Dus. Ik geloof dat ik het doorheb (duh). ESXi werkte altijd al met RDM en ZFS, alleen max 2TB. Nu werkt het met 62TB (max) maar qua problemen met ZFS en RDM is er waarschijnlijk niks veranderd?

[FireDrunk]

Waren die er dan? Ik heb een paar weken terug met ESXi 5.5 icm ZFS en RDM wat tests gedaan met de nieuwe SATA AHCI controller en dat werkte allemaal prima.

[Pantagruel]

FireDrunk schreef op maandag 14 oktober 2013 @ 15:46:
Waren die er dan? Ik heb een paar weken terug met ESXi 5.5 icm ZFS en RDM wat tests gedaan met de nieuwe SATA AHCI controller en dat werkte allemaal prima.

In t verleden waren er problemen bij het gebruik van de combinatie: ESXi 5.0/01 , FreeBSD 9.1 , RDM en ZFS, zie deze o.a. thread.

Het gebruik van ESXi 5.0/01, OpenIndiana, RDM-ed disks en ZFS was zonder problemen (draait al weer 10 maanden vlekkeloos bij me thuis).

Ik heb geen idee of in ESXi 5.5 deze (ESXi + FreeBSD 9.1) problemen verholpen zijn, maar aangezien er aan de AHCI controller van ESXi is gesleuteld zou dit zomaar t geval kunnen zijn.
Aangezien de boel hier soepeltjes draait voel ik me niet echt geroepen om de ESXi 5.1 op te waarderen naar ESXi 5.5 en de boel potentieel "kapot te repareren".
Wellicht kan iemand anders hier daar uitsluitsel overgeven.

sphere schreef op maandag 14 oktober 2013 @ 16:23:
Sowieso met FreeNAS (zie forum aldaar), en hier in het zfd topic staat er ook wel allerlei vaagheden. Zou handig zijn om te kunnen testen wat er nu echt gebeurt met bad sectors en physical rdm. Of eigenlijk, ik zou al tevreden zijn als ik de ESXi setup kon repareren met een physieke als er problemen ontstaan en dan weer door met ESXi. Zoals ze bij Freenas zeggen: it works until it doesn't.

Een snelle sata controller die werkt in 4x elektrisch is ook niet echt beschikbaar, highpoint 460

De IBM M1015 werkt ook in een PCIe 4x (electrisch) slot, maar je beperkt wel de max. doorvoer met de helft aangezien t een 8x kaart is.

FireDrunk schreef op maandag 14 oktober 2013 @ 16:29:
Oh dat verhaal, inderdaad dan werden je schijven 0 bytes groot. Dat is een probleem in FreeBSD 9.1.

Maar an sich werkt RDM wel met ZFS.

Met de Virtual AHCI controller heb ik die problemen niet gezien.

@ FD below, was dat probleem met 0 bytes disks niet enkel als je een HDD > 2 TB probeerde te RDM-en (ivm beperkingen van de vmdk)?

[ Voor 37% gewijzigd door Pantagruel op 14-10-2013 16:31 ]

[FireDrunk]

Oh dat verhaal, inderdaad dan werden je schijven 0 bytes groot. Dat is een probleem in FreeBSD 9.1.

Maar an sich werkt RDM wel met ZFS.

Met de Virtual AHCI controller heb ik die problemen niet gezien.

[Paul]

teddysleep schreef op dinsdag 12 november 2013 @ 22:07:
Wat wordt er dan meestal gepassthrougd ? Raid controllers?

Over het algemeen helemaal niks Je verliest dan namelijk een heleboel functionaliteit in je vSphere cluster, een VM zit vast aan een host waardoor je geen vMotion / HA / FT / DRS / DPM etc etc meer kunt doen met die guest / host.

We hebben @work 250 VM's, daarvan hebben er precies nul een VT-d (de paar servers die een USB-dongel nodig hebben maken gebruik van het USB-over-ethernet-kastje dat in één van de racks hangt) en helaas hebben er een stuk of 8 RDM's (wat een enigszins vergelijkbaar effect heeft op je functionaliteit).

Als je _echt_ niet anders kunt maar toch op VMware wilt draaien ipv rechtstreeks, dan kun je inderdaad een aantal devices doorgeven. Als je puur focust op zuinig en low budget (waardoor je dus maar één fysieke machine wilt gebruiken) worden er inderdaad vaak controllers, HBA's of schijven doorgegeven; vaak om iets als ZFS te gebruiken ipv de diskspace in zijn geheel als VMFS-volume te gebruiken

Edit: Oh, ik krijg net door dat je schijven niet door kunt geven

[ Voor 3% gewijzigd door Paul op 13-11-2013 10:47 ]

[Tall0ne]

Ik maak op die Perc een aantal raid sets aan en geeft die als RDM door aan de Vm's
Of ZFS dan veel zou gaan opleveren....

Het is een Perc 5/i 256Mb + BWC

[M@rijn]

Ik heb zitten zoeken, dubben en doorlezen maar ben benieuwd naar jullie suggesties.

Ik ben bezig met het kijken naar een vervanger van mijn HP Microserver N36L, de nieuwe server moet wat meer performance hebben zodat ik max. 4-5 virtuele machines kan draaien onder ESXi.
Echt veel wensen en eisen qua hardware heb ik niet, enkel dat mijn 120GB Intel SSD mee over moet en mijn 2TB storage schijf.

Nu denk je van dat zal het probleem niet zijn maar ik wil eigenlijk zonder de data te converteren oid. mijn 2TB schijf intact houden en vanaf mijn SSD de VM's draaien. 1 VM zal de fileserver moeten worden voor de virtuele machines. Ik heb nog zitten overwegen om misschien alvast met die ene schijf naar ZFS over te gaan ivm uitbreiding in de toekomst.
Echter vraag ik me dan af hoe gebonden in dan ben aan VT-d (dus core i5) als ik mijn data schijven fysiek benaderbaar wil houden?

Ik heb mogelijkheden gelezen van ESXi, met Freenas en Physical RDM zodat je geen VT-d nodig zou hebben maar daar is niet iedereen even positief over (problemen met freebsd 9.1 drivers e.d.).

Nu is het niet zo dat ik direct naar freenas met ZFS over wil Maar ik wil nu iig geen foute beslissingen nemen over het platform waarop ik mijn servertje die dan weer 4-5 jaar mee gaan ga maken.

Wat zeggen jullie? Core i5 ivm VT-d en in met SATA kaart passthroughen? Of uitgaan van de verwachting dat over een half jaar Physical RDM (ESXi) en FreeNAS weer goed werken?