Welke behuizing is dit precies?
Ik ben op zoek naar een betaalbare 2U case, maar vaak kan je dan geen gewone ATX voeding plaatsen, en de bijgeleverde zijn erg onzuinig.
foto's zijn ook altijd welkom
Ik ben op zoek naar een betaalbare 2U case, maar vaak kan je dan geen gewone ATX voeding plaatsen, en de bijgeleverde zijn erg onzuinig.
foto's zijn ook altijd welkom
:strip_icc():strip_exif()/u/26315/bleh.jpg?f=community)
Hypervisor
vSphere Hypervisor ( Free ) 5.0.0 Update 1, ik gebruik al jaren VMWare producten en vind deze erg fijn werken dit is dan ook de primaire reden geweest om voor vSphere te kiezen.Hardware
Hardware is eigenlijk vrij simpel omdat ik puur het gebruik voor Home Lab en een paar productie machines maar aangezien deze productie omgeving niet veel eisen heeft heb ik deze lekker op een HP Microserver N40L gezet voornamelijk vanwege de sublieme prijs/kwaliteit/energie verbruik eigenschappen.De 2GB geheugen die default in deze machine zat is gegaan naar de NAS Server en de default 250GB schijf word gebruikt in de vSphere 5 Hypervisor gebruikt.
| # | Product | Prijs | Subtotaal |
| 1 | Kingston HyperX KHX1333C9D3B1K2/8G | € 42,95 | € 42,95 |
| 1 | HP Proliant Microserver N40L (658553-421) | € 212,22 | € 212,22 |
| Bekijk collectie Importeer producten | Totaal | € 255,17 | |
Natuurlijk is de default opslag vrij klein maar daarom heb ik ook een 2de HP Microserver N40L. die er zo uitziet :
| # | Product | Prijs | Subtotaal |
| 4 | Hitachi Deskstar 7K4000, 4TB | € 257,30 | € 1.029,20 |
| 1 | HP Proliant Microserver N40L (658553-421) | € 212,22 | € 212,22 |
| Bekijk collectie Importeer producten | Totaal | € 1.241,42 | |
Bij de NAS is de default 2GB uitgebreid naar 4GB met het oorspronkelijke geheugen uit de vSphere server. Hierbij is de standaard 250GB schijf verwijderd uit de drive bay en geplaatst in het Top 5.25" Bay om ruimte te maken voor de 4x 4TB schijven in de sledes.
Virtuele machines
| OS/Appliance | Functie |
| Ubuntu 12.04 LTS Server | Webserver met Vhosts, draait o.a. spotweb en nog wat familie sites |
| Ubuntu 12.04 LTS Server | Mailserver incl. Webmail,spam/antivirus |
| Ubuntu 12.04 LTS Server | Puur Monitor omgeving |
Motivatie
Het begon allemaal met fysieke servers maar nadat ik hier een aardig stapeltje servers had opgebouwd, en ik Ereklant werd benoemt bij mijn Energie Leverancier, ben ik langzaam alles naar VPS Server gaan verhuizen. Helaas werd ik dit na een tijdje zat en vond ik de kosten voor alles te hoog oplopen wat ik per maand aan vaste lasten had door de VPS omgevingen. Dus alles weer inhouse opgenomen d.m.v. de Microservers.Er draait nu nog relatief weinig op de Microserver maar nog niet alles is gevisualiseerd, er dienen minstens nog 2 a 3 VM's bij te komen, en dan kan ik alle VPS Servers opzeggen ( Behalve mijn Amerikaanse server, die ook ervoor zorgt dat ik bij netflix/hulu/pandora als klant kan uitkomen
)
"Allow me to shatter your delusions of grandeur."
:strip_exif()/u/340453/crop67a669ce4f1f4_cropped.webp?f=community)
Hypervisor
Ik ben altijd al van jongsaf aan met Windows opgegroeid. Natuurlijk heb ik ook met andere OS'sen gewerkt, maar ik kom toch telkens weer terug op Windows, omdat het voor mij het makkelijkst werkt. In het begin een server gebouwd met Windows Small Business Server 2003. Vervolgens naar 2008 versie geupgraded. Hardware is door de jaren heen ook telkens uitgebreid/vernieuwd. Op een gegeven moment na veel gedoe, foutmeldingen, storingen etc. besloten om maar een Hyper-V bak te maken, zodat wanneer er een storing optreedt, niet gelijk alle onderdelen plat liggen.Hardware
| # | Product | Prijs | Subtotaal |
| 1 | Intel Core i5 3550 Boxed | € 190,95 | € 190,95 |
| 1 | MSI H77MA-G43 | € 77,61 | € 77,61 |
| 2 | Corsair Vengeance CMZ16GX3M2A1600C10 | € 96,50 | € 193,- |
| 2 | Crucial m4 CT256M4SSD2 256GB | € 189,90 | € 379,80 |
| 2 | Samsung SpinPoint M8 HN-M500MBB, 500GB SATA-300, 8MB, 5400rpm | € 64,65 | € 129,30 |
| 2 | Samsung SpinPoint M8 HN-M101MBB, 1TB SATA-300, 8MB, 5400rpm | € 89,10 | € 178,20 |
| 2 | Intel PRO/1000 PT Dual Port Server Adapter (2x1000Mbps, PCI-e 4x) | € 159,- | € 318,- |
| 1 | Seasonic S12II-Bronze 330W | € 0,- | € 0,- |
| 1 | Sharkoon SATA QuickPort Intern 6-Bay | € 57,30 | € 57,30 |
| 1 | Silverstone Grandia GD05B | € 0,- | € 0,- |
| Bekijk collectie Importeer producten | Totaal | € 1.524,16 | |
Virtuele machines
| OS/Appliance | Functie |
| Windows Server 2008 R2 Standard | Active Directory |
| Windows Server 2008 R2 Standard | Exchange 2010 |
| Windows Server 2008 R2 Standard | SharePoint 2010 |
| Windows Server 2008 R2 Standard | Downloads (nieuwsgroepen) |
| Windows Server 2008 R2 Standard | Media Server (Plex) |
| Windows Server 2008 R2 Standard | Media Server |
| Windows Server 7 Ultimate | Testmachine |
| Windows Server 8 Release Preview | Testmachine |
Foto's
Slechte foto gemaakt met telefoon, maar beter iets dan niets:
Motivatie
Echt diepgaande technische kennis van hardware heb ik niet (op de middelbare school geen natuur- en scheikunde gekozen), maar door veel te lezen, uit te proberen en op te zoeken wilde ik door de juiste componenten een energiezuinige, maar toch een erg krachtige Hyper-V bak maken. Dat is me wel redelijk gelukt. Bovenstaande setup verbruikt net iets meer dan 40 watt continu.Er komen binnenkort nog wel enkele virtual machines bij. Ik zou graag een VM willen die het hele netwerk afspeurt op virussen, maar heb nog geen software gevonden wat aan mijn eisen voldoet.
Het enige mindere van mijn Hyper-V bak is opslag. Ik begin wel erg krap te zitten voor mijn films/series. Als de prijzen van harde schijven in mijn ogen weer op een normale prijsniveau zitten, dan wil ik graag 4x 3TB of 4TB schijven aanschaffen en deze in mijn workstation stoppen zodat deze toch niet altijd aan blijven staan, maar alleen als er gebruik van gemaakt wordt.
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
/u/231803/ramdisk2.png?f=community)
/u/95593/kleinvlagske.JPG?f=community)
Ik had me bedacht daar omheen te komen door ESX een tijdelijke lokale datastore te geven, maar dat mond uiteindelijk uit op een 'catch22'.
voel me nu een
Ik ga me even bedenken of dat ik voor 1 grote lokale datastore ga of een combinatie van lokale data store + FreeNAS met USB disk.
Ik denk niet dat het naast elkaar is. Eerder ESX als host en FreeNAS als VM in ESX, tenminste zo begrijp ik het:
[...]
Daarmee impliceer je dat je wel wat ziet in FreeNAS en ESX naast elkaar in 1 host?
Maar dan wel met FreeNAS als hoofd/NFS datastore voor de ESX host:
[...]
Ik denk niet dat het naast elkaar is. Eerder ESX als host en FreeNAS als VM in ESX, tenminste zo begrijp ik het
Waarom verdenk je de voeding? Dat is volgens mij juist het generiekste onderdeel van een PC 
Even niets...
Omdat ik ook de voeding kabels heb moeten aanpassen om op het moederboard te 'passen'.:
Waarom verdenk je de voeding? Dat is volgens mij juist het generiekste onderdeel van een PC
Ik weet even geen termen dus ik probeer het gewoon uit te leggen. Ik ben gewend van ATX voedingen dat je een groot blok hebt en daar dan een klein stukje met 4 polen tegen aan zet en die tezamen in het moederbord steekt. Dan blijft er nog zo'n vierpolig stuk over en die gaat in z'n eigen aansluiting op het moederbord.
Die 2 vierpolige was eerst 1 8 polige aansluiting, die heb ik gesplits in de overtuiging dat het verder wel compatible zou zijn. Maar ik zie nu op de grote aansluiting dat er een aantal polen leeg zijn.
Weer iets nieuws te leren
:strip_icc():strip_exif()/u/97973/crop689da1cf6ac35.jpg?f=community)
Ook maar eens mijn systeem dan..
- Intel G620 processor
- Gigabyte GA-H67MA-UD2H-B3 moederbord
- 4 x 4GB Kingston valueram 1333Mhz geheugen
- WD 320GB 2,5" harddisk (WD3200BEVT) voor vm's
- 2 x 3TB harddisks WD green
- Be quiet 300 watt voeding
- Oude HP towermodel behuizing
Voor de toekomst, ik wil de 320GB schijf een keer gaan vervangen door een SSD. Performance bij gebruik valt helemaal mee, maar bij beheer zaken voelt alles toch traag aan. Tevens hoop ik hiermee nog wat stroom te kunnen besparen. Hoewel ik niet echt weet wat het geheel nu verbruikt (3TB schijven gaan uit bij geen gebruik) hoop ik hiermee toch nog wat meer te besparen. Bij vervangen harddisk door SSD misschien ook direct overstappen op VMware ESXi, dan ben ik toch al aan het sleutelen.
Hypervisor
Xenserver 5.6 SP2. Draait nu inmiddels enkele dagen meer dan een jaar. Ik heb voor Xenserver gekozen omdat VMware ESXi 5 nog niet uit was toen ik alles geïnstalleerd heb. Vanuit mijn werk heb ik veel meer ervaring met VMware vSphere omgevingen maar ESXi kon geen 3TB schijven aan. Xenserver ook niet, maar door de schijven rechtstreeks aan de VM te koppelen in plaats van te gebruiken voor Xenserver storage lukte dit wel. Tegenwoordig kan ESXi dit ook, maar ach, huidige setup werkt en voldoet voor thuis primaHardware
Poeh, moet even graven hoor..- Intel G620 processor
- Gigabyte GA-H67MA-UD2H-B3 moederbord
- 4 x 4GB Kingston valueram 1333Mhz geheugen
- WD 320GB 2,5" harddisk (WD3200BEVT) voor vm's
- 2 x 3TB harddisks WD green
- Be quiet 300 watt voeding
- Oude HP towermodel behuizing
Virtuele machines
| OS/Appliance | Functie |
| Windows SBS 2011 | domain controller, exchange server, fileserver, ras server |
| Ubuntu server 11.04 | webserver, spamfilter |
| Windows XP professional | Downloadcomputer |
Motivatie
Dat mijn hypervisor en ubuntu server achter lopen weet ik. Apache en Spamassasin heb ik wel geupdate. Voor veel dingen neem ik vaak simpelweg de tijd niet. Als je het dagelijks druk hebt met allerlei IT zaken dan doe je dit 's avonds thuis toch minder snel heb ik ervaren..Voor de toekomst, ik wil de 320GB schijf een keer gaan vervangen door een SSD. Performance bij gebruik valt helemaal mee, maar bij beheer zaken voelt alles toch traag aan. Tevens hoop ik hiermee nog wat stroom te kunnen besparen. Hoewel ik niet echt weet wat het geheel nu verbruikt (3TB schijven gaan uit bij geen gebruik) hoop ik hiermee toch nog wat meer te besparen. Bij vervangen harddisk door SSD misschien ook direct overstappen op VMware ESXi, dan ben ik toch al aan het sleutelen.
:strip_icc():strip_exif()/u/149150/Androider.jpg?f=community)
sorry voor dubbelpost 
[ Voor 99% gewijzigd door Vuurvoske op 24-08-2012 13:05 ]
Beroeps brabander
Hypervisor
Mijn keuze is gevallen op Microsoft Hyper-V op Server 2008 R2 standard. Dit komt voornamelijk doordat ik op het host OS XBMC wil draaien.Hardware
| # | Product | Prijs | Subtotaal |
| 1 | Areca ARC-1220 | € 0,- | € 0,- |
| 1 | Intel Pentium G620 Boxed | € 53,45 | € 53,45 |
| 1 | Intel Gigabit CT Desktop Adapter | € 25,14 | € 25,14 |
| 1 | Samsung Spinpoint F4 EG HD204UI, 2TB | € 94,90 | € 94,90 |
| 1 | Samsung SpinPoint T166 HD501LJ, 500GB | € 0,- | € 0,- |
| 3 | Western Digital Green WD20EARS, 2TB | € 0,- | € 0,- |
| 1 | Antec Three Hundred | € 45,35 | € 45,35 |
| 1 | Cooler Master 4-in-3 Device Module | € 17,50 | € 17,50 |
| 1 | Recom RC-PE0DB580 | € 0,- | € 0,- |
| 1 | Kingston ValueRAM KVR1333D3N9K2/8G | € 36,59 | € 36,59 |
| 1 | Club3D GeForce GT 440 | € 59,44 | € 59,44 |
| 1 | Asus P8P67-M (3.0) | € 104,90 | € 104,90 |
| Bekijk collectie Importeer producten | Totaal | € 437,27 | |
Virtuele machines
| VM Naam | OS/Appliance | Functie |
| Pegasus | Ubuntu 12.04 LTS x64 | Download bak |
| Aristoteles | Windows server 2008 R2 x64 standard | Fileshare |
| Plato | Windows 7 x64 Ultimate | Beheer machine |
| Illidan | Windows server 2003 R2 x64 standard | World of Warcraft 1.12.1 test setup |
Foto's
Motivatie
T.z.t. wordt de processor nog geupgrade. Toen ik met dit project begon wilde ik kunnen experimenteren met virtualisatie en 24/7 een download machine beschikbaar hebben.Overig
Deze machine heeft twee actieve NIC's, ik wilde weten of het gewoon mogelijk zou zijn twee external networks (virtual switches) te creeëren. Dit ging zonder probleem. Nu draaien alle machines behalve Illidan op de CT Adapter. (Niet dat het veel nut heeft, maar het is wel leuk)
Beroeps brabander
Onder KVM is het alleen verrekte lastig om snapshots te maken
. En ik weet dat het via de commandline kan.
Beroeps brabander
:strip_icc():strip_exif()/u/113637/bla.jpg?f=community)
Hypervisor
Ik gebruik KVM, omdat het in de linux kernel ingebakken zit en omdat ik hier al veel langer mee werk. Ben bovendien erg gecharmeerd van de CLI beheersinterface.Hardware
| # | Product | Prijs | Subtotaal |
| 1 | Highpoint RocketRAID 2300 | € 118,20 | € 118,20 |
| 1 | Intel Gigabit CT Desktop Adapter | € 24,80 | € 24,80 |
| 1 | Realtek RTL8139C (100Mbps, RJ-45, PCI) | € 4,95 | € 4,95 |
| 4 | Samsung Spinpoint F1 HD103UJ, 1TB | € 0,- | € 0,- |
| 2 | Samsung SpinPoint T166 HD501LJ, 500GB | € 0,- | € 0,- |
| 1 | Antec Sonata III 500 Zwart | € 99,90 | € 99,90 |
| 1 | AMD Athlon II X4 605e Boxed | € 0,- | € 0,- |
| 2 | Kingston ValueRAM KVR1333D3E9SK2/8G | € 54,55 | € 109,10 |
| 1 | Gigabyte GA-990FXA-UD3 | € 119,90 | € 119,90 |
| 1 | Sapphire HD 5450 512MB DDR3 PCIE HDMI | € 26,95 | € 26,95 |
| Bekijk collectie Importeer producten | Totaal | € 503,80 | |
Ik heb net de server geupgrade om met IOMMU aan de gang te kunnen gaan. Mijn vorige moederbord had dat niet ingebouwd zitten. Nu heb ik de Highpoint en de Intel NIC doorgezet naar de storage vm. Om deze hardware door te zetten moest ik wel wat kleine dingen oplossen, maar nu heb ik een scriptje opgezet om de boel automatisch op te starten.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
| ### BEGIN INIT INFO
# Provides: vms
# Required-Start: $all
# Required-Stop: $all
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: starts virtual machines
# Description: starts virtual machines
### END INIT INFO
function pre-start {
rmmod snd_hda_intel e1000e sata_mv &> /dev/null
virsh nodedev-detach pci_0000_02_00_0 &> /dev/null
virsh nodedev-detach pci_0000_09_00_0 &> /dev/null
}
function start-vms {
# Start primary and secondary domain controllers
virsh start zeus &> /dev/null
virsh start hera &> /dev/null
# Allow for domain controllers (specifically DNS) to start
sleep 30s
# Start file server, database server and jumphost
virsh start athena &> /dev/null
virsh start artemis &> /dev/null
virsh start hestia &> /dev/null
# Allow for file server to start
sleep 75s
# Start file server dependant vms (mail, web and download server)
virsh start hermes &> /dev/null
virsh start apollo &> /dev/null
virsh start hades &> /dev/null
}
function stop-vms {
# Stop download, web and mail servers
virsh shutdown hades &> /dev/null
virsh shutdown apollo &> /dev/null
virsh shutdown hermes &> /dev/null
# Allow for file server dependant servers to shut down
sleep 10s
# Stop jumphost, database server and file server
virsh shutdown athena &> /dev/null
virsh shutdown artemis &> /dev/null
virsh shutdown hestia &> /dev/null
# Allow for athena to shut down
sleep 10s
# Stop domain controllers
virsh shutdown zeus &> /dev/null
virsh shutdown hera &> /dev/null
}
# script name
NAME="$0"
# app name
DESC="virtual machines"
case "$1" in
start)
echo "Starting $DESC"
pre-start
start-vms
;;
stop)
echo "Stopping $DESC"
stop-vms
;;
restart)
echo "Restarting $DESC"
stop-vms
start-vms
;;
*)
N=/etc/init.d/$NAME
echo "Usage: $N {start|stop|restart}" >&2
exit 1
;;
esac
exit 0 |
Virtuele machines
| Naam | OS | Functie | Opmerkingen | vCPU | RAM |
| zeus | Debian Wheezy | Primary Domain Controller (slapd, samba, smbldap-tools) | 1 | 1GiB | |
| hera | Debian Wheezy | Secondary Domain Controller (slapd, samba, smbldap-tools) | 1 | 1GiB | |
| athena | Debian Wheezy | Storage VM (nfs, samba) | PCI passthrough (RocketRAID, Intel NIC) | 2 | 2GiB |
| artemis | Debian Wheezy | Database server (mysql) | 1 | 1GiB | |
| hermes | Debian Wheezy | Mail server (postfix, dovecot, amavis, spamassasin, clamav) | 1 | 1GiB | |
| hestia | Debian Wheezy | Jumphost (ssh, fail2ban) | 1 | 1GiB | |
| apollo | Debian Wheezy | Web server (apache2, php5) | 1 | 1GiB | |
| hades | Debian Wheezy | Download server (sabnzbd, sickbeard, couchpotato, headphones) | Moet nog opgezet worden | 1 | 1GiB |
Foto's
De volgende foto laat de grote server verbouwing zien.Deze foto toont het trekken van een back-up voor de server verbouwing.
Motivatie
Waarom heb ik dit gedaan? Omdat het kan natuurlijk ten eerste. Mijn moederbord heb ik vervangen om meer performance uit mijn RAID kaart en netwerk te persen. Bij mijn RocketRAID is dat goed gelukt:root@athena:/mnt/archive/common# time dd if=/dev/zero of=/mnt/archive/common/testfile.bin bs=1M count=16000 16000+0 records in 16000+0 records out 16777216000 bytes (17 GB) copied, 372.417 s, 45.0 MB/s real 6m12.514s user 0m0.280s sys 1m13.889s root@athena:/mnt/archive/common# time dd if=/dev/zero of=/mnt/archive/common/testfile2.bin bs=1M count=16000 16000+0 records in 16000+0 records out 16777216000 bytes (17 GB) copied, 376.388 s, 44.6 MB/s real 6m19.449s user 0m0.280s sys 1m13.721s root@athena:/mnt/archive/common# root@athena:/mnt/archive/common# time dd if=/mnt/archive/common/testfile.bin of=/dev/null 32768000+0 records in 32768000+0 records out 16777216000 bytes (17 GB) copied, 120.17 s, 140 MB/s real 2m0.174s user 0m13.793s sys 1m13.473s root@athena:/mnt/archive/common# time dd if=/mnt/archive/common/testfile2.bin of=/dev/null 32768000+0 records in 32768000+0 records out 16777216000 bytes (17 GB) copied, 120.065 s, 140 MB/s real 2m0.074s user 0m13.569s sys 1m13.425s
De schrijfsnelheid was nog niet de helft en de leessnelheid was ongeveer een derde. Dus wat dat betreft ben ik er aardig op vooruit gegaan. Maar mijn doorgestuurde NIC is niet sneller te krijgen dan 30 MB/s, dus dat schiet nog niet echt op. Heeft iemand een idee waar die trage performance vandaan komt?
Luctor et Emergo || specs
:strip_icc():strip_exif()/u/4824/i.jpeg?f=community)
:strip_icc():strip_exif()/u/2646/shine.jpg?f=community)
/u/170728/owl.png?f=community)
Ik doe dat thuis bv... Ik virtualiseer mijn ZFS machine...:
[...]
Daarmee impliceer je dat je wel wat ziet in FreeNAS en ESX naast elkaar in 1 host?
Trouwens, als je echt eens "batshit crazy alles in eens" wilt draaien, kan je volgend doen:
HyperBart in "Zuinige ESXi Server"
Andere naam voor zelfde driver
[ Voor 3% gewijzigd door FireDrunk op 10-09-2012 20:25 ]
Even niets...
Ik heb vorige week de host in het datacenter geplaatst/vervangen. Hierbij wat pics voor de beeldvorming.
Omdat ik het een tikkie vreemd vond dat ze het zo precies in kaart brachten
Als de minimale afnamehoeveelheid 500mA is, kan je er dus net zo goed een minder zuinige bak in hangen...
Als de minimale afnamehoeveelheid 500mA is, kan je er dus net zo goed een minder zuinige bak in hangen...
[ Voor 40% gewijzigd door FireDrunk op 11-09-2012 20:14 ]
Even niets...
Je kan ze natuurlijk mailen, en zeggen dat je onder de 500mA zit, en dus minder wil betalen
Even niets...
:strip_icc():strip_exif()/u/3454/i486.jpg?f=community)
Mijn duit in 't "Thuis virtualisatie" zakje doen:
Waarom: Bare metal hypervisor die je voor thuis gebruik gratis kunt gebruiken
De hardware wordt standaard uit de doos ondersteund en het doorsluizen van een PCIe adapter (M1015 of de MHEA28-2TC) is vanwege de Vt-D ondersteuning geen probleem.
Externe datastores zijn er niet. Alle VM's staan op de SSD en de 4 SATA drives zijn gezamelijk een ZFS array (tbv ZFSguru/OpenIndiana).
Op dit moment dient de ESXi install puur als test om te bepalen of het virtualiseren een haalbare optie is. Jammer genoeg is de ondersteuning van Infiniband (IB) onder ZFSguru (FreeBSD 9.x) zeer beperkt en is het toch vooral de bedoeling of ik de ZFS pool over een 20Gbit VMXNET3 verbinding aan een andere VM kan doorgeven (NFS/iSCSI) welke wel in staat is om SMB over IB te doen (linux/Windows Server 2012). Een andere optie is om via een Nexenta/Open Solaris 11/OpenIndiana VM de ZFS pool beschikbaar te maken, maar eerdere test mbv direct geïnstalleerde OS 11/OI installs liet een IB transfer plafond zien van ca. 500~600 MB/sec vanuit een RAM disk (SRP-target).
Energie verbruik kan ik op dit moment niets over zeggen aangezien de 3 kwartjes meter van de Gamma naar "genezijde" is gegaan.
De genoemde SSD en de 4x 320 GB SATA drives zijn erbij gekomen om de virtualisatie te huisvesten. Afhankelijk van wat ik met de bak wil start ik ESXi op of de bare-metal ZFSguru installatie.
en ik op dit moment de goed draaiende ZFSguru installatie niet zomaar over wilde hevelen naar een VM omgeving en het risico lopen dat de ca. 16 TiB data pool het slachtoffer zou worden.
Hypervisor
VMWare ESXi 5.0 (binnenkort upgrade richting ESXi 5.1).Waarom: Bare metal hypervisor die je voor thuis gebruik gratis kunt gebruiken
Hardware
| # | Product | Prijs | Subtotaal |
| 1 | Intel Xeon E3-1230 Boxed | € 213,70 | € 213,70 |
| 1 | Western Digital Blue WD3200AAKS, 320GB | € 65,58 | € 65,58 |
| 2 | IBM ServeRAID M1015 SAS/SATA Controller for System x | € 116,62 | € 233,24 |
| 1 | Intel Postville X25-M SSDSA2MH080G2C1 80GB | € 103,08 | € 103,08 |
| 2 | Kingston ValueRAM KVR1333D3E9SK2/8G | € 53,55 | € 107,10 |
| 1 | Mellanox MHEA28-2TC | € 100 | € 100 |
| 1 | Supermicro X9SCM-F | € 182,60 | € 182,60 |
| Bekijk collectie Importeer producten | Totaal | € 1005,3 | |
De hardware wordt standaard uit de doos ondersteund en het doorsluizen van een PCIe adapter (M1015 of de MHEA28-2TC) is vanwege de Vt-D ondersteuning geen probleem.
Externe datastores zijn er niet. Alle VM's staan op de SSD en de 4 SATA drives zijn gezamelijk een ZFS array (tbv ZFSguru/OpenIndiana).
Op dit moment dient de ESXi install puur als test om te bepalen of het virtualiseren een haalbare optie is. Jammer genoeg is de ondersteuning van Infiniband (IB) onder ZFSguru (FreeBSD 9.x) zeer beperkt en is het toch vooral de bedoeling of ik de ZFS pool over een 20Gbit VMXNET3 verbinding aan een andere VM kan doorgeven (NFS/iSCSI) welke wel in staat is om SMB over IB te doen (linux/Windows Server 2012). Een andere optie is om via een Nexenta/Open Solaris 11/OpenIndiana VM de ZFS pool beschikbaar te maken, maar eerdere test mbv direct geïnstalleerde OS 11/OI installs liet een IB transfer plafond zien van ca. 500~600 MB/sec vanuit een RAM disk (SRP-target).
Energie verbruik kan ik op dit moment niets over zeggen aangezien de 3 kwartjes meter van de Gamma naar "genezijde" is gegaan.
Virtuele machines
| OS/Appliance | Functie |
| OpenIndiana 151a | om SRP target doorvoer te testen |
| Ubuntu 12.04 LTS | om SRP target doorvoer te testen |
| ZFSguru | ZFSguru v 0.2.0-beta5, ZFS test VM |
| ZFSguru | ZFSguru v 0.2.0-beta5, VMXNET3 test VM |
| Win2008-R2 | Win2008 test VM |
Foto's
De foto's zijn niet helemaal in overeenstemming met hoe de bak er nu uit ziet, maar van de eerdere 10+ TiB ZFS server build.De genoemde SSD en de 4x 320 GB SATA drives zijn erbij gekomen om de virtualisatie te huisvesten. Afhankelijk van wat ik met de bak wil start ik ESXi op of de bare-metal ZFSguru installatie.
| Front | Zij aanzicht | Close up mobo | Disks |
 |  |  |
 |
Motivatie
Waarom, omdat het kan en ik op dit moment de goed draaiende ZFSguru installatie niet zomaar over wilde hevelen naar een VM omgeving en het risico lopen dat de ca. 16 TiB data pool het slachtoffer zou worden.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
:strip_icc():strip_exif()/u/146731/crop562615a0aa64c.jpeg?f=community)
Benchmarks zijn altijd goed, hoe meer hoe beter.
Waarom voeg je niet een 2e (virtuele) NIC toe aan je VM?
Dan heeft het ding intern snel netwerk naar je storage VM
Waarom voeg je niet een 2e (virtuele) NIC toe aan je VM?
Dan heeft het ding intern snel netwerk naar je storage VM
Even niets...
Waarschijnlijk is de linux driver niet sneller, want ik heb wel Windows benchmarks gezien met dezelfde controller die dik boven de 100 MB/s uitkwamen, maar vooruit. Deze controller heb ik ondertussen al 4 jaar en doet het nog steeds en ik heb op het moment even geen geld (en zin/tijd) om hem te vervangen voor iets anders. Uiteindelijk ga ik hem nog wel vervangen door iets anders, vooral omdat ik 4 poorten langzaamaan te weinig begin te vinden en misschien ga ik dan nog naar ZFS/BTRFS (afhankelijk van de stand der techniek), maar dan moeten deze filesystems tegen die tijd wel online capacity expansion/online raid level migration ondersteunen, omdat dan niet gelijk 8 nieuwe HDD's ga kopen, maar eerst vier nieuwe in RAID5 en dan later uitbreiden naar 8 in RAID6.:
Vanwaar de trage RAID array?
Luctor et Emergo || specs
Toch jammer... Heb je een mooie server, haal je geen Gbit
Ik ben persoonlijk ook wel benieuwd naar BTRFS, laten we hopen dat de ontwikkeling snel gaat!
Ik ben persoonlijk ook wel benieuwd naar BTRFS, laten we hopen dat de ontwikkeling snel gaat!
Even niets...
Na jullie leuke hardware mijn amateuristisch servertje
ESXi is geïnstalleerd op de (toekomstgerichte) 8GB usb stick, om hiervan te booten moest ik ESXi instellen de stick te gebruiken met een MBR table (kan niet booten vanaf GPT)
Verbruikt momenteel z'n 66W, met 2 actieve vm's.
RAM geheugen is het maximum van het bordje, ik had natuurlijk liever meer ;-)
Ik kom van een AMD athlon X2/4GB RAM met ESXi 4, maar daar was ESXi 5.1 niet meer compatibel mee. Voordeel van dit hp bordje is dat alles out of the box werkt. (op die GPT boot na).
let niet op de rommel, de stick heb ik vanonder gewoon in de kast geplakt.
met een idle verbruik van bijna 80W) maar momenteel gaat dat nog niet gebeuren Desnoods hou ik die apart voor een iSCSI volume... (met ooit nieuwe HW) Had hiervoor een iSCSI gekoppeld aan de ESXi 4 server.
- prestaties ZFS zien te verbeteren (zonder al te veel upgrades ), als dit lukt en het budget er is twee keer 2 of 3TB steken als ZFS mirror.
momentele prestaties ZFS mirror:
oude freenas (amd sempron):
-> max z'n 232Mbps op het ZFS volume
-> max z'n 500Mbps op een gewoon UFS volume
freenas op de VMware ESXi server:
-> max z'n 185Mbps op het ZFS volume: E1000 nic, de VMXnet3 werkt (nog) niet
Hypervisor
Vandaag een update gedaan van 4 naar ESXi 5.1 en 8GB ram (dank aan rscheper) : de hypervisor is gratis ;-) maar eigenlijk ook gekozen omwille van een korte professionele ervaring met ESXi 4.1Hardware
(prijzen kloppen natuurlijk niet)| # | Product | Prijs | Subtotaal |
| 1 | Kingston DataTraveler G3 8GB Geel | € 4,67 | € 4,67 |
| 1 | Seagate Barracuda 7200.9 ST3160812AS, 160GB | € 111,86 | € 111,86 |
| 2 | Western Digital Blue WD2500AAJS, 250GB | € 0,- | € 0,- |
| 4 | Kingston KTM4982/2G | € 25,95 | € 103,80 |
| 1 | Intel Core 2 Duo E6550 Boxed | € 0,- | € 0,- |
| 1 | HP Compaq dc5800 (KK377ET) | € 0,- | € 0,- |
| Bekijk collectie Importeer producten | Totaal | € 220,33 | |
ESXi is geïnstalleerd op de (toekomstgerichte) 8GB usb stick, om hiervan te booten moest ik ESXi instellen de stick te gebruiken met een MBR table (kan niet booten vanaf GPT)
Verbruikt momenteel z'n 66W, met 2 actieve vm's.
RAM geheugen is het maximum van het bordje, ik had natuurlijk liever meer ;-)
Ik kom van een AMD athlon X2/4GB RAM met ESXi 4, maar daar was ESXi 5.1 niet meer compatibel mee. Voordeel van dit hp bordje is dat alles out of the box werkt. (op die GPT boot na).
Virtuele machines
| OS/Appliance | Functie |
| Freenas | Freenas 8.2 (2*250GB: RDM ging niet, dus als .vdmk gekoppeld en als ZFS mirror opgezet (testje) |
| UbuntuVPN | Moet fysieke openVPN server vervangen, nog op te zetten |
| W2008R2 | DC (rechten etc ooit nog op te zetten) |
| W2008R2 | experiment WSUS server, ook nog steeds niet opgezet |
| Win7 | Test machine, vooral voor bovenstaande machines te testen |
Foto's
let niet op de rommel, de stick heb ik vanonder gewoon in de kast geplakt.
Motivatie
Vooral opgezet om wat te spelen met wsus, domein controller, etc En om te testen of ik men oude freenas server kan vervangen als vm (nu nog een AMD sempron 3100+ met 2GB RAM met een idle verbruik van bijna 80W) maar momenteel gaat dat nog niet gebeuren Desnoods hou ik die apart voor een iSCSI volume... (met ooit nieuwe HW) Had hiervoor een iSCSI gekoppeld aan de ESXi 4 server.Wensen
- eventueel een upgrade naar een Quad core (Q6600 eventueel Q9xxx) goede upgrade voor prestaties lijkt me.- prestaties ZFS zien te verbeteren (zonder al te veel upgrades
), als dit lukt en het budget er is twee keer 2 of 3TB steken als ZFS mirror.momentele prestaties ZFS mirror:
oude freenas (amd sempron):
-> max z'n 232Mbps op het ZFS volume
-> max z'n 500Mbps op een gewoon UFS volume
freenas op de VMware ESXi server:
-> max z'n 185Mbps op het ZFS volume: E1000 nic, de VMXnet3 werkt (nog) niet
:strip_icc():strip_exif()/u/105320/i.jpg?f=community)
Ook mijn bijdrage maar eens leveren aan dit topic.
Ik wilde er graag zoveel mogelijk geheugen in zonder direct aan heel erg dure hardware te moeten, dus ik heb gekozen voor een i5 quadcode op 3.3 GHz met 32GB geheugen. Voor mij meer dan zat, alleen beetje jammer dat er niet meer geheugen bijgeprikt kan worden in de toekomst.
Ik heb een Dell PowerConnect 2724 24 poort GBit switch waarmee de server aan de rest van het netwerk geknoopt wordt. Voor opslag heb ik een Synology 1010+ (5 x 1.5TB) waar de nodige iSCSI targets op staan.
De ESX server heeft vier netwerkkaarten die op de volgende manier worden gebruikt:
1. VM Network
2. iSCSI Network
3. Servers Network
4. Clients Network
De Synology heeft 2 GBit NIC's waarvan er eentje gebruikt wordt voor iSCSI targets, en de andere voor het overige verkeer.
Prestaties zijn op deze manier erg prettig, ik heb wat snelheid op het netwerk niets te klagen.
) Alle VM's opnoemen is wat saai, dus ik zal me beperken tot de 'belangrijke' VM's die erop draaien.
De printer, ESX server en NAS (let niet op het stof)
En een screenshot van de client....
ESX is zelf geinstalleerd op de SSD die erin zit en dat draait prettig. Misschien dat ik dat ooit nog op een USB stick zet maar voor nu is het prima. Verder staat de Windows 7 client, SQL Database en de swap files op de SSD dus de prestaties daarvan zijn prima. Ik heb nog niet veel gemerkt van degradatie van performance (vziw ondersteunt ESXi geen trim commando) Ik ben wel benieuwd of dat zo blijft, maar dat ga ik meemaken
Grootste bottleneck in deze machine zijn de harddisks. Ik merk dat de VM op de SSD altijd ontzettend snel is, maar zodra er meerdere machines vanaf de SATA schijven druk bezig zijn er een behoorlijke degradatie is in performance. (wat ik uiteraard niet vreemd vind) Op het werk ligt nog een 'sloop' server met 6 x 15K SAS schijven die ik op het oog heb. Als ik toestemming krijg dan zou ik die graag in deze machine inbouwen, alleen een goede controller aanschaffen en dan denk ik dat ik redelijk van de SATA bottleneck af ben
Maar voor nu ben ik erg tevreden over deze setup...
Edit: foto's toegevoegd...
Hypervisor
Ik heb gekozen voor VMWare ESXi 5.1 aangezien ik dit met grote regelmaat tegenkom op het werk. VMWare heeft naar mijn mening het meeste ervaring met bare metal hypervisors en voor mij het meest geschikt. Ook het feit dat ESXi memory overcommitment heeft maakt de keuze erg eenvoudig. (ik zit op dit moment op zo'n 30% overcommitment zonder dat ik daarvan iets merk)Hardware
Ik had nog een aantal onderdelen die gebruikt zijn voor de setup. (eigenlijk alleen netwerkkaart en de 400GB schijven (oeps, zie nu dat het 1 x 250GB en 1 x 400GB is)) Verder een nieuwe computer aangeschaft voor de server. Het moederbord heeft een on-board netwerkkaart die ik op dit moment niet gebruik. Ik was oorspronkelijk van plan om deze voor de VPN server te gebruiken, maar daar ben ik vanaf gestapt aangezien L2TP erg gemakkelijk door mijn router door te sturen is. Voordeel is dat ik nu geen Windows server 'naakt' aan het internet heb hangen. Verder heb ik meer dan genoeg aan de 4 NIC's die er nu inzitten.Ik wilde er graag zoveel mogelijk geheugen in zonder direct aan heel erg dure hardware te moeten, dus ik heb gekozen voor een i5 quadcode op 3.3 GHz met 32GB geheugen. Voor mij meer dan zat, alleen beetje jammer dat er niet meer geheugen bijgeprikt kan worden in de toekomst.
Ik heb een Dell PowerConnect 2724 24 poort GBit switch waarmee de server aan de rest van het netwerk geknoopt wordt. Voor opslag heb ik een Synology 1010+ (5 x 1.5TB) waar de nodige iSCSI targets op staan.
De ESX server heeft vier netwerkkaarten die op de volgende manier worden gebruikt:
1. VM Network
2. iSCSI Network
3. Servers Network
4. Clients Network
De Synology heeft 2 GBit NIC's waarvan er eentje gebruikt wordt voor iSCSI targets, en de andere voor het overige verkeer.
Prestaties zijn op deze manier erg prettig, ik heb wat snelheid op het netwerk niets te klagen.
| # | Product | Prijs | Subtotaal |
| 1 | Cooler Master CM 690 II Advanced (USB 3.0 version) | € 101,48 | € 101,48 |
| 2 | Intel Gigabit CT Desktop Adapter | € 25,39 | € 50,78 |
| 1 | Intel PRO/1000 PT Dual Port Server Adapter (2x1000Mbps, PCI-e 4x) | € 154,50 | € 154,50 |
| 2 | Samsung SpinPoint T133 HD401LJ, 400GB | € 0,- | € 0,- |
| 1 | Western Digital Green WD20EARX, 2TB | € 89,90 | € 89,90 |
| 1 | Samsung SH-222BB Zwart | € 13,24 | € 13,24 |
| 2 | GeIL Evo Corsa GOC316GB2133C10AQC | € 114,20 | € 228,40 |
| 1 | Intel Core i5 3550 Boxed | € 180,- | € 180,- |
| 1 | OCZ ModXStream Pro 500W | € 56,- | € 56,- |
| 1 | Intel 330 120GB | € 77,- | € 77,- |
| 1 | MSI Z77A-GD55 | € 119,- | € 119,- |
| Bekijk collectie Importeer producten | Totaal | € 1.070,30 | |
Virtuele machines
De meeste VM's zijn Windows servers die ik gebruik om ervaring met de produkten op te doen. (Licenties zijn overigens netjes gedekt door het MSDN abonnement dat ik zelf heb, handig, geen gezeur met activatie ) Alle VM's opnoemen is wat saai, dus ik zal me beperken tot de 'belangrijke' VM's die erop draaien. | OS/Appliance | Functie |
| Windows 2008R2 Enterprise | Domain Controller 1, DHCP, DNS, NPS |
| Windows 2008R2 Enterprise | Domain Controller 2, DHCP, DNS |
| Windows 2008R2 Datacenter | Cluster Node 1, SQL, DTC |
| Windows 2008R2 Datacenter | Cluster Node 2, SQL, DTC |
| Windows 2008R2 Enterprise | SQL Server 2012 |
| Windows 2008R2 Enterprise | TFS Server 2012 |
| Windows 2008R2 Enterprise | Management tools, WSUS, backup |
| Windows 2008R2 Enterprise | RRAS, standalone |
| Windows 2012 Standard | Terminal Server |
| Windows 7 Ultimate | Download machine, algemene client |
| Debian Linux | Squid, Nagios |
Foto's
Binnenkant van de kast, ben geen modder maar toch redelijk netjes dacht ikDe printer, ESX server en NAS (let niet op het stof)
En een screenshot van de client....
Overig
Ik heb gekozen voor het MSI moederbord omdat dit VT-d zou ondersteunen. Helaas lijkt dat niet helemaal lekker te gaan... Nadat ik passthrough voor de onboard netwerkkaart had eengezet liep de machine snoeihard vast. Geen idee of dat ook de directe oorzaak is, maar ik heb VT-d in de BIOS uitgezet en gebruik het dus niet. De onboard netwerkkaart is niet echt nodig (zie boven) dus ik vind het wel best zo en ik heb niet verder gezocht wat het probleem precies is. Een stabiele machine vind ik belangrijker dan het gebruik van een goedkoop netwerkkaartje.ESX is zelf geinstalleerd op de SSD die erin zit en dat draait prettig. Misschien dat ik dat ooit nog op een USB stick zet maar voor nu is het prima. Verder staat de Windows 7 client, SQL Database en de swap files op de SSD dus de prestaties daarvan zijn prima. Ik heb nog niet veel gemerkt van degradatie van performance (vziw ondersteunt ESXi geen trim commando) Ik ben wel benieuwd of dat zo blijft, maar dat ga ik meemaken
Grootste bottleneck in deze machine zijn de harddisks. Ik merk dat de VM op de SSD altijd ontzettend snel is, maar zodra er meerdere machines vanaf de SATA schijven druk bezig zijn er een behoorlijke degradatie is in performance. (wat ik uiteraard niet vreemd vind) Op het werk ligt nog een 'sloop' server met 6 x 15K SAS schijven die ik op het oog heb. Als ik toestemming krijg dan zou ik die graag in deze machine inbouwen, alleen een goede controller aanschaffen en dan denk ik dat ik redelijk van de SATA bottleneck af ben
Maar voor nu ben ik erg tevreden over deze setup...
Edit: foto's toegevoegd...
:strip_icc():strip_exif()/u/79614/Family-Guy-Victory-is-Ours.jpg?f=community)
Nou het feit is dat ik nog niks heb Ik ben een compleet nieuwe virtualisatie server aan het opbouwen (fedora+KVM)
Ik ben een compleet nieuwe virtualisatie server aan het opbouwen (fedora+KVM)
Denk zelfs dat ik de hypervisor en vm's op raid 1 wil gaan zetten. (Even los van backups natuurlijk). Het is namelijk wel van belang dat alles blijft draaien als een ssd uitvalt. Een van de vm's draait pfsense voor het routeren van mijn internet connectie.
De Samsung 830's en Crucial M4's zijn tegenwoordig goed genoeg om alle writes van de vm's op te vangen? Daar heb je geen X25-E voor nodig?
Ah, ik lees net dat TRIM niet werkt op raid-1.. So far mijn leuke ideeen
De Samsung 830's en Crucial M4's zijn tegenwoordig goed genoeg om alle writes van de vm's op te vangen? Daar heb je geen X25-E voor nodig?
Ah, ik lees net dat TRIM niet werkt op raid-1.. So far mijn leuke ideeen
[ Voor 9% gewijzigd door B2 op 06-11-2012 10:45 ]
Zo ga je idd moeten werken (ivm die UPS), een mgmt VM die een script laat lopen als hij detecteert dat de stroom uitgevallen is...
Wel opletten: storage VM als laatste afsluiten dus .
Weet je eigenlijk wat jouw verbruik is?
Wel opletten: storage VM als laatste afsluiten dus
.Weet je eigenlijk wat jouw verbruik is?
[ Voor 10% gewijzigd door HyperBart op 10-11-2012 20:28 ]