:strip_icc():strip_exif()/u/3454/i486.jpg?f=community)
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Fuji X-T1 | XF14mm F2.8 R | XF23mm F1.4 R | XF35mm F1.4 R
Nikon D800 | AF-S 24-120/f4 VR2 | AF-S 50/f1.8G
Computer specs
:strip_icc():strip_exif()/u/96747/gnu_linux_poster_60.jpg?f=community)
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!
"Assumptions are the mother of all fuck-ups" 
Gisteravond nog geprobeerd om een bridge te maken om VM's te kunnen draaien, maar dat bleek niks te worden toen ik de verbinding met mijn server verloor
Dag 2
Net even wat testjes gedaan met VirtIO (Wat native is voor QEMU/KVM) en dat gaat ook wel rap
Vanuit een VM naar de host via NFS > 340MB/s lezen.
Nu nog eens kijken of ik Infiniband aan de praat krijg icm een Bridge, en dan eens kijken wat Windows doet over Infiniband -> FreeBSD VM met VirtIO.
Als we 10Gb niet via VMXNET3 krijgen, dan maar via VirtIO
nieuws: AMD introduceert nieuwe instap-Opterons
Op een goedkope manier ECC + AMD-Vi!!! (VT-d)
Gisteravond nog geprobeerd om een bridge te maken om VM's te kunnen draaien, maar dat bleek niks te worden toen ik de verbinding met mijn server verloor
Dag 2
Net even wat testjes gedaan met VirtIO (Wat native is voor QEMU/KVM) en dat gaat ook wel rap
Vanuit een VM naar de host via NFS > 340MB/s lezen.
Nu nog eens kijken of ik Infiniband aan de praat krijg icm een Bridge, en dan eens kijken wat Windows doet over Infiniband -> FreeBSD VM met VirtIO.
Als we 10Gb niet via VMXNET3 krijgen, dan maar via VirtIO
nieuws: AMD introduceert nieuwe instap-Opterons
Op een goedkope manier ECC + AMD-Vi!!! (VT-d)
[ Voor 60% gewijzigd door FireDrunk op 20-03-2012 13:04 ]
Even niets...
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Verwijderd
Grappig, bij mij was de i/o van kvm/qemu niet vooruit te branden... Oh well, ik draai nu tot volle tevredenheid ESXI:
Net even wat testjes gedaan met VirtIO (Wat native is voor QEMU/KVM) en dat gaat ook wel rap
Vanuit een VM naar de host via NFS > 340MB/s lezen.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
/u/231803/ramdisk2.png?f=community)
Ik kan inderdaad niets meer vinden over ECC support in de nieuwe A- series CPU's. Dat is wel jammer ja.
Die Opteron kost gelukkig maar $99
Die Opteron kost gelukkig maar $99
Even niets...
Hoi, ik heb een vraag over de volgende setup.
Ik heb thuis een logitech squeezebox duo en daarvoor moet er een squeezeboxserver draaien. Deze heb ik op een pogoplug, https://wiki.xkyle.com/PogoplugV2, draaien middels squeezeplug, http://wiki.slimdevices.com/index.php/SqueezePlug. Dit werkt prima tot nu toe. Maar ik ben denk ik een grens overschreden qua grootte van mijn muziek collectie dus nu moet ik een aantal seconden wachten als ik browse in mijn bestandenlijst. Dit ligt denk ik aan de 256mb interne geheugen van de pogoplug.
Nu kan ik gratis een oude HP DC7600u krijgen, http://h18000.www1.hp.com...cs/12253_na/12253_na.HTML, maar die zal niet echt heel zuinig zijn in idle. Als m aan een energiemeter hang dan geeft die 66 watt aan in idle toestand. ik heb er 3gb intern geheugen ingedaan.
Ik wil er OpenmediaVault op draaien, http://openmediavault.org/features.html, en dat is op basis van FreeNAS/Debian als ik het allemaal goed begrijp. Het draait nu op een usb stick en ik kan de webinterface benaderen dus de installatie lijkt gelukt.
Maar ik wil benadrukken dat ik niets weet van Debian maar ik ben wel vrij goed in het volgen van tutorials
Overigens is dus het hoofddoel het draaien van SBS en als tweede het streamen van films en fungeren als een simpele NAS met een extra backup naar een externe schijf.
Na deze lange uitleg dan nu het probleem en de vraag.
Er zit maar 1 sata poort in deze machine en ik wil er toch software raid (raid 1) op gaan doen wat het OS mij bied. Ik heb 2 1 tb schijven liggen die ik voor dit project kan gebruiken.
Een pci en een pci x16 poort zijn vrij dus er is ruimte voor een sata controller kaartje. Of een volwaardige raid controller.
Mijn voorkeur gaat uit naar een simpel sata kaartje vanwege de kosten en omdat ik nu toch eerst aan het klooien ben.
Als ik bijvoorbeeld zoek op dit kaartje, http://www.asrock.com/mb/spec/Card.asp?Model=SATA3%20Card, dan lees ik over problemen met deze Marvell chipset.
Mijn vraag is dan ook of iemand een kaartje weet die goed door Debian ondersteund wordt?
Ik heb thuis een logitech squeezebox duo en daarvoor moet er een squeezeboxserver draaien. Deze heb ik op een pogoplug, https://wiki.xkyle.com/PogoplugV2, draaien middels squeezeplug, http://wiki.slimdevices.com/index.php/SqueezePlug. Dit werkt prima tot nu toe. Maar ik ben denk ik een grens overschreden qua grootte van mijn muziek collectie dus nu moet ik een aantal seconden wachten als ik browse in mijn bestandenlijst. Dit ligt denk ik aan de 256mb interne geheugen van de pogoplug.
Nu kan ik gratis een oude HP DC7600u krijgen, http://h18000.www1.hp.com...cs/12253_na/12253_na.HTML, maar die zal niet echt heel zuinig zijn in idle. Als m aan een energiemeter hang dan geeft die 66 watt aan in idle toestand. ik heb er 3gb intern geheugen ingedaan.
Ik wil er OpenmediaVault op draaien, http://openmediavault.org/features.html, en dat is op basis van FreeNAS/Debian als ik het allemaal goed begrijp. Het draait nu op een usb stick en ik kan de webinterface benaderen dus de installatie lijkt gelukt.
Maar ik wil benadrukken dat ik niets weet van Debian maar ik ben wel vrij goed in het volgen van tutorials
Overigens is dus het hoofddoel het draaien van SBS en als tweede het streamen van films en fungeren als een simpele NAS met een extra backup naar een externe schijf.
Na deze lange uitleg dan nu het probleem en de vraag.
Er zit maar 1 sata poort in deze machine en ik wil er toch software raid (raid 1) op gaan doen wat het OS mij bied. Ik heb 2 1 tb schijven liggen die ik voor dit project kan gebruiken.
Een pci en een pci x16 poort zijn vrij dus er is ruimte voor een sata controller kaartje. Of een volwaardige raid controller.
Mijn voorkeur gaat uit naar een simpel sata kaartje vanwege de kosten en omdat ik nu toch eerst aan het klooien ben.
Als ik bijvoorbeeld zoek op dit kaartje, http://www.asrock.com/mb/spec/Card.asp?Model=SATA3%20Card, dan lees ik over problemen met deze Marvell chipset.
Mijn vraag is dan ook of iemand een kaartje weet die goed door Debian ondersteund wordt?
[root@NAS ~]# iperf -s ------------------------------------------------------------ Server listening on TCP port 5001 TCP window size: 85.3 KByte (default) ------------------------------------------------------------ [ 4] local 192.168.1.3 port 5001 connected with 192.168.1.149 port 46148 [ ID] Interval Transfer Bandwidth [ 4] 0.0-10.0 sec 16.8 GBytes 14.5 Gbits/sec
@KVM
VM <-> Host
* FireDrunk vind dit wel grappig
Even niets...
MMM, hopelijk gaan ze ook an de IB ondersteuning sleutelen.
Zojuist in de OpenIndiana speeltuin bezig geweest met een RAMdisk als SRP target.
Als referentie een linux RAMdisk SRP target.
Crystal Disk Mark:
Atto DiskBench:
En hetzelfde op de OI bak.
Crystal Disk Mark:
Atto DiskBench:
De hardware gebruikt voor Linux (en ook de FreeBSD test bak) en OpenIndiana is dezelfde, enkel de IB HCA is verschillend (mhea28-xtc vs mhea28-2tc).
Lijkt dus alsof write onder OI om de een of andere reden tegen een 500 MB/sec plafond aanloopt.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
[root@VIRTIOTEST ~]# iperf -c 192.168.1.3 ------------------------------------------------------------ Client connecting to 192.168.1.3, TCP port 5001 TCP window size: 32.8 KByte (default) ------------------------------------------------------------ [ 3] local 192.168.1.103 port 36385 connected with 192.168.1.3 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 10.6 GBytes 9.07 Gbits/sec
Fijn drivertje
Zo is ZFS virtueel draaien toch nog een optie!
Even niets...
:strip_icc():strip_exif()/u/4824/i.jpeg?f=community)
:strip_icc():strip_exif()/u/180748/avatar%2520nieuw%252060x60.jpg?f=community){kind=avatar}
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
:strip_icc():strip_exif()/u/316997/mypictr_60x60.jpg?f=community)
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Of je de kosten voor FlexRAID het waard vind kan ik niet voor jou bepalen, wat ik wel kan doen is mijn ervaring delen, en dat is dat het gewoon super handig en makkelijk werkt, geen gedoe meer met het rebuilden en expanden van array's maar gewoon een schijf toevoegen en klaar.
De maker van FlexRAID is trouwens ook bezig met een ander vergelijkbaar project, namelijk NZFS, een soort ZFS maar niet helemaal, misschien ook wel interessant om in de gaten te houden link
Verder, aangezien het nu betaald is kan je ook goede support verwachten van de maker, wat hij ook daadwerkelijk levert.
De maker van FlexRAID is trouwens ook bezig met een ander vergelijkbaar project, namelijk NZFS, een soort ZFS maar niet helemaal, misschien ook wel interessant om in de gaten te houden link
Verder, aangezien het nu betaald is kan je ook goede support verwachten van de maker, wat hij ook daadwerkelijk levert.
[ Voor 6% gewijzigd door Dazzleware op 24-03-2012 23:22 . Reden: link toegevoegd ]
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
:strip_exif()/u/340453/crop67a669ce4f1f4_cropped.webp?f=community)
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
2 QC's om Sab en Couchpatato te kunnen draaien? Je lijkt mij wel
Dat is echt zwaar overkill, zelfs om Infiniband vol te stouwen heb je geen 2 QC's nodig.
1 Goede QC met een sloot geheugen is zat. Tsurany heeft wat dat betreft zeker gelijk.
Hoewel je voor een Single Socket Opteron zou kunnen gaan als je zuinig + veel geheugen wil.
Dan heb je ook bordjes met ingebouwd LSI chipje. Maar ik geloof dat we die discussie al eens gevoerd hebben.
Dat is echt zwaar overkill, zelfs om Infiniband vol te stouwen heb je geen 2 QC's nodig.
1 Goede QC met een sloot geheugen is zat. Tsurany heeft wat dat betreft zeker gelijk.
Hoewel je voor een Single Socket Opteron zou kunnen gaan als je zuinig + veel geheugen wil.
Dan heb je ook bordjes met ingebouwd LSI chipje. Maar ik geloof dat we die discussie al eens gevoerd hebben.
Even niets...
:strip_exif()/u/396800/D-_3427da0a9c293b63f2a66dea2e642102.gif?f=community)
Ik was eerst van plan om ook verschillende game servers erop te gaan hosten maar na veel lezen heb ik gevonden dat zfs niet goed werkt met esxi en er zijn geen servers die op freebsd draaien. Wat ik nu wil gaan doen is een storage server kopen en later een bladeserver en die met elkaar verbinden door glasvezel of infiniband. Ik wil jullie wel hartelijk danken om mij hard op de feiten te drukken (had ik nodig ) ik zit nu te denken aan een singel socket systeem mis een e5 xeon (moet nog kijken naar die kosten) maar heb vooral veel op internet gelezen voor zfs is 1TB storage = 1GB ram (klopt dit wel?).
) ik zit nu te denken aan een singel socket systeem mis een e5 xeon (moet nog kijken naar die kosten) maar heb vooral veel op internet gelezen voor zfs is 1TB storage = 1GB ram (klopt dit wel?).
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Het is mijns inziens onmogelijk om snelle device passthrough te doen voor devices zonder VT-d.
Waarom? Dat komt door DMA. Een Virtual Machine (en dan heb ik het dus niet over paravirtualisatie, want dat is iets heel anders) krijg een vast setje geheugen. Daarin mag hij alles doen en laten wat hij wil.
Omdat het geheugen dat de VM gekregen heeft aan de binnenkant niet hetzelfde adres is als dat van de Host, moet er een vertaalslag gebeuren. Omdat deze vertaalslag normaal veel performance in gebruik neemt (omdat bij elke geheugenacces van een VM de Host op zijn beurt weer in zijn geheugen moest kijken waar dat geheugen écht staat) heeft men VT-x ontworpen (en AMD-V). Dit instructieset zorgt ervoor dat op het moment dat er vanuit een VM een memorycall gebeurt, de VM direct van de memorycontroller de data die hij nodig heeft terugkrijgt ipv dat de Host CPU op zijn beurt nog een paar calls moet doen.
Dat is overigens niet de enige functie van VT-x/AMD-V dat heeft namelijk nog veel meer functies.
Omdat devices in de VM's (net als fysieke machines dat krijgen) een IRQ toegewezenkrijgen, hebben zij ook last van dit probleem. Omdat een Device volgens het DMA principe zelf zijn data in het geheugen van de VM zou moeten schrijven, zouden er behoorlijk veel vreemde en onnodige CPU cycles verloren gaan om de data die van een device af komt op de goede plek te krijgen. Dit omdat het device niet direct in het geheugen van de Host mag schrijven.
Hiervoor is VT-d uitgevonden. Dit onderdeel zorgt ervoor dat een device *direct* in het geheugen van een VM mag schrijven. Vandaar ook dat je voor een VM die met VT-d een device doorkrijgt, altijd het volledige geheugen moet reserveren. In de CPU word namelijk een tabel bijgehouden welke devices in welk stuk geheugen mogen schrijven plús het stukje code (de IRQ routine) die uitgevoerd moet worden op het moment dat deze devices interrupts afschieten. Hierdoor kan een VM dus bijna direct bij je hardware, zonder tussen komst van je Host OS.
Ik hoop dat ik het een beetje duidelijk heb opgeschreven, want als ik het zelf teruglees is het nog steeds algebra
Waarom? Dat komt door DMA. Een Virtual Machine (en dan heb ik het dus niet over paravirtualisatie, want dat is iets heel anders) krijg een vast setje geheugen. Daarin mag hij alles doen en laten wat hij wil.
Omdat het geheugen dat de VM gekregen heeft aan de binnenkant niet hetzelfde adres is als dat van de Host, moet er een vertaalslag gebeuren. Omdat deze vertaalslag normaal veel performance in gebruik neemt (omdat bij elke geheugenacces van een VM de Host op zijn beurt weer in zijn geheugen moest kijken waar dat geheugen écht staat) heeft men VT-x ontworpen (en AMD-V). Dit instructieset zorgt ervoor dat op het moment dat er vanuit een VM een memorycall gebeurt, de VM direct van de memorycontroller de data die hij nodig heeft terugkrijgt ipv dat de Host CPU op zijn beurt nog een paar calls moet doen.
Dat is overigens niet de enige functie van VT-x/AMD-V dat heeft namelijk nog veel meer functies.
Omdat devices in de VM's (net als fysieke machines dat krijgen) een IRQ toegewezenkrijgen, hebben zij ook last van dit probleem. Omdat een Device volgens het DMA principe zelf zijn data in het geheugen van de VM zou moeten schrijven, zouden er behoorlijk veel vreemde en onnodige CPU cycles verloren gaan om de data die van een device af komt op de goede plek te krijgen. Dit omdat het device niet direct in het geheugen van de Host mag schrijven.
Hiervoor is VT-d uitgevonden. Dit onderdeel zorgt ervoor dat een device *direct* in het geheugen van een VM mag schrijven. Vandaar ook dat je voor een VM die met VT-d een device doorkrijgt, altijd het volledige geheugen moet reserveren. In de CPU word namelijk een tabel bijgehouden welke devices in welk stuk geheugen mogen schrijven plús het stukje code (de IRQ routine) die uitgevoerd moet worden op het moment dat deze devices interrupts afschieten. Hierdoor kan een VM dus bijna direct bij je hardware, zonder tussen komst van je Host OS.
Ik hoop dat ik het een beetje duidelijk heb opgeschreven, want als ik het zelf teruglees is het nog steeds algebra
Even niets...
Solaredge SE8K - 8830Wp - 15 x Jinko Solar N-type 420Wp - 2x Jinko Solar 405Wp - 4x Jinko Solar N-type 430 & Hoymiles HMS800 + 2x JASolar 375Wp
Het ging over devices. Ik vind een disk geen Device
Dat klopt.
[ Voor 16% gewijzigd door FireDrunk op 27-03-2012 21:53 ]
Even niets...
Dat is dan een verschil in gebruikte terminologie:
[...]
Het ging over devices. Ik vind een disk geen Device
Klopt, maar van IO is het soms ook wel lastig om zonder VT-d te werken. Ik zou namelijk niet een partitie of een disk doorgeven vanuit een Linux host aan een FreeBSD/ZFS guest zonder VT-d.
Hoewel het kan, vind ik het toch (nog) niet stabiel genoeg om te doen.
Daar vind ik KVM/QEMU nog te zwak voor. Ik had bijvoorbeeld dikke problemen om VM's op XFS te draaien. Dat moest onder EXT3/4 omdat raw/cow images niet goed werken op XFS.
En wat gebeurd er? IO Errors? nee hoor, gewoon een compleet hangende server.
Daarom doe ik liever VT-d
Hoewel het kan, vind ik het toch (nog) niet stabiel genoeg om te doen.
Daar vind ik KVM/QEMU nog te zwak voor. Ik had bijvoorbeeld dikke problemen om VM's op XFS te draaien. Dat moest onder EXT3/4 omdat raw/cow images niet goed werken op XFS.
En wat gebeurd er? IO Errors? nee hoor, gewoon een compleet hangende server.
Daarom doe ik liever VT-d
[ Voor 48% gewijzigd door FireDrunk op 27-03-2012 22:01 ]
Even niets...
Maar, met VT-d geef je de hele controller (en alles wat daaraan hangt) door aan het VM, niet de blockdevices, gezien er meer blockdevices aan die controller hangen dan mijn VM mag hebben
In dat geval is het ook lastig beslissen wat te doen. RDM / Of blockdevice passthrough zoals Linux dat kent, is dan eigenlijk de enige oplossing.:
Maar, met VT-d geef je de hele controller (en alles wat daaraan hangt) door aan het VM, niet de blockdevices, gezien er meer blockdevices aan die controller hangen dan mijn VM mag hebben
Even niets...
/u/34550/crop5fb18601699ca_cropped.png?f=community)
Heb het inderdaad gevonden en die grote klopt inderdaad dat is identiek. Dat zou inderdaad betekenen dat ze samen in één raid array passen. Bedankt!
dylan0806:
Wat ga je doen met die bak? Als je geen High Availability setup bouwt waar een tiental VMs hun data opslaan via iSCSI o.i.d. dan denk ik niet dat je écht een Xeon CPU nodig gaat hebben
Wat ga je doen met die bak? Als je geen High Availability setup bouwt waar een tiental VMs hun data opslaan via iSCSI o.i.d. dan denk ik niet dat je écht een Xeon CPU nodig gaat hebben
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!
Ik ga een 24x 3tb schijven in raid-z2 draaien (op den duur) op een vm (moet nog kijken welk os) met een Windows 2k8 r2. Ik wil vooral ook een xeon ivm vt-d en registered ecc ram.:
dylan0806:
Wat ga je doen met die bak? Als je geen High Availability setup bouwt waar een tiental VMs hun data opslaan via iSCSI o.i.d. dan denk ik niet dat je écht een Xeon CPU nodig gaat hebben
[ Voor 6% gewijzigd door dylan0806 op 30-03-2012 14:57 ]
En wat gaat die Win2k8 doen? Fileserver spelen voor de PCs in jouw huis? Inclusief mail en een AD? En je gaat er gedownloade films opslaan maar je bouwt een RAIDZ2 omdat je het zonde vind als je ooit weer al die films moet herdownloaden als je array verneukt is?
Guess what, een Core i3 moet meer dan genoeg voor je zijn al weet ik niet of die VT-d ondersteunt.
Geef eens echte info.
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!