\\ Baloo \\ Mijn iRacing profiel
Even niets...
Het ligt er maar aan wat je je hoofdOS noemt. IMHO gebruik je een specifieke toepassing als ZFSGuru niet voor virtualisatie taken. Daar is een speciale hypervisor (a la RHEV of ESXi) voor. In thuis/speelomgevingen kun je dan een storage toepassing als ZFSGuru draaien als VM en de storage middels iscsi/nfs doorgeven, in enterprise omgevingen geef je je storage via iscsi/fiberchannel aan de vm's.Verwijderd schreef op woensdag 30 januari 2013 @ 16:57:
[...]
Ik vind juist je hoofdOS niet virtualiseren een enorm groot voordeel.
Net alsdat je je vm's specifiek inricht voor een taak, doe je dit ook voor je hypervisor.
Ik vraag met af of er veel performance verschil in zit, zeker als je vt-d of in mindere mate virtio gebruikt.[list]• Lagere performance door virtualisatie, je draait nu 100% native / bare metal
Ik gebruik geen ESXi maar KVM. Dus alles wat in de Linux kernel zit wordt ondersteund.• Driver issues in ESXi
Idem als hierboven, geen ESXi dus ik kan gewoon alle powersaving functies van de Linux kernel gebruiken.• Hogere power consumption doordat ESXi niet alle energiebesparingstechnieken ondersteunt. Dit kan soms erg oplopen; maar is het kleinst op Intel platforms omdat die niet zoveel op softwarematige technieken vertrouwt.
Tja, klopt, maar vt-d zit in steeds meer hardware.• Verhaal dat je de chipset poorten - toch de beste SATA poorten die men ooit kán krijgen - niet kunt gebruiken omdat hier de ESXi disk op zit en je kunt alleen hele controllers wel of niet doorgeven met vt-d.
• Je hebt dus vt-d compatible hardware nodig, inclusief BIOS die dit kan enablen.
Het is denk ik vooral een mindset. Ik ben RHEV administrator, de mindset daarin is dat RHEV enkel en alleen de hypervisor is. Niks meer en niks minder.• In geval dat ESXi en FreeBSD een minder gelukkige combinatie zijn, voorkom je alle potentiële problemen tussen deze twee.[/list]
Ik vind bare metal draaien en virtualiseren op je ZFS OS dus eigenlijk een véél betere oplossing. Veel minder complexiteit, veel minder wat er mis kan gaan. Je draait gewoon native en virtualbox/qemu draait dan gewoon als applicatie op ZFSguru. Ik zou zeggen beter kan niet; voor ZFS in elk geval. Voor je gevirtualiseerde operating systems is VirtualBox voor licht gebruik wel prima, maar mist features versus ESXi. Ik denk dat VirtualBox voor veel gebruikers echter prima kan zijn.
ESXi is voor de beginneling makkelijk. GUI, dat soort dingen. En zo slecht is het nou ook weer niet.Eigenlijk vraag ik me af waarom mensen niet vaker deze opstelling draaien, en waarom iedereen voor ESXi gaat. Vroeger dacht ik dat ESXi de mogelijkheid gaf om ook de monitor/videokaart en toetsenbord enzo aan één guest te geven en zo desktop + server te combineren. Maar zelfs dat is niet waar. Dus eigenlijk snap ik niet zo heel goed de charme van ESXi. Het is de meest complexe oplossing die ik alleen zou overwegen als de alternatieven onbeschikt blijken te zijn. Bare metal is altijd beter dan virtualised. Vooral voor je ZFS OS kan dat extra vervelend zijn, omdat die directe toegang tot hardware wilt hebben.
Kan prima, 64bit nested ESXi en KVM bestaat gewoon. Of je het moet willen gebruiken is een 2de.Dat is zeker mogelijk; maar niet als je al gevirtualiseerd draait. Je kunt dus niet 'nesten' met 64-bit operating systems. Je kunt maar één keer een 64-bit OS virtualiseren via nested pages en vt-x. Daarna kun je alleen nog maar 32-bit OS virtualiseren. Kortom, dit probleem kom je alleen tegen als je virtualbox gebruikt binnen een virtualbox VM. De guest krijgt dan geen beschikking over nested pages en vt-x, voor zover ik begrijp. Zodra je dus ZFSguru echt hebt geïnstalleerd op een systeem kun je dus gewoon virtualbox gebruiken om 64-bit operating systems te draaien; meerdere ja, alleen niet nested (virtualbox in virtualbox in virtualbox).
Om een lang verhaal kort te maken : mijn mening is deze dat je een toepassing als ZFSGuru geen Hypervisor moet laten spelen. Gebruik hier een specifieke installatie zoals RHEV of daarna een minimale installatie van bv Fedora voor.
Verwijderd
Behalve voor zaken die ge-emuleerd moeten worden. Denk aan netwerk (als je guest geen VMXNET3 heeft zoals we vroeger dachten voor BSD) en wellicht ook storage in geval van RDM. Bij VirtualBox is het niet heel veel anders, de pure CPU performance is best goed maar bijvoorbeeld networking kan enorm traag zijn zonder virtio paravirtualisatie.FireDrunk schreef op woensdag 30 januari 2013 @ 18:26:
ESXi is een bare-metal hypervisor, verschil is dus miniem.
Maargoed, performance is over het algemeen niet zo'n belemmering voor virtualisatie, daar heb je gelijk in.
Nouja denk aan de problemen met LSI geëmuleerde hardware in combinatie met FreeBSD 9.1+. De nieuwe driver in FreeBSD 9.1 verwacht de nieuwste firmware (14 uit mijn hoofd). En veel exotische onboard netwerk werkt volgens mij ook niet onder ESXi. Dan wordt er een Intel kaartje bijgeflanst. Opzich geen probleem, maar wel een punt. De hardware support is onder FreeBSD denk ik wel (veel) beter dan ESXi?Que? ik heb meer driver issues gezien in FreeBSD dan in ESXi
Lijkt mij interessant om te testen. Ik heb hier plannen voor; binnenkort meer.ESXi is zuiniger of even zuinig als FreeBSD hier. (laatste keer dat ik testte met 9.0 denk ik)
ESXi is deftiger en meer volwassen dan Virtualbox in management en interface; ja oke daar heb je een punt.Op zich wel eens met de rest, alleen is de beheerbaarheid van ESXi gewoon enorm veel beter.
Duidelijkere interface, makkelijker te configureren, makkelijker ISO's mounten en noem maar op.
Bovendien is de netwerk, IO, en CPU performance gewoon stukken beter dan die van VirtualBox.
Of het zoveel sneller is met pure guest CPU-performance weet ik niet echt. Check deze benchmarks eens daar doet Virtualbox het toch niet slecht versus bare metal: http://www.phoronix.com/s...=ubuntu_1110_xenkvm&num=2.
Maar netwerkperformance is zeker een zwak punt van VirtualBox. De geemuleerde controller haalt in BSD vaak maar een paar megabyte per seconde. Vaagheid. Virtio crashde in het verleden mijn host wel eens (dat is kut). Maar nu werkt het wel beter inmiddels.
Dan zal het wel een beperking zijn van Virtualbox, want dit heb ik diverse malen meegemaakt. Als je in virtualbox een guest draait met virtualbox, dan kun je daarin om te beginnen al geen FreeBSD (64-bit) selecteren als operating system, alleen FreeBSD. Dus alleen 32-bit guests. Je mag ook geen extra CPUs inschakelen en ik weet niet of PAE toegestaan was. In elk geval, beperkingen.Dat is niet waar volgens mij, dat ligt er aan welke CPU instructies je doorgeeft aan de VM.
Je kan ESXi ook onder ESXi draaien.. en daar zelfs weer een ESXi in draaien.
Als ESXi wel 64-bit guests kan blijven nesten is dat (puur theoretisch) wel een voordeel. In elk geval deftige virtualisatie.
Maar... we willen toch allemaal Xen?! Als dat nou eens goed werkt en iemand een mooie web frontend bouwt, zou dat de natte droom zijn van menig tweaker. ZFS draait native en je monitor en toetsenbord/muis lus je door naar Ubuntu Linux xen-paravirtualised guest OS. En dan gamen via je PCI-passthrough videokaart, pas als dat werkt noem ik virtualisatie volwassen.
Faal, u gaat niet door voor de wasmachine.FireDrunk schreef op woensdag 30 januari 2013 @ 19:41:
Hij heeft net een preek over dat VirtualBox zijn voorkeur heeft, of begreep je dat niet
Het is niet zozeer VirtualBox waar ik nu helemaal weg van ben. Echter, het gebruik van VirtualBox betekent wel dat je ZFS OS gewoon zonder virtualisatie draait, en dat is eigenlijk waar ik voor pleit. QEMU kan eventueel nog als alternatief dienen voor Virtualbox in dit geval. Alleen heeft QEMU geen grafische frontend die werkt.
Main OS natuurlijk FreeBSD/ZFSguru en als hypervisor natuurlijk Xen. Althans, voor zover ik begrijp kan Xen heel veel potentie bieden zowel qua performance als mogelijkheden binnen FreeBSD. Er wordt actief gewerkt aan Dom0 zodat je ZFSguru kan inzetten als Xen host, en dan Ubuntu als Xen DomU (guest) kan draaien. Dat zou in theorie een heel goede oplossing zijn denk ik. Maar er zijn problemen met:MikeVM schreef op woensdag 30 januari 2013 @ 19:14:
@ cipher, wat zou jij dan kiezen als main os om daaronder VM's te draaien?
met de freebsd en varianten zal dat niet lukken, ofwel?
- Grafische/web interface voor Xen?
- Support voor Xen dom0 is nog lang niet compleet; duurt nog wel een jaar of wat voor dat redelijk werkt en in FreeBSD 10 te vinden is
- Je hebt Xen PV-aware kernels nodig dus je kunt behalve HVM (emulatie zeg maar) niet alle operating systems draaien
Paravirtualisatie is een soort van smerige manier om een VM aware te maken van de host kernel.
Daardoor kan de performance veel hoger zijn.
HVM is vanwege security veel beter dan Paravirtualisatie.
Waar jij het over hebt is QEMU zonder KVM, dat is echt geemuleerde virtualisatie.
Dat is niet hetzelfde.
Even niets...
Verwijderd
Aan die beperking wordt trouwens gewerkt, zodat amd64 (64-bit) op hetzelfde niveau komt als i386 (32-bit).FreeBSD supports both hardware virtualized (HVM) and fully para-virtualized (PV) kernels on i386.
FreeBSD supports only hardware virtualized (HVM) kernels on amd64
edit: ah je bedoelt HVM is geen emulatie. Aangepast.
[ Voor 7% gewijzigd door Verwijderd op 30-01-2013 20:24 ]
En dat terwijl je aan de benchmarks goed kan zien, dat KVM wel snapt hoe je iets moet laten performen...
Even niets...
ik hoop met een G860 op ubuntu icm virutalbox (ZFS-OS) gewoon een gbit lijntje makkelijk dicht te trekken.
ik hoop vandaag dit te bestellen.
| # | Product | Prijs | Subtotaal |
| 1 | Intel Pentium G860 Boxed | € 54,95 | € 54,95 |
| 1 | ASRock B75 Pro3-M | € 56,90 | € 56,90 |
| 10 | Western Digital Green WD30EZRX, 3TB | € 117,95 | € 1.179,50 |
| 1 | Antec Take 4 650 | € 274,50 | € 274,50 |
| 2 | Corsair Vengeance CMZ16GX3M2A1600C10 | € 77,95 | € 155,90 |
| 1 | Intel RAID Controller SASUC8I | € 140,- | € 140,- |
| Bekijk collectie Importeer producten | Totaal | € 1.861,75 | |
kast(+PSU) en de raidcontroller koop ik tweedehands
\\ Baloo \\ Mijn iRacing profiel
Bitfenix Whisper 450W review
[PSU] Voeding advies en info
AMD Nieuwsdiscussie
AMD Radeon Info en Nieuwsdiscussietopic
\\ Baloo \\ Mijn iRacing profiel
Verwijderd
goed, zoals je zelf hebt gevonden werkt die controller blijkbaar niet met 3 TB schijven.MikeVM schreef op woensdag 30 januari 2013 @ 23:23:
PSU zit in de kast, de kast zal later (en dan ook psu) wordt later geupgrade.
ben echt benieuwd wat je daarvoor dan 2e hands gaat gebruiken.
Je kan beter voor een M1015 gaan, die heeft een SAS208 chipset, en dat is momenteel de betere keuze.
Even niets...
Verwijderd
ja die kan wel met 3 TB omgaan lees ik net..FireDrunk schreef op woensdag 30 januari 2013 @ 23:26:
Die SASUC8I is een verouderde controller (LSI 1068 chipset).
Je kan beter voor een M1015 gaan, die heeft een SAS208 chipset, en dat is momenteel de betere keuze.
Ik zou gaan voor een raid kaart welke ook stagerred spin-up ondersteund (weet niet of deze dat ook doet) en gaan voor bijvoorbeeld Seasonic G series 360W of G series 450W. De 360W is namelijk niet heel ruim bij 24 HDD's, dus 450W is beter. Zonder staggered spin-up is een is 650W single rail welke al het vermogen op de 12V kan leveren namelijk wel minimaal.MikeVM schreef op woensdag 30 januari 2013 @ 23:23:
PSU zit in de kast, de kast zal later (en dan ook psu) wordt later geupgrade.
Denk dat de voeding in de Antec niet echt ruinig gaat zijn...
Bitfenix Whisper 450W review
[PSU] Voeding advies en info
AMD Nieuwsdiscussie
AMD Radeon Info en Nieuwsdiscussietopic
| # | Product | Prijs | Subtotaal |
| 1 | Intel Core i5 3570 Boxed | € 181,20 | € 181,20 |
| 1 | ASRock B75 Pro3-M | € 56,90 | € 56,90 |
| 12 | Seagate Barracuda 7200.14 ST3000DM001, 3TB | € 113,90 | € 1.366,80 |
| 1 | Fractal Design Define XL USB 3.0 Black Pearl | € 138,46 | € 138,46 |
| 1 | Corsair Vengeance CML32GX3M4A1600C10 | € 149,95 | € 149,95 |
| 1 | IBM ServeRAID M1015 SAS/SATA Controller for System x | € 118,50 | € 118,50 |
| 1 | Seasonic G-Serie 450Watt | € 78,99 | € 78,99 |
| 1 | Intel 320 120GB | € 163,40 | € 163,40 |
| Bekijk collectie Importeer producten | Totaal | € 2.254,20 | |
Quote from the past, welke HBA doet 3 TiB hdd'sVerwijderd schreef op woensdag 30 januari 2013 @ 23:30:
[...]
ja die kan wel met 3 TB omgaan lees ik net..
De geliefde HBA's.
| Controller/HBA | 3GB/6GB | 3TB |
| LSI SAS 9211-8i (SAS9211-8I/SGL) | 6GB/s | ondersteund |
| IBM M1015 (LSI SAS 9240-8i) | 6GB/s | ondersteund |
| LSI LSI SAS3081E-R-SGL | 3GB/s | ziet 2.2 TB |
| Intel RAID Controller SASUC8I | 3GB/s | ziet 2.2 TB |
| IBM ServeRAID-BR10i (LSI SAS3082E-R) | 3GB/s | ondersteund, firmware versie 2.72 vereist |
En van de M1015 kan ik in persoon bevestigen dat deze 3 TiB doet, heb er inmiddels een 3TiB exemplaar van Seagate aangehad.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
En ook met HD's kan je een aantal kanten op. Starten met 3 RaidZ1, en daarna met 'klamme' handjes uitbreiden naar 6 RaidZ2 (migreren zonder pariteit). Of beginnen met 3 RaidZ1, daarna een extra pool 3 RaidZ1 en pas daarna een nieuwe 6 RaidZ2, de 2 eerste pools leegmaken en omzetten naar een 6 RaidZ2. Ik heb 7TB nodg, wil RaidZ2 en de prijzen zijn nu weer redelijk dus ga ik onmiddellijk voor 6 disks. Maar als ik dan uitbreid had 10 RaidZ2 'goedkoper' geweest, netto meer opslag voor dezelfde bescherming, het is altijd wel wat :-)
http://www.digitimes.com/news/a20130128PD217.html
Ik herinner me nog dat ik Corsair Dominator 4GB DDR2 RAM kocht voor 100€ in 2008, heb 3 jaren later hetzelfde bedrag betaald voor datzelfde setje tweedehands en ik vond het nog een goede deal, want in de winkels kostte het toen 200€. Ik dacht toen ook: "goh later kan ik toch makkelijk upgraden", maar er komt vanalles tussen waardoor de tijd vliegt.
Ik heb in het verleden deze prijssteigingen meegemaakt, het is iets waar je toch rekening mee moet houden.
Nu kost 32GB DDR3 je 150€, dat is 6-7% van de totale aankoopprijs van je systeem. Daar zou ik niet op besparen nu.
[ Voor 8% gewijzigd door Phuncz op 31-01-2013 14:09 ]
In IT of IR-mode of beide?Pantagruel schreef op donderdag 31 januari 2013 @ 13:50:
Quote from the past, welke HBA doet 3 TiB hdd's
Het OS krijgt dan ook max 2.2 TB igv SASUC8i?
Ik weet niet of daar oplossingen voor zijn..?
Verwijderd
Sommige controllers verhogen namelijk de sectorsize naar 4K - onafhankelijk van wat voor schijf je er aan hangt - om zo de 2TiB grens op te rekken. De grens is namelijk niet 2TiB, maar 32-bit LBA. Bij gebruik van 512 byte sectoren kom je dan op 2TiB. Maar met 1K sectoren dus 4TiB, en 4K sectoren dus 16TiB ondersteuning. Hetzelfde geldt voor MS-DOS partities die normaal tot 2TiB kunnen, maar met grotere sectoren dus tot 16TiB.
Dit is maar een 'vies trucje' om de limiet te verhogen; ik denk ongeveer zoals PAE dat is voor 32-bit geheugentoegang.
Contagion schreef op donderdag 31 januari 2013 @ 14:19:
@Pantagruel: ik heb de BR10i maar ik krijg 3 TB disks niet aan de praat. Dat wil zeggen. Hij ziet de harddisks wel maar kan maar 2.2 TB gebruiken en niet omgaan met 4KB sectoren.
Ik weet niet of daar oplossingen voor zijn..?
Pantagruel schreef op donderdag 31 januari 2013 @ 13:50:
IBM ServeRAID-BR10i (LSI SAS3082E-R) - ondersteund, firmware versie 2.72 vereist
[ Voor 45% gewijzigd door Phuncz op 31-01-2013 14:23 ]
@Cipher: Ik weet niet precies hoe en wat maar mijn interne controller van het AMD bord zie de schijf als physical 4KB maar kan ook logical 512B addresseren, idem voor de jMicrron controllers op het bord. Als ik de drive aan de BR10i hang echter, dan zegt ie Physical 512/Logical 512 en houdt het bij 2.2TB op.
Nog even een losse vraag nu we het over VT-D hebben. Heeft een recente AMD op AM3+ dezelfde virtualisatiemogelijkheden als de niet gecrippelde I5's en i7's?
[ Voor 10% gewijzigd door Contagion op 31-01-2013 14:38 ]
De tegenhanger van AMD is AMD-Vi: Wikipedia: x86 virtualizationContagion schreef op donderdag 31 januari 2013 @ 14:37:
Nog even een losse vraag nu we het over VT-D hebben. Heeft een recente AMD op AM3+ dezelfde virtualisatiemogelijkheden als de niet gecrippelde I5's en i7's?
Je zult dus even moeten kijken of je processor dat ondersteunt.
[ Voor 36% gewijzigd door BXL op 31-01-2013 14:46 ]
Even niets...
Ik gok in zowel IT als IR mode, mbt tot de omvang die t OS ziet ja, ff google'n zou ik zeggen, is vast en zeker wel een posting over te vinden.Loekie schreef op donderdag 31 januari 2013 @ 14:09:
[...]
In IT of IR-mode of beide?
Het OS krijgt dan ook max 2.2 TB igv SASUC8i?
De vermelding dat de BR10i 3TB zou ondersteunen komt uit de changelog van de firmware vandaanContagion schreef op donderdag 31 januari 2013 @ 14:19:
@Pantagruel: ik heb de BR10i maar ik krijg 3 TB disks niet aan de praat. Dat wil zeggen. Hij ziet de harddisks wel maar kan maar 2.2 TB gebruiken en niet omgaan met 4KB sectoren.
Ik weet niet of daar oplossingen voor zijn..?
Version 2.72 - Suggested
------------
Contains:
- BIOS Version: 6.30.00.00
- Firmware Version: 1.30.05.00
- BSD Version: 3.16.00.05
Enhancement
- Support 2TB LUNS and greater
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Of is ie toch iets anders?
Even niets...
Tja de M1015 is welleswaar onderhuids een LSI SAS2008, maar tegelijkertijd niet gelijk aan de 9211-8i omdat de RAID5 in de vorm van een optie opsteek chippie gekocht moet worden.FireDrunk schreef op donderdag 31 januari 2013 @ 20:41:
Wat ik toch vreemd vind is dat die BR10i onderwater toch gewoon een 1068 is?
Of is ie toch iets anders?
Het lijkt me dus niet geheel onmogelijk dat dit voor de BR10i ook geldt en dat IBM voor deze controller ook een beperkte chip bij LSI heeft betrokken.
Het voordeel van de M1015 is wel dat de beperking voor bijv. ZFS volledig irrelevant is en je juist het prijs voordeel van de M1015 wilt en niet de meerprijs van de full blown RAID adapter die de 9211-8i is. Zoals je weet gebruik je het RAID5 deel van de firmware toch niet.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Verwijderd
Zie ook: http://www.servethehome.c...ced-feature-key-m1015-70/
Klopt, RAID5 krijg je door middel van een key in te voeren in de RAID BIOS van het ding. Er zit geen geheugen op de controller (of bij lange na niet genoeg) dus write-back caching kan je vergeten. Met Write-Through heb je wel parity maar geen snelheid dus effectief kan je de controller net zo goed met IT firmware gebruiken en je redundancy door je OS laten regelen.Verwijderd schreef op donderdag 31 januari 2013 @ 22:15:
Ik dacht dat die RAID5 enkel een 'key' was en dus een soort licentiesleutel om de RAID5 firmware te mogen gebruiken; niet een 'RAID5 chip' die je toevoegt aan de controller. Of heb ik het mis?
Zie ook: http://www.servethehome.c...ced-feature-key-m1015-70/
En 4TB ?? Future upgrades en zoPantagruel schreef op donderdag 31 januari 2013 @ 13:50:
Quote from the past, welke HBA doet 3 TiB hdd's
De geliefde HBA's.
Controller/HBA 3GB/6GB 3TB LSI SAS 9211-8i (SAS9211-8I/SGL) 6GB/s ondersteund IBM M1015 (LSI SAS 9240-8i) 6GB/s ondersteund LSI LSI SAS3081E-R-SGL 3GB/s ziet 2.2 TB Intel RAID Controller SASUC8I 3GB/s ziet 2.2 TB IBM ServeRAID-BR10i (LSI SAS3082E-R) 3GB/s ondersteund,
firmware versie 2.72 vereist
En van de M1015 kan ik in persoon bevestigen dat deze 3 TiB doet, heb er inmiddels een 3TiB exemplaar van Seagate aangehad.
Nou weet ik wel dat 3 TB een goede test zou moeten zijn voor 4 TB, maar misschien handig om het er toch bij te vermelden voor de zekerheid : Het zal niet de eerste keer zijn dat een fabrikant het "vergeten is" en heel toevallig alleen het nieuwste model alles goed ondersteund.
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
[cheeky mode]nero355 schreef op vrijdag 01 februari 2013 @ 00:37:
[...]
En 4TB ?? Future upgrades en zo
Nou weet ik wel dat 3 TB een goede test zou moeten zijn voor 4 TB, maar misschien handig om het er toch bij te vermelden voor de zekerheid : Het zal niet de eerste keer zijn dat een fabrikant het "vergeten is" en heel toevallig alleen het nieuwste model alles goed ondersteund.
Mocht je een 4 TiB drive willen donoren, dan kan ik t wel testen
[/cheeky mode]
Onder voorbehoud, ik zal er dit weekend eens naar kijken wat er bekend is voor de HBA's die nu 3 TiB drives ondersteunen.
De geliefde HBA's.
| Controller/HBA | 3GB/6GB | 3TB | 4TB |
| LSI SAS 9211-8i (SAS9211-8I/SGL) | 6GB/s | ondersteund | ondersteund SAS&SATA |
| IBM M1015 (LSI SAS 9240-8i) | 6GB/s | ondersteund | ondersteund Limetech posting jacovn bevestigd |
| Dell UCS-71 (=PERC H200) | 6GB/s | ondersteund | ondersteund vlgs HGST(is nu WD) |
| LSI LSI SAS3081E-R-SGL | 3GB/s | ziet 2.2 TB | niet gecontroleerd |
| Intel RAID Controller SASUC8I | 3GB/s | ziet 2.2 TB | niet gecontroleerd |
| IBM ServeRAID-BR10i (LSI SAS3082E-R) | 3GB/s | ondersteund, firmware versie 2.72 vereist | niet gecontroleerd |
Voor de duidelijkheid, de samenwerking van de HBA met een 4 TiB drive heb ik dus niet in persoon getest en alle info komt of uit compatibility lists of uit forum postings. Ondersteuning kan afhankelijk zijn van firmware/BIOS versie en zoals altijd, gebruik geschiet geheel voor eigen risico
Aan de lijst van geliefde HBA's heb ik de Dell PERC H200 toegevoegd. Aan gezien de M1015 erg hot is en dus duurder in de aanschaf, is deze Dell kaart een goed alternatief. Net zoals de M1015 is het een LSI SAS2008 HBA en is deze te flashen, meer info kun je op OC AU vinden.
Add: Vlgs Ebay doet een 2de hands Perc H200 toch ook al snel €100-150 en dan vaak nog zonder bracket ook nog (kost ook ca. €10), dus qua prijs niet echt competitief.
[ Voor 76% gewijzigd door Pantagruel op 02-02-2013 07:36 . Reden: tabel toegevoegd ]
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Ik heb zelf ook de Define XL gehad, en qua geluidsbeperking is het een geweldige case, maar ik had veel moeilijkheden om de kabels van al die disks proper te kunnen wegwerken aan de zijkant: De geluidsisolatie laat weinig ruimte vrij. Je moet trouwens ook haakse sata aansluitingen gebruiken, anders creëer je veel spanning op die connectors en durft er al wel eens iets uitvallen als er iets tegen de kast tegenaan komt...inSane666 schreef op donderdag 31 januari 2013 @ 13:56:
Ik ga dat zeker niet in 1 keer bestellen, eerst basis en 6 schijven. Geheugen kan eigenlijk ook in stappen. Ik denk dat er nog mogelijkheden zijn als ik een andere case zoek, iets stil en koel met 12+1 bays voor schijven. Dan kom ik op <600€ excl schijven. Als ik daarnaast mijn oude desktop kan migreren is een SSD ook verantwoord.
En ook met HD's kan je een aantal kanten op. Starten met 3 RaidZ1, en daarna met 'klamme' handjes uitbreiden naar 6 RaidZ2 (migreren zonder pariteit). Of beginnen met 3 RaidZ1, daarna een extra pool 3 RaidZ1 en pas daarna een nieuwe 6 RaidZ2, de 2 eerste pools leegmaken en omzetten naar een 6 RaidZ2. Ik heb 7TB nodg, wil RaidZ2 en de prijzen zijn nu weer redelijk dus ga ik onmiddellijk voor 6 disks. Maar als ik dan uitbreid had 10 RaidZ2 'goedkoper' geweest, netto meer opslag voor dezelfde bescherming, het is altijd wel wat :-)
Ik ben zelf overgestapt naar een lian li pc-80b met wat 4 in 3 // 5 in 3 modules en dat werkt veel handiger voor alles aan te sluiten. Is natuurlijk wel een minder mooie case; naar mijn mening alvast toch; maar soms moet het je toch compromissen sluiten...
Moet nog een keer naar een Seasonic modulaire voeding en een paar SATA power splitters.
Zoiets:
http://highflow.nl/aanslu...h-capacitor-sst-cp06.html
[ Voor 17% gewijzigd door FireDrunk op 01-02-2013 12:31 ]
Even niets...
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Nice, heb de tabel aangepast en je bevestiging toegevoegd.jacovn schreef op zaterdag 02 februari 2013 @ 03:20:
Toshiba 4 tb werkt zo te zien goed met een m1015, ze worden herkend en ik heb een full 0 write gedaan onder zfsguru
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Xen vanaf een USB stick draaien, en zo VT-d kunnen gebruiken met de onboard controller.
Eens proberen of dat kan
Even niets...
Is ook wel fijn dat het werkt, ik wil er 10 aansluitenPantagruel schreef op zaterdag 02 februari 2013 @ 07:36:
[...]
Nice, heb de tabel aangepast en je bevestiging toegevoegd.
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Tja, ieder zo t zijne.
De 'sweet spot' lijkt idd nog steeds bij de 3 TiB drives te liggen (zo'n 3,8 a 4 euro cent per GiB), maar als je naar de Hitachi Deskstar 5K4000 kijkt, dan klinkt 4,4 euro cent/GiB niet eens erg veel duurder. Overall gezien is het prijsverschil wel heftig, 600 euro is niet niks (bij 10 drives).
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Mocht hij echt nergens meer te krijgen zijn zal ik een ander bordje moeten zoeken ben ik bang, hoe zit dat eigenlijk met die port replicators voor SATA? Dit aangezien de meeste ITX bordjes geen 6x SATA hebben.
www.maartendeboer.net
1D X | 5Ds | Zeiss Milvus 25, 50, 85 f/1.4 | Zeiss Otus 55 f/1.4 | Canon 200 f/1.8 | Canon 200 f/2 | Canon 300 f/2.8
Aan de andere kant kan je wel wat meer kanten uit qua redundantiemechanismes als je meer spindles hebt...mux schreef op zaterdag 02 februari 2013 @ 14:06:
Beschikbaarheid is alleen wel het grote probleem bij 4tb schijven, zeker hitachi. Het is zeker aantrekkelijk om poorten, ruimte en energie te sparen met 4TB schijven, als ze eindelijk eens commodity worden :-P
Om nu mijn zelfde array grootte na te bouwen met 4TB's dan zit ik op iets van 4 disks die ik dan in RAIDZ zou zetten, terwijl ik twijfelde om richting RAIDZ2 te gaan toen ik mijn set bouwde. In die optiek vind ik het extra verbruik van 2 drives meer verwaarloosbaar.
Ok, tip ga ik volgenPhuncz schreef op donderdag 31 januari 2013 @ 14:08:
RAM geheugen zou ik zeker nu wel allemaal kopen, aangezien het alleen maar duurder gaat worden:
http://www.digitimes.com/news/a20130128PD217.html
Dat is omdat de HD's dwars gemonteerd worden?kristofb schreef op vrijdag 01 februari 2013 @ 12:04:
[...]
Je moet trouwens ook haakse sata aansluitingen gebruiken, anders creëer je veel spanning op die connectors en durft er al wel eens iets uitvallen als er iets tegen de kast tegenaan komt...
Ik ga deze pricewatch: Cooler Master Hyper 412 SLIM erbij nemen als CPU cooler, hier en daar melden reviews dat coolers en volle geheugensloten conflicteren, deze is dunner.
Iedereen bedankt voor de input
ik heb dus nu een nieuw systeem besteld, met 32GB, zonder VT-d, en ik wil toch Ubuntu draaien, ZFS via virtualbox, als ik dan 24GB reserveer voor de ZFS-VM, dan heb ik nog 8 GB over voor UbuntuFireDrunk schreef op maandag 28 januari 2013 @ 17:25:
Waar je rekening mee moet houden, zijn je lastige eisen. ZFS en Virtualisatie gaan absoluut neit zomaar hand in hand. Bedenk je dat je veel geheugen nodig hebt, en dat VT-d eigenlijk een must is.
Een VM met een PCI device doorgegeven via VT-d heeft 100% memory reservering dus memory overcommitment zit er ook niet meer in voor die VM.
Een ZFS machine wil graag 16GB geheugen, en bij heel veel schijven is meer altijd beter.
Vraagje:
zonder VT-d
moet ik geheugen reserveren, en kunnen de OS'en enkel gebruiken wat gereserveerd is?
met VT-d
kan het geheugen gebruikt worden door beide OS'en waar nodig?
ZFS-OS kan 30GB ramgebruiken als Ubuntu Idle is. en vice-versa?
- zijn er dan nog nadelen aan een VM-setup zonder VT-d?
- als volgende investering? kan ik dan best voor een Crucial M500 gaan of een VT-d processor?
voorlopig ga ik een Intel X25-M 80GB gebruiken als Bootschijf
\\ Baloo \\ Mijn iRacing profiel
Als je gaat virtualiseren, pak dan of Xen, of KVM, maar ZFS in virtualbox is nooit een goed idee....
Over je vraag, dat kan niet, alleen ESXi heeft memory overcommitment (KVM ook wel een beetje, maar is lang niet zo geavanceerd).
Met VT-d moet je inderdaad sowieso een 100% reservering maken.
[ Voor 29% gewijzigd door FireDrunk op 02-02-2013 19:19 ]
Even niets...
Met ^^. ZFS in Virtualbox is geen goed idee. ZFS zonder VT-d in een vm op linux kan en het werkt, maar ik sta niet 100% in voor de data integriteit. Wil je iets met ZFS in een vm doen zou ik altijd voor VT-d gaan.FireDrunk schreef op zaterdag 02 februari 2013 @ 19:18:
Sorry, wat? ZFS via VirtualBox? Waarom zou je dat willen? Als je persé ubuntu wil draaien als host, kan je ook daar ZFS installeren.
Als je gaat virtualiseren, pak dan of Xen, of KVM, maar ZFS in virtualbox is nooit een goed idee....
Over je vraag, dat kan niet, alleen ESXi heeft memory overcommitment (KVM ook wel een beetje, maar is lang niet zo geavanceerd).
Met VT-d moet je inderdaad sowieso een 100% reservering maken.
Let er vooral bij KVM op als je aan memory overcommitting gaan doen (wat ik je niet aanraad) dan moet je echt meer dan genoeg swap space op de host aanmaken. Als er niet genoeg swap space is zal de host processen (en dus vm's) gaan afschieten.
ESXi stopt ook gewoon je VM als het out of memory loopt...
Even niets...
Het verschil is dat volgens mij ESXi een gracefull shutdown doet. De Linux kernel gaat gewoon processen killen en kijkt niet of het een qemu-kvm proces is of iets anders.FireDrunk schreef op zaterdag 02 februari 2013 @ 19:58:
(Net als alle andere HyperVisors doen hoor, dus zo gek is dat niet...)
ESXi stopt ook gewoon je VM als het out of memory loopt...
Zo ben ik er wel een paar keer tegen aan gelopen dat er geen vrij RAM meer op de hypervisor was en deze al het netwerk verkeer afschoot.
Komt gewoon omdat er geen geheugen ruimte is om dat te doen...
ESXi heeft wel veel meer mechanismes om dat te voorkomen (Ballooning, compacting, swapping)
Even niets...
Waar denk je dat ESX de swapfile laat wanneer er memory geswapt moet worden?FireDrunk schreef op zaterdag 02 februari 2013 @ 20:30:
Het gaat over geheugen.
Nee, niet meer, en het is meer "te veel film rips die ik wil bewaren"
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Dat snap ik, maar je swap is toch maximaal het complete geheugen van je VM?redfoxert schreef op zaterdag 02 februari 2013 @ 20:35:
[...]
Waar denk je dat ESX de swapfile laat wanneer er memory geswapt moet worden?
En als dat vol is, kan je toch zoveel diskruimte hebben als je wil, maar op is op...?
Maar ja, maakt niet uit, suspend, kill. Praktisch hetzelfde effect.
Even niets...
en waarom dan de keuze 10 x 4TB i.p.v. 13 x 3TB? Qua ruimte, zowel fysiek als in TB, maakt dat weinig uit en met 10 schijven heb je toch al een extra controller of expander nodig?jacovn schreef op zondag 03 februari 2013 @ 01:38:
[...]Nee, niet meer, en het is meer "te veel film rips die ik wil bewaren"
Zelf ben ik al wel een beetje terug van het hebben van één grote array en overweeg een setup te maken meerdere "kleinere" arrays. Dat maakt migreren naar grotere schijven makkelijker en backup overzichtelijker.
1ste voorbeeld: 1 * ( 10 * 4TB RAIDZ2 )
2de voorbeeld: 2 * ( 6 * 4TB RAIDZ2 )
3de voorbeeld: 3 * ( 6 * 3TB RAIDZ2 )
1ste voorbeeld 10 schijven, 1 array voor een totale storage van ~32TB
2de voorbeeld: 12 schijven, 2 arrays voor een totale storage van ~36TB
3de voorbeeld: 18 schijven, 3 arrays voor een totale storage van ~36TB
Exclusief overhead, geformateerde capaciteit en dergelijke.
Persoonlijk zie ik heil in het tweede schema, 12 schijven is makkelijk te doen met een 6-connector mobo en 8-connector extra controller, waardoor er 2 overblijven voor SSD's als L2ARC en ZIL.
Het derde schema is gewoon onnodig duur (duurdere of 2de controller) en zal niet meer opslag bieden, door de overhead van RAIDZ-levels. Echter zou je wel meer flexibiliteit hebben, echter ook 80% meer kans op hardware failure dan een enkele array van 10 disks of 50% meer kans dan twee arrays van in totaal 12 disks.
Sowieso zou ik voor >8TB arrays altijd voor RAIDZ2 kiezen, door de hoge kans op URE's.
En met dat respecterend, moet een array al uit véél schijven bestaan om de verliezen door RAIDZ-overhead te compenseren.
[ Voor 9% gewijzigd door Phuncz op 03-02-2013 11:32 ]
Het wordt 10x 4 TB in raidz2 en 10x 3 TB in raidz2. Ik had 7x 4 tb, en 3x 3 TB, en ik moet blijkbaar naar 10 stuks voor raidz2BartNL schreef op zondag 03 februari 2013 @ 10:38:
[...]
en waarom dan de keuze 10 x 4TB i.p.v. 13 x 3TB? Qua ruimte, zowel fysiek als in TB, maakt dat weinig uit en met 10 schijven heb je toch al een extra controller of expander nodig?
Zelf ben ik al wel een beetje terug van het hebben van één grote array en overweeg een setup te maken meerdere "kleinere" arrays. Dat maakt migreren naar grotere schijven makkelijker en backup overzichtelijker.
Dan heb ik 8x4 en 8x3 =56 TB opslag, en dat gaat prima lukken voor mijn data.
Ik moet wel gaandeweg migreren, eerst de 3TB hdds in een pool, en dan van de unraid server de 4 TB disks leeg maken en dan de 4 TB pool maken en de rest van de data copieren.
Er gaan 20 hdds in mijn kasten
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
ja, denk ik ook. Eerste deel van mijn eigen posting ging puur over de €/GB en tweede deel over de keuze qua setup.Phuncz schreef op zondag 03 februari 2013 @ 11:27:
Persoonlijk zie ik heil in het tweede schema
In mijn eigen setup heb ik 24 schijven in één array en achteraf gezien is dat niet handig. Ik overweeg nu via een expander een 2e behuizing met 3x array van 2x 6 en 1x 12 schijven. Als dat zover is heb ik ruimte om de huidige array van 24 schijven te splitsen in kleinere arrays.
dacht dat je ook op htforum poste en unraid bevalt toch niet?jacovn schreef op zondag 03 februari 2013 @ 13:07:
[...]
Dan heb ik 8x4 en 8x3 =56 TB opslag, en dat gaat prima lukken voor mijn data.
Ik moet wel gaandeweg migreren, eerst de 3TB hdds in een pool, en dan van de unraid server de 4 TB disks leeg maken en dan de 4 TB pool maken en de rest van de data copieren.
Ik draai nu met 66TB (24x 3TB in raid-6) waarvan zo'n 20TB in gebruik. Denk dat je met 56TB heel lang toe zou moeten kunnen wanneer je een beetje kritisch kijkt naar wat je bewaart.Persoonlijk had ik eerst alle media op losse harde schijven staan en dan blijkt het deleten veel lastiger dan nu. Sinds alles op de fileserver staat terug van zo'n 45TB aan blu-ray naar nu 25TB. Dit door films die we niet het bewaren waard vinden na het kijken te deleten.
De losse schijven waar de films eerst op stonden wil ik nu via een HP sas expander in een 2e behuizing zetten. Dat is vooral voor de lol om te kijken hoe dat werkt en om de te grote array eventueel te kunnen splitsen.
Op mijn test pc haalde ik in de piek naar een 1TB hitachi 75 mbyte/sec totdat de memory buffer vol loopt, en dan zakt het terug naar 35 mbyte/sec.
Ik heb nas4free geinstalleerd zonder l2arc cache en zie 65 Mbyte/sec naar een 5 disc raidz opstelling (5x1tb hitachi, 2 e generatie)
Streamen ging ook na wat instelllingen goed, dus toen ben ik gaan kijken naar zfsguru en nas4free.
De interface van zfsguru bevalt me meer, en mijn andere servers zijn een stuk sneller dan die atom test pc.
Dus ik verwacht met link aggregatie nog wat extra te halen.
Ook heeft unraid issues met een bepaald supermicro moederbord en > 4 gb geheugen
[ Voor 5% gewijzigd door jacovn op 03-02-2013 14:09 ]
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
| # | Product | Prijs | Subtotaal |
| 1 | AMD A8-5500 Boxed | € 90,10 | € 90,10 |
| 1 | MSI FM2-A85XA-G65 | € 96,- | € 96,- |
| 3 | Seagate Barracuda 7200.14 ST3000DM001, 3TB | € 113,90 | € 341,70 |
| 1 | Cooler Master Silencio 550 | € 64,70 | € 64,70 |
| 1 | Silverstone CP09 | € 10,- | € 10,- |
| 1 | Kingston HyperX Black KHX16C10B1BK2/16X | € 64,90 | € 64,90 |
| 1 | Cooler Master Silent Pro M2 420W | € 56,87 | € 56,87 |
| 2 | Western Digital Caviar Green WD20EADS, 2TB | -,- | -,- |
| 1 | Western Digital Green WD20EARS, 2TB | -,- | -,- |
| Bekijk collectie Importeer producten | Totaal | € 724,27 | |
De wijzigingen sinds mijn eerste lijst:
- Cooler Master Silent Pro M2: De Antec NeoPower 430 en de Zalman ZM400B-APS hadden beide niet genoeg aansluitingen voor het moederbord;
- Cooler Master Silencio 550: De Antec P150 behuizing had niet genoeg drive-bays. De CM heeft precies genoeg bays, plus een hotswap bay en USB 3.0. Met 6 disks in Raid-Z2, 1 disk voor OS en 1 voor de hotswap is dat een ideale match voor een A85X moederbord met 8 SATA poorten;
- Silversone CP09 kabeltje om de USB3.0 op de header van het moederbord aan te sluiten;
- Na opmerkingen hier, toch het MSI moederbord en 16GB geheugen.
De Antec P150 staat in de aanbieding, voor een liefhebber
www.maartendeboer.net
1D X | 5Ds | Zeiss Milvus 25, 50, 85 f/1.4 | Zeiss Otus 55 f/1.4 | Canon 200 f/1.8 | Canon 200 f/2 | Canon 300 f/2.8
Ik ben even benieuwd naar commentaar voor mijn setup, waarvan de main usecases zijn:
- Always-on
- Torrent/download verkeer
- Backup server
- Plex server << Hoe dit gaat gebeuren is nog de vraag met *BSD systemen, want dat is niet rechtstreeks supported, misschien met de linux tussen layer (Hoe het ook weer noemde) ertussen
Alle opmerkingen zijn welkom
| # | Product | Prijs | Subtotaal |
| 1 | AMD A8-5500 Boxed | € 90,10 | € 90,10 |
| 1 | Gigabyte GA-F2A85X-D3H | € 76,90 | € 76,90 |
| 5 | Seagate Barracuda 7200.14 ST3000DM001, 3TB | € 113,90 | € 569,50 |
| 1 | Fractal Design Define R4 Pearl Black | € 93,90 | € 93,90 |
| 1 | Corsair Vengeance CML16GX3M2A1600C10 | € 76,95 | € 76,95 |
| 1 | be quiet! System Power 7 300W | € 33,25 | € 33,25 |
| Bekijk collectie Importeer producten | Totaal | € 940,60 | |
Ik heb een windows 7 ultimate PC met 12 GB ram en een i7-920.
Er zit een Areca 1130 PCI-X raid controller in met 2 raid-5 setjes van 5 x 1 TB WD RE hdd's.
Een intel PRO/1000 PT Dual port NIC in een PCI-E
een Cisco SG200 managed switch
Een ZFSguru install op een supermicro X9SCM-F moederbord met een i3-2100t cpu/24 GB ram.
Teaming staat aan op de 2 interne intel NIC's.
Ik heb een LAGG groep in de cisco aangemaakt voor de PC die dynamisch is, en voor de NAS een statische. De status lijkt dan goed te zijn, 2 active interfaces voor beide PC's
Ik zie 107 Mbyte/sec van de PC naar de NAS.
Als ik 1 van de kabels uit de NAS trek loopt het door met 105/106 Mbyte/sec
Bij terugsteken van de kabel zakt de verbinding aan de kant van de NAS in elkaar en ben ik remote acces kwijt.
Als ik net ifconfig kijk (via de console)
laggproto lacp lagghash l2, l3, l4
laggport: em1 flags=1c<ACTIVE, COLLECTING, DISTRIBUTING>
laggport: em0 flags=18<COLLECTING, DISTRIBUTING>
Na een reboot is de status:
laggproto lacp lagghash l2, l3, l4
laggport: em1 flags=1c<ACTIVE, COLLECTING, DISTRIBUTING>
laggport: em0 flags=1c<ACTIVE, COLLECTING, DISTRIBUTING>
Aan de PC kant zie ik in de task manager netjes dat de link speed 2 Gbps is en dat de utilization 45-48% procent is.
Hoe kan ik aan de ZFSguru kant beter bekijken wat er gebeurd ? Ik vermoed dat er toch maar 1 link actief is.
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
De AMD processor: Vooral omdat hij krachtig genoeg is voor huidige en toekomstige doeleinden. Het is voor mij niet de bedoeling om iedere x jaren nieuwe nas-hardware te kopen (buiten schijven dan misschien)mux schreef op dinsdag 05 februari 2013 @ 14:08:
Vanwaar specifiek de keuze voor de relatief dure A8-processor en gigabyte moederbord?
Aangezien de use cases wel wat kunnen veranderen en er misschien wat sterkere server apps op gaan draaien (in mijn geval kan dit wel eens zijn dat bv. een build servertje erop komt te draaien), heb ik hiervoor gekozen. Als je echter denkt dat deze cpu een overkill is, wil ik graag samen wel eens zoeken naar een beter geschikte cpu
Moederbord: Antwoord is relatief eenvoudig, 8x sata
<< Dit is exact de reden waarom ik wel eens feedback vraag, ik heb danwel wat tijd bezig geweest met het opzoeken naar wat hardware, maar ik ben daar iig geen expert in ^.^
Wat exact bedoel je met beter ondersteund? Voor zover ik weet zijn onboard controllers geen rocket science, en zijn ze ook relatief algemeen. Bedoel je dat het systeem deze controller(s) helemaal niet kan zien? En dus de schijven niet meer kan gebruiken?ThinkPadd schreef op dinsdag 05 februari 2013 @ 15:12:
Volgens mij kan je beter gewoon een ander moederbord pakken en dan een losse controller (IBM M1015 ofzo). Die worden over het algemeen ook beter ondersteund dan de controllers op een moederbord.
Verwijderd
Hoe benchmark je? iPerf met meerdere threads zou je de extra bandbreedte moeten kunnen gebruiken. Bedenk wel dat als je met LAGG meer dan één poort wilt benutten via één verbinding (en dus niet meerdere) je daarvoor round robin nodig hebt; iets wat NIET wordt ondersteund door Windows die alleen proprietary schema's ondersteunt zoals LACP en FEC. Round Robin is een schending van de netwerkstack en vereist dat beide computers hier goed mee om kunnen gaan. Ook vereist het dat je geen switch gebruikt, of een switch die ethernet source adressen vanaf een andere poort gewoon slikt; sommige switches neutraliseren die vreemde pakketten waardoor het niet gaat werken.jacovn schreef op dinsdag 05 februari 2013 @ 14:39:
Met een beetje moeite NIC teaming aan de praat gekregen. Helaas zie ik weinig tot niets aan snelheids verbetering.
Kortom, LACP wordt goed ondersteund, maar het is eigenlijk round robin wat je wilt denk ik. Voor LACP heb je twee applicaties (of threads) nodig om de extra bandbreedte te kunnen benutten.
[ Voor 11% gewijzigd door Verwijderd op 05-02-2013 16:46 ]
[ Voor 10% gewijzigd door Dadona op 05-02-2013 17:08 ]
Verwijderd
802.3ad is toch gewoon LACP? In dat geval heb je dus als NAS-gebruiker heel weinig voordeel aan de extra bandbreedte lijkt mij. Het idee is toch dat je met > 100MB/s je bestanden kunt up en downloaden. Daarvoor heb je Round Robin nodig voor zover ik weet, tenzij je met LACP wel degelijk twee datastromen gebruikt ipv één.• Does not increase the bandwidth for a single
conversation
• Achieves high utilization only when carrying multiple
simultaneous conversations
Verwijderd
Zoals CiPHER al aangaf je hebt LACP als lagg ingesteld. Dit helpt je alleen als er meedere connecties opgezet worden. Een enkele verbinding zal in de meeste gevallen niet gebruik maken van 2 verschillende paden. Zelf gebruik ik het omdat ik meerdere clients heb naar 1 server en het werkt prima.jacovn schreef op dinsdag 05 februari 2013 @ 14:39:
Met een beetje moeite NIC teaming aan de praat gekregen. Helaas zie ik weinig tot niets aan snelheids verbetering.
Waar je waarchijnlijk naar opzoek bent is inderdaad round-robin of applicaties die multipath-io ondersteunen.
Of een hogere single path throughput m.b.v. 2Gb, 4Gb, 10Gb verbindingen met FC / Infini of Ethernet.
Geen idee wat je uiteindelijke doel is maar wellicht dat voor nu multipath iscsi target een oplossing is als je maar 1 client/initiator hebt. Als je multipath samba wilt zal je naar windows 2012 / 8 moeten.
Zelf heb ik de sprong gemaakt naar 10Gb voor een deel van het netwerk maar dat zou ik alleen overwegen als je ook werkelijk de throughput nodig hebt want goedkoop is het niet. Ook je raid array moet dan wel genoeg throughput kunnen leveren anders is het ook de moeite niet waard.
Basically: alle hardware en software moet LACP of 802.3ad zoals de meesten hierboven al zeiden. Stel niets in volgens LAGG, gewoon LACP op de poorten activeren, evenals de clients correct instellen.
Hierdoor kan je in theorie wel meerdere netwerkverbindingen stapelen als je een iSCSI volume shared op je ZFS bak.
Even niets...
De 2 poorts laat ik lekker zitten. Ik moet straks van mijn unraid server en mijn pc data copieren, dan kan ik het voor die tijd parrallel doen.
Mijn doel is om straks mijn films zo snel mogelijk te copieren. Daarna moeten er per week wellicht een aantal films naar de nas toe. Maar 25 GB gaat binnen 5 minuten nu, dus daar is ook nog overheen te komen.
Die intel nics heb ik via ebay gekocht, en ik zal ze wel weer kwijt raken met wat verlies desnoods.
Thx voor de goede uitleg.
[ Voor 40% gewijzigd door jacovn op 05-02-2013 20:07 ]
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Mijn volgende PC zal geen lokale schijven meer hebben buiten een SSD als bootdisk, de rest ga ik via een ZFS-based NAS regelen. Ik heb er nu eentje in test met wat oude SCSI-schijven en dat loopt al extreem lekker.
[ Voor 30% gewijzigd door Phuncz op 05-02-2013 21:02 ]
Desktop en laptop hebben beide alleen SSD, en geen lokale storage meer.
Allemaal mountpoints.
Even niets...
Dus ik doe het nog op mijn pc, 120 mbps downstream bij upc. Werkt prima, maar inderdaad is het wel extra werk. Ik zou de film direct naar de nas kunnen uitpakken.
Allen bij mijn unraid server werkt dat niet echt lekker.
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Mwa, hardeschijven en SSD's zijn altijd nog sneller dan je netwerk kabeltje ... of heb je intern ook glasvezel liggen?Phuncz schreef op dinsdag 05 februari 2013 @ 22:03:
Inderdaad, zeker nu SSD's betaalbaar beginnen te zijn geworden, evenals de vorderingen die ZFS en andere NAS-oplossingen hebben gemaakt in de laatste jaren. Het heeft in mijn ogen nog weinig nut, tenzij videobewerking (en dan nog), om nog hardeschijven lokaal te hebben.
www.maartendeboer.net
1D X | 5Ds | Zeiss Milvus 25, 50, 85 f/1.4 | Zeiss Otus 55 f/1.4 | Canon 200 f/1.8 | Canon 200 f/2 | Canon 300 f/2.8
Je onderschat "het netwerkkabeltje"
Gbit haalt 110MB/s
Das 5 keer zo snel.
Dat is wat hij bedoelt...
Even niets...
DDR3 RAM haalt meer dan 10GB/s maar dat is ook niet relevant, je data storage gebeurt toch op harddisks en dat is de grootste beperking. Ik zie niemand hier 4TB aan SSD's in zijn computer hebben en al zeker niet als we hier regelmatig setups zien met tientallen TB's aan opslag.
Mijn punt was dan ook: SSD's in de client-toestellen, storage op harddisks in een NAS, waar je zelf kunt kiezen hoe snel en groot je het wilt. Omdat hij over films praat, veronder stel ik het bekijken van films, waardoor zelfs een enkele Gbit-verbinding voldoende is.
[ Voor 16% gewijzigd door Phuncz op 06-02-2013 09:50 ]
Voor videobewerking, Virtualisatie, iSCSI heb je toch geen 4TB nodig?
Ik heb ook SSD's in mijn server zitten, en daar draaien VM's op. Niet zo gek hoor...
Even niets...
4TiB aan SSD's niet nee (of je moet de staatsloterij winnenFireDrunk schreef op woensdag 06 februari 2013 @ 09:53:
Waarom moet je persé 4TB in je server hangen om lol te hebben van SSD's?
Voor videobewerking, Virtualisatie, iSCSI heb je toch geen 4TB nodig?
Draai persoonlijk nu met een 256 GB SSD in de bak en 6TiB (RAID10) in de linux bak, deze gaat enkel aan als t nodig is (bevat de raw videofiles) De twee machines zijn mbv 10 GB Infiniband navelstreng (de kabel is een pietsie stugger dan CAT5e/6 ) verbonden en vanaf de SRP target trek ik zonder problemen 275~300 MB/sec. Hoewel t niet zo snel aanvoelt als de lokale SSD, is er meer dan goed mee te werken en aangezien ik niet alle dagen met de videobewerking loop te spelen mag de bak dan lekker uitblijven.
Iedereen mag natuurlijk zelf beslissen wat ze nodig denken te hebben, maar kort door de bocht is alles sneller dan 1 Gbit overdreven als je films/series wilt kijken op je HTPC/mediaplayer. Vooral omdat toegewijde mediaspelers zelden van meer dan 100Mbit ethernet zijn voorzien.
Werkt zalig! ESXi op een usb stick en VM's op de SSD.Ik heb ook SSD's in mijn server zitten, en daar draaien VM's op. Niet zo gek hoor...
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
We zitten toch in Het grote DIY RAID NAS topic, niet in "Thuisserver topic" ?FireDrunk schreef op woensdag 06 februari 2013 @ 09:53:
Waarom moet je persé 4TB in je server hangen om lol te hebben van SSD's?
Voor videobewerking, Virtualisatie, iSCSI heb je toch geen 4TB nodig?
Ik heb ook SSD's in mijn server zitten, en daar draaien VM's op. Niet zo gek hoor...
Mijn hele argument gaat over thuisgebruik voor het plaatsen van data buiten de client-toestellen, niet over de voordelen van de snelheid die je haalt door je SSD's uit je PC en in een NAS te steken, wat ik ook nergens aangehaald heb. Je zei zelf:
Toen kwam de reactie:FireDrunk schreef op dinsdag 05 februari 2013 @ 21:26:
* FireDrunk werkt al op die manier...
Desktop en laptop hebben beide alleen SSD, en geen lokale storage meer.
Allemaal mountpoints.
Waarop ik antwoorde:Ventieldopje schreef op woensdag 06 februari 2013 @ 04:18:
Mwa, hardeschijven en SSD's zijn altijd nog sneller dan je netwerk kabeltje ... of heb je intern ook glasvezel liggen?
Phuncz schreef op woensdag 06 februari 2013 @ 09:09:
Ik snap je argument niet, een halve pagina terug hebben we het nog over LACP waardoor je meerdere Gbit connecties kan bundelen waardoor je met een dubbele link al een constante 2Gbit/s haalt, wat ik geen enkele HDD zie doen. Ook is 10GbE al een relatief betaalbare mogelijkheid als zelfs een paar Gbit niet voldoende is. SSD's in een fileserver doe je niet voor opslag, enkel voor caching of je staat in de Fortune500.
Je onderschat "het netwerkkabeltje"
Dit heb ik al probleemloos gedaan met een Atom N330 (dual-core 1.6GHz) onder Windows 7 (wat eigenlijk helemaal niet efficient liep) icm. een non-offloading Gbit NIC van Broadcom.Galaxis schreef op woensdag 06 februari 2013 @ 11:15:
Weet iemand wat voor processor er minimaal nodig is om een 1gbit lijntje goed te benutten ?
De slapste verkrijgbare processor momenteel is de AMD C60 oplossing, gebruikers hebben gemeld dat onder windows deze gigabit kunnen vullen, onder linux is er iets met drivers waardoor wat performance verlies (60MB/sec).Galaxis schreef op woensdag 06 februari 2013 @ 11:15:
Weet iemand wat voor processor er minimaal nodig is om een 1gbit lijntje goed te benutten ?
Over dat SSDs, ik gebruik ze voor virtuele machines en incoming data. Ik heb 12 SSDs erin met ongeveer 786GB aan bruto opslag en met de verschillende redundantie niveaus komt dat neer op 384GB MLC opslag en 128GB SLC.
[ Voor 20% gewijzigd door analog_ op 06-02-2013 16:16 ]
Om kort te schetsen: ik heb nu thuis een Windows XP bak staan met een allegaartje losse schijven in die als fileshare dient voor de andere PC’s in huis, een XBMC (OpenElec), een Harmony Duet, … Het is vooral een Windows omgeving op 1GB netwerk.
Al een hele tijd wil ik eens een degelijke NAS in elkaar boksen, ook omdat ik al allerlei problemen heb gehad door de opstelling te hebben die ik nu heb, data die ook overal verspreid staat, geen degelijk upgrade path, …
Ik heb hardware RAID altijd wat afgehouden in het verleden, als de controller crasht ben je uiteindelijk al je data kwijt en dat zag ik niet zitten. Een hele tijd geleden ZFS gevonden en ik ben helemaal gecharmeerd door ZFS en zijn mogelijkheden. Daarom ben ik dan ook van plan om naar ZFSGuru te gaan.
De laatste maanden ben ik me intensiever aan het verdiepen in de hardware om een van de komende maanden daadwerkelijk de aanschaf te kunnen doen. Het moet geen top-of-the-bill systeem zijn, maar het moet wel uitbreidbaar zijn in de toekomst. Budget 1000-1500 euro maximum. Dit is wat ik momenteel verzameld heb...
| # | Product | Prijs | Subtotaal |
| 1 | Intel Celeron G440 Boxed | € 34,10 | € 34,10 |
| 1 | Intel Pentium G630T Boxed | € 64,52 | € 64,52 |
| 1 | Supermicro X9SAE-V | € 221,12 | € 221,12 |
| 6 | Seagate Barracuda 7200.14 ST3000DM001, 3TB | € 113,90 | € 683,40 |
| 1 | Sharkoon Rebel9 Aluminum U3 | € 49,61 | € 49,61 |
| 3 | Supermicro CSE-M35T-1 | € 58,56 | € 175,68 |
| 2 | IBM ServeRAID M1015 SAS/SATA Controller for System x | € 118,58 | € 237,16 |
| 1 | Seasonic G-Serie 450Watt | € 77,30 | € 77,30 |
| 1 | Samsung 830 series SSD 64GB | € 78,- | € 78,- |
| Bekijk collectie Importeer producten | Totaal | € 1.620,89 | |
Twee IBM M1015’s heb ik al (twee gekregen voor de prijs van één - meevallertje). Daarnaast heb ik ook al 32GB geheugen liggen van een ander niet doorgegaan project (maar TakeMS).
Doelstelling: ZFS NAS met om te beginnen 6 disks in RAIDz2 en ZFSGuru op SSD die ook voor caching gebruikt gaat worden. Fysieke uitbreidingsruimte in de behuizing om later gewoon disks toe te voegen. Ik ben ook aan het denken om één of twee Windows machines virtueel te draaien om onder andere de Logitech Duet streaming software te kunnen draaien. En eventueel af en toe een testVM om bijvoorbeeld Windows Server 2012 uit te testen. Spaart me een extra fysieke machine die 24/7 draait. Voor de rest gewoon data storage voor ten minste twee PC’s/laptops die dan geen data meer lokaal opslaan, maar op de NAS. Snelle data transfer is meegenomen, maar moet nu ook weer geen GB per seconde halen.
Nu zit ik nog met enkele vragen (bos/bomen/...):
- De M1015 zijn PCIe 2.0 x8. Ik heb veel moeite met moederborden te vinden die hiervoor twee slots hebben. Degene die hierboven staat kan de kaarten aan, maar ligt wel in een hoger prijssegment. Zijn er suggesties voor andere (en goedkopere) moederborden waar dit op kan? Fabrikanten zijn allesbehalve duidelijk met betrekking tot PCIe slots (verschil tussen fysiek slot en elektrisch)...
- Virtualisatie, ik zou dat gewoon via VirtualBox op ZFSGuru doen, wat me voldoende lijkt - maar iedereen praat over ESXi en VMWare (ben zowel bekend met Hyper-V als VMWare door het werk). Als de VM niet intensief gebruikt gaat worden, is het dan niet beter om ZFSGuru het host OS te laten zijn, en dan VirtualBox te gebruiken. I.p.v. ZFSGuru in een VM te steken en passthrough te doen. Of heeft ESXi toch de voorkeur? Dit heeft voor zover ik snap ook impact op de CPU-keuze (VT-d)?
- Welke CPU gebruiken? Volstaat een goedkope Celeron (bijvoorbeeld G440 of G540) - of ga ik naar een Pentium (G630T)? Of een i3/i5/i7 die meteen in een heel andere prijsklasse zitten... Dan zit je nog met VT-x en VT-d. VT-x volstaat om VM’s in VirtualBox te kunnen draaien, juist?
- Ik zou ZFSGuru op SSD zetten. Ook hier lees ik weer veel verschillende adviezen. Neem ik twee SSD’s? Hoe pool ik die dan (mirror?), of volstaat één SSD? En hoe zet ik caching op (L2ARC & ZIL)? De machine zit trouwens sowieso achter een UPS, dus dan heb ik niet persé een SSD met backupcondensators nodig, juist?
- Backup: kan ik een backup naar externe eSata schijven automatiseren? Zijn snapshots te backuppen?
- Is het in ZFSGuru ook mogelijk om 'Recycle bin' functionaliteit te krijgen? Meen gelezen te hebben van wel - klopt dat? Eventueel Previous Versions van Windows?
[ Voor 0% gewijzigd door BlauwKeut op 06-02-2013 17:05 . Reden: Typo ]
Kies ook geen -T processor, deze verbruiken idle net zoveel als de non-T varianten maar hebben een lager plafond aan de bovenkant van hun performance. De non-T processoren zijn vaker ook nog goedkoper. Een lagere TDP betekent niet dat de processor ook minder verbruikt.
2) Als je alleen maar idle VM's met simpele software gaat draaien, is het inderdaad aan te raden om ZFSguru te draaien als host.
3) Ga sowieso voor een Ivy Bridge (G1610, G2120), je kan als je wil later altijd nog opschalen als je meer nodig blijkt te hebben, en je oude CPU tweedehands verkopen. Die Ivy Bridge CPU'tjes raak je altijd wel kwijt.
4) 2 SSD's in mirror is inderdaad het beste. Wat je kan doen (dat doe ik ook) is 2 SSD's met elk 2 partities maken. De eerste partitie van elke SSD word dan de helft van je Root mirror, de 2e partitie kan je gebruiken voor ZIL en L2ARC.
5) Ja eSATA is gewoon SATA, dus het is gewoon een lokale disk, en Ja, maar snapshots backuppen syncen kan geloof ik alleen naar een ZFS device (dus moet je een full write doen naar een non-ZFS device) maar zeker weten doe ik het niet.
6) Nog niet gezien, volgens mij kan dat alleen met een nieuwere Samba die (nog) niet in ZFSguru zit. CiPHER?
En inderdaad, zoals Redfoxert zegt, neem geen -T versie, dat is alleen nodig in kleine kasten waar koeling een probleem is.
Even niets...
OK, ik was altijd in de veronderstelling dat Crossfire/SLI enkel iets voor grafische kaarten was - absoluut geen gamer en helemaal geen nood aan meerdere high-end grafische kaarten in één systeem - me daar dus nooit in verdiept. Dit geeft wel een veel uitgebreidere keuze...FireDrunk schreef op woensdag 06 februari 2013 @ 17:05:
1) Borden genoeg, elk bord dat Crossfire/SLI ondersteund kan het potentieel aan qua PCIe lanes, je moet je eerder druk maken of de controller uberhaupt werkt icm de BIOS van een bord. Maar een ASRock B75 en een ASRock H77 bord kunnen het beide wel aan denk ik.
Top, ga ik daarvoor.FireDrunk schreef op woensdag 06 februari 2013 @ 17:05:
2) Als je alleen maar idle VM's met simpele software gaat draaien, is het inderdaad aan te raden om ZFSguru te draaien als host.
Ga ik bekijken...FireDrunk schreef op woensdag 06 februari 2013 @ 17:05:
3) Ga sowieso voor een Ivy Bridge (G1610, G2120), je kan als je wil later altijd nog opschalen als je meer nodig blijkt te hebben, en je oude CPU tweedehands verkopen. Die Ivy Bridge CPU'tjes raak je altijd wel kwijt.
Dan worden het 2 SSD'sFireDrunk schreef op woensdag 06 februari 2013 @ 17:05:
4) 2 SSD's in mirror is inderdaad het beste. Wat je kan doen (dat doe ik ook) is 2 SSD's met elk 2 partities maken. De eerste partitie van elke SSD word dan de helft van je Root mirror, de 2e partitie kan je gebruiken voor ZIL en L2ARC.
Is het dan beter om ruwe data te backuppen (gewoon een filecopy)? Of wat is best practice met een ZFS machine?FireDrunk schreef op woensdag 06 februari 2013 @ 17:05:
5) Ja eSATA is gewoon SATA, dus het is gewoon een lokale disk, en Ja, maar snapshots backuppen syncen kan geloof ik alleen naar een ZFS device (dus moet je een full write doen naar een non-ZFS device) maar zeker weten doe ik het niet.
Ik heb weer nieuw opzoekwerk - thanks...FireDrunk schreef op woensdag 06 februari 2013 @ 17:05:
6) Nog niet gezien, volgens mij kan dat alleen met een nieuwere Samba die (nog) niet in ZFSguru zit. CiPHER?
En inderdaad, zoals Redfoxert zegt, neem geen -T versie, dat is alleen nodig in kleine kasten waar koeling een probleem is.
Mijn huidige opstelling is een br10i doorgemapt naar een vm op een esxi host icm freenas. In de laatst genoemde krijg ik het alleen nog niet voor elkaar om mn hardeschijven te laten sleepen door de controller(een te grote bsd noob, en geen tijd
Het plan is nu om mn storage los te trekken van mn esxi server en deze te herbergen in een nieuwe build, puur en alleen voor storage. Aangezien het gekozen mobo genoeg sata poorten heeft kan dus ook de br10i dus ook vertrekken. Dat alleen al bespaart mij al 10w, dat gecombineerd met de schijven die wel in sleep/standby gaan scheelt mij 62watt.
| # | Product | Prijs | Subtotaal |
| 1 | Intel Celeron G1610 Boxed | € 37,40 | € 37,40 |
| 1 | ASRock B75 Pro3-M | € 56,45 | € 56,45 |
| 4 | Western Digital Green WD20EARX, 2TB | € 82,- | € 328,- |
| 1 | Delock Nano Memory stick 4GB Zwart | € 8,06 | € 8,06 |
| 1 | G.Skill RipjawsX F3-10666CL9D-16GBXL | € 82,70 | € 82,70 |
| Bekijk collectie Importeer producten | Totaal | € 512,61 | |
*heb nog een 150w pico psu liggen
*16GB komt uit esxi bak
*schijven komen ook uit esxi bak
Dus ik zou mijn investering er binnen 1 jaar uithebben(helemaal als ik de br10i verkocht krijg). Mis ik nou iets of heb ik jaren teveel zitten verstoken met mn grootheidswaanzin?
[ Voor 6% gewijzigd door FDMK op 06-02-2013 17:41 ]
Any job you can do in your pajamas is not the hardest job in the world.
In dit topic bespreken we de hardwarematige kant van het bouwen van een NAS. Vragen en discussies die betrekking hebben op de softwarematige kant, dien je elders te stellen. Zo is het ZFS topic de juiste plek voor vragen over ZFS maar ook over softwareplatformen zoals FreeNAS, NAS4Free, ZFSguru en andere softwareplatforms die met ZFS werken.