Even niets...
Red's zijn ook 4K toch?
Bij ZFS is dan de ideale grootte voor een RAIDZ 3,5 en 9 disks. 3 disks is te weinig voor me, 5 dan weer te veel. 4 drives wordt als niet ideaal gezien met prestatieverlies tot gevolg. Alleen had ik graag geweten aan wat ik me dan in praktijk kan verwachten.
Ga de point to point FibreChannel verbindingen maar eens vervangen door een switch, een Brocade Silkworm 200e. 16 poorts, 4Gbit per poort en alle 16 poorten zijn voorzien van een SFP.

[ Voor 18% gewijzigd door Megalith op 12-02-2013 14:56 ]
Even niets...
Kan alleen nog niet in de webinterface komen, weet het IP adres niet
Toch denk ik er aan om eventueel enkele 2 TB harde schijven + behuizing te kopen om via een cron iedere week een keertje alles te backuppen (/clichémodus: RAID is geen backup ). Dit kost me natuurlijk wel een kleine 100-200 EUR. Verloren investering of zijn er onder jullie die iets gelijkaardigs doen?
Dit is precies wat mijn backup isSanderH_ schreef op dinsdag 12 februari 2013 @ 16:23:
Heb hier nu bijna 2 jaar een linux mdadm raid5 lopen (3 x 2 TB). Werkt nog steeds perfect, nog geen problemen gekend.
Toch denk ik er aan om eventueel enkele 2 TB harde schijven + behuizing te kopen om via een cron iedere week een keertje alles te backuppen (/clichémodus: RAID is geen backup ). Dit kost me natuurlijk wel een kleine 100-200 EUR. Verloren investering of zijn er onder jullie die iets gelijkaardigs doen?
Gewoon een heel grote verzameling snoertjes
Als de bliksem echt knoer op je huis inslaat mag je blij zijn als er uberhaupt nog IETS werkt. Daar helpt zelfs de meest veilige UPS niet tegen... Een kennis van mij heeft eens een blikseminslag gehad in zijn huis, de stopcontacten lagen uit de muur, om je maar een idee te geven...Phuncz schreef op dinsdag 12 februari 2013 @ 17:31:
Nu je het daarover hebt, wat doet de NAS'ende tweaker hier om zijn hardware te beschermen tegen bliksem ?
Wat betreft stroomuitvallen, pieken (ook eens gehad hier, problemen met een transfo cabine verderop) en onregelmatigheden vang ik op met een UPS, is nog een "erfenis" van toen ik een QNAP had en die beschermt nu mijn thuis-server (waarin mijn NAS zit).
Tja, dat doet dus geen ene moer tegen blikseminslag. Sterker nog, niks doet iets tegen blikseminslag. Dat is de hele grap.Compizfox schreef op dinsdag 12 februari 2013 @ 19:10:
Stekkerdoos met overspanningsbeveiliging.
Het risico is miniem, misschien dat het gerechtvaardigd is om een paar euro per jaar aan preventie te besteden, maar de minimumkosten die je moet maken om iets écht bliksemproof te maken zijn veel hoger dan elk reëel risico. Beste actie is dus: geen actie.
Inslag op je huis/vlak ernaast, nee dan mag je blij zijn dat je huis nog staat.
Maar inslag enkele kilometers verderop wat voor een overspanning zorgt op het elektriciteitsnet, daar helpt een overspanningsbeveiliging toch wel tegen?
Gewoon een heel grote verzameling snoertjes
Een vriend van me heeft al tweemaal pech gehad dat bliksem op zijn huis is geslaan, met zelfs een gat in het dak.
[ Voor 29% gewijzigd door Phuncz op 12-02-2013 19:58 ]
Het enige dat helpt is, uitschakelen en de stekker uit t stopcontact trekken.mux schreef op dinsdag 12 februari 2013 @ 19:37:
[...]
Tja, dat doet dus geen ene moer tegen blikseminslag. Sterker nog, niks doet iets tegen blikseminslag. Dat is de hele grap.
Het risico is miniem, misschien dat het gerechtvaardigd is om een paar euro per jaar aan preventie te besteden, maar de minimumkosten die je moet maken om iets écht bliksemproof te maken zijn veel hoger dan elk reëel risico. Beste actie is dus: geen actie.
Bij mijn ouders destijds een inslag in het achterhuis gehad, tot ca. halverwege van het woonhuis hingen de stopcontacten uit de muur en diverse waren geblakerd.
Ik had wel braaf de stekker uit de stereo getrokken maar geen moment over de FM antenne gedacht die tegen de schuinlopende plafondwand hing. De inslag in de kap was voldoende krachtig om de windveren van de dak randen te blazen, de kap constructie te beschadigen en de stereo via de FM antenne te molesteren (was mijn eerste kennismaking met 'magic smoke'
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Elke inslag direct in het elektriciteitsnet is dodelijk voor alles in een wijde omtrek. Dat betekent dus dat de elektrische energie uit een blikseminslag direct het stroomnet (of communicatienet) in wordt gepompt. De destructie hiervan is niet iets dat 'minder' wordt als er veel draad aan hangt, het stopt pas op plekken waar het netwerk galvanisch gescheiden wordt, bijvoorbeeld transformatorhuisjes (die overigens ook vrolijk exploderen op dat soort momenten).Compizfox schreef op dinsdag 12 februari 2013 @ 19:55:
Wat versta je onder inslag?
Inslag op je huis/vlak ernaast, nee dan mag je blij zijn dat je huis nog staat.
Maar inslag enkele kilometers verderop wat voor een overspanning zorgt op het elektriciteitsnet, daar helpt een overspanningsbeveiliging toch wel tegen?
Je hebt ook andere effecten op het netwerk zoals inductieve stromen (het 'EMP-effect'). Dit is veel milder in de zin dat er minder energie het netwerk in wordt gepompt, maar nog steeds niet iets waar die ene MOV in een overspanningsbeveiliging tegen helpt als het gevaarlijke vormen aanneemt. Het is namelijk nog steeds een heel erg 'snelle' event die in combinatie met de inductiviteit van het elektriciteitsnet gemakkelijk voor hele hoge spanningen (en dus vonkoverslag) kan zorgen.
Het is niet zo dat je je niet *kunt* beveiligen tegen blikseminslag, het is alleen dat het het niet waard is. Je kunt die investeringen beter in een goede backupstrategie steken, want dat is iets waar een backup veel kosteneffectiever tegen beschermt. Immers, de hardware krijg je toch wel van de verzekering vergoed.
Duidelijk.mux schreef op dinsdag 12 februari 2013 @ 20:23:
[...]
Elke inslag direct in het elektriciteitsnet is dodelijk voor alles in een wijde omtrek. Dat betekent dus dat de elektrische energie uit een blikseminslag direct het stroomnet (of communicatienet) in wordt gepompt. De destructie hiervan is niet iets dat 'minder' wordt als er veel draad aan hangt, het stopt pas op plekken waar het netwerk galvanisch gescheiden wordt, bijvoorbeeld transformatorhuisjes (die overigens ook vrolijk exploderen op dat soort momenten).
Dit is inderdaad waar ik op doelde.Je hebt ook andere effecten op het netwerk zoals inductieve stromen (het 'EMP-effect'). Dit is veel milder in de zin dat er minder energie het netwerk in wordt gepompt, maar nog steeds niet iets waar die ene MOV in een overspanningsbeveiliging tegen helpt als het gevaarlijke vormen aanneemt. Het is namelijk nog steeds een heel erg 'snelle' event die in combinatie met de inductiviteit van het elektriciteitsnet gemakkelijk voor hele hoge spanningen (en dus vonkoverslag) kan zorgen.
Maar jij zegt nu in feite dat overspanningsbeveiligingen niet werken?
Gewoon een heel grote verzameling snoertjes
Niet tegen bliksem, wel tegen een piekje in de stroomtoevoer vanuit de leverancier.Compizfox schreef op dinsdag 12 februari 2013 @ 22:19:
[...]
Maar jij zegt nu in feite dat overspanningsbeveiligingen niet werken?
De garanties dat zo'n overspanningsbeveiliging ook tegen bliksem gegarandeerd zijn kloppen voor geen meter. Ik heb er nog niet een goed zien werken en toch al twee keer een indirecte blikseminslag te verwerken gehad. Beide keren bijna alle aangesloten elektronica in huis gefrituurd.
Een van de keren was het een bolbliksem in de schoorsteen van de overburen. Halve straat ging op zwart en de schoorsteen van de overburen lag op straat. Van binnen was het hele rookkanaal geexplodeerd. Nog een geluk dat er niemand thuis was
Dit kan GNU Screen ook:onox schreef op maandag 11 februari 2013 @ 23:55:
[...]
Heb je ook al eens naar tmux gekeken? Deze kan windows verticaal en horizontaal splitsen en gebruikt een BSD licentie
Vertical split = CTRL+a + | (pipe)
Horizontal split = CTRL+a + S
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!
Ik heb mijn SASUC8I geflasht naar IT firmware, maar nu ben ik over op een Areca kaart en heb ik de SASUC8I in de verkoop. Kan ik de SASUC8I weer teruggeflashen naar (originele) IR firmware? Kan daar met wat googlen niets over vinden.Verwijderd schreef op donderdag 24 februari 2011 @ 16:39:
Een populaire keuze is de Intel SASUC8i controller, die ook werkt met FreeNAS. Die kun je met IT-firmware flashen zodat je een non-RAID controller krijgt. Die kun je vervolgens gebruiken voor ZFS. Maar er zijn meer mogelijkheden. Enige wat je dus niet moet doen is iets op basis van PCI of PCI-X, iets met expanders of port multipliers, of iets met RAID. Een non-RAID controller wordt een HBA (Host bus adapter) genoemd, dat is dus wat je wilt.
Op de webpagina van de SASUCI8 vind je zowel de IT als de IR firmware, bijbehorende info lezen en flashen lijkt het devies.-Moondust- schreef op donderdag 14 februari 2013 @ 22:05:
[...]
Ik heb mijn SASUC8I geflasht naar IT firmware, maar nu ben ik over op een Areca kaart en heb ik de SASUC8I in de verkoop. Kan ik de SASUC8I weer teruggeflashen naar (originele) IR firmware? Kan daar met wat googlen niets over vinden.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
lifetime van een paar uur en nu al over de 200 LLC's - de pool is nog leeg, behalve een paar benchmarks is er niet veel mee gebeurd.
Ik kan zo niet snel achterhalen hoe ik de head park uitschakel middels APM. Wel lees ik dat het interval verhogen met de wdidle3 tool niet de juiste oplossing is (minder lcc counts, maar performance-wise niet ok).
Hoe is dit te disablen? hdparm -B 255? Aangezien dit de PM niveaus instelt, zullen de disks dan nog wel downspinnen?
Zelf heb ik op een WD20EARS schijf met wdidle3 die timer naar de max (300 seconden geloof ik) gezet en heb geen performance degradatie gemerkt. Het houd de load cycles nu goed in bedwang en het verbaasde me dat het stroomverbruik niet merkbaar toenam (Ik dacht dat het aggresieve parkeren juist daarvoor bedoeld was). Ik zou het gewoon proberen. Je kan het altijd weer terugzetten naar de default 8 seconden.spectator schreef op vrijdag 15 februari 2013 @ 00:18:
Ik kan zo niet snel achterhalen hoe ik de head park uitschakel middels APM. Wel lees ik dat het interval verhogen met de wdidle3 tool niet de juiste oplossing is (minder lcc counts, maar performance-wise niet ok).
[afbeelding]
Huidig:
| # | Product | Prijs | Subtotaal |
| 1 | Intel Core i3 2100T Boxed | € 113,74 | € 113,74 |
| 1 | Asus P8H67-I | € 0,- | € 0,- |
| 4 | Hitachi Deskstar 5K3000, 2TB | € 85,45 | € 341,80 |
| 2 | Western Digital Caviar Green WD10EACS, 1TB | € 0,- | € 0,- |
| 1 | Fractal Design Array R2 Mini ITX NAS Case | € 124,50 | € 124,50 |
| 1 | Scythe Big Shuriken | € 0,- | € 0,- |
| 1 | Kingston ValueRAM KVR1333D3N9/4G | € 20,19 | € 20,19 |
| Bekijk collectie Importeer producten | Totaal | € 600,23 | |
| # | Product | Prijs | Subtotaal |
| 4 | Hitachi Deskstar 5K4000, 4TB | € 160,23 | € 640,92 |
| 1 | Lian Li PC-Q25B | € 103,- | € 103,- |
| 1 | Prolimatech Samuel 17 | € 39,93 | € 39,93 |
| 1 | Conceptronic PCI Express Card SATA 600 | € 24,22 | € 24,22 |
| 1 | Seasonic G-Serie 360Watt | € 61,- | € 61,- |
| 1 | Crucial m4 CT128M4SSD2 128GB | € 96,80 | € 96,80 |
| Bekijk collectie Importeer producten | Totaal | € 965,87 | |
Ze worden nog maar mondjesmaat geleverd aan de shops.
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Ben er nog steeds niet uit wat ik met mijn 5e disk ga doen die nu op mijn bureau ligt. Momenteel een 4x Raid5. Iemand tips?
- 5disk Raid6 maken voor extra redundancy
- 5disk Raid5 maken voor de extra capaciteit
- Extra disken bijhalen voor R10
- ...
Even niets...
Ik gebruik hem ook als NFS datastore voor mijn ESX whitebox.
Had al gedacht om een tweede 4disk Raid5 te maken voor mijn ESX datastore, maar ik ben zo geen fan van harde limieten met maar 8 hdd slots. als ik tegen een grens aan loop is het knap lastig om dat allemaal opnieuw te redesignen.
RAID10 van SSD's is het beste voor ESX, maar geeft je inderdaad het minste ruimte..
Even niets...
...aaaand they're gonefonsoy schreef op vrijdag 15 februari 2013 @ 12:33:
Als je inderdaad die 4TB schijven nog wil bestellen voor de gunstige prijs van EUR 160, zou ik snel bestellen. Eergister hadden ze een voorraad van 70, nu is dat 28. Ik neem aan dat ze in de loop van het weekend weer op gaan, als ik dat zo extrapoleer.
OS & overige - 60GB
L2ARC - 40 GB
rest vrij laten
Is dit een verstandige indeling of is het beter meer toe te wijzen aan L2ARC/over provisioning? Gaan bijv. bij verhoging van L2ARC de prestatie flink vooruit of is dit verwaarloosbaar?
voor jouw toepassing naar mijn idee de meest logische keuze. Pas bij raid sets van 8 of groter zou ik meer redundantie overwegen. Raid zie ik als het mogelijk overleven van een defecte harddisk en zo groot is die kans niet.Jormungandr schreef op vrijdag 15 februari 2013 @ 13:20:
5disk Raid5 maken voor de extra capaciteit
De kans dat je array het overleefdBartNL schreef op vrijdag 15 februari 2013 @ 20:45:
[...]
voor jouw toepassing naar mijn idee de meest logische keuze. Pas bij raid sets van 8 of groter zou ik meer redundantie overwegen. Raid zie ik als het mogelijk overleven van een defecte harddisk en zo groot is die kans niet.
Je kunt niet zonder meer stellen dat het of meteen fout gaat (DOA) of nooit meer fout gaat. Persoonlijk heb ik door de jaren heen zo'n 5 a 6 stuks doa's gehad, andere defecte of uitvallende hardeschijven rangereerde tussen de 2 maanden en 4 jaar. Vrolijke uitzondering was een WD raptor (36 Gb exemplaar), die na dikke 7 jaar dienst er onlangs de brui aan gaf, te veel rotte plekken op de disk.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Backups?
Even niets...
DOA's heb je altijd, maar daarvoor dient dan ook het testen van disks voor ze falen. Als je echt een brakke schijf hebt komt die zo tevoorschijn als je ze een schop onder de kont geeft. Zelfs onder enterprise disks zitten rotte exemplaren. Testen dus vooraleer er live data op komt.
Backup is het magische woord! Ik heb tijdelijk een Dell R710 2U met 6x 1TB disks kunnen versieren (moet helaas ooit eens terug) waar ik een backup server van ga maken om een en ander te testen.
De setup ziet er dan zo uit:
- Norco 2208 als NAS met een Intel 320 als boot/home en 6TB SATA pool voor media.
- Synology met 2x 1TB in Raid1 als backup voor de home directories. (primary)
- Dell R710 met Avamar 6.1 als tweede backup.
Verwijderd
Alle opties lijken heel handig.
Ik ben nu alleen op zoek naar de snelheid van verschillende configuraties.
Van sommige RAID-5 achtige oplossingen m.b.v. ZFS zijn wel te vinden maar ik ben eigenlijk op zoek naar onderste van de kan.
Nu heb ik een RAID-10 oplossing m.b.v. MDADM en verbonden met 10Gb/s ethernet.
Zou misschien wel soortgelijk iets willen met ZFS maar zou dan wel willen weten hoe ik die snelheid moet halen.
Kleine aanvulling, het zijn voornamelijk bestanden in de size 2 - 8 MB en bestanden van 200 tot 500MB
[ Voor 9% gewijzigd door Verwijderd op 18-02-2013 11:08 ]
Als je 2 gemirrorde VDEV's in 1 pool zet (effectief RAID10) met ZFS, en daar een SLOG op configureert, heb je zelfs nog betere prestaties dan een normale RAID10 array (zoals MDADM doet).
Dus de vraag is eerder, wat heb je nodig?
Even niets...
Verwijderd
Voldoet op zich prima en spare gelukkig nog maar 1x nodig gehad maar beetje over de horizon kijken naar andere oplossingen is nooit weg. Clients hebben ssd's in raid-0 en 10Gb/s weet het allemaal redelijk bij te houden.
En nu zou ik misschien overstappen op ZFS vanwege de mogelijkheid tot snapshots, en andere opties maar kan niet echt een goed voorbeeld vinden waar op te letten om snelheid te halen.
Goede controllers met voldoende bandbreedte nemen,
SLOG / ZIL nemen, met voldoende random write performance (let op de Queue depth bij reviews)
UPS om je ZIL te beveiligen.
Wat wil je nog meer weten?
Even niets...
Voor ik mijn hardware aanschaf had ik dit graag eerst eens met jullie besproken.
Nog niet alles ligt vast maar ik twijfel een beetje tussen welke socket ik zou nemen, zijnde S1156 of de nieuwere S1155.
RAM: 16gb 4*4gb Geil GD38GB1333C9DC
CPU: goedkoopste I3 of celeron, of i7?
MOBO: afhankelijk van CPU maar zal 6 onboard sata poorten moeten hebben en ondersteuning voor sata 6GB/s en 4 memory slots.
HDD: 2 x WD RED 3TB, 1 x 1,5 TB samsung 154UI, 2 x 320GB seageate barracuda
PSU: maakt niet veel uit, denk een tweedehands modulaire voeding te kopen van corsair
Ik weet dat velen zullen schrikken als ze de schijven zien die ik er in ga proppen, maar het probleem is dat ik deze schijven echt niet meer verkocht krijg en ze dus hier gewoon liggen rotten.
Het plan is om de schijven in RAIDZ te steken en van zodra er eentje faalt gewoon te vervangen.
Heb voor de zekerheid twee duurdere WD RED's gekocht van 3TB, de andere schijven zouden moeten vervangen worden door iets goedkopere modellen. Ik denk dat de markt voor schijven nog sterk zal veranderen dit jaar dus hopelijk houden die oudere schijven het nog een jaartje uit.
Het struikelblok over de socket van mobo en CPU gaat em vooral dan over prijs/kwaliteit en stroomverbruik. Deze server zal voornamelijk gebruikt worden voor opslag van data zijnde films/muziek en backups. Maar daarnaast zou het ook wel leuk zijn om een SQL server te kunnen draaien of paar andere applicaties/servers zoals anysync of owncloud.
Het probleem is ook dat ze bij syncany en owncloud geen echte hardware specs kunnen geven aangezien dit sterk afhankelijk is van het aantal gebruikers en dergelijke.
De hardware zal voornamelijk uit tweedehands materiaal bestaan aangezien deze PC toch maar gedumped word achterin de garage of beneden in de kelder maar denk dat het daar iets te vochtig is.
Op verscheidene forums worden CPU's zoals een I7 860/920 verkocht voor 50-120 euro.(socket 1156)
Processoren zoals een I5 2500 of een nieuwere I3 van socket 1155 starten pas bij 100€ en bijhorende mobo's zijn ook stukken duurder...
Ik dacht er eerst aan freenas te draaien in ESXi server maar als ik dat doe, dan heb ik iets raars aan de hand..
Ik had voorlopig de twee schijven van 320gig in stripe gezet en freenas als een VM gedraaid met 2gb ram. Van zodra ik op een windows client de CIFS share benaderde en files transferde dan verloor de client na x aantal seconden zijn verbinding met het hele netwerk. Ik moest dan de client rebooten ofwel gewoon de tcp/ip socket opnieuw initialiseren door gewoon eens zijn settings te togglen.
Heb er even zitten op zoeken maar niets gevonden, heb nu freenas draaien in virtual box op windows 8 host. Eerst wou ik hier raw disk access enablen maar dit is me ten sterkste afgeraden op de freenas forums. Heb dan maar als test paar virtual hard disks toegevoegd aan de VM en die in stripe geplaatst, 6TB en 6gb ram asigned aan VM. CIFS shares blijken nu perfect te werken maar performance is ver te zoeken. Bij writes heb ik pieken van 35MB/s en reads pieken van 45MB/S. deze laatste test was uitgevoerd van op een windows client met een SSD, de schijven toegekend aan freenas waren de twee WD RED.
Thuisnetwerk is 100% gigabit, als ik van windows client naar windows client een file overzet haal ik gemakkelijk 80MB/s.
Het doel is voor de volle 125MB/s te gaan, ik wil ook genoegen nemen met de 80-100 die ik vroeger had maar liever alles op 100%.
Aangezien het ten sterkste afgeraden is ZFS te gebruiken onder VM's zou ik dus niet langer voor freenas gaan maar voor freeBSD.
Dit is wat ik zojuist ook heb gedaan. De cycles zijn zo inderdaad onder controle; als het < 10k per jaar zullen zijn, dan is het wat mij betreft prima. Ik zou zo ook niet weten waarom headparking het verbruik omlaag kan halen. Het enige wat merkbaar kan besparen is het downspinnen. Hier zo'n 10watt op 3 disks.tsjoender schreef op vrijdag 15 februari 2013 @ 08:41:
[...]
Zelf heb ik op een WD20EARS schijf met wdidle3 die timer naar de max (300 seconden geloof ik) gezet en heb geen performance degradatie gemerkt. Het houd de load cycles nu goed in bedwang en het verbaasde me dat het stroomverbruik niet merkbaar toenam (Ik dacht dat het aggresieve parkeren juist daarvoor bedoeld was). Ik zou het gewoon proberen. Je kan het altijd weer terugzetten naar de default 8 seconden.
Ik probeer al enige tijd een moederbord + CPU te vinden om mijn ESXI 5.0 Server mee te upgraden (huidige moederbord en CPU ondersteunen VT-d niet)
Doel is om mijn SAS controller via Pass-Through door te geven aan OpenIndiana als ZFS server, dus een VT-d CPU is een vereiste. Uiteraard gaan er een aantal VM's op draaien die gebruik gaan maken van de ZFS server.
Het moederbord moet VT-d ondersteunen en verder lijkt het erop (op basis van wat ik gelezen heb) dat er ECC memory in moet.
Ik ben uitgekomen op de E3-1275 V2 als CPU, echter heb ik geen idee welk moederbord (moet op HCL lijst van ESXI staan) ik moet kiezen en of het echt nodig is om ECC geheugen te gebruiken (gezien de prijs...).
Heeft er iemand ervaring met een E3-1275 V2 met ESXI en kan me vertellen welk moederbord ik het beste kan kiezen?
- Waarom moet er ECC geheugen in?
- Waarom moet het moederbord persee op de HCL van ESX staan?
Zie eventueel ook nog Zuinige ESXi Server
Genoeg setups die zuinig zijn en VT-d supporten, zonder te moeten voldoen aan rare eisen. VT-d heb je al vanaf een Core i5 (non-K) uitvoering.
Waarom Xeon: Omdat deze mij geadviseerd is in de combinatie ESX en VT-d
Waarom ECC: Omdat Xeon dit vereist (klopt dit?)
Waarom moederbord op HCL van ESX: Omdat ik geen hardware wil aanschaffen die later niet blijkt te werken.
Dank voor de URL.
Misschien kun je eens kijken naar een moederbord van Supermicro of Tyan.mdevaal schreef op maandag 18 februari 2013 @ 22:33:
Heeft er iemand ervaring met een E3-1275 V2 met ESXI en kan me vertellen welk moederbord ik het beste kan kiezen?
Zelf heb ik de X9SCM-IIF met een Xeon 1230V2 en dit werkt prima met ESXI, de M1015 kaart wordt goed doorgegegeven via VT-D en tot op heden nog geen problemen gehad.
Je moet dan wel een cpu nemen waar geen video controller inzit (12..0V2)
Een tweede voordeel is dat je gebruik kunt maken van remote KVM.
[ Voor 5% gewijzigd door Delta1981 op 19-02-2013 08:28 ]
Goedkoopste oplossingen die werken met ESXi:
ASRock B75-Pro3-M met een i5-3330.
SATA Controller(s), CPU, geheugen en netwerkkaarten werken met ESXi 5.1
Waarom je voor 5.0 zou willen gaan weet ik niet, maar dat zal misschien iets met VT-d te maken hebben, waar ik overigens nog geen problemen mee gehad heb ik 5.1.
Verder is ECC leuk, maar duurder.
Even niets...
Misschien niet het juiste topic maar is de licentie bij 5.1 (gratis versie) niet veranderd waardoor je geen VM's meer op afstand kunt starten / stoppen e.d.?FireDrunk schreef op dinsdag 19 februari 2013 @ 08:38:
Waarom je voor 5.0 zou willen gaan weet ik niet, maar dat zal misschien iets met VT-d te maken hebben, waar ik overigens nog geen problemen mee gehad heb ik 5.1.
Alleen bij 5.0 kan ik namelijk nog gebruik maken van IVmcontrol en vsphere client voor de ipad.
Echter was dit niet mogelijk met het ITX bordje dus heb ik gisteren een ASRock B75 Pro3-M met een Core i3 3220T (35W) CPU besteld. Nu maar hopen dat het gaat lukken om daar twee controllers in te prikken.
Onderstaande heb ik tot nu toe binnen:
| # | Product | Prijs | Subtotaal |
| 1 | Intel Core i3 3220T Boxed | € 105,- | € 105,- |
| 1 | ASRock B75 Pro3-M | € 56,45 | € 56,45 |
| 4 | Western Digital Green WD20EARX, 2TB | € 81,98 | € 327,92 |
| 1 | Western Digital Red WD30EFRX, 3TB | € 129,89 | € 129,89 |
| 1 | Kingston HyperX KHX1600C9D3B1K2/8GX | € 48,45 | € 48,45 |
| 1 | Highpoint RocketRAID 2720SGL | € 160,26 | € 160,26 |
| 1 | Cooler Master Real Power M520 | € 0,- | € 0,- |
| 1 | Crucial m4 CT064M4SSD2 64GB | € 63,- | € 63,- |
| 1 | Norcotek RPC-4116 | -- | -- |
| Bekijk collectie Importeer producten | Totaal | € 890,97 | |
Wat ik nog moet aanschaffen is 4x 2TB Green, 7x 3TB Red en nog een extra RAID controller.
Als OS ga ik Windows 2008 R2 Std gebruiken. Ik gebruik hem eigenlijk alleen als storage voor films en series zodat m'n Mede8er en als extra "back-up" van bepaalde data. Met robocopy heb ik op verschillende systemen kopiëen van deze data dus er zal altijd wel ergens een bruikbare back-up staan.
[ Voor 3% gewijzigd door Dualdude op 19-02-2013 10:14 ]
Verwijderd
Ik wil je er wel op wijzen dat je hardwarekeuze enorm belangrijk is. Zo zijn RAID controllers niet wenselijk voor ZFS, en zijn Green schijven niet gewenst op RAID controllers. ZFS kun je beter niet WD Red voor gebruiken tenzij je de TLER naar standaardwaarde weer terugzet, maar dan heb je wel betaald voor een feature die je niet gebruikt.
Kortom, je hardware sluit niet helemaal aan bij één van de twee keuzes: of 'legacy' RAID met TLER disks, of de nieuwe weg met ZFS en non-RAID controllers en normale non-TLER Green disks.
Vraagje: waar heb jij de Norcotek RPC-4116 vandaan gehaald (en prijs)?Dualdude schreef op dinsdag 19 februari 2013 @ 10:11:
De volgende stap was de upgrade naar een Norco behuizing met drivebays. Hierbij ben ik voor een 16-bay exemplaar gegaan en ontstond de noodzaak voor een tweede RAID controller.
GokjeNeptunus schreef op dinsdag 19 februari 2013 @ 10:21:
Vraagje: waar heb jij de Norcotek RPC-4116 vandaan gehaald (en prijs)?
ri-vier.nl heeft Norco
@Dualdude, waarom geen Server 2012 met storage spaces? Als je dan toch nieuw koopt...
Even niets...
Plannen groter als in meer capaciteit. ZFS ga ik niks meer mee doen. Dus heb een semi-raid controller gekocht (de RocketRAID 2720SGL) waarvan zelfs alleen de green disks op de qualified list staan, de red drives niet. De RocketRAID met green is geteste combo volgens Highpoint. Voor de tweede controller moet ik nog even kijken wat voor een het gaat worden. Ik heb nu nog maar 1 Red en daarmee heb ik nog drie opties. Of ik koop een 2e controller die TLER disks nodig heeft en hang ze daar aan, ik probeer red drives aan een 2e 2720SGL of ik doe de red weer weg en koop een 2e 2720SGL en 8x 3TB Green)
@Neptunus
De RPC-4116 heb ik bij Ri-Vier besteld. (http://cybershop-ri-vier.nl)
[ Voor 7% gewijzigd door Dualdude op 19-02-2013 10:51 ]
Was inderdaad off-topic. Maar thanks voor jullie snelle reacties!
CiPHER, waarom zou TLER niet goed werken met ZFS ? de WD Red schijven worden aangeraden voor zowel software (md/zfs alsmede hardware raid) op zo'n beetje alle sites waar ik hier info over kon vinden. Op basis daarvan heb ik gisteren 2 wd reds gekocht voor mijn nas, op zich niet eens voor TLER maar ook voor de extra garantie en service.Verwijderd schreef op dinsdag 19 februari 2013 @ 10:21:
ZFS kun je beter niet WD Red voor gebruiken tenzij je de TLER naar standaardwaarde weer terugzet.
TLER zou er voor moeten zorgen dat de schijf een kleinere timeout heeft op het proberen te recoveren van data op de disk in slechte sectoren. Mocht dit falen (en dus een IO error geven) dan zou ZFS de data gewoon moeten kunnen pakken van z'n parity of mirror disk dus eigenlijk geen probleem.
Graag jouw gedachte en/of wat sites met info.
Verwijderd
Dat ZFS zijn data van een redundante bron pakt gebeurt altijd, ongeacht instelling van de hardeschijf. Het draait er allemaal om wat er gebeurt als ZFS zijn redundantie kwijt is: een degraded RAID-Z bijvoorbeeld. Als één van je resterende schijven dan een bad sector tegenkomt, heb je geen enkele bescherming meer en is de recovery van de hardeschijf dus je last line of defense. Als je die min of meer uitschakelt door recovery te beperken tot 7 seconden, kan dat je dataveiligheid aantasten. Nogmaals: dus alleen in een niet-redundante configuratie zoals een degraded RAID-Z. Voor redundante configuraties maakt het eigenlijk niets uit of je TLER of non-TLER disks gebruikt. ZFS zal na een soft timeout (die los staat van TLER) automatisch schrijven naar de disk die er langer over doet. Dus mocht het een bad sector geweest zijn, is die automatisch overschreven en daarmee ook direct opgelost.
Het is dus vanuit mijn perspectief wenselijk dat TLER niet ingeschakeld is in combinatie met ZFS. Dat verbetert je kansen op recovery in gevallen waarbij ZFS je data niet meer kan beschermen. Bovendien moet je voor TLER min of meer betalen (WD Red is gelijk aan WD Green met 1000GB platters). In die zin kun je dus stellen dat WD Red voor 'legacy' RAID is (hardware RAID / Windows onboard RAID) terwijl normale green schijven zonder TLER geschikt zijn voor ZFS. Dat was ook de originele gedachte van RAID: goedkope schijven die in een slimme configuratie netto betrouwbaarder zijn dan dure schijven zonder RAID. Helaas proberen fabrikanten een slaatje te slaan uit de tekortkomingen van veel legacy RAID implementaties.
De HighPoint RR controller valt volgens mij dus onder de categorie die disks eruit gooit als ze bad sectors ontwikkelen. Dus een oplossing op basis hiervan in combinatie met Windows filesystem en RAID kan gevaarlijk zijn in die zin dat disks blijven detachen en je regelmatig moet rebuilden. Zo'n opstelling werkt vaak prima, totdat de disks bad sectors gaan ontwikkelen en pas dan beginnen de problemen.
Aan de andere kant biedt WD Red ook een jaar extra garantie. Maar als je geen TLER nodig hebt zou ik liever een schijfje extra hebben dan schijven met TLER en een jaar extra garantie. Wat je kunt doen is TLER uitschakelen op de WD Red; alleen heb ik geen bevestiging gehoord of dat ook kan zoals dat vroeger kon met WDTLER.exe.
Wat betreft de Highpoint controller de wd10eacs staat op de compatibility lijst voor deze kaart. http://www.highpoint-tech...xx_Compatibility_List.pdf. Vraag me af hoe ze dat regelen, misschien wachten ze wel gewoon 120 seconden bij een lees/schrijffout
Maar compatible en niet uit een array flikkeren heeft NIETS met elkaar te maken.
Volgens de filosofie van Controller fabrikanten hoort dat namelijk...
Als een disk op de compatibiliteitslijst staat, wil dat dus absoluut niet zeggen dat een disk niet uit een array gegooit kan worden!
Even niets...
Verwijderd
Prijzen WD Red versus WD Green 3TB:
pricewatch: Western Digital Green WD30EZRX, 3TB
pricewatch: Western Digital Red WD30EFRX, 3TB
Voor die 15 euro kun je inderdaad overwegen een extra jaar garantie te nemen. Of een extra schijf als je er 10 neemt. 15 euro blijft toch 10% van de prijs van een 3TB schijf. Maar het verschil is groter geweest, dat punt is duidelijk. En als je nu WD Red hebt gekocht, heb je denk ik geen slechte keus gemaakt het scheelt allemaal niet zo heel erg veel. WD Red weet je in elk geval zeker dat je de nieuwste 1000GB platters krijgt; de Green versie bestaat uit versies met 750GB platters en 1000GB platters. Alleen TLER zou ik persoonlijk dus wel uitschakelen (120 sec instelling) just in case.
[ Voor 39% gewijzigd door Verwijderd op 19-02-2013 11:37 ]
Dit gaat dan om de 667 platter versie op de 2tb disk. zowel op de interne sata controller als op een m1015 worden de disken uit de raid gegooid na een tijdje. op de m1015 krijg ik in m'n system log in ieer geval nog wel fouten.
1
2
3
4
5
6
7
8
9
10
11
12
| (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 e8 e0 88 58 0 0 8 0 length 4096 SMID 177 terminated ioc 804b scsi 0 state c xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 e8 e0 86 58 0 0 8 0 length 4096 SMID 176 terminated ioc 804b scsi 0 state c xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 0 40 4 58 0 0 8 0 length 4096 SMID 175 terminated ioc 804b scsi 0 state c xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 0 40 2 58 0 0 8 0 length 4096 SMID 174 terminated ioc 804b scsi 0 state c xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 0 40 2 58 0 0 8 0 length 4096 SMID 178 terminated ioc 804b scsi 0 state 0 xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 0 40 4 58 0 0 8 0 length 4096 SMID 179 terminated ioc 804b scsi 0 state 0 xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 e8 e0 86 58 0 0 8 0 length 4096 SMID 180 terminated ioc 804b scsi 0 state 0 xfer 0 (da0:mps0:0:0:0): WRITE(10). CDB: 2a 0 e8 e0 88 58 0 0 8 0 length 4096 SMID 181 terminated ioc 804b scsi 0 state 0 xfer 0 mps0: mpssas_alloc_tm freezing simq mps0: mpssas_remove_complete on handle 0x0009, IOCStatus= 0x0 mps0: mpssas_free_tm releasing simq (da0:mps0:0:0:0): lost device - 4 outstanding, 1 refs |
Elke andere disk die ik geprobeert heb werkt wel prima. Daarom heb ik gisteren dus ook de wd reds gekocht om 2 seagates te vervangen. Het schijnt overigens wel zo te zijn dat de 1tb platter versies wel goed werken.
Verwijderd
Wat draai je verder qua operating system; oudere mps drivers waren namelijk niet compleet en dat kan nog problemen geven. Als je tijd hebt voor tests ben ik benieuwd of je het probleem kunt reproduceren op de onboard chipset controller.
Het is namelijk mogelijk dat je een issue los van schijven tegenkomt. Dat is althans vaak mijn ervaring dat het gaat om bugs of andere tekortkomingen, soms in een specifieke combinatie. Dan wordt gezegd dat het niet 'compatible' is, en als men geen problemen tegenkomt is het wel 'compatible'. Het probleem hiermee is dat de problemen iets teveel als algemene waarheid wordt aangenomen en niet iets wat zich met specifieke hardware in specifieke situaties voordoet.
Even voor de duidelijkheid, in welke mode gebruik je de m1015?
- de m1015 draait in IT modus uiteraard.
- OS is freenas 8.3 (FreeBSD 8.3 p4)
- De problemen doen zich voor op Beide seagate disken, andere disken (2 types Hitachi) werken prima. ook op de poorten waarop de seagates falen.
- De schijf heb ik in eerste instantie op interne controllers geprobeert, samen met een set Hitachi Deskstar disken. De hitachi's doen het prima. de seagates vielen eruit, daarna heb ik ze verplaatst naar de m1015 op poorten waar andere deskstars aan hingen in een testpool. deze testpool schijven omgewisseld met de seagates (dus de hitachi's naar de interne port, de seagates naar de gebruikte poorten op de m1015) nu werken de hitatchi's prima op de poorten waar eerst de seagates op zaten, de seagates falen op de poorten waar eerst de hitachi's het prima op deden.
- De schijven draaien de laatst beschikbare firmware, CC24. er zijn nieuwere firmwares van seagate, maar deze werken niet op deze schijven.
- SmartCTL data (zoals je ziet, ook een short test gedaan 100% OK)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
| smartctl 5.43 2012-06-30 r3573 [FreeBSD 8.3-RELEASE-p4 amd64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net
=== START OF INFORMATION SECTION ===
Model Family: Seagate Barracuda (SATA 3Gb/s, 4K Sectors)
Device Model: ST2000DM001-1CH164
Serial Number: Z2F0HHFS
LU WWN Device Id: 5 000c50 04ecb4fe5
Firmware Version: CC24
User Capacity: 2,000,398,934,016 bytes [2.00 TB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Device is: In smartctl database [for details use: -P show]
ATA Version is: 8
ATA Standard is: ATA-8-ACS revision 4
Local Time is: Tue Feb 19 12:14:18 2013 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 600) seconds.
Offline data collection
capabilities: (0x73) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
No Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 255) minutes.
Conveyance self-test routine
recommended polling time: ( 2) minutes.
SCT capabilities: (0x3085) SCT Status supported.
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000f 117 099 006 Pre-fail Always - 163701936
3 Spin_Up_Time 0x0003 095 095 000 Pre-fail Always - 0
4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 46
5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0
7 Seek_Error_Rate 0x000f 054 052 030 Pre-fail Always - 38656621753
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 835
10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0
12 Power_Cycle_Count 0x0032 100 100 020 Old_age Always - 33
183 Runtime_Bad_Block 0x0032 100 100 000 Old_age Always - 0
184 End-to-End_Error 0x0032 100 100 099 Old_age Always - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
188 Command_Timeout 0x0032 100 100 000 Old_age Always - 0
189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0
190 Airflow_Temperature_Cel 0x0022 079 071 045 Old_age Always - 21 (Min/Max 21/22)
191 G-Sense_Error_Rate 0x0032 100 100 000 Old_age Always - 0
192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 44
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always - 91
194 Temperature_Celsius 0x0022 021 040 000 Old_age Always - 21 (0 18 0 0 0)
197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0
240 Head_Flying_Hours 0x0000 100 253 000 Old_age Offline - 150830661501691
241 Total_LBAs_Written 0x0000 100 253 000 Old_age Offline - 572733124
242 Total_LBAs_Read 0x0000 100 253 000 Old_age Offline - 59210234
SMART Error Log Version: 1
No Errors Logged
SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed without error 00% 811 -
SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay. |
@Delta1981: Ik weet dat het laatste cijfer van de type aanduiding van een xeon CPU aangeeft of de CPU voorziet in video. Ik begrijp je opmerking niet dat ik een CPU zonder video moeten kiezen. Ga je er dan vanuit dat er een aparte videokaart ingezet wordt, of kan ik de server beheren zonder video via remote KVM?Delta1981 schreef op dinsdag 19 februari 2013 @ 08:21:
[...]
Misschien kun je eens kijken naar een moederbord van Supermicro of Tyan.
Zelf heb ik de X9SCM-IIF met een Xeon 1230V2 en dit werkt prima met ESXI, de M1015 kaart wordt goed doorgegegeven via VT-D en tot op heden nog geen problemen gehad.
Je moet dan wel een cpu nemen waar geen video controller inzit (12..0V2)
Een tweede voordeel is dat je gebruik kunt maken van remote KVM.
IPMI/Remote KVM van Supermicro is altijd met geintergreerde video op moederbord.mdevaal schreef op dinsdag 19 februari 2013 @ 17:09:
@Delta1981: Ik weet dat het laatste cijfer van de type aanduiding van een xeon CPU aangeeft of de CPU voorziet in video. Ik begrijp je opmerking niet dat ik een CPU zonder video moeten kiezen. Ga je er dan vanuit dat er een aparte videokaart ingezet wordt, of kan ik de server beheren zonder video via remote KVM?
Een cpu met video werkt idd niet op deze moederborden waarbij reeds een onboard video aanwezig is.jadjong schreef op dinsdag 19 februari 2013 @ 17:34:
[...]
IPMI/Remote KVM van Supermicro is altijd met geintergreerde video op moederbord.
@kabonacha: Het wel degelijk mogelijk om een virutele schijf door te geven aan ZFS (dus zonder pass through). Echter kan ESXI maar virtuele schijven doorgeven van maximaal 2 TB. Tevens gaat het ten koste van performance en stabiliteit.
Verwijderd
Zonder vt-d (of AMD IOMMU/AMD-Vi) moet je zeg maar een controller emuleren. Met RDM zal ESXi dan zijn eigen LSI SAS nepcontroller gebruiken. Het probleem is dat de geëmuleerde firmware hiervan niet goed compatible is met FreeBSD 9.1+ met nieuwe mps driver. Met FreeBSD 9.0 werkt het wel goed voor zover ik weet. We hadden in het verleden wat testjes gedaan met RDM in combinatie met bad sectors; de uitkomst daarvan kan ik me niet zo heel goed herinneren.
Maar ik blijf erbij dat hoe minder complex je opstelling is, des te minder de kans op problemen. Eén box helemaal aan storage wijden en een andere box als ESXi host gebruiken kan daarom de voorkeur genieten bij serieuze setups waarbij de gebruiker zo min mogelijk hoofdpijn met rare stabiliteits of performanceproblemen. Een simpele setup kan dus de voorkeur genieten, maar dat hangt helemaal af van je persoonlijke voorkeuren en wensen.
Zelf kijk ik erg uit naar FreeBSD 10 met Xen dom0 ondersteuning. Dit zou moeten betekenen dat je FreeBSD als host operating draait met ZFS dus 100% native toegang tot alle hardware, terwijl je Xen gebruikt om andere operating systems te virtualiseren. Xen is opzich vrij deftige virtualisatie, maar het werkt vooralsnog vooral goed onder Linux. Zodra dit goed werkt onder BSD met ook virtio (werkt nu al) dan kan dit een geduchte concurrent worden van ESXi voor ZFS setups. Je zou bijvoorbeeld theoretisch je videokaart kunnen doorgeven en dus ZFSguru als host draaien en met Xen een Ubuntu Linux vm gebruiken om full-screen in te gamen met goede performance. Zodra dat werkt, noem ik virtualisatie volwassen heb ik al eens gezegd.
1. Dan is het advies verkeerd geweest. ESX draait prima op een Core i5 met een moederbord dat ook VT-d ondersteund. BIOS moet ervoor support bieden (hoeft niet expliciet vermeld te staan!!)mdevaal schreef op maandag 18 februari 2013 @ 22:46:
Goede vragen.
Waarom Xeon: Omdat deze mij geadviseerd is in de combinatie ESX en VT-d
Waarom ECC: Omdat Xeon dit vereist (klopt dit?)
Waarom moederbord op HCL van ESX: Omdat ik geen hardware wil aanschaffen die later niet blijkt te werken.
Dank voor de URL.
2. Xeons kunnen ook met non-ECC geheugen werken
3. Als je goed onderzoek pleegt zul je merken dat alleen de dure en vaak ook totaal onbereikbare merken moederborden op de HCL van VMware staan.
Dus dan komen we terug bij de vragen
Ik kan dus kiezen voor een i5 (b.v. I5-3330) of meer investeren en gaan voor een E3-1230 V2 zoals Delta1981 aangegeven heeft. De meerwaarde van een Xeon moet dan liggen in hogere performance en betrouwbaarheid (Xeon zonder ECC lijkt me dan geen handige keuze).
Hardwarlijstje Xeon ziet er dan als volgt uit:
| # | Product | Prijs | Subtotaal |
| 1 | Intel Xeon E3-1230V2 Boxed | € 201,10 | € 201,10 |
| 1 | Supermicro X9SCM-IIF | € 201,99 | € 201,99 |
| 4 | Supermicro MEM-DR380L-SL01-EU16 | € 77,85 | € 311,40 |
| Bekijk collectie Importeer producten | Totaal | € 714,49 | |
Mijn SAS controller is een Supermicro Add-on Card AOC-USAS2-L8e.
[ Voor 67% gewijzigd door CooleSmurf op 19-02-2013 21:42 ]
Zie http://ark.intel.com/compare/65732,65509 voor verschillen.
ECC geheugen is leuk. Waartegen ga je je beschermen? Enige waar tegen ECC beschermt zijn bitflips in het geheugen van de server waarin je het ECC geheugen plaatst: Je wilt ZFS gaan draaien voor je fileserver? ZFS heeft ingebouwde corruptie preventie technieken. Maar nu komt het. ALLE clients die jij naar die ZFS fileshare laat schrijven hebben 99 van de 100 keer GEEN ENKELE protectie tegen al dit soort dingen die je op 1 plek probeert te voorkomen. Met andere woorden, zodra een client corrupte data stuurt naar je server zal die server het voor zoete koek slikken en heb je aan al die bescherming geen fluit.
Dus voor betrouwbaarheid hoef je het al zeker niet te doen en is je setup enorme overkill en daarnaast veel te duur.
Een i7/E5 op het 2011 platform. In dit geval is het gewoon Socket 1155 en dus gelimiteerd aan 32GB memory. Daarnaast heeft ESX free edition een keiharde limiet van 32GB fysiek geheugen (en dat is heel iets anders dan de "no limit on vMem" in ESX).jadjong schreef op dinsdag 19 februari 2013 @ 21:49:
De enige reden om een Xeon te kiezen is de hoeveelheid geheugen die dat ding aan kan. Een I7 werkt met 128GB, een E5 met 512GB. Als je slechts 32GB erin stopt is Xeon/ECC meer hobby dan nut.
Op het zuinige ESX topic vind ik inderdaad werkende systemen met een I5. Echter die zijn gericht op zuinigheid, en minder op performance.
Nu heb ik de volgende vergelijking gemaakt tussen een I5-3330 en I7-3770: http://ark.intel.com/compare/65509,65719
Als ik ze qua performance vergelijk op www.cpubenchmark.net zie ik grote verschillen in de uitkomst van 'Average CPU Mark', zie:
I5: http://www.cpubenchmark.n...-3330+%40+3.00GHz&id=1475
I7: http://www.cpubenchmark.n...7-3770+%40+3.40GHz&id=896
Ik ga maximaal 32GB Memory plaatsen (free version limit), dus het gaat me niet om het te adresseren geheugen, maar om de snelheid.
Is het 'real world' snelheidsverschil echt zo groot als de scores doen vermoeden?
En een laatste vraag: hoe bepaal ik welk moederbord geschikt is voor b.v. de I7-3770?
Ben je er overigens wel van bewust dat, zodra je gaat virtualiseren, je processor als laatste de bottleneck is. I/O op je storage (sub)systeem is vrijwel altijd de eerste bottleneck, daarna de hoeveelheid geheugen in je virtualisatie host. Ik kan je grafieken laten zien waarbij processoren 90% van de tijd niks doen terwijl geheugen en storage I/O voor vrijwel 100% benut worden. Geheugen zelfs meer dan die 100% vanwege oa ballooning en swapfile gebruik.
Mijn huidige server (Zonder VT-d support op CPU en moederbord) is een I5-3450 en het leek me logisch dat als ik ga upgraden, ik kies voor een CPU die krachtiger is. Vandaar de vraag over de I7.
Ook omdat in mijn huidige configuratie de CPU onder Openindiana (zonder virtualisatie dus) tijdens heavy-load 70%+ belast wordt. Deze belasting komt o.a. van ZFS server met 10Gbit infiniband connectie (sustainable read 800 MByte/s en write 600 Mbyte/s).
Ik wil niet het risico lopen dat straks de CPU de beperkende factor is. Als ik straks ook nog een ZIL en L2ARC ga toevoegen, dan zal dit de CPU belasting waarschijnlijk ook doen stijgen.
Verwijderd
Hyperthreading kan dus juist vertragend werken, en als je die feature hebt zou ik hem dus ook uitschakelen. Bovendien is het nog een heel klein veiligheidsrisico (door FreeBSD developers ontdekt, by the way). Op basis hiervan lijkt het me duidelijk dat i5 3570 de snelste reguliere chip is. Extra betalen voor de i7 lijkt mij dus onzin. Dat was vroeger leuk toen i7 nog een triple channel memory controller had en je dus 6 reepjes RAM op ie i7-750 kon gooien bijvoorbeeld.
Nu zit je vast aan 32GiB RAM en dat is momenteel gewoon dé bottleneck van ZFS. Grote configuraties willen iets tussen 64-128GB en dat is momenteel enorm kostbaar omdat je dan naar server quadrank registered ECC modules moet grijpen. Maar 16GiB UDIMM (non-ECC non-registered / unbuffered) zouden er binnenkort aankomen dus dat kan nog een uitkomst bieden. Of dat ook werkt op de huidige generatie bordjes is mij onbekend. Maar 8GiB modules werken officiëel ook niet op Brazos maar dat werkt verder prima.
Je hebt een behoorlijk exotische configuratie (voor thuis gebruik) vind ik persoonlijk.
Weet je waar de CPU load vandaan komt? Hoe ziet je ZFS config er uit? Mijn kennis van ZFS gaat niet erg ver maar hier in het topic vertoeven genoeg mensen die er wel dieper op in kunnen gaan. Wellicht dat je nog wat winst kunt halen uit het tunen van je ZFS config
Mijn ZFS config bestaat uit 8 schijven(Seagate: ST3000DM001) in configuratie: 4 gemirrorde vdev's.
De CPU-load lijkt te komen uit het verwerken van de throughput.
Straks moet deze config iSCSI targets gaan serveren. Daarom wil ik ook SSD cache schijven (ZIL en L2ARC) gaan toevoegen. Nog wel een puzzel welke SSD's dit moeten gaan worden omdat ZIL klein en snel (qua IOPS) moet zijn en de L2ARC groter mag zijn, maar ook weer niet te groot omdat het anders ten koste gaat van de ARC.
Verwijderd
Zie het plaatje midden deze pagina: http://info.iet.unipi.it/~luigi/netmap/
Klinkt in elk geval veelbelovend voor toekomstige setups met 10GBaseT ethernet. Ik verwacht namelijk niet dat dit met InfiniBand werkt. Edit: nog wat info over netmap:
Intel en Realtek dekt eigenlijk al de belangrijkste adapters, vooral Realtek wordt vaak onboard gebruikt en Intel bij addon netwerkadapter of onboard op supermicro bordjes bijvoorbeeld.netmap (available for FreeBSD) consists of about 2000 lines of code for device
functions (ioctl, select/poll) and driver support, plus individual driver modifications
(mostly mechanical, about 500 lines each) to interact with the netmap rings. To date,
netmap support is available for the Intel 10 Gbit/s adapters (ixgbe driver), and for
various 1 Gbit/s adapters (Intel, RealTek, Nvidia), more are being added.
[ Voor 32% gewijzigd door Verwijderd op 19-02-2013 23:38 ]
Op mijn roadmap staat ook de migratie van Openindiana naar FreeBSD. Dit omdat de ontwikkeling aan Openindiana met het vertrek van hun project-lead stil lijkt te liggen. Echter mijn huidige zfs POOL is versie 5000 (feature), dus binnen FreeBSD stable nog niet beschikbaar voor zover ik weet.
Als deze later wel beschikbaar is binnen FreeBSD kan ik eenvoudig omschakelen.
Verwijderd
Dat terzijde... dit heb ik zien aankomen. OpenSolaris en afgeleiden zijn ten dode opgeschreven. Een heel OS in stand houden alleen voornamelijk voor goede ZFS support met een klein clubje vrijwilligers en een grotere groep community eromheen, dat gaat niet werken. Dat gaat uitsterven, de betere mensen nemen stilletjes afscheid omdat ze zien dat het voornamelijk op hen aankomt en het project voor hen te weinig kan bieden om goede vooruitgang te boeken.
FreeBSD in tegenstelling heeft een vaste kerngroep van gebruikers van uit de hostingwereld tot overheid tot universiteiten en een groep oude rotten in het vak, die elk hun stempel op het Operating System hebben gedrukt. FreeBSD is er niet enkel voor ZFS. Het is juist andersom, ZFS is een mooie toevoeging aan FreeBSD, waar UFS toch wel karig is qua filesystemondersteuning. Dit terwijl de GEOM infrastructuur wel uitmuntend goed is in FreeBSD, de beste van alle operating systems. Nu heeft FreeBSD dus goed geïntegreerde en geverifiëerde ZFS support wat wordt onderhoudoen door een aantal heel goede developers (pawel, martin). FreeBSD heeft duidelijk de liefde verklaard aan ZFS door ook veel aandacht te schenken aan extra features zoals bootcode speciaal voor ZFS en zaken als automatische swap ZVOLs en andere integratie (zfs in jails).
Kortom, mijn punt is dat FreeBSD wel eens hét operating system kan gaan worden voor ZFS. Eigenlijk denk ik dat ze daar al een jaartje zijn, omdat Solaris uit elkaar valt sinds de overname en vooral nadat het overlegorgaan van OpenSolaris uit elkaar is gevallen. Vanaf toen was duidelijk dat het erg moeilijk zal worden voor open source Solaris-afgeleiden om te overleven. Dat wordt rond deze tijd dus wel pijnlijk duidelijk.
Wat ik nog mis in FreeBSD (of niet weet dat het bestaat) is het eenvoudig beheer (iSCSI, samba) via een GUI zoals dat nu met Napp-IT op OpenIndiana wel beschikbaar is. Nu is puur ZFS op de prompt prima te regelen gezien hun eenvoud, echter iSCSI en samba zijn (voor mij) minder eenvoudig en zal me moeite kosten om te implementeren.
Voorzie je ook een soort Napp-It voor FreeBSD? Dat zou een nog grotere doorbraak van FreeBSD een enorme duw in de rug geven namelijk.
Samba is op zich niet zo ingewikkeld, samba.org biedt voldoende info. Je kunt tussen de diverse GUI's kijken welke onder FreeBSD zou kunnen werken.mdevaal schreef op dinsdag 19 februari 2013 @ 23:54:
Ik denk dat je gelijk hebt. Nog los van het feit dat ik het zonde vindt van zo'n mooi OS.
Wat ik nog mis in FreeBSD (of niet weet dat het bestaat) is het eenvoudig beheer (iSCSI, samba) via een GUI zoals dat nu met Napp-IT op OpenIndiana wel beschikbaar is. Nu is puur ZFS op de prompt prima te regelen gezien hun eenvoud, echter iSCSI en samba zijn (voor mij) minder eenvoudig en zal me moeite kosten om te implementeren.
Voorzie je ook een soort Napp-It voor FreeBSD? Dat zou een nog grotere doorbraak van FreeBSD een enorme duw in de rug geven namelijk.
Webmin bijv. is een veelzijdige management oppervlakte en biedt ook een samba plugin.
Persoonlijk heb ik geen probleem met het handmatig aanpassen van de smb.conf, maar ieder zo zijn meug.
iSCSI is inderdaad andere koek en voelt weinig intuïtief aan, OI en Napp-it maken dat wel makkelijker.
Het is inderdaad jammer dat sinds Oracle de stekker uit OpenSolaris getrokken heeft, de boel aan het afbrokkelen is gegaan. Als je voor een OpenSolaris derivaat zou moeten kiezen kom je bij Illumos uit, OpenIndiana en zet je er Napp-it op voor het gebruiksgemak. Nexenta is ook goed bezig, de pech blijft wel dat de 'free' versie een beperking van de opslag omvang op legt (18 TB, weet niet zeker of dit rauwe capaciteit is of de bruikbare capaciteit van de array).
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Verwijderd
Alles draait nu op een i5-2500.
Ik merk dat voornamelijk Samba de CPU load oplevert en tot op heden nog niet echt goed naar beneden weten te krijgen. Ik kom dicht tegen maximum transfer van de raid array 900MB/s read en 300MB/s write maar het is voornamelijk Samba wat de bottleneck is.
Sendfile opties helpen wel iets maar niet zoals ik zou willen.
Pure IOZone cpu load ligt tussen de 10% en 25%
Ik heb ook tijden gekeken naar een clustered file system als oplossing maar met windows clients is dit lastig en sommige drivers nogal duur.
[ Voor 13% gewijzigd door Verwijderd op 20-02-2013 11:42 ]
Maar wat wordt er eigenlijk het meest gebruikt binnen bedrijven? SAN (met FC) neem ik aan..?
Wat heb je eigenlijk nog naast SAN en NAS? DAS, cloud storage, ..?
SAN is FiberChannel of over iSCSI, al dan niet met een fysiek gescheiden iSCSI netwerk.
NAS is meer FCoE (Fiber Channel over Ethernet), NFS, iSCSI, SMB, en alle andere 'reguliere' storage protocollen als FTP.
Ik heb bij verschillende bedrijven gekeken, en meestal is het NetApp of EMC (dus een combinatie van SAN en NAS afhankelijk van hoe je het aansluit). Soms 3PAR.
Als je wat meer naar de kleinere bedrijven kijkt is het vaak HP LeftHand of MSA (of hoe heet het tegenwoordig) of Dell Equillogic. En dat is veelal NAS (iSCSI en NFS).
Even niets...
De grens tussen NAS en SAN is ook niet zo heel duidelijk met de komst van FCoE enzo...
De allergrootste jongens hebben NetApp vanwege het volume beheer, caching mogelijkheden, allerhande 10Gb ondersteuning enz.
Even niets...
In mijn (online) zoektocht zie ik in het zuinige ESX topic dat er veel gebruik gemaakt wordt van Intel borden als het gaat om de combinatie I5 en VT-d. Echter de genoemde borden aan het begin van dat topic zijn uit 2011 en ik vraag me af of dit voldoende 'toekomst proof' is.
Modernere borden (op basis van de Z77 chipset) van ASRock en Gigabyte(b.v. GA-Z77X-UD5H) kom ik regelmatig tegen in verband met ondersteuningsproblemen met ESX. Of de onboard NIC wordt niet herkent of het doorgeven via VT-d werkt niet goed of het opstarten vanaf onboard SATA controller werkt niet. Sommige van deze problemen lijken op te lossen met additionele drivers, maar werkt dus niet standaard.
Ik ben op zoek naar een zo zeker mogelijke optie voor een (up-to-date) moederbord met ongeveer de bovenin genoemde configuratie. Dit moederbord hoeft niet perse het zuinigste/goedkoopste bord te zijn wat er te krijgen is, ik vind het belangrijker dat het werkt en snel is.
Suggesties?
Intel DZ77GAL-70K
Voldoen aan al je eisen.
Voldoen aan je eisen als je manueel de community driver installed.
[ Voor 11% gewijzigd door Phuncz op 23-02-2013 18:37 ]
Als je echt safe wil, waarom ga je dan niet voor een serverbord ala SuperMicro of Tyan? Die werken altijd?
Even niets...
De DZ77GA-70K en de DZ77GAL (verschil zit in de L) lijkt te zitten in WIFI wat ik i.d.d. niet nodig heb. Echter de DZ77GAL staat niet op Link en ook online zie ik geen bevestiging dat VT-d wel ondersteund is. Kan je dit wel bevestigen?
Verder zie ik (los van dual display) geen verschillen tussen je genoemde borden, zie: Link Dit terwijl er wel prijsverschil is. Valt de DZ77RE-75K daarmee af?
In dit topic bespreken we de hardwarematige kant van het bouwen van een NAS. Vragen en discussies die betrekking hebben op de softwarematige kant, dien je elders te stellen. Zo is het ZFS topic de juiste plek voor vragen over ZFS maar ook over softwareplatformen zoals FreeNAS, NAS4Free, ZFSguru en andere softwareplatforms die met ZFS werken.