Server gekocht, maar nu?

Iron within, Iron Without!

RAID
Je vraag over RAID is eigenlijk heel simpel, ja je kunt geen RAID gebruiken en vertrouwen op backups, maar de vraag die je moet beantwoorden is hoe lang zou je de data en applicaties kunnen missen?

Als je wilt dat de applicaties en data gewoon beschikbaar is, dan is RAID1 het antwoord, in combinatie met backups. Als je de server rustig een paar dagen kunt missen, dan zou je met enkel backups af kunnen.

Let overigens wel op dat Software RAID1 niet helemaal hetzelfde is als Hardware RAID1. Waar mogelijk zou je altijd voor Hardware RAID1 moeten gaan.

Operating System
VMware of KVM zou het handigste zijn, mogelijk kun je eens kijken naar Proxmox (www.proxmox.com). Deze bieden een KVM hypervisor aan op basis van Ubuntu met een nette en overzichtelijke web-based GUI. Ook zit hier ondersteuning in voor containers.

Voor je applicatie servers adviseer ik je het OS te gebruiken wat het beste past.
- Plex : Linux (CentOS of Ubuntu)
- Owncloud/NextCloud : Container of Linux
- Downloaden usenet : Linux met SABnzbd
- Beelden opslaan van Camera : afhankelijk van het protocol (Windows voor SMB/CiFS. Linux voor SFTP/FTP)

Opslag bestanden
Ik zou hier kijken naar NextCloud of OwnCloud. Beide bieden een nette en (aardig) volwassen suite aan.

Onderhoud
Updates, Firmwares en dan heb je het belangrijkste wel gehad. Je kunt een scriptje dagelijks een sanity check laten uitvoeren en die naar je mailen, dan heb je de belangrijkste informatie al. Meeste tijd zal in je applicatie-servers gaan zitten. De hypervisor zul je een stuk minder mee bezig zijn.

"From iron cometh strength! From strength cometh will! From will cometh faith! From faith cometh honour! From honour cometh iron!"

maandag 8 mei 2017 12:16

Acties:

Viper®

Ooit heel lang geleden werden er via mijn werkgever oude servers verkocht, volgens mij waren dat ook Dell's, of IBM. Toen over getwijfeld, uiteindelijk toch niet gedaan.
Destijds wilde ik er Windows Home Server opzetten

Ik heb wat informatie opgezocht betreffende de server.
PowerEdge T20 spec sheet:
http://i.dell.com/sites/d...erEdge-T20-spec-sheet.pdf

Intel e3-1200-v3 processors:
http://ark.intel.com/prod...E3-1200-v3-Product-Family

Let er wel op dat een NAS over het algemeen wat minder stroom verbruikt, een N3710 uit een Synology bijvoorbeeeld is 6W, versus 80W.

Al met al leuk om mee te spelen.

maandag 8 mei 2017 14:02

Acties:

Topicstarter

Locke_ schreef op maandag 8 mei 2017 @ 12:02:
RAID
Je vraag over RAID is eigenlijk heel simpel, ja je kunt geen RAID gebruiken en vertrouwen op backups, maar de vraag die je moet beantwoorden is hoe lang zou je de data en applicaties kunnen missen?

Als je wilt dat de applicaties en data gewoon beschikbaar is, dan is RAID1 het antwoord, in combinatie met backups. Als je de server rustig een paar dagen kunt missen, dan zou je met enkel backups af kunnen.

Let overigens wel op dat Software RAID1 niet helemaal hetzelfde is als Hardware RAID1. Waar mogelijk zou je altijd voor Hardware RAID1 moeten gaan.

De T20 heeft alleen softwarematige RAID via de Intel chipset. Als ik daar RAID 1 instel dan zouden de OSen die ik installeer dat moeten overnemen toch?
Ik denk dat ik dan voor RAID 1 ga en belangrijke bestanden (foto's e.d.) dagelijks naar mijn stackstorage account laat kopiëren. Volgens mij zit ik dan wel safe..

Is het trouwens makkelijk om bestanden van de ene VM naar de ander te kopiëren? Anders kan het makkelijker zijn om Plex en nieuwsgroepen op dezelfde VM te draaien?

[Gigabyte X670 gaming X][Ryzen 7800X3D][Kraken X62][32GB Corsair][Zotac 5080 Solid][Samsung 980 PRO][NZXT H7 FLOW][Evnia 34M2C8600]

maandag 8 mei 2017 14:20

Acties:

Iron within, Iron Without!

Jaapoes schreef op maandag 8 mei 2017 @ 14:02:
[...]
De T20 heeft alleen softwarematige RAID via de Intel chipset. Als ik daar RAID 1 instel dan zouden de OSen die ik installeer dat moeten overnemen toch?

De Intel chipset biedt hardware RAID, dit is zeker aan te raden doordat je gelijk enige offloading hebt. Daarnaast bieden veel HyperVisors out-of-the-box geen Software RAID, dus door het op de chipset op te lossen heb je RAID borging. De VM's die je installeert zullen op de RAID1 terecht komen.

Ik denk dat ik dan voor RAID 1 ga en belangrijke bestanden (foto's e.d.) dagelijks naar mijn stackstorage account laat kopiëren. Volgens mij zit ik dan wel safe..

Verstandig, echter hou er rekening mee dat (in ieder geval onder Linux) dat er voor Webdav (stack) gebruik gemaakt wordt van caching op de lokale disk van de server. Simpel gezegd, als jij 800MB aan foto's kopieert, moet je ook nog 800MB tijdelijk beschikbaar hebben voor het bufferen van data totdat het weggeschreven is op de Webdav (stack) share. Nu is dat bij 800MB geen uitdaging tegenwoordig, maar met 2TB aan fotos wordt dat wel een ander verhaal

Is het trouwens makkelijk om bestanden van de ene VM naar de ander te kopiëren? Anders kan het makkelijker zijn om Plex en nieuwsgroepen op dezelfde VM te draaien?

Dit kun je op verschillende manieren aanpakken. Afhankelijk van welke CPU je in je server hebt zitten kan het aan te bevelen zijn om Plex en een usenet downloader te scheiden, zodat ze minder invloed op elkaar hebben. Mijn eigen setup is een gescheiden variant, waarbij ik nog een NAS heb als file-storage (NFS) tussen beide servers.

Wat je zou kunnen doen is een Plex server met een grote harddisk welke je via NFS aanbiedt aan de download server. De download server kan dan downloaden naar lokale storage en de uitgepakte bestanden met de juiste naming convention (gebruik hiervoor bijvoorbeeld een PVR tool zoals SickRage, SickBeard enz) op de NFS share plaatst. Doordat de kopieer-actie binnen de hypervisor blijft is er geen werkelijk netwerkverkeer en zul je zien dat dit razendsnel gaat

"From iron cometh strength! From strength cometh will! From will cometh faith! From faith cometh honour! From honour cometh iron!"

maandag 8 mei 2017 14:27

Acties:

Chris van der G

Tailchakra

Voor een leuke Plex setup met alles erop en eraan. Dit is hoe mijn server eruit ziet momenteel:
ESXi VMWARE free license (8 cores per VM max)

Daar heb ik momenteel 5 VMs op lopen, voor zowel plex als een cloud als een website:

**DashboardVM**
Website
NGINX reverse proxy (om ervoor te zorgen dat alle poorten overgezet worden naar domain.tld/sonarr etc.)
Mopify (music web interface)

**ExileVM**
Plex (Mediaplayer)
PlexPy (Plex user statistics)
uBooquity (eBookplayer)
Mopidy (Server-side musicplayer)

**MechanizationVM**
Deluge (Tracker client) (bij jou zou dit dan sabnzb zijn gok ik)
Jackett (Tracker proxy) (zal bij jou niet nodig zijn dan)
Ombi (Media requester)
Radarr (Film automation)
Sonarr (Series automation)
Mylar (Comic automation)
LazyLibrarian (eBook automation)
Lidarr (Music automation)

**SeedboxVM**
rTorrent (Tracker client) (zal bij jou niet nodig zijn dan)

**NebulaVM**
Nextcloud (Eigen cloud-setup. Alle storage loopt via lokaal)

Ik stel voor, als je met Linux wilt spelen, om alles op ESXi te doen of unRAID met dockers. Makkelijke backups met VEEAM en je bent toegestaan hier en daar het een en ander te "verpesten" zonder TE hard gestraft te worden. (Je zet namelijk binnen 5 minuten weer een nieuwe VM op)

Echter heb ik mijn storage allemaal op een aparte server staan onder unRAID. Deze server heeft een slappe, goedkope CPU en wat RAM. Meer heeft ie niet nodig. Hele fijne software raid en het accepteert alles wat je er naar toe gooit.

Het is wel een aanrader Nextcloud te gebruiken ipv Owncloud, Nextcloud is een fork van Owncloud maar beter door ontwikkeld.

=====PS=====
Het opzetten en configureren/leren van alles heeft mij veel tijd gevergd. Echter bekijk ik de server nu eens in de zo vaak - kijken hoe het er mee gaat. Buiten dat zit ik er eigenlijk vrij weinig aan, alles loopt automatisch en als een trein $_/-\o_$

[ Voor 55% gewijzigd door Chris van der G op 08-05-2017 14:32 ]

maandag 8 mei 2017 14:27

Acties:

Gebruik geen hardware raid! Niet doen! Het biedt totaal geen verbetering t.o.v. software raid tenzij je parity berekeningen gaat doen, en juist dat is niet meer aan te raden met de huidige staat van bestandssystemen en data size.

Stel dat je RAID1 gaat doen: lekker software raid gebruiken, is universeler en betrouwbaarder dan een FakeRAID/HWRaid controller. Stel dat je meer dan RAID1 wil doen: niet doen, en direct naar BTRFS of ZFS gaan.

Qua software is het een kwestie van smaak, je kan Proxmox draaien, of XenServer, die zijn allebei gratis, eenvoudig in gebruik en hebben goede support, je zou ook ESX kunnen doen, maar dat is altijd een beetje modderen om dat het heel zwaar leunt op HCL's om dat het ecosysteem van vmware daar het geld uit haalt. Betekent niet dat het niet kan werken, maar waarom moeilijk doen als het ook makkelijk kan

[ Voor 31% gewijzigd door johnkeates op 08-05-2017 14:29 ]

maandag 8 mei 2017 15:09

Acties:

Iron within, Iron Without!

johnkeates schreef op maandag 8 mei 2017 @ 14:27:
Gebruik geen hardware raid! Niet doen! Het biedt totaal geen verbetering t.o.v. software raid tenzij je parity berekeningen gaat doen, en juist dat is niet meer aan te raden met de huidige staat van bestandssystemen en data size.

Stel dat je RAID1 gaat doen: lekker software raid gebruiken, is universeler en betrouwbaarder dan een FakeRAID/HWRaid controller. Stel dat je meer dan RAID1 wil doen: niet doen, en direct naar BTRFS of ZFS gaan.

VMware biedt geen software RAID, ProxMox en XenServer bieden er wel ondersteuning voor, maar dan zul je na installatie dit moeten opbouwen. Dit kost je wel RAM en CPU om de RAID te gebruiken, terwijl dat bij HWRaid niet het geval is. Ik zou zeker nu TS nog in het beginstadium van het leren met servers om te gaan, starten met HWRaid en als TS echt geïnteresseerd bent is in SWRaid dit eerst eens in een VM gaan opbouwen en te kijken hoe het werkt en waar je tegenaan kunt lopen.

Qua software is het een kwestie van smaak, je kan Proxmox draaien, of XenServer, die zijn allebei gratis, eenvoudig in gebruik en hebben goede support, je zou ook ESX kunnen doen, maar dat is altijd een beetje modderen om dat het heel zwaar leunt op HCL's om dat het ecosysteem van vmware daar het geld uit haalt. Betekent niet dat het niet kan werken, maar waarom moeilijk doen als het ook makkelijk kan

Alle drie hebben hun voors en tegens, persoonlijk vind ik ProxMox erg lekker werken voor thuis/lab omgevingen en VMware als het "professioneel" moet worden. Daarbij heb je je, zeker bij VMware te houden aan de HCL, helemaal met vSphere 6.5. XenServer heb ik wel mee gespeeld in het verleden, maar het ontbrak naar mijn mening veel aan "beheerders-vriendelijkheid".

"From iron cometh strength! From strength cometh will! From will cometh faith! From faith cometh honour! From honour cometh iron!"

maandag 8 mei 2017 15:13

Acties:

Bait for wenchmarks

Locke_ schreef op maandag 8 mei 2017 @ 14:20:
Verstandig, echter hou er rekening mee dat (in ieder geval onder Linux) dat er voor Webdav (stack) gebruik gemaakt wordt van caching op de lokale disk van de server. Simpel gezegd, als jij 800MB aan foto's kopieert, moet je ook nog 800MB tijdelijk beschikbaar hebben voor het bufferen van data totdat het weggeschreven is op de Webdav (stack) share. Nu is dat bij 800MB geen uitdaging tegenwoordig, maar met 2TB aan fotos wordt dat wel een ander verhaal

Dat is niet per se nodig. Als je de (Owncloud-based) client van STACK pakt dan krijg je inderdaad een Dropbox-achtig iets, waarbij STACK gesynct wordt met een lokale map. Dat hoeft echter niet perse. Je kunt hem ook prima direct via WebDAV mounten waarbij er niks lokaal gesynct wordt. Onder Linux kan dat bijvoorbeeld met davfs2.

Locke_ schreef op maandag 8 mei 2017 @ 15:09:
[...]

VMware biedt geen software RAID, ProxMox en XenServer bieden er wel ondersteuning voor, maar dan zul je na installatie dit moeten opbouwen.

Proxmox heeft volgens mij gewoon ondersteuning voor ZFS in de installer.

Dit kost je wel RAM en CPU om de RAID te gebruiken, terwijl dat bij HWRaid niet het geval is.

ZFS gebruikt inderdaad aardig wat RAM maar qua CPU is het echt verwaarloosbaar. Voor de beeldvorming: je kunt bijvoorbeeld prima een Atom CPU gebruiken voor een ZFS-based NAS.

Ik zie niet in waarom TS zou moeten starten met hardware-RAID. Het is niet zozeer makkelijker dan software-RAID of ZFS, en ZFS is gewoon superieur.

[ Voor 51% gewijzigd door Compizfox op 08-05-2017 15:20 ]

Gewoon een heel grote verzameling snoertjes

maandag 8 mei 2017 15:21

Acties:

Iron within, Iron Without!

Compizfox schreef op maandag 8 mei 2017 @ 15:13:
Dat is niet per se nodig. Als je de (Owncloud-based) client van STACK pakt dan krijg je inderdaad een Dropbox-achtig iets, waarbij STACK gesynct wordt met een lokale map. Dat hoeft echter niet perse. Je kunt hem ook prima direct via WebDAV mounten waarbij er niks lokaal gesynct wordt. Onder Linux kan dat bijvoorbeeld met davfs2.

davfs2 gebruikt ook cache die niet uitgezet kan worden. Misschien minder dan stack-client, maar dan nog is de hoeveelheid tijdelijke ruimte die nodig is afhankelijk van hoe de snelheid waarmee er geupload kan worden.

Proxmox heeft volgens mij gewoon ondersteuning voor ZFS in de installer.

Check, dat had ik niet gezien. Ik gebruik het zelf met NFS datastores.

ZFS gebruikt inderdaad aardig wat RAM maar qua CPU is het echt verwaarloosbaar. Voor de beeldvorming: je kunt bijvoorbeeld prima een Atom CPU gebruiken voor een ZFS-based NAS.

Ik zie niet in waarom TS zou moeten starten met hardware-RAID. Het is niet zozeer makkelijker dan software-RAID of ZFS, en ZFS is gewoon superieur.

op 32GB Ram is 4GB best veel om aan RAID kwijt te raken, maar dat is een keuze. Waar het relatief meer CPU-load zal gaan kosten is bij een rebuild, ook dat kan op een Atom, dan duurt de rebuild simpelweg langer.

Wanneer je tijdens de setup ZFS kan opbouwen, dan is het puur de keuze van CPU/Memory offloaden of niet. Verder is het dan nauwelijks spannend en zal de setup alles regelen. Mijn opmerking om eerst met HW raid te starten was er vanuit gaande dat je alles handmatig na installatie moest opzetten, wat toch wel iets lastiger is.

[ Voor 19% gewijzigd door Locke_ op 08-05-2017 15:24 ]

"From iron cometh strength! From strength cometh will! From will cometh faith! From faith cometh honour! From honour cometh iron!"

maandag 8 mei 2017 15:26

Acties:

8088

NaN

Locke_ schreef op maandag 8 mei 2017 @ 12:02:
Deze bieden een KVM hypervisor aan op basis van Ubuntu met een nette en overzichtelijke web-based GUI.

Proxmox is gebaseerd op Debian.

Do you seek to engage in or have you ever engaged in terrorist activities, espionage, sabotage, or genocide?

maandag 8 mei 2017 15:46

Acties:

Topicstarter

Dank allemaal voor de reacties

Als ik het zo hoor dan ga ik denk ik beginnen met Proxmox ipv ESXi. En als ik het goed begrijp kan ik via de installer van Proxmox ZFS kiezen waarna al mn VM's in ZFS draaien? Kan ik ZFS dan ook in RAID 1 draaien? Of heeft ZFS een manier om data te dupliceren over de 2 schijven?

[Gigabyte X670 gaming X][Ryzen 7800X3D][Kraken X62][32GB Corsair][Zotac 5080 Solid][Samsung 980 PRO][NZXT H7 FLOW][Evnia 34M2C8600]

maandag 8 mei 2017 15:49

Acties:

Bait for wenchmarks

Locke_ schreef op maandag 8 mei 2017 @ 15:21:
[...]

davfs2 gebruikt ook cache die niet uitgezet kan worden. Misschien minder dan stack-client, maar dan nog is de hoeveelheid tijdelijke ruimte die nodig is afhankelijk van hoe de snelheid waarmee er geupload kan worden.

Weet je zeker dat dat geldt voor uploads? Dat lijkt me nogal vreemd; waarom zou je iets cachen dat geüpload/weggeschreven moet worden? Ik heb de davfs2 manpage er even vluchtig op nagelezen maar kan alleen vinden dat er standaard een cache aanstaat van 50 MB (voor lezen) en dat bestanden die geopend zijn altijd gecachet worden.

Jaapoes schreef op maandag 8 mei 2017 @ 15:46:
Dank allemaal voor de reacties

Als ik het zo hoor dan ga ik denk ik beginnen met Proxmox ipv ESXi. En als ik het goed begrijp kan ik via de installer van Proxmox ZFS kiezen waarna al mn VM's in ZFS draaien? Kan ik ZFS dan ook in RAID 1 draaien? Of heeft ZFS een manier om data te dupliceren over de 2 schijven?

Ja en ja

ZFS heeft gewoon de optie voor mirroring (RAID-1). Als je meer schijven hebt kun je ook kiezen voor RAID-Z1 of RAID-Z2 (wat de ZFS-varianten zijn van RAID-5 en RAID-6 respectievelijk).

[ Voor 33% gewijzigd door Compizfox op 08-05-2017 16:00 ]

Gewoon een heel grote verzameling snoertjes

maandag 8 mei 2017 15:55

Acties:

Topicstarter

Dat is mooi

De T20 kwam met 1TB Toshiba schijf. Die gebruik ik denk ik als HDD voor Proxmox (of misschien een klein SSDtje op de kop tikken daarvoor). Daarnaast heb ik de twee 4TB WD RED schijven voor de VM's.
Voor de zekerheid; als ik voor Proxmox en ZFS ga, dan hoef ik geen RAID 1 te configureren in de Intel raid controller toch?

[Gigabyte X670 gaming X][Ryzen 7800X3D][Kraken X62][32GB Corsair][Zotac 5080 Solid][Samsung 980 PRO][NZXT H7 FLOW][Evnia 34M2C8600]

maandag 8 mei 2017 15:55

Acties:

Bait for wenchmarks

Jaapoes schreef op maandag 8 mei 2017 @ 15:55:
Voor de zekerheid; als ik voor Proxmox en ZFS ga, dan hoef ik geen RAID 1 te configureren in de Intel raid controller toch?

Nee dat klopt, dat laat je dan over aan ZFS.

Gewoon een heel grote verzameling snoertjes

maandag 8 mei 2017 16:23

Acties:

Iron within, Iron Without!

Compizfox schreef op maandag 8 mei 2017 @ 15:49:
[...]

Weet je zeker dat dat geldt voor uploads? Dat lijkt me nogal vreemd; waarom zou je iets cachen dat geüpload/weggeschreven moet worden? Ik heb de davfs2 manpage er even vluchtig op nagelezen maar kan alleen vinden dat er standaard een cache aanstaat van 50 MB (voor lezen) en dat bestanden die geopend zijn altijd gecachet worden.

helaas uit ervaring achter gekomen. Het is mogelijk om de upload_delay op 0 te zetten zodat ie wel gelijk begint met schrijven en het niet eerst in de cache directory wegzet, maar dan nog is de hoeveelheid benodigde cache afhankelijk van de uploadsnelheid. Als je thuis een 500Mbit fiber hebt liggen is een paar TB nog wel te overzien. Anders is het toch iets om rekening mee te houden.

"From iron cometh strength! From strength cometh will! From will cometh faith! From faith cometh honour! From honour cometh iron!"

maandag 8 mei 2017 17:11

Acties:

Voor ZFS zou ik je aanraden om een mirror aan te maken en niet een RAIDZ. Ook daar geldt dat tijd die nodig is voor een resilver, scrub of ander soort onderhoud tijdens een failed disk vrij snel voor meer ellende kan zorgen. Het is niet dat het niet kan werken, en een RAIDZ3 met copies=3 zal uiteraard vrij stevig bestand zijn tegen uitval, maar waarom RAM enz. verspillen als je met een ZFS mirror gewoon goede bescherming hebt ;-) dan wordt er ook meteen een stuk minder RAM gebruikt.

Het idee met ZFS is niet zo zeer dat het magisch alles beter doet, maar dat data integriteit door de hele stack heen gecontroleerd wordt. Zo is een ZFS mirror bijv. nog steeds sneller met minder data corruptie dan een software RAID1 of hardware RAID1. Hardware RAID heeft in de praktijk ook alleen maar voordelen als je een ouderwetse RAID5 of RAID6 wil gaan draaien met DRAM cache en BBU. Maar dat soort setups zijn echt niet meer van nu, die verwacht je meer bij MKB's die nog SBS 2003 draaien ofzo. Het is gewoon een hele slechte 'oplossing' die je ooit eigenlijk alleen maar nodig had om dat RAM duur was en de gemiddelde Windows-systeembeheerder gewoon te weinig weet (en Windows te weinig goede storage opties heeft).

Dus, Proxmox, met ZFS in een mirror, goed plan! Je kan qua RAM er van uit gaan dat dat niet extreem veel opslokt (RAM gaat vooral aan dedup en RAIDZ op, niet aan mirrors, maar soms wel een beetje aan ARC, de read cache). Op een dual-triple-mirror pool van 6TB (dus zes 3TB schijven in twee losse triple-mirros) met vrij lompe cache kost dat c.a. 16GB RAM. Gezien je daar vrij sterk onder gaat zitten denk ik dat je met 6 tot 8GB RAM voor de host dus prima uit komt.

Ik zou voor de snelheid van Proxmox eerder een USB-stick dan een HDD gebruiken, maar een SSD is natuurlijk altijd sneller ;-) Het gaat er niet zo zeer om dat ie snel opstart, maar dat er zo min mogelijk seek tijd is. Stel dat je een VM start of een stukje virtuele networking aanpast, dan wil je dat ie niet op de schijf hoeft te wachten. Het type bewerkingen kost maar een paar MB, maar er moeten wel heel veel kleine beetjes data tegelijk bewerkt worden, waardoor een lage seek vrij veel impact heeft (en bandbreedte een stuk minder). Je kan soms ook een SATA DOM krijgen (disk-on-module) die je direct op het moederbord prikt. Dat is een mini-SSD waar je prima een hypervisor+tools op kwijt kan, en dan heb je SATA/SAS bays over voor 'echte' storage.

Qua storage snelheid is het wel zo dat als je flink veel VM's draait die allemaal IO zitten te doen je kans hebt je cache vol te laten lopen of zo nu en dan te missen. Dat kan je met ZFS oplossen door een L2ARC, een tweede cache dus, in te stellen op een (kleine) SSD. Hetzelfde geldt voor ZIL, het bewerkingslogboek van ZFS. Stel dat je veel VM's hebt die allemaal een beetje IO doen, dan moeten die schijven dus heel veel kleine stukjes data vinden, waardoor ze vrij veel tijd spenderen aan het zoeken naar data op de schijf. Als ZFS ondertussen ook het log even wil bijwerken, dan moet ie dus wachten tot de schijf daar tijd voor heeft, en ondertussen staat je storage dus nagenoeg stil. Door ook dat ZIL op een los apparaat te zetten kan je de 'echte' storage ontlasten. Ook daar is een SSD een uitstekende kandidaat. Hoe doe je dit in de praktijk met een single-server setup? Je pakt twee kleine SSD's, waar je twee partities op maakt. Een kleine, van bijv. 4GB en een grotere, van bijv. 60GB, waarna je van de kleine een mirror maakt en van de grote een stripe. De grote stel je in als L2 cache en de kleine als log device. Dan kan ZFS z'n boekhouding en caches op een snelle SSD doen, zodat je storage tijd heeft voor 'de rest'.

Stel dat je dit nog verder wil optimaliseren, dan zou je bijv. die twee SSD's ook kunnen gebruiken voor Proxmox. Stel dat je twee 120GB SSD's koopt, dan kan je daar prima Proxmox, ZFS L2ARC en ZFS ZIL op kwijt. Je HDD's laat je dan echt voor je storage werken, terwijl alle systeemfuncties supersnel afgehandeld kunnen worden. Je maakt dan niet 2 maar 3 partities op de SSD's, waarbij je twee mirrors maakt (proxmox en ZIL) en een stripe (L2ARC), maar wel zo dat het totale formaat kleiner is dan de SSD, zodat je hem kunstmatig overprovisioned. Wat je dan eigenlijk doet is de SSD meer ruimte geven voor interne functies zoals garbage collection en het tegen gaan van write amplification, zodat ze wat langer mee gaan. Op die manier kan je goedkope SSD's gebruiken zonder dat ze een half jaar later dood zijn.

maandag 8 mei 2017 20:31

Acties:

Bait for wenchmarks

johnkeates schreef op maandag 8 mei 2017 @ 17:11:
Voor ZFS zou ik je aanraden om een mirror aan te maken en niet een RAIDZ. Ook daar geldt dat tijd die nodig is voor een resilver, scrub of ander soort onderhoud tijdens een failed disk vrij snel voor meer ellende kan zorgen. Het is niet dat het niet kan werken, en een RAIDZ3 met copies=3 zal uiteraard vrij stevig bestand zijn tegen uitval, maar waarom RAM enz. verspillen als je met een ZFS mirror gewoon goede bescherming hebt ;-) dan wordt er ook meteen een stuk minder RAM gebruikt.

"Verspil" je met RAID-Z meer RAM dan met mirroring dan? Zover ik weet is het RAM-gebruik in beide gevallen niet veel anders.

Gewoon een heel grote verzameling snoertjes

maandag 8 mei 2017 21:34

Acties:

Compizfox schreef op maandag 8 mei 2017 @ 20:31:
[...]

"Verspil" je met RAID-Z meer RAM dan met mirroring dan? Zover ik weet is het RAM-gebruik in beide gevallen niet veel anders.

Er wordt met een RAIDZ afhankelijk van het niveau twee of drie keer zo veel RAM gebruikt. Een mirror is voor ZFS veel makkelijker om dat er alleen nog maar checksums op data gedaan hoeven te worden en geen pairity berekeningen. ZFS gebruikt RAM tijdens de berekening voor alle data, dus in plaats van 1x je data heb je 2.5x je data in RAM. Kant A, kant B en parity van AxB. waarbij je data dus A+Parity is en B+Parity (en A+B). Waarbij ouder type RAID dat in software on-disk deed (en vrij sloom en CPU-intens was; berekeningen moesten synchroon en konden niet in een queue komen of in een intent log/journal gezet worden) doet ZFS dat by default asynchroon. Eerst de ZIL schrijven uiteraard, maar daarna in-memory alles klaarmaken.

maandag 8 mei 2017 21:47

Acties:

Bait for wenchmarks

johnkeates schreef op maandag 8 mei 2017 @ 21:34:
[...]

Er wordt met een RAIDZ afhankelijk van het niveau twee of drie keer zo veel RAM gebruikt. Een mirror is voor ZFS veel makkelijker om dat er alleen nog maar checksums op data gedaan hoeven te worden en geen pairity berekeningen. ZFS gebruikt RAM tijdens de berekening voor alle data, dus in plaats van 1x je data heb je 2.5x je data in RAM. Kant A, kant B en parity van AxB. waarbij je data dus A+Parity is en B+Parity (en A+B). Waarbij ouder type RAID dat in software on-disk deed (en vrij sloom en CPU-intens was; berekeningen moesten synchroon en konden niet in een queue komen of in een intent log/journal gezet worden) doet ZFS dat by default asynchroon. Eerst de ZIL schrijven uiteraard, maar daarna in-memory alles klaarmaken.

Maar hoeveel RAM gaat daar echt aan op? Het grootste deel is ARC toch?

Gewoon een heel grote verzameling snoertjes

dinsdag 9 mei 2017 09:44

Acties:

Topicstarter

Bedankt voor alle reacties zover mannen, hier heb ik veel aan

@johnkeates Voorlopig blijf ik nog even bij een HDD om Proxmox vanaf te draaien.. Of zou ik ook met 1 kleine SSD al uit de voeten kunnen? Zo ja, moet ik dan letten op bepaalde dingen of voldoet iedere SSD?

Ik heb gisteravond nog even zitten spelen en Proxmox vanaf een USB stick geïnstalleerd. Klopt het dat ik Proxmox dan moet installeren op de Toshiba HDD met Ext4? Of had ik bij installatie gelijk al de WD RED schijven in ZFS RAID 1 moeten kiezen?

[Gigabyte X670 gaming X][Ryzen 7800X3D][Kraken X62][32GB Corsair][Zotac 5080 Solid][Samsung 980 PRO][NZXT H7 FLOW][Evnia 34M2C8600]

dinsdag 9 mei 2017 15:09

Acties:

woensdag 10 mei 2017 13:07

1 kleine SSD werkt wel, je kan dan een stukje voor proxmox gebruiken en een stukje als l2arc, en de ZIL dan op de HDD's laten samen met de storage. Met de ARC cache is het niet erg als er wat mis gaat om dat het read-cache is, de data is dus altijd aanwezig op de schijven. Met de ZIL is het wel belangrijk dat de data niet zoekraakt om dat dat een onderdeel van de veiligheid en integriteit van ZFS is. Dus stel dat je maar 1 SSD gebruikt, dan kan je je ZIL beter nog even op de HDD's laten staan.

Acties: