Birth of a server: Tweakers Community Project deel 1

[wild_dog]

In eerste instantie wilde ik dit gaan doen in blog vorm, maar toen kwam ik er achter dat je 5000 karma punten nodig hebt om een blog te kopen... dan maar in forum vorm!


Zoals te zien is aan de tietel gaat het om het opzetten van een server. De opzet zou ongeveer als volgt zijn: ik zou werken aan de server in verschillende stappen, en aan het eind van eleke stap zou ik advies/sugesties aan de tweakers communitie vragen voor de volgende stap. Deze zou ik dan gebruiken in het werken aan de volgende stap en dat zo door totdat de server af is.

NOTE: dit is in geen manier een officiëel project van Tweakers.net, maar gewoon iets dat ik met de Tweakers communitie wil doen.


Ik wil de server gaan gebruiken om een owncloud opslagdienst op te draaien, en verder nog een aantal kleine dingetjes. Ik zat te denken aan een teamspeak server en/of een minecraft server, en verder genoeg ruimte te hebben om nog wat te klooien. Een van de bijbedoelingen van de server is in contact komen en leren omgaan met Linux, gezien ik van mijzelf ervaren heb dat ik iets pas goed leer als ik me gewoon in het diepe start en allen on the go uitvogel. Ik ben ern nog niet helemaal over uit wat ik ga doen, maar ik zit er op dit moment aan te denken om, zodra de server up and running is, aan een deel van de tweakers community (mensen die erg geholpen hebben ofzo) gratis opslag aan te bieden op de owncloud service, maar dat komt ter zijne tijd wel.


En dan nu deel 1 van dit project: de Hardware.
Ik ben zelf student met geen noemenswaardig extra inkomen, dus ik had goedkope hardware nodig. Ik wilde echter niet een oude desktop opzeten om een paar programmatjes te draaien, maar meer iets dat leek op een volwaardige server. Hier schoot de tweakers community al te hulp in de vorm van de vraag en aanbod sectie!
Momenteel heb ik de volgende hardware:

- Intel S5000PAL moederbord
- 2x Xeon 5130 2.0GHz processoren
- 4x4GB DDR2 geheugen PC2 5300 ECC
- Dubbele voeding Redundancy
- Slimline DVD speler
- LCD display (deze zit in de behuizing, welke oorspronkelijk van een IBM mail server is)
Met dank aan rikadoo

- 6X2TB WD Green SATA 3 Gb/s hardeschijven in de server
- 1 reserve 2TB WD Green SATA 3 Gb/s schijf
- Nog 2 schijven van het zelfde type die een overig doel hebben gekregen
Met dank aan HarmoniousVibe


Een van de dingen die ik wou doen qua opslag was de schijven in RAID 5 configuratie zetten. Ik verlies dan wel 2TB waardoor zou de effectieve opslag nu 10TB worden, maar aangezien ik hier een opslag dinst op wil draaien die ik mogelijk ook voor anderen beschikbaar wil stellen, geld hier beter safe than sorry. Om dit te doen had ik voor dit moederbord een RAID key voor nodig (waarom die uit de kluite gewassen jumper 80 euro moet kosten kan ik met de beste wil van de wereld niet bij).


Hier waren enkele kleine problemen met de leverancier. De key die ik online had gekocht bij Max ICT was de dag na de beloofde leverdatum nog niet binnen en stond online de bestelling nog als in behandeling bij hun leverancier. Ik heb een maand eerder enkele problemen gahad met online oplichters (note to self, koop nooit meer goedkope Intel procesoren uit china, gelukkig kon ik mijn geld terug krijgen), dus ben ik meteen achter de verkoper aan gegaan.


In de middag een maailtje gestuurd, een kwartier laten reactie gekregen dat ze achter hun leverancier aan zouden gaan. Uur later bericht ontvangen dat de leverancier had gereageerd en dat deze onderweg was, en nog tien minuten later een track en trace code ontvangen voor de key. Uiteindelijk wel bijna 2 weken vertraging, maar dat kan ik in dit geval Max ICT niet kwalijk nemen. Het probleem kwam namelijk door hun leverancier, en ze hebben me toch bijzonder goed kunnen helpen.


Affijn. RAID key binnen, alle hardware aangesloten, dus was het nu tijd voor de eerste keer opstarten. (hiervan heb ik geen foto's, ik bedacht later pas dat ik dit in community verband wou doen. Indien gewenst kan ik er nog wel wat maken nu en in het vervolg). Meteen de BIOS in gedoken om te kijken waar de RAID configuratie ingesteld moest worden. Gelukkig heeft Intel hier een handig tooltje voor geschreven en, na een korte tutorial opzoeken hoe hem te gebruiken (de layout was best begrijpelijk, maar de key bindings om de tool te besturen was ik niet gewend) was het instellen van de RAID 5 configuratie gebeurd. Alle schijven zijn in prima conditie en ik heb nu 10TB opslag ter beschikking.


Natuurlijk, voordat al die ruimte gebruikt kan worden, moeten en programma’s op gezet worden, en die hebben een OS nodig. Hier kom ik dan nu bij het eerste deel communitie input: OS keuze. Zoals eerder aangegeven wil ik een Linux distro gebruiken, maar er zijn er ondertussen zo veel, en ik heb zelf 0 ervaring met enig distro voor linux. Ik wil wel graag linux leren gebruiken om enkele redenen (onder andere onvrede over de weg die windows inslaat en het feit dat ik ook met een Rasberry PI wil klungelen).

Dus dan nu de vraag aan de community: welke Linux distro kan ik het beste gebruiken voor de server, als een gebruiker met 0 ervaring met linux maar wel met enige ervaring met windowns?

[Room42]

Kun je niet beter een hypervisor draaien zodat je meerdere VM's kunt installeren met elk hun doel en OS? Dan kun je ook veel makkelijker experimenteren.

En welke weg is het exact van "Windows" die jou niet aanstaat? Ik ben zelf ook meer Linux-man en de "Modern" UI van Windows 8+/2012+ kan me gestolen worden, maar Windows Server 2012R2 is een prima OS.

[ Voor 40% gewijzigd door Room42 op 28-07-2014 01:46 ]

[Oyster]

wild_dog schreef op maandag 28 juli 2014 @ 01:22:
Ik wil wel graag linux leren gebruiken om enkele redenen (onder andere onvrede over de weg die windows inslaat en het feit dat ik ook met een Rasberry PI wil klungelen).

Je vraagt naar een linux server distro omdat je met een RPi wilt klungelen? Die server distro moet dus stiekem ook als desktop kunnen fungeren?

In geval van een headless server distro.
1. Debian stable.

[Firesphere]

Oyster schreef op maandag 28 juli 2014 @ 01:58:
[...]


Je vraagt naar een linux server distro omdat je met een RPi wilt klungelen? Die server distro moet dus stiekem ook als desktop kunnen fungeren?

In geval van een headless server distro.
1. Debian stable.

Of ga voor optie 2. Debian Wheezy.

Je idee is best aardig, maar je doel is iets anders dan je wens, als ik het zo lees. Ga eerst eens je wens vervullen, en kijk daarna naar je doel.

Free storage loopt al snel in de terra-terra-terrabytes. Dat ga je bijvoorbeeld niet redden op een huis-server, tenzij je echt er voor gaat, maar dan kun je beter een dedicated systeem kopen.

Hoe redundant is je service? Behalve een mogelijke raid, zie ik geen redundantie bijvoorbeeld, dus ben je als provider onbruikbaar, want wat als je huis afbrandt?

Redundantie en betrouwbaarheid is echt nummer 1. En met een RPi plus een dedicated server, ben je nog niet halverwege. Er is een reden dat ik mijn sites bijvoorbeeld via 4 verschillende servers laat draaien, die alle 4 bij een andere host staan, en een backup draai naar nog 2 extra andere VPS/DDS providers.

Nogmaals, goed idee, maar bedenk heel goed, dat zodra er ook maar 1 dingetje mis gaat, de stront de ventilator raakt bij jou thuis.

[Room42]

Oyster schreef op maandag 28 juli 2014 @ 01:58:
[...]

Je vraagt naar een linux server distro omdat je met een RPi wilt klungelen? Die server distro moet dus stiekem ook als desktop kunnen fungeren?

Een RPi kan ook prima als servertje dienst doen, hoor Dus die conclusie is mij te voorbarig.

In geval van een headless server distro.
1. Debian stable.

Prima distro, hoewel Ubuntu (Server) voor de onervaren admin misschien toegankelijker is.

Firesphere schreef op maandag 28 juli 2014 @ 02:22:
[...]

Of ga voor optie 2. Debian Wheezy.

"Haha! That is funny because it is the same thing!"

[...]

Nogmaals, goed idee, maar bedenk heel goed, dat zodra er ook maar 1 dingetje mis gaat, de stront de ventilator raakt bij jou thuis.

Helemaal eens, ik zou de server gewoon lekker voor jezelf bouwen. Eventueel kun je je familie er backups naar toe laten schrijven (doe ik ook met mijn server).

[ Voor 39% gewijzigd door Room42 op 28-07-2014 02:35 ]

[wild_dog]

die reacties kwamen een stuk sneller dan ik dacht.

Room42 schreef op maandag 28 juli 2014 @ 01:43:
Kun je niet beter een hypervisor draaien zodat je meerdere VM's kunt installeren met elk hun doel en OS? Dan kun je ook veel makkelijker experimenteren.

En welke weg is het exact van "Windows" die jou niet aanstaat? Ik ben zelf ook meer Linux-man en de "Modern" UI van Windows 8+/2012+ kan me gestolen worden, maar Windows Server 2012R2 is een prima OS.

zoals je kunt zien in de link naar de CPU's, zijn deze dual core CPU's uit 2006. ik weet niet hoeveel meerdere VM's draaien vraagt, maar ik ben bang dat deze server dat misschien niet trekt.

en de richting van windows waar ik op doel is niet enkel die modern UI, maar ook dat alle diensten van windows steeds meer samengetrokken worden. ik heb eens een nieuwe windows 8 laptop moeten opzetten (met touch screen dus die nieuwe UI kan in dit geval wel werken) en het eerste wat ze willen is dat je een windows live account opzet als inlog account, waar alle andere diensten van windows aan gekoppeld gaan worden. waarom moeten die diensten gekoppelt worden aan de account waarmee ik gewoon op de PC zelf zit? tevens de nieuwe abonnement vorm die doorgevoerd is voor de nieuwe office is ook iets wat ik wel kan missen. gewoon een keer kopen en klaar.

Oyster schreef op maandag 28 juli 2014 @ 01:58:
[...]


Je vraagt naar een linux server distro omdat je met een RPi wilt klungelen? Die server distro moet dus stiekem ook als desktop kunnen fungeren?

In geval van een headless server distro.
1. Debian stable.

het is niet zozeer dat ik de zelfde dingen wil doen met de zelfde distro op op beide apparaten, maar meer iets als ik heb mijn hele leven windows gebruikt en kan daarmee goed overweg. ik weet inmiddels ongeveer wat er onder de motorkap gebeurt en kan de meeste problemen fixen. die ervaring mis ik volledig voor Linux. ik hoop een beetje te wennen aan hoe Linux alles geordend heeft en eek een beetje te wennen aan de command line opdrachten en syntax van Linux i.v.m. de PI. en dan hoop ik er zoo bekend mee te zijn geworden dat ik in de toekomst, als mijn huidige laptop/pc de geest geeft, bijna naadloos over te kunnen stappen naar Linux voor de opvolger.

Firesphere schreef op maandag 28 juli 2014 @ 02:22:
[...]

Of ga voor optie 2. Debian Wheezy.

Je idee is best aardig, maar je doel is iets anders dan je wens, als ik het zo lees. Ga eerst eens je wens vervullen, en kijk daarna naar je doel.

Free storage loopt al snel in de terra-terra-terrabytes. Dat ga je bijvoorbeeld niet redden op een huis-server, tenzij je echt er voor gaat, maar dan kun je beter een dedicated systeem kopen.

Hoe redundant is je service? Behalve een mogelijke raid, zie ik geen redundantie bijvoorbeeld, dus ben je als provider onbruikbaar, want wat als je huis afbrandt?

Redundantie en betrouwbaarheid is echt nummer 1. En met een RPi plus een dedicated server, ben je nog niet halverwege. Er is een reden dat ik mijn sites bijvoorbeeld via 4 verschillende servers laat draaien, die alle 4 bij een andere host staan, en een backup draai naar nog 2 extra andere VPS/DDS providers.

Nogmaals, goed idee, maar bedenk heel goed, dat zodra er ook maar 1 dingetje mis gaat, de stront de ventilator raakt bij jou thuis.

ik ben misschien wat onduidelijk geweest over het free storage gedeelte. de RPi en de server staan qua doel volledig los van elkaar, ze gebruiken alleen allebei (als de server eenmaal loopt) een versie van Linux. en ik ga de owncloud service niet open zetten voor het hele internet, maar zat er bijvoorbeeld aan te denken dat een paar mensen uit mijn rechtstreekse kennissen kring en mogelijk een aantal mensen die mij hier geholpen heeft de mogelijkheid tot opslag te geven. ik ga niet een nieuwe dienst als dropbox opzetten . 10 TB aan storage is voor 1 persoon wel een beetje veel, dus dan kan ik net zo goed ook andere mensen toegang geven.

wat betreft redundency, tenzij mijn flat in vlammen op gaat (wat ik niet bijzonder snel zie gebeuren, dit ding is net een betonnen bunker maar toch goed om rekening mee te houden) zit ik qua hardware wel goed. de server heeft naast de RAID configuratie ook 2 hot-swapable voedingen, en ik denk dat die CPU's ook werk van elkaar kunnen overnemen mocht er iets mis gaan, maar dat weet ik niet zeker. ik heb zeer goedkoop gigabit internet van de universiteit, en kan altijd nog op het edu-roam wifi netwerk gaan zitten als het echt nodig is.

en naast dat alles, owncloud werkt net als dropbox: het houd de huidige versie van een bestand gelijk tussen meerdere computers, en onthoud enkele vorige versies. mocht de service dood gaan, dan heeft iedereen nog de bestanden op de laptop/computer thuis, en wordt het alleen niet meer gelijk getrokken tussen de apparaten.


ik heb ook in mijn kennissen kring wat rondgevraagd, en daar werd Linux Gemini genoemd. iemand hier ervaring mee/advies over?

[Oyster]

Room42 schreef op maandag 28 juli 2014 @ 02:24:
[...]
Een RPi kan ook prima als servertje dienst doen, hoor Dus die conclusie is mij te voorbarig.

[...]
Prima distro, hoewel Ubuntu (Server) voor de onervaren admin misschien toegankelijker is.

Oh wacht, ik dacht dat er applicaties voor dat ding geschreven en getest moesten worden.

wild_dog schreef op maandag 28 juli 2014 @ 04:57:

ik heb ook in mijn kennissen kring wat rondgevraagd, en daar werd Linux Gemini genoemd. iemand hier ervaring mee/advies over?

Geen ervaring, maar het zal ongetwijfeld fantastisch werken.

Uiteindelijk kan je er een heel boekwerk over volschrijven, maar het hoeft allemaal niet zo moeilijk te zijn. Als je een speelbak wilt dan pak je een distro (Ubuntu bv zoals hierboven aangehaald) en draai je die als dual-boot of in een VM op je desktop.

Als je wat headless wilt rommelen op de hardware die je hebt dan installeer je Debian stable en stel je SSH in. Even een 'sudo apt-get install owncloud' of desnoods pak je een tarball, volg de readme, chmod/chown hier en daar en het draait voor de koffiepauze.

Kies een bekende distro zodat je makkelijk tutorials kan vinden (en niet tegen problemen aanloopt) en sloop daarna per ongeluk je installatie. Pas dan leer je wat. Nope, dat gaat zeker niet samen met de owncloud instance eisen, maar dat was al duidelijk.

[MAX3400]

Je wil een aantal dingetjes op "de server" gaan doen maar er is geen lijn te trekken hoe je dit wil gaan realiseren. Zoals mensen in het topic al zeggen; je kan virtualiseren, maar dan moet je eerst gaan beslissen welke hypervisor je wil gaan gebruiken. Of je kan alles in 1 OS draaien, zoals Debian, maar dan ben je voorlopig nog niet klaar als je bepaalde processen van elkaar wil afscheiden (zowel qua permissies, qua bandbreedte/voorrang en resource-allocation). In ieder geval zijn de voorgestelde Xeons niet voorzien van recente virtualisatie-extensies dus mogelijk ga je al last krijgen om recente hypervisors goed aan de praat te krijgen en/of bepaalde functies "door de hypervisor heen" aan te bieden aan een VM.

Goed, dat betekent dat ik, gezien jouw vraagstelling, op het punt zit: wat wil je nu daadwerkelijk gaan doen? Welke resources verwacht je aan elk proces (of aan elke VM) uit te gaan delen en op welke vlakken denk je hieraan te kunnen sleutelen om ervoor te zorgen dat de ene verwerking (zeg Teampspeak) niet de andere verwerking (zeg OwnCloud) dwars gaat zitten?

Daarnaast, maar dat is een inlees-traject (wat volgens mij ook relatief verplicht is bij een vraagstelling op GoT), zie ik vraagtekens staan bij de eigen interpretatie hoe een bepaald OS wel/niet geinstalleerd moet worden, wat het OS wel/niet van je moet hebben om te kunnen draaien etc. Zonder deze informatie zelfstandig al op papier te hebben, is er een kans dat het topic op een gegeven moment verzandt in een welles/nietes-spelletje tussen voor- en tegenstanders van een bepaald stuk software.

Het lijkt me dus uitermate zinvol om de volgende zaken voor jezelf op een rij te zetten:
- welke technische vereisten zitten er aan elk proces of elke dienst die ik wil gaan opzetten?
- kan ik die vereisten omzetten in/naar een virtuele machine of moet ik het op het "basis OS" draaien?
- welk OS is geschikt om een hypervisor te draaien indien ik bepaalde processen/diensten wil virtualiseren?
- als ik ga virtualiseren, wat kunnen mijn Xeons dan wel/niet aan en wat houdt dit in voor de performance?

[thomas6886]

Als je handig wil worden met Linux, raad ik je Ubuntu aan, zijn veel tutorials voor en je zit niet meteen vast aan de terminal zoals bij Arch Linux zonder window manager en desktop environment. Je werkt bij ubuntu meteen al vanaf een desktopomgeving, niet met een terminal.

[Room42]

thomas6886 schreef op maandag 28 juli 2014 @ 15:36:
Als je handig wil worden met Linux, raad ik je Ubuntu aan, zijn veel tutorials voor en je zit niet meteen vast aan de terminal zoals bij Arch Linux zonder window manager en desktop environment. Je werkt bij ubuntu meteen al vanaf een desktopomgeving, niet met een terminal.

Mwah, dan zou ik juist de console aanraden, net zoals dat als je echt handig wil worden met Windows, je Powershell moet gebruiken Die GUI gaat er helemaal uit, op server-niveau. Zoek maar eens naar DevOps.

[TommieW]

wild_dog schreef op maandag 28 juli 2014 @ 01:22:
[...]

- 6X2TB WD Green SATA 3 Gb/s hardeschijven in de server
- 1 reserve 2TB WD Green SATA 3 Gb/s schijf
[...]

Probleempje hier... Je had beter voor WD Red HDD's kunnen gaan. De greens parkeren hun leeskoppen erg snel, wat (zeker in een serveromgeving) kan zorgen voor een snel(lere) dood. Ook hebben de Red's betere firmware voor gebruik in combinatie met RAID. Zo zal een Green bij het niet kunnen lezen van een sector eindeloos blijven proberen, wat er in resulteert dat de schijf de RAID array uit wordt gegooid. De Red's zullen het opgeven, zodat ze niet uit de array worden gegooid.

[ Voor 4% gewijzigd door TommieW op 28-07-2014 16:02 ]

[MAX3400]

thomas6886 schreef op maandag 28 juli 2014 @ 15:36:
Als je handig wil worden met Linux, raad ik je Ubuntu aan
...
Je werkt bij ubuntu meteen al vanaf een desktopomgeving, niet met een terminal.

He, ik zie hier ubuntu-14.04-server-amd64.iso en ik kan je met 100% zekerheid vertellen dat die niet met een desktop wordt geinstalleerd als je als "beginner" gewoon next, next, next klikt.

Ubuntu is leuk en zeker goed beschreven etc. maar door de hoge frequentie van rolling updates, kan het voor sommigen erg lastig zijn om elke dag geconfronteerd te worden met "xx packages can be updated". Debian is hierin iets vriendelijker; er komen minder frequent updates voor uit maar als je een specifiek package wil installeren vanuit een andere repo, kan dat ook gewoon.

Zoals Evanescent al aangeeft; de GUI gaat eruit. In mijn kennis van Server 2003 -> 2008 -> 2012, is de hoeveelheid PowerShell-commando's steeds veel groter geworden. Sommige zaken kan je niet eens meer via de GUI regelen. Dit geldt zeker voor Linux; hier is men begonnen met een shell en is later een GUI gebouwd. En ook in die GUI kan je veel minder snel "even een .conf" aanpassen als je niet uit je hoofd het pad weet; dan moet je nog gaan scrollen/openen, editen, dan kom je erachter dat je niet de goede permissies hebt etc. En dat in tegenstelling tot veel sneller "sudo nano /home/wild_dog/some_app/default.conf".

[dion_b]

In eerste instantie wilde ik dit gaan doen in blog vorm, maar toen kwam ik er achter dat je 5000 karma punten nodig hebt om een blog te kopen... dan maar in forum vorm!

Wat dacht je van gewoon die karmapunten scoren?

Tweakers blogs zijn er voor blogs, daar is dit forum niet voor.

Je bent nieuw op T.net - welkom Van zoveel enthousiasme worden we natuurlijk blij, maar er is een reden dat we pas bij 5k karmapunten toestaan een blog te openen. We willen eerst weten wat voor vlees we in de kuip hebben en ons verzekeren dat je niet enkel geregistreerd bent om een blog te starten (daar zijn andere sites voor).

NOTE: dit is in geen manier een officiëel project van Tweakers.net, maar gewoon iets dat ik met de Tweakers communitie wil doen.

Als jij iets "met de Tweakers communitie [sic]" wilt doen, stellen we bijzonder op prijs als je dat eerst met degenen die de community in goede banen moeten leiden overlegt. Doe je dat niet, maar ga je toch aan de haal met "Tweakers Community" dan grijpen we in. Bij dezen in ieder geval alvast op slot.

Dus dan nu de vraag aan de community: welke Linux distro kan ik het beste gebruiken voor de server, als een gebruiker met 0 ervaring met linux maar wel met enige ervaring met windowns?

Hier zijn natuurlijk boekdelen over volgeschreven. Wij hebben niet voor neits dit sticky topic in Non-Windows Operated Systems:
Het grote welk OS ( bijvoorbeeld linux distro) topic deel 7


Al met al lees ik enorm veel text in je topicstart, maar lijkt het je uiteindelijk vooral te doen om een aantal simpele vragen zonder eigen uitzoekwerk te stellen. Daar is dit forum al helemaal niet voor. Inzet meten we niet in aantal woorden. Als je niet de moeite neemt om in het juiste subforum te kijken naar wat al eerder geschreven is over een onderwerp voor je een topic opent gaat het ook dicht, ongeacht hoe bloemrijk de taal eromheen is. Ook los van het zonder toestemming gebruiken van de naam "Tweakers Community" zou dit topic dus geen lang leven beschoren zijn.

Ik zou je willen aanraden om gewoon het forum te gebruiken zoals het bedoeld is. Dus een topic per vraag, en dan ipv veel text en weinig uitzoekwerk, gewoon per keer zelf op zoek gaan. Als je er nog niet uitkomt mag je rustig een topic openen, maar geef dan duidelijk aan waar je gezocht hebt, wat je vond en waar je exact vastloopt. Dat vragen we niet voor de lol, maar omdat 1) we daarmee veel gerichter antwoord kunnen geven voor jou en 2) als een ander via de search op jouw topic stuit het veel sneller duidelijk is of wat er staat voor hem relevant is.