Build-server(s) advies

[Sebazzz]

Ik wil de mening van jullie even hebben.

Onze huidige build servers (dus die tests e.d. draaien) zijn dringend aan vervanging toe. Om ook de kosten niet uit te hand te laten lopen wil ik graag weten wat jullie hiervan denken:
- Laptops of andere non-server hardware gebruiken (i.v.m kosten)
- Consumer OS gebruiken (zoals Windows 10 Professional)
- SSD als disk

Volgens mij door bovenstaande te kiezen kan het qua prijs behoorlijk goedkoop. En ook: Het zijn maar build agents, die hoeven niets anders te draaien (in die zin geen productiemachines) dus waarom hardware kopen die bedoeld is voor 24/7 operatie?

Ter vergelijking, onder huidige twee build servers zijn gevirtualiseerd op Hyper-V servers en draaien Windows Server 2012. Belangrijk is dat de system niet headless mogen draaien omdat er ook browser automation tests op draaien.

[DevWouter]

Sebazzz schreef op vrijdag 19 augustus 2016 @ 09:53:
Ik wil de mening van jullie even hebben.

Onze huidige build servers (dus die tests e.d. draaien) zijn dringend aan vervanging toe. Om ook de kosten niet uit te hand te laten lopen wil ik graag weten wat jullie hiervan denken:
- Laptops of andere non-server hardware gebruiken (i.v.m kosten)
- Consumer OS gebruiken (zoals Windows 10 Professional)
- SSD als disk

Volgens mij door bovenstaande te kiezen kan het qua prijs behoorlijk goedkoop. En ook: Het zijn maar build agents, die hoeven niets anders te draaien (in die zin geen productiemachines) dus waarom hardware kopen die bedoeld is voor 24/7 operatie?

Ter vergelijking, onder huidige twee build servers zijn gevirtualiseerd op Hyper-V servers en draaien Windows Server 2012. Belangrijk is dat de system niet headless mogen draaien omdat er ook browser automation tests op draaien.

Dat is wel een hele open vraag. Maar we zullen een poging wagen

Een build server is voor mij een systeem dat een gedeelte van mijn werk valideert waardoor niet alleen ik minder tijd kwijt ben maar ook mijn collega's. Als ik de build kapot maak dan wil ik dat opgelost zien voordat een collega daar last van heeft.

Een ander aspect is dat het mijn werk automatiseert. Elke keer een 50 punten plan doorlopen omdat er een tekstuele wijziging nodig is niet leuk.

Overigens zie ik een buildserver als een tool die een scriptje afvuurt en de resultaten rapporteert. Ik weet dat sommige buildserver bijna automagisch zijn, maar ik hou van simpel. Dit maakt het ook makkelijk om het over te dragen.

Afhankelijk van wat je maakt kan je verschillende eisen hebben. De buildserver is voor mij een first-class citizen. Het is een essentieel onderdeel van het werkproces en daarom stel ik er ook hoge eisen aan. Het moet net zo snel kunnen bouwen als mijn ontwikkelmachine echter moet het meer harde schijfruimte hebben zodat ik archiefs kan aanmaken. Niks is heerlijker dan een foute deploy in productie te vervangen door de vorige versie.

Het headless verhaal is een kwestie van configuratie. Je kan een windows-service de mogelijkheid geven om headfull te draaien, alleen de meeste mensen weten niet waar die optie zit.

Omdat een buildserver veel gebruikt wordt en omdat het belang van het team er mee gediend is mag het van mij best wat kosten. Een machine van een ontwikkelaar wordt sneller vervangen dan een server, echter met een server doe je langer.

Oh, en dat ding moet van mij 24 uur aanstaan zodat ik om 02.00 namelijk een deploy naar productie kan doen in 5 minuten

Dus samengevat:

• Een buildserver is onderdeel van je ontwikkeltraject
• Een buildserver moet voldoen als ontwikkelmachine en heeft extra hardeschijf ruimte
• Een buildserver moet snel feedback leveren

[Jan_V]

Sebazzz schreef op vrijdag 19 augustus 2016 @ 09:53:
Ik wil de mening van jullie even hebben.

Onze huidige build servers (dus die tests e.d. draaien) zijn dringend aan vervanging toe. Om ook de kosten niet uit te hand te laten lopen wil ik graag weten wat jullie hiervan denken:
- Laptops of andere non-server hardware gebruiken (i.v.m kosten)
- Consumer OS gebruiken (zoals Windows 10 Professional)
- SSD als disk

Volgens mij door bovenstaande te kiezen kan het qua prijs behoorlijk goedkoop. En ook: Het zijn maar build agents, die hoeven niets anders te draaien (in die zin geen productiemachines) dus waarom hardware kopen die bedoeld is voor 24/7 operatie?

Ter vergelijking, onder huidige twee build servers zijn gevirtualiseerd op Hyper-V servers en draaien Windows Server 2012. Belangrijk is dat de system niet headless mogen draaien omdat er ook browser automation tests op draaien.

Bij een vorig project gebruikten we Teamcity en daarin kun je ook Cloud agents aangeven.
Voorheen hadden we daar maar 1 agent on-premise draaien (op de TC server), maar doordat we ineens veel projecten kregen was dit niet meer voldoende.

Daarom hebben we die cloud agents (in Azure) gemaakt. Deze worden opgestart wanneer er noodzaak is en uit gezet wanneer de noodzaak er niet meer is (met een cooldown tijd van X minuten/uren). Zodoende heb je 'altijd' voldoende agents en betaal je er alleen maar voor wanneer ze aan zijn. Per maand zijn dat dan luttele euro's. Een agent hoeft vaak niet super snel te zijn, zo lang ze maar kunnen compileren en dergelijke.

[DevWouter]

Jan_V schreef op vrijdag 19 augustus 2016 @ 10:46:
Een agent hoeft vaak niet super snel te zijn, zo lang ze maar kunnen compileren en dergelijke.

Hmm... Dat is het tegenovergestelde van wat ik vind. Puur uit interesse:

Wat is niet super snel voor jou? En is bij jullie de buildserver een kritisch step?

[Sebazzz]

Een build server moet zeker snel zijn, een goede quadcore of sneller en een SSD erin is een must. Dat is echter niet het punt van dit topic.

Wat ik wil bespreken is of het slecht of af te raden is om niet-server hardware en niet-server OS, omwille van kosten, in te zetten om als build agent te gebruiken.


Dit is hoe onze build server soms tijdens een build belast wordt:



Let vooral op de disk tijd. Onze tests zijn niet idioot, het is echter gewoon dat de servers oud zijn en en origineel file servers waren waarvoor de disk performance niet hoog hoeft te zijn.

[Jan_V]

DevWouter schreef op vrijdag 19 augustus 2016 @ 11:18:
[...]


Hmm... Dat is het tegenovergestelde van wat ik vind. Puur uit interesse:

Wat is niet super snel voor jou? En is bij jullie de buildserver een kritisch step?

Buildserver is inderdaad wel een belangrijke stap, maar het maakt niet veel uit of een build + testen nu binnen 10 seconden klaar is of 30 seconden (of bij sommige projecten helaas enkele minuten)
Uiteraard moet er voor worden gewaakt dat een developer tientallen minuten moet wachten op een reguliere CI build.

Om deze reden hoef ik meestal geen octacore server als build agent. Normaliter volstaat een dualcore, eventueel quadcore, voldoende.
SSD is dan fijn bij grotere projecten, maar dat is een afweging die per project gemaakt moet worden denk ik. Als het verschil tussen HDD en SSD enkele seconden moet een snelle berekening uitwijzen of de extra kosten van de SSD nuttig zijn.

[Haan]

Je kan ook eens kijken of het goedkoper is om machines op Amazon of Azure te hosten. Ze hoeven waarschijnlijk alleen tijdens kantoren aan te staan, dus is wellicht ook een alternatief.

[Firesphere]

Je kan de build ook uitbesteden. CircleCI ofzo, is niet duur (naar mijn mening), en neemt je een hoop werk uit handen doordat het allemaal goed gecontroleerd in een VM draait.
Het is niet duurder dan zelf hosten, omdat wanneer je zelf host, je onbewust kosten maakt voor stroom en hardware.
Sowieso, als je niet te veel projecten hebt, heeft CCI een plan dat je eerste project gratis is. Dus dat swappen kan al een hoop schelen.
50 USD/maand voor het volle pakket met 2 buildservers, is zeker niet slecht en waarschijnlijk niet eens veel duurder.

[DevWouter]

Sebazzz schreef op vrijdag 19 augustus 2016 @ 11:25:
Wat ik wil bespreken is of het slecht of af te raden is om niet-server hardware en niet-server OS, omwille van kosten, in te zetten om als build agent te gebruiken.

Sorry, zoals ik al aangaf was je verzoek nogal erg breed en het is me nu duidelijk dat het je gaat om professionele (server-)hardware vs consumenten (client?) hardware. Althans, ik hoop dat ik je nu begrijp.

Echter ik zie geen enkele reden om te beknibbelen op hardware puur om de kosten te drukken. Een goeie buildserver verdient zichzelf terug terwijl een slechte buildserver juist meer geld kost.

Zoals andere al hebben aangegeven kan je kijken naar extern hosten echter ik weet niet of het goedkoper is.

Een alternatief is om te kijken of je naast verticaal schalen (duurdere hardware) je horizontaal kan schalen. De meeste computers in het bedrijf staan vaak stil en ik heb wel eens met idee gespeeld om alle andere computers een slave te maken van de buildserver. Een ontwikkelaar is 90% van zijn tijd toch bezig met lezen van code ipv te schrijven

Jan_V schreef op vrijdag 19 augustus 2016 @ 12:04:
[...]

Buildserver is inderdaad wel een belangrijke stap, maar het maakt niet veel uit of een build + testen nu binnen 10 seconden klaar is of 30 seconden (of bij sommige projecten helaas enkele minuten)
Uiteraard moet er voor worden gewaakt dat een developer tientallen minuten moet wachten op een reguliere CI build.

Ik leg de grens bij drie minuten neer en ik heb het verleden projecten meegemaakt die gemiddeld toch minimaal 10 minuten nodig hadden (mede vanwege de verouderd hardware toen). Jouw 10~30 seconden is daarbij echt super netjes!

[farlane]

Volgens mij gaat dat prima met een zelfbouw server. Of bestel een instapmodel bij de Dell's/HP's van deze wereld als je dat meer rust geeft.

[ Voor 5% gewijzigd door farlane op 19-08-2016 14:21 ]

[Jan_V]

DevWouter schreef op vrijdag 19 augustus 2016 @ 13:31:
Ik leg de grens bij drie minuten neer en ik heb het verleden projecten meegemaakt die gemiddeld toch minimaal 10 minuten nodig hadden (mede vanwege de verouderd hardware toen). Jouw 10~30 seconden is daarbij echt super netjes!

Verschilt natuurlijk per project.
Er zijn hier ook projecten die enkele minuten lopen, maar het streven is toch wel om dit zo kort mogelijk te krijgen. Helaas is dit verkorten van de build-tijd niet 1-op-1 op te lossen door dikkere hardware, vandaar m'n opmerking over relatief 'langzame' build agents (uiteraard zijn er, zoals altijd, uitzonderingen).

[bomberboy]

Sebazzz schreef op vrijdag 19 augustus 2016 @ 09:53:
Onze huidige build servers (dus die tests e.d. draaien) zijn dringend aan vervanging toe.

Misschien een simpele vraag, maar waarom?

• De hardware is te oud en valt bijna uit elkaar?
• Het gaat te traag en moet versneld worden?
• Er wordt een groei verwacht en er gaat extra load bijkomen
• ...

Als ik kijk naar de performance grafiek zie ik dat de disk de bottleneck lijkt te zijn (geef je zelf ook aan)
Welk buildsysteem gebruiken jullie?

ivm kostenbesparing: de vraag is hoevel je uiteindelijk zou besparen. 3000EUR ipv 6000EUR? afschrijven op 3 jaar betekent dat 1000EUR/jaar. In vergelijking met de personeelskosten is dat peanuts en als het leidt tot een minder tevreden en dus minder productief team kost het je meer. (Waarmee ik niet wil zeggen dat je een super dure infrastructuur moet voorzien)

[kzin]

Wat ik wil bespreken is of het slecht of af te raden is om niet-server hardware en niet-server OS, omwille van kosten, in te zetten om als build agent te gebruiken.

We hebben bij ons zowel echte servers gebruikt als 'betere' consumenten machines. Qua prestaties maakte het niet zoveel uit, tenminste niet als je hem puur als build server gebruikt. Een server is beter als je veel clients hebt die moeten connecten, of als je hem 24/7 zwaar belast.
De huidige build server is een goede kwaliteit consumenten machine (Dell) met voldoende geheugen, en met daarop windows server. Dat laatste puur om meerdere verbindingen met een share toe te laten (de hele afdeling). Windows voor consumenten had altijd een limiet. Bovendien laat windows server meerdere remote desktops toe.
We hebben wel een service contract afgesloten, zodat er bij defecten binnen 24 uur een service monteur langs komt.
Gezien je grafiek zou een SSD aan te raden zijn. De disk lijkt de bottelneck te zijn.

[Gomez12]

kzin schreef op vrijdag 19 augustus 2016 @ 15:04:
[...]

We hebben bij ons zowel echte servers gebruikt als 'betere' consumenten machines. Qua prestaties maakte het niet zoveel uit

Fout, het maakt qua prestaties niets uit. Een server is geen speciaal ding oid, het is gewoon opgebouwd uit dezelfde componenten als waarmee je een consumenten machine kan opbouwen.

Het enige wat een server een server maakt (en ook bijna direct de prijs) is eigenlijk de service.
Voor een nette server heeft de fabrikant tot x jaar terug nog spare parts liggen, bij een consumenten pc is dit niet zo. Ook het type service verschilt.

Maar hardwaretechnisch / qua prestaties is er geen verschil "server" of "consumenten pc" zolang je er maar dezelfde componenten indouwt.

[Haan]

Gomez12 schreef op vrijdag 19 augustus 2016 @ 15:11:
[...]

Maar hardwaretechnisch / qua prestaties is er geen verschil "server" of "consumenten pc" zolang je er maar dezelfde componenten indouwt.

Ja zo kan ik het ook: "Iedere auto is even snel als je er dezelfde motor inlegt"

Een server heeft juist vaak andere hardware, ECC geheugen, heavy-duty SSD's, Xeon processor, dat soort dingen.

[Sebazzz]

Haan schreef op vrijdag 19 augustus 2016 @ 15:22:
[...]

Een server heeft juist vaak andere hardware, ECC geheugen, heavy-duty SSD's, Xeon processor, dat soort dingen.

Maar is een heavy duty SSD, Xeon processor en ECC geheugen wel nodig als je dat ook niet in je developmentlaptop hebt zitten?

[Ramon]

Haan schreef op vrijdag 19 augustus 2016 @ 15:22:
[...]

Ja zo kan ik het ook: "Iedere auto is even snel als je er dezelfde motor inlegt"

Een server heeft juist vaak andere hardware, ECC geheugen, heavy-duty SSD's, Xeon processor, dat soort dingen.

Je zegt het wel juist ja. "Vaak". Server zegt iets over de taak van een machine. Hardware is slechts ter ondersteuning van.

Er is geen reden waarom je niet een dikke laptop in de hoek kan zetten die als buildserver werkt.

[Ed Vertijsment]

Op werk maken wij gebruik van een mix tussen een hosted CI (Travis) voor kleinere open source libs en een paar build servers die Jenkins draaien voor daadwerkelijke projecten.

De buildservers zijn in principe zelfgebouwde desktops met redelijke snelle hardware (cpu/geheugen/ssd etc.), ik ken de exacte specs niet.

Er is naar mijn mening geen reden waarom je specifiek server hardware wilt aanschaffen, consumentenhardware gaat ook niet zomaar kapot en is wel vrij makkelijk/goedkoop ver verkrijgen. Upgrades zijn dus makkelijk. Er staat bovendien qua performance net iets minder op het spel dan een productieserver dus cutting edge serverhardware is ook niet nodig.

Wat ik niet zou doen is laptops gebruiken, lang niet alle laptops vinden het leuk om continue hoge CPU inzet te tonen en bovendien is het een ramp om er hardware onderhoud aan te doen.

Mijn advies: haal een doos vol consumenten hardware en schroef een towertje in elkaar.

[ Voor 0% gewijzigd door Ed Vertijsment op 20-08-2016 18:39 . Reden: typos ]

[ThomasG]

Ramon schreef op vrijdag 19 augustus 2016 @ 23:53:
[...]

Je zegt het wel juist ja. "Vaak". Server zegt iets over de taak van een machine. Hardware is slechts ter ondersteuning van.

Er is geen reden waarom je niet een dikke laptop in de hoek kan zetten die als buildserver werkt.

Jawel, er zijn genoeg redenen te bedenken waarom je een laptop niet wilt gebruiken. Waaronder dat de koeling van een gemiddelde laptop ronduit slecht is, vooral als hij bijna altijd onder hoge load staat. En je hebt veel onderdelen van de laptop helemaal niet nodig. Er is geen reden waarom je een laptop zou gebruiken als build server, terwijl je voor minder geld een betere PC kunt bouwen. De enige reden om dat wel te doen is als je een krap budget hebt, en toevallig nog een laptop hebt liggen.

[Orthodroom]

Kan de huidige build server niet nog een tijdje mee als je er SSD's in stopt? Gezien ze virtueel zijn zou dat ook nog makkelijk te doen moeten zijn

[Hydra]

Ed Vertijsment schreef op zaterdag 20 augustus 2016 @ 18:38:
Mijn advies: haal een doos vol consumenten hardware en schroef een towertje in elkaar.

Dit is hoe we het hebben gedaan op een Philips project een tijdje terug. We hadden voor een kort (3 maanden) project een build server nodig. Aanvragen van een hosted server zou te lang duren (een maand of zo) maar gewoon naar de Mediamarkt rijden en dat bakkie declareren was geen probleem (viel binnen 't budget). Ding stond gewoon in onze kamer

Dit is typisch voor hosting clubjes binnen grote partijen. Luie donders die weken doen over het opspinnen van een VM.

[Sebazzz]

Orthodroom schreef op donderdag 25 augustus 2016 @ 08:03:
Kan de huidige build server niet nog een tijdje mee als je er SSD's in stopt? Gezien ze virtueel zijn zou dat ook nog makkelijk te doen moeten zijn

Nee, volgens mij zijn daar geen interne aansluitingen voor. De controller van de RAID array is SAS, maar volgens mij zijn er geen interne SATA poorten.

[Merethil]

Sebazzz schreef op donderdag 25 augustus 2016 @ 10:02:
[...]

Nee, volgens mij zijn daar geen interne aansluitingen voor. De controller van de RAID array is SAS, maar volgens mij zijn er geen interne SATA poorten.

Er bestaan SAS SSD's he? Zie ook de pricewatch

Aangezien ik gok dat je voor je buildproces geen honderden gigabytes nodig hebt zou je eventueel met twee SSD's al vooruit moeten kunnen, of 3/4 voor RAID 5 indien gewenst.

[ Voor 13% gewijzigd door Merethil op 25-08-2016 10:34 ]

[Sebazzz]

Merethil schreef op donderdag 25 augustus 2016 @ 10:33:
[...]


Er bestaan SAS SSD's he? Zie ook de pricewatch

Dat weet ik, maar alle poorten zijn al bezet.

[Merethil]

Sebazzz schreef op donderdag 25 augustus 2016 @ 10:39:
[...]

Dat weet ik, maar alle poorten zijn al bezet.

Zijn de hardeschijven nog wel nodig dan, als het nu alleen buildservers zijn?

[Sebazzz]

Merethil schreef op donderdag 25 augustus 2016 @ 10:41:
[...]


Zijn de hardeschijven nog wel nodig dan, als het nu alleen buildservers zijn?

Dat heb ik nergens gezegd Op één van de Hyper-V's draait nu nog een VM domeincontroller, op de andere een VM SQL server. Daarnaast dient de ruimte op de eerstgenoemde ook als backupopslag.

Ook vraag ik mij af in hoeverre SSDs aan hun volledige snelheid komen gezien het redelijk oude controllers zijn (HP PX400i)

[Merethil]

Sebazzz schreef op donderdag 25 augustus 2016 @ 10:52:
[...]

Dat heb ik nergens gezegd Op één van de Hyper-V's draait nu nog een VM domeincontroller, op de andere een VM SQL server. Daarnaast dient de ruimte op de eerstgenoemde ook als backupopslag.

Ook vraag ik mij af in hoeverre SSDs aan hun volledige snelheid komen gezien het redelijk oude controllers zijn (HP PX400i)

Ah ik vatte bij de tekst "origineel file servers waren" op dat het dan nu geen andere rol meer speelde dan een buildserver. Mijn fout!

[roeleboel]

Sebazzz schreef op donderdag 25 augustus 2016 @ 10:52:
[...]
Ook vraag ik mij af in hoeverre SSDs aan hun volledige snelheid komen gezien het redelijk oude controllers zijn (HP PX400i)

Hoogstwaarschijnlijk ga je een behoorlijke snelheidswinst opmerken omdat de latency van ssd's gewoon fenomenaal lager ligt. (zeker omdat build-servers meestal met heel veel kleine bestanden werken)

Foute auto-analogie:
De auto kan 400/uur (max throughput ssd), maar door de verkeerde banden (oude controller) kan ie max 100/uur. Het traject dat je aflegt is echter 10 winkels op 2 km (vele kleine bestanden)
Jammer dat je auto maar max 100/uur kan halen, maar gegeven dat je heel veel korte afstand doet moet je continue optrekken/stoppen (latency) (ssd is hier de ferrari tov de hdd's die de tractor zijn)

Uiteraard ga je met een nieuwe controller nog betere prestaties halen, maar in hoeverre budget meespeelt kan dit al een interessante upgrade zijn (ook naar reactiesnelheid van de andere vm's toe trouwens )

Maar: ymmv