Uit de hand gelopen hobby: een Linux mirror server

[ericafterdark]

Open-source software en Linux in het algemeen hebben me de afgelopen 20 jaar zowel professioneel als privé veel succes en plezier gebracht. Het werd daarom tijd om iets terug te geven nu ik de mogelijkheid heb.

Mede door mijn groeiende interesse in het serveren van content en broadcasting besloot ik een Linux repo mirror op te tuigen. Inmiddels is dat een tikkeltje uit de hand gelopen en serveer ik diverse distributies vanaf een dedicated server bij NFOrce. De focus ligt voornamelijk op rolling distros.

Ik heb de afgelopen tijd mijn bandbreedte pakket en ook mijn opslag moeten uitbreiden en ik verwacht de komende maanden nog meer groei. De SSD zit bijna vol en ik wil sowieso nog enkele distros toevoegen. Vooral omdat ik er veel plezier uit haal. Het is mooi om te zien dat er flink gebruik wordt gemaakt van mijn server.

We hebben het momenteel over ongeveer 30 TB aan uitgaand verkeer per maand op een Dell R220 met E3-1241v3. Er zit 1x 8GB PC3L-12800E geheugen in en de opslag is een 1x 1.9TB SSD DC Intel S4500/S4510.

Er draait Debian 10 op met eigenlijk maar 2 applicaties: NGINX en rsync. De connectie is 1 Gbit/s.

Zou het om een zakelijk project gaan, dan zou ik denk ik niet kiezen voor eigen ijzer maar doorzetten op een gehuurde server. Privé vind ik het wel interessant om iets van mezelf te hebben en te kiezen voor colocatie. Het is prima om een eenmalige aankoop te doen als daarmee de maandlasten slinken. Redundantie is niet benodigd en gaat het een keer stuk, dan hoef ik niet direct naar het data center.

Ik denk dat het wel lukt om een goede colocatie deal op te halen. Serverius bijvoorbeeld heeft interessante deals die bij de groei passen maar ik ga uiteraard ook met NFOrce in gesprek. Uiteindelijk verwacht ik te groeien naar meerdere gigabit links of een single 10 Gbit/s. Het verkeer zal dan richting de 100 TB per maand gaan.

Mijn vraagstukken:

1. Is colocatie in mijn situatie inderdaad een (goede) optie? Ik begrijp dat hardware een keer stuk kan gaan.

2. Indien ik alsnog kies voor een dedicated server, zou het dan ook volstaan om af te stappen van SSD en te kiezen voor een snelle RAID config op traditionele schijven? Als ik naar Netdata kijk heb ik niet het idee dat de SSD nodig is. NGINX kan ik op applicatie niveau nog verder tweaken bijvoorbeeld.

Qua kosten kan het denk ik ook schelen door niet rechtstreeks bij een partij af te nemen maar middels een reseller die goedkoper in bulk inkoopt.

[ddkiller0900]

Ik denk persoonlijk dat je beter af bent met een gehuurde dedicated server. Qua kosten ben je net zo duur uit als co locatie met het risico dat je je eigen hardware moet vervangen zodra iets stuk gaat. DM als je wat meer hierover wilt weten.

[ericafterdark]

ddkiller0900 schreef op donderdag 15 april 2021 @ 20:45:
Ik denk persoonlijk dat je beter af bent met een gehuurde dedicated server. Qua kosten ben je net zo duur uit als co locatie met het risico dat je je eigen hardware moet vervangen zodra iets stuk gaat. DM als je wat meer hierover wilt weten.

Ja, dat blijkt inderdaad ook echt de beste optie te zijn.

Ik heb inmiddels met hulp van NFOrce een nieuwe server samengesteld en ben die nu aan het inrichten.

Die partij kan ik echt aanbevelen.

[tweazer]

30Tb = 30000GB

Een 1Gb lijn transporteert 100MB/sec, 0,1Gb/sec oftewel (*60*60*24*365.25/12) pakweg 263Tb per maand.

Als je stabiel verkeer zou hebben is die 30Tb een volle 115Mbit lijn

Minus de koeling, redundantie, versnijding en ruimte bewaking zou een raspberry pi of friendlyarm m4v2 eenzelfde taak ook thuis kunnen doen voor een fractie van de kosten ?

[42dpi]

tweazer schreef op donderdag 30 september 2021 @ 00:12:
30Tb = 30000GB

Een 1Gb lijn transporteert 100MB/sec, 0,1Gb/sec oftewel (*60*60*24*365.25/12) pakweg 263Tb per maand.

Als je stabiel verkeer zou hebben is die 30Tb een volle 115Mbit lijn

Minus de koeling, redundantie, versnijding en ruimte bewaking zou een raspberry pi of friendlyarm m4v2 eenzelfde taak ook thuis kunnen doen voor een fractie van de kosten ?

Lijkt mij echt fantastisch op regelde momenten je thuis lijn vol en een Raspberry pi die staat te roken omdat die een poging doet meer dan één distro te uploaden.

Dus nee Ts is niet beter af thuis en zeker niet met een RPI.

[tweazer]

IMHO onderschat je een rpi / FA m4v2. Ik haal met de laatste 800Mbit verkeer op een 1Gbit lijn. True het is sustained op 1 stream, geen honderden clients, maar toch. Ik lees in de uitgangssituatie 8Gbyte geheugen en een 2TB nvme kaartje. Ik vermoed dat op de originele server enkel de netwerkverbinding de bottleneck is (mits standaard tuning van ip stack is uitgevoerd). Ik zou best wel de uitdaging/test aan willen gaan ? Heb helaas als beperking (op dit moment) geen 2Tb nvme kaartje spare ..

[Boudewijn]

Nog even los van het feit dat niet iedereen braaf zijn momentje van de maand afwacht . De rijn is gemiddeld ook maar 1 meter diep (ofzo, geen idee van het exacte getal), toch kun je hem niet lopend oversteken.

[ericafterdark]

tweazer schreef op donderdag 30 september 2021 @ 00:12:
30Tb = 30000GB

Een 1Gb lijn transporteert 100MB/sec, 0,1Gb/sec oftewel (*60*60*24*365.25/12) pakweg 263Tb per maand.

Als je stabiel verkeer zou hebben is die 30Tb een volle 115Mbit lijn

Minus de koeling, redundantie, versnijding en ruimte bewaking zou een raspberry pi of friendlyarm m4v2 eenzelfde taak ook thuis kunnen doen voor een fractie van de kosten ?

42dpi schreef op donderdag 30 september 2021 @ 00:24:
[...]


Lijkt mij echt fantastisch op regelde momenten je thuis lijn vol en een Raspberry pi die staat te roken omdat die een poging doet meer dan één distro te uploaden.

Dus nee Ts is niet beter af thuis en zeker niet met een RPI.

Ik kan mijn ervaringen wel delen. Hier wat recente statistieken:

Members only:

Alleen zichtbaar voor ingelogde gebruikers. Inloggen

De server serveert momenteel een paar miljoen requests per dag. Dat ga je niet trekken op een Raspberry Pi.

Het levert eigenlijk constant wat IOWait op. Ik moet nog eens troubleshooten of dat de performance uberhaupt in de weg zit. Ik gebruik 'm namelijk zelf op mijn andere servers ook als mirror en dat loopt heel soepel.

[Boudewijn]

Grappig, waar komen die pieken in de rx vandaan?

Mag ik vragen wat je ongeveer kwijt bent voor zo'n hobbyproject?

[Arrigi]

Die pieken komen van rsync me dunkt. Als er upstream grote updates zijn, moet hij die repliceren.

[ericafterdark]

Boudewijn schreef op donderdag 30 september 2021 @ 10:18:
Grappig, waar komen die pieken in de rx vandaan?

Mag ik vragen wat je ongeveer kwijt bent voor zo'n hobbyproject?

Arrigi schreef op donderdag 30 september 2021 @ 11:06:
Die pieken komen van rsync me dunkt. Als er upstream grote updates zijn, moet hij die repliceren.

Klopt. Dan krijg ik nieuwe software binnen. Dat zie je eigenlijk de hele dag gebeuren echter soms betreft het niet kleine pakketjes maar grotere bestanden of ISO's.

Bij een aantal distros sync ik vanaf een master (of tier 1) server met rsync elke X uur of minuut. Andere distros melden zich automatisch via SSH en triggeren mij de nieuwe software op te halen.

Dit uit de hand gelopen project kost 85 euro per maand.

[Bolletje]

Die 85 EUR is je all-in bedrag nu voor de dedicated server?
Valt me nog mee op zich. Waarschijnlijk zag je zelf al dat die 1.9TB enterprise ssd de grootste kosten zijn (waarschijnlijk 50 euro?)

Wat heb je nu aan offerte voor colocatie dan? En met welke variabelen en features?

Ik denk dat je als je volledig op sata harde schrijven over gaat, die performance instort op het moment dat rsync gaat syncen (bijv. tussen 12 en 16 in je huidige overzicht).

Wat je ook nog in overweging zou kunnen nemen op je huidige opstelling:

• Toevoegen van sata hdd storage
• Minder populaire / oudere distro's verplaatsen van ssd naar hdd storage.
• deel van de ssd storage als cache inzetten

Dan zou je dus meer analyse op je content/distro's moeten doen wat populair is. Kost je wel weer moeite om in te stellen met meerdere volumes ipv 1 grote ssd. Ik weet niet of NGINX en rsync kan.

[Firestorm]

tweazer schreef op donderdag 30 september 2021 @ 00:12:
30Tb = 30000GB

Een 1Gb lijn transporteert 100MB/sec, 0,1Gb/sec oftewel (*60*60*24*365.25/12) pakweg 263Tb per maand.

Als je stabiel verkeer zou hebben is die 30Tb een volle 115Mbit lijn

Minus de koeling, redundantie, versnijding en ruimte bewaking zou een raspberry pi of friendlyarm m4v2 eenzelfde taak ook thuis kunnen doen voor een fractie van de kosten ?

Er zit een factor 8 verschil in Tb en TB.
30Tb = 3750GB

[Cybje]

Ik zou denk ik toch voor SSD's gaan. Als er veel mensen tegelijk data ophalen, is dat best een bult random I/O. Een HDD blijft gewoon erg matig daarmee. Daarnaast liggen de SSD prijzen tegenwoordig vrij laag. Ik denk dat je zelfs nog beter consumenten SSD's kunt pakken en die in RAID hangen, dan dat je enterprise HDD's neemt. Let alleen even op met hoeveel write cycles ze aankunnen / hoeveel data je wegschrijft (maar je meeste data zal denk ik 1x worden weggeschreven en er dan lang blijven staan, als het mirrors zijn?). Met 1+ DWPD 5 jaar lang kunnen consumenten SSD's het wel moeilijk krijgen.

En voor colocatie vs dedicated: het is vooral hoeveel tijd je eraan kwijt wilt zijn. Stel het moederbord is stuk en je bent net 2 weekjes op vakantie, is het acceptabel dat de server dan 2 weken offline is? Of heb je een remote hands contract met het datacenter / een on-site support contract van de server fabrikant?

[ericafterdark]

Bolletje schreef op donderdag 30 september 2021 @ 12:06:
Die 85 EUR is je all-in bedrag nu voor de dedicated server?
Valt me nog mee op zich. Waarschijnlijk zag je zelf al dat die 1.9TB enterprise ssd de grootste kosten zijn (waarschijnlijk 50 euro?)

Wat heb je nu aan offerte voor colocatie dan? En met welke variabelen en features?

Ik denk dat je als je volledig op sata harde schrijven over gaat, die performance instort op het moment dat rsync gaat syncen (bijv. tussen 12 en 16 in je huidige overzicht).

Wat je ook nog in overweging zou kunnen nemen op je huidige opstelling:

• Toevoegen van sata hdd storage
• Minder populaire / oudere distro's verplaatsen van ssd naar hdd storage.
• deel van de ssd storage als cache inzetten

Dan zou je dus meer analyse op je content/distro's moeten doen wat populair is. Kost je wel weer moeite om in te stellen met meerdere volumes ipv 1 grote ssd. Ik weet niet of NGINX en rsync kan.

Cybje schreef op donderdag 30 september 2021 @ 12:55:
Ik zou denk ik toch voor SSD's gaan. Als er veel mensen tegelijk data ophalen, is dat best een bult random I/O. Een HDD blijft gewoon erg matig daarmee. Daarnaast liggen de SSD prijzen tegenwoordig vrij laag. Ik denk dat je zelfs nog beter consumenten SSD's kunt pakken en die in RAID hangen, dan dat je enterprise HDD's neemt. Let alleen even op met hoeveel write cycles ze aankunnen / hoeveel data je wegschrijft (maar je meeste data zal denk ik 1x worden weggeschreven en er dan lang blijven staan, als het mirrors zijn?). Met 1+ DWPD 5 jaar lang kunnen consumenten SSD's het wel moeilijk krijgen.

En voor colocatie vs dedicated: het is vooral hoeveel tijd je eraan kwijt wilt zijn. Stel het moederbord is stuk en je bent net 2 weekjes op vakantie, is het acceptabel dat de server dan 2 weken offline is? Of heb je een remote hands contract met het datacenter / een on-site support contract van de server fabrikant?

Uiteindelijk ben ik nog een keer verhuisd naar Leaseweb en neem ik de huidige dedi af via een reseller. Dat scheelt in de kosten.

De performance die je nu ziet is op basis van een PowerEdge R240 met Intel Xeon E-2274G, 32GB RAM en 4x8TB SATA in software RAID 0. Hij heeft een 10 Gbit/s link.

Onder de streep is colo gewoon leuk maar precies zoals hier ook al werd verteld, de "stress" het niet waard. Ik vind het wel prettig dat iemand anders er mee aan de slag gaat mocht het een keer stuk gaan.

Ik neem hoe dan ook wat risico's met pittige belasting op SATA disks, in RAID 0.

In de toekomst zou een stap naar SSD een optie zijn. Past alleen niet binnen het budget want ik heb 16TB in gebruik.

Het is echt een beetje geescaleerd. Ik host Arch Linux, Debian, EndeavourOS, Fedora, Gentoo, Kali Linux, Linux Mint, Manjaro, openSUSE, Rocky Linux, Ubuntu en Void Linux.

De performance lijkt nu hoe dan ook prima als ik naar mijn andere servers kijk die er gebruik van maken. Ik moet alleen de status van de schijven een beetje in de gaten houden...

[tweazer]

Raar IMHO is overigens dat ISP's niet in nederland deze tak van sport gratis willen hosten: vziw betalen ze aan peering partijen het verschil tussen uploads en downloads. Juist dit soort spul veroorzaakt veel upload verkeer en i.t.t. colo lokaties (die ook veel uploaden) geeft dit hen wat tegendruk. news servers, iso's, repo's etc zou ik graag (als ik een isp was) in mijn datacenter willen aanbieden.
Toen ik zelf een paar kasten had op lokaties speelde vooral het stroomverbruik een rol, niet de bandbreedte: je kreeg een sleutel, betaalde met name voor de ruimte, keren toegang. In een colo locatie bij Beverwijk was de verbinding toppie, betaalde alleen wel veel voor de stroom en ruimte, daar plaatste ik de high density servers met veel benodigde bandbreedte. Elders was juist de bandbreedte wel een kostenpost, ruimte en stroom niet, kon daar mooi een blade omgeving met weinig verkeer, maar wel veel cpu en storage behoeftes geplaatst worden.
Mix en match zou ik zeggen, maar dat was wel wat jaartjes geleden, wat nu de optimale situatie, hoe en waar is ???

[ericafterdark]

tweazer schreef op donderdag 30 september 2021 @ 13:52:
Raar IMHO is overigens dat ISP's niet in nederland deze tak van sport gratis willen hosten: vziw betalen ze aan peering partijen het verschil tussen uploads en downloads. Juist dit soort spul veroorzaakt veel upload verkeer en i.t.t. colo lokaties (die ook veel uploaden) geeft dit hen wat tegendruk. news servers, iso's, repo's etc zou ik graag (als ik een isp was) in mijn datacenter willen aanbieden.
Toen ik zelf een paar kasten had op lokaties speelde vooral het stroomverbruik een rol, niet de bandbreedte: je kreeg een sleutel, betaalde met name voor de ruimte, keren toegang. In een colo locatie bij Beverwijk was de verbinding toppie, betaalde alleen wel veel voor de stroom en ruimte, daar plaatste ik de high density servers met veel benodigde bandbreedte. Elders was juist de bandbreedte wel een kostenpost, ruimte en stroom niet, kon daar mooi een blade omgeving met weinig verkeer, maar wel veel cpu en storage behoeftes geplaatst worden.
Mix en match zou ik zeggen, maar dat was wel wat jaartjes geleden, wat nu de optimale situatie, hoe en waar is ???

Gebeurd op zich wel. Als je ergens een server afneemt, bijvoorbeeld Leaseweb in dit geval, kan het handig zijn de mirrors van Leaseweb te gebruiken. Zo bieden veel partijen die dienst aan. Blijft het verkeer "binnen".

[ANdrode]

Eiríkr schreef op donderdag 30 september 2021 @ 13:03:
[...]
De performance die je nu ziet is op basis van een PowerEdge R240 met Intel Xeon E-2274G, 32GB RAM en 4x8TB SATA in software RAID 0. Hij heeft een 10 Gbit/s link.

[...]
In de toekomst zou een stap naar SSD een optie zijn. Past alleen niet binnen het budget want ik heb 16TB in gebruik.

Je hebt al redelijk wat RAM voor de IO cache van de data die echt veel gelezen wordt. Misschien kom je nog een stuk met een (of een raid-0 paar) SSDs voor caching. Ik heb zelf ooit flashcache gebruikt en nu schijnt dm-cache ok te zijn.

Zit deze server gewoon in de mirror-pool van de distributies? Of moet je hem zelf kiezen? Als je in die mirror-pool zit ben ik verbaasd dat er geen security-partijen zo'n server draaien. Een beetje een variant op wat shodan deed met NTP om v6 adressen te crawlen.

offtopic:
En omdat HTTPS verkeer met zo'n mirror 'verwacht' is kan je er allerlei verkeer in verstoppen tbh. Zolang je de beaconing-detectie maar niet tript (dus je moet bursts van een paar KB doen en de goede TLS flags zetten zodat het verkeer ook echt op apt/yum lijkt)

[ericafterdark]

ANdrode schreef op donderdag 30 september 2021 @ 15:56:
[...]


Je hebt al redelijk wat RAM voor de IO cache van de data die echt veel gelezen wordt. Misschien kom je nog een stuk met een (of een raid-0 paar) SSDs voor caching. Ik heb zelf ooit flashcache gebruikt en nu schijnt dm-cache ok te zijn.

Zit deze server gewoon in de mirror-pool van de distributies? Of moet je hem zelf kiezen? Als je in die mirror-pool zit ben ik verbaasd dat er geen security-partijen zo'n server draaien. Een beetje een variant op wat shodan deed met NTP om v6 adressen te crawlen.

offtopic:
En omdat HTTPS verkeer met zo'n mirror 'verwacht' is kan je er allerlei verkeer in verstoppen tbh. Zolang je de beaconing-detectie maar niet tript (dus je moet bursts van een paar KB doen en de goede TLS flags zetten zodat het verkeer ook echt op apt/yum lijkt)

Hij zit in de pools van alle distributies. Over security gesproken, Kali is er een van.

Wat betreft caching zou dat inderdaad een quick-win kunnen zijn.

Wellicht dat ik NGINX nog verder kan optimaliseren. Ik heb de bekende guides in ieder geval toegepast.