Realisatie van 4gbit bandbreedte ipv 1gbit

[chronoz]

Binnenkort wil ik een nieuwe back-up omgeving installeren, maar hiervoor is het belangrijk dat de beschikbare bandbreedte hoog is. Het is namelijk de bedoeling dat er elke nacht zo'n 4TB aan data opgeslagen wordt.

Het probleem is echter dat met 1gbit bandbreedte (125mB per seconde), het overpompen van 4TB aan data maar liefst 8,8889 uur zou duren. Indien er 4gbit bandbreedte beschikbaar zou zijn, zou dit nog maar 2,5 uur duren!

Ik heb alleen géén idee hoe ik dit moet realiseren op een Linux server. Hebben jullie enig idee hoe deze technologie heet en zijn hiervoor howto's beschikbaar op het internet?

Ik heb ook al gekeken naar 10gbit netwerkkaarten, maar het ziet er naar uit dat deze oplossing aanzienlijk duurder zou uitvallen en een I/O realiseren van 1250mB per seconde zal helemaal lastig worden. Daarbij zijn 10gbit netwerkkaarten nog erg nieuw en schijnt het de gewoonte te zijn om te gaan voor 4x1gbit om een grote hoeveelheid bandbreedte te realiseren.

Hoe ik het met de harde schijven ga regelen, heb ik helaas ook nog niet bedacht. Advies hierin zou ook welkom zijn. Prijs-kwaliteit is erg belangrijk hierin en vooral de schaalbaarheid van de oplossing. Daarom is het kopen van een kant-en-klare NAS ook niet ideaal.

[Uberprutser]

Als beide machines meer dan die 1Gbit aan data kunnen verwerken dan het volgende:

Switch die link aggregation ondersteund en in je machines een netwerkkaart met meerdere interfaces.
Dan op je machines en op je switch een interface aanmaken die meerdere links tot 1 bundeld, soms te vinden als een LACP interface.

Op zich best een intensieve ingreep in een werkende omgeving dus lees je eerst goed in.

[ Voor 18% gewijzigd door Uberprutser op 21-03-2010 21:31 ]

[Stefanovic45]

Let inderdaad ook goed op de harde schijven die je aanschaft. 125MB wordt door een gewone huis tuin en keuken harde schijf namelijk al niet eens gehaald.

[CyBeR]

Ballebek schreef op zondag 21 maart 2010 @ 21:26:
Als beide machines meer dan die 1Gbit aan data kunnen verwerken dan het volgende:

Switch die link aggregation ondersteund en in je machines een netwerkkaart met meerdere interfaces.
Dan op je machines en op je switch een interface aanmaken die meerdere links tot 1 bundeld, soms te vinden als een LACP interface.

Op zich best een intensieve ingreep in een werkende omgeving dus lees je eerst goed in.

Dit werkt niet zomaar. Om packet reordering te voorkomen zal LACP trachten enkele streams altijd over dezelfde link te duwen. Dat is aan de kant van je linux server wel te omzeilen (of je dat wilt is een tweede trouwens), maar als de switch vervolgens aan zijn kant alles op link 1 zet omdat de MAC-adressen of IP-adressen overeenkomen, ben je weer nergens. Met andere woorden: als je van 1 machine naar 1 andere machine gaat is dit niet snel de beste optie. Gebruik je meerdere machines, echter, dan kan 't prima.

10gig is wel wat duurder, maar 't schaalt ook beter. Ik weet niet hoe je omgeving in elkaar zit, dus veel meer kan ik niet zeggen. Als je direct van linux doos 1 naar linux doos 2 gaat (zonder switch) kun je wellicht wel wat doen met 4 links en bonding. Zit er switching tussen, moet je daar goed naar gaan kijken.

[Verwijderd]

Het is wel interessant om te weten of het 4 TB per dag is aan nieuwe data, of dat het totaal aan data 4 TB is waarvoor een backup moet zijn (evt met retentie policy). Want de gegevens uit de TS zijn niet genoeg om iets zinnigs te kunnen zeggen. Je focust namelijk op veel bandbreedte, terwijl we nog niet eens zeker weten of er elke dag wel 4 TB over het lijntje moet.

[leuk_he]

Je kunt in linux meerdere interfaces bonden

http://www.linuxfoundatio...groups/networking/bonding (je wil in round robin draaien)

Je zou (als de backup oplossing ook linux is en dichtbij komt te staan ) denk ik zelfs kunnen overwegen er geen switch tussen te zetten en de backup en de server direct aan elkaar te koppelen. Dan heeft de rest van je netwerk ook geen last van dat verkeer.

vraag me echt af of die 2000 euro voor de 10 Gb kaarten zo'n bottleneck gaat worden als je ook nog een backup server moet inrichten.

[Uberprutser]

CyBeR schreef op zondag 21 maart 2010 @ 21:55:
[...]


Dit werkt niet zomaar.

Hadden we het eerder ook al over ja, in de meeste configuraties gaat het maar via 1 kanaal en blijft je 2e interface er een beetje suf bij hangen als redundant link.

Echter heb ik dit geintje eerder uitgehaald en was 10Gbit geen oplossing omdat de backup server aan de andere kant van het pand stond. Daarom 2x 1Gbit welke meestal op de 160MB/s uit kwamen (met 1 was het meestal 95 / 100MB/s). Dit was echter wel na het aanpassen van het een en ander. Zaten eerst 2 Marvell kaarten in en die wilde maar max 100MB/s halen, daarna een Intel en die wilde wel boven de 100MB/s uit komen. Niet ontopic maar... Toch

En 4TB: Das idd een beetje veel, nog niet eens over nagedacht...
De spullen waar je het op opslaat zullen ook een godsvermogen kosten wil je dat ze even snel kunnen meeschrijven als wat jij weg probeert te stouwen, zelfs als je die 4TB eerst op een mooie array stouwt en daarvandaan op tape zet vind ik het knap als je dat dagelijks lukt.

Is het echt 4TB aan nieuwe data; hoe wil je dat betaalbaar opslaan? Als dat echt zo nodig is dan kijk je niet op een paar euro meer of minder.

[ Voor 20% gewijzigd door Uberprutser op 21-03-2010 23:55 ]

[chronoz]

Ik ben blij dat ik nu de termen bonding en link aggregiation heb gevonden dankzij jullie, maar de waarschuwingen over de complexiteit zitten me nu wel dwars. Indien het een eenmalige configuratie is op de switch en de storage server, dan zou dit overkombaar moeten zijn.

Een upgrade naar 10gbps zou vanzelfsprekend ideaal zijn, maar zoals je hieronder kunt zien, is € 2000,- voor een upgrade van 4x1gbps naar 10gbps echt géén peanuts ten opzichte van de investering noodzakelijk voor de back-up oplossing.

#	Product	Prijs	Subtotaal
1	Areca ARC-1220	€ 420,-	€ 420,-
8	Samsung Spinpoint F3 HD203WI	€ 125,80	€ 1.006,40
Bekijk collectie Importeer producten		Totaal	€ 1.426,40

Dat godsvermogen van de I/O oplossing valt dus wel mee, zoals nu beraamd zal de oplossing waarschijnlijk rond de € 2000,- uitkomen, maar hiervoor heb ik een topic lopen op Hoe realiseer je een I/O bandbreedte van meerdere gbps? en ik hoop dat we dit topic ontopic kunnen houden.

[Verwijderd]

Fijn dat je ook ingaat op mijn post.

Maar wees welkom om de klassieke fout te maken om een probleem op te lossen met techniek, terwijl het probleem ontstaat uit een gebrek aan kennis of door een ontwerpfout.

[swtimmer]

Verwijderd schreef op maandag 22 maart 2010 @ 00:30:
Fijn dat je ook ingaat op mijn post.

Maar wees welkom om de klassieke fout te maken om een probleem op te lossen met techniek, terwijl het probleem ontstaat uit een gebrek aan kennis of door een ontwerpfout.

Als ik zijn andere topic hierover lees wil die blijkbaar iedere dag zijn VPS-en clonen? Ik snap het ook niet helemaal, dus dan heb je maar 1 dag een backup blijkbaar.....

[lordsnow]

Incremental backup gebruiken ipv elke nacht een voledige backup?

[Kees]

wat je zoekt heet in Linux Bonding e/of LACP.

Maar weet je ook zeker dat je schijven 500mb/s kunnen schrijven? En weet je zeker dat je niet beter met incremental backups kan werken?