[fileserver] redundant fileserver

[daank]

Wij gaan binnenkort een aantal fileservers plaatsen.
Deze fileservers zijn kritisch , aangezien er binnenkort veel websites vanaf worden gehost.
Om te voorkomen dat de websites down gaan zat ik er aan te denken om een redundant fileserver bij te zetten.

mijn vraag:
Hoe kan ik er voor zorgen dat beide fileservers ten alle tijden exact dezelfde data bevatten.

[CXNeXo]

Wat meer informatie zou wel handig zijn....Wat voor OS ga je op de fileservers draaien?

[daank]

whoops .. heheh .. sorry sorry sorry ..

de bedoeling is om er gentoo op te gaan draaien.

[jurri@n]

Misschien dat het Linux HA-project iets is. Meen me te herinneren dat die ook een artikeltje over redundant fileservers hadden.

[Jazzy]

File- of webservers? In principe neem je dan 1 server en rust je de essentiële componenten redundant uit. Een beetje server kun je uitrusten met redundant voeding, schijven, NIC, etc. Bij de betere servers kun je online geheugenmodules of een processor vervangen.

Heb je het al eens besproken met je hardware-leverancier? HP, IBM en Dell kunnen dit soort spullen prima leveren.

[Martin Sturm]

Je gaat Gentoo op een kritische fileserver draaien? Ben je daar heel zeker van?

[ Voor 4% gewijzigd door Martin Sturm op 24-02-2005 13:26 ]

[CXNeXo]

Neem ook hier eens een kijkje: http://www.gentoo.org/doc/en/hpc-howto.xml

Heb hem niet helemaal doorgenomen, maar hier heb je wel wat aan denk ik.

[CXNeXo]

Jazzy schreef op donderdag 24 februari 2005 @ 13:25:
File- of webservers? In principe neem je dan 1 server en rust je de essentiële componenten redundant uit. Een beetje server kun je uitrusten met redundant voeding, schijven, NIC, etc. Bij de betere servers kun je online geheugenmodules of een processor vervangen.

Heb je het al eens besproken met je hardware-leverancier? HP, IBM en Dell kunnen dit soort spullen prima leveren.

Ik denk dat de TS meer aan een soort load-balancing zit te denken....

2 identieke servers, valt server1 uit neemt server2 hem over...

[Osiris]

Martin Sturm schreef op donderdag 24 februari 2005 @ 13:26:
Je gaat Gentoo op een kritische fileserver draaien? Ben je daar heel zeker van?

Ik hoor dit wel eens vaker. Kun je ook argumenten geven om geen Gentoo te gebruiken? Ik draai nu al een hele tijd een server op Gentoo en afgezien van hardware-updates en stroomuitval is hij nog nooit down geweest. Meestal wordt Debian als "alternatief" gegeven, maar die hebben na mijn weten ook geen professioneel product waar je support op kunt krijgen etc (zoals Mandrake)

[Jazzy]

CXNeXo schreef op donderdag 24 februari 2005 @ 13:28:
Ik denk dat de TS meer aan een soort load-balancing zit te denken....

2 identieke servers, valt server1 uit neemt server2 hem over...

Dat begrijp ik, met mijn posting wilde ik een eenvoudiger alternatief aanrijken.

[daank]

jurri@n schreef op donderdag 24 februari 2005 @ 13:24:
Misschien dat het Linux HA-project iets is. Meen me te herinneren dat die ook een artikeltje over redundant fileservers hadden.

thanks , zal er eens een kijkje nemen

Jazzy schreef op donderdag 24 februari 2005 @ 13:25:
File- of webservers? In principe neem je dan 1 server en rust je de essentiële componenten redundant uit. Een beetje server kun je uitrusten met redundant voeding, schijven, NIC, etc. Bij de betere servers kun je online geheugenmodules of een processor vervangen.

Heb je het al eens besproken met je hardware-leverancier? HP, IBM en Dell kunnen dit soort spullen prima leveren.

het zijn fileservers, de webservers komen los te hangen
Ik zou graag met dat soort ppartijen willen praten , alleen zit ik een beetje aan een budget , dus vandaar dat ik zoek naar een software oplossing

Martin Sturm schreef op donderdag 24 februari 2005 @ 13:26:
Je gaat Gentoo op een kritische fileserver draaien? Ben je daar heel zeker van?

yupz .. waarom niet?, als je het zaakje goed configged lijkt het mij toch in orde..

[CXNeXo]

Osiris schreef op donderdag 24 februari 2005 @ 13:28:
[...]

Ik hoor dit wel eens vaker. Kun je ook argumenten geven om geen Gentoo te gebruiken? Ik draai nu al een hele tijd een server op Gentoo en afgezien van hardware-updates en stroomuitval is hij nog nooit down geweest. Meestal wordt Debian als "alternatief" gegeven, maar die hebben na mijn weten ook geen professioneel product waar je support op kunt krijgen etc (zoals Mandrake)

Hij doelt niet op support voor zover ik kan zien.....
Ik kan z'n reactie ook wel begrijpen, het zou ook niet mijn keuze zijn om Gentoo als "kritische" server in te gaan zetten.

Als ik alleen al het "larry the cow" verhaal op de website lees weet ik al genoeg

[CyBeR]

Osiris schreef op donderdag 24 februari 2005 @ 13:28:
[...]

Ik hoor dit wel eens vaker. Kun je ook argumenten geven om geen Gentoo te gebruiken? Ik draai nu al een hele tijd een server op Gentoo en afgezien van hardware-updates en stroomuitval is hij nog nooit down geweest. Meestal wordt Debian als "alternatief" gegeven, maar die hebben na mijn weten ook geen professioneel product waar je support op kunt krijgen etc (zoals Mandrake)

Twee woorden: Quality Control.

[daank]

CyBeR schreef op donderdag 24 februari 2005 @ 13:33:
[...]


Twee woorden: Quality Control.

wat is dan naar jouw mening de OS per uitstek voor een kritische omgeving als deze?

ik draai zelf al 2 jaar een gentoo server , en heb daar nooit problemen mee ondervonden namelijk

[Jazzy]

DaanK schreef op donderdag 24 februari 2005 @ 13:30:
Ik zou graag met dat soort ppartijen willen praten , alleen zit ik een beetje aan een budget , dus vandaar dat ik zoek naar een software oplossing

Dus vanwege het budget kies je liever voor 2 servers? Die ook nog eens moeilijker beheersbaar dus duurder in beheer gaan zijn?

Nee, ik snap je wel hoor. Het stomme is vaak wel voor ons als IT-ers dat de applicatie uiterst bedrijfskritisch is... totdat er een prijskaartje aan komt te hangen. Dan mag het allemaal wel wat minder. Kijk alleen uit dat je niet in een hobby-Bob situatie terecht gaat komen.

[CXNeXo]

Nog even voor de TS, antwoorden op de onderstaande vragen maakt het wat duidelijker

Hoe kritisch zijn die servers nu eigenlijk?
Hoeveel webservers zijn het?
Hoeveel site's gaan ze hosten?
Maken de sites gebruik van databases?
Hoeveel ruimte nemen de site's/databases op het moment in?

[ Voor 23% gewijzigd door CXNeXo op 24-02-2005 13:38 . Reden: vage volgorde ]

[daank]

Jazzy schreef op donderdag 24 februari 2005 @ 13:35:
[...]
Dus vanwege het budget kies je liever voor 2 servers? Die ook nog eens moeilijker beheersbaar dus duurder in beheer gaan zijn?

Nee, ik snap je wel hoor. Het stomme is vaak wel voor ons als IT-ers dat de applicatie uiterst bedrijfskritisch is... totdat er een prijskaartje aan komt te hangen. Dan mag het allemaal wel wat minder. Kijk alleen uit dat je niet in een hobby-Bob situatie terecht gaat komen.

tja .. sommige willen de wereld voor een duppie

die hobby-bob situatie zit ik ook niet op te wachten .. maar ben gewoon aan het kijken hoe ik voor dat duppie op de 1ste rang kan gaan zitten ..

[Evos]

Los van het feit of er een goede Distro is gekozen, ben zelf van mening dat als je zulke vragen hier post (en de manier waarop), je niet in staat bent om het plan uit te voeren en te behouden

Als ik het zo lees is het de bedoeling dat je als het ware een mirror hebt, dit zou je kunnen doen dmv Rsync

<sup>How to setup rsync for anonymous mirroring

rsync is an open source utility that provides fast incremental file transfer</sup>

[ Voor 18% gewijzigd door Evos op 24-02-2005 13:40 . Reden: added manual ]

[4VAlien]

Heb je ook al nagedacht over het DNS/forward gedeelte van het verhaal ? Als je daar namelijk niks mee doet kan je gewoon RAID 1 nemen.

[Martin Sturm]

Ik zou nooit Gentoo gebruiken op een server die kritisch is omdat het gewoon niet handig is dat je veel moet compilen op een (waarschijnlijk) zwaar belaste server. Daarnaast is er voor zover ik weet nog steeds geen non-bleeding-edge Gentoo (zoals er bijvoorbeeld wel Debian Stable is of RH Enterprise Linux). Vooral de producten van Novell en Red Hat hebben in zo'n situatie wel voordeel imho aangezien deze uitgebreid getest zijn en voor weinig (stabiliteits) verrassingen zullen zorgen.
Ik zie ook geen goede reden om Gentoo te verkiezen boven een andere distro. Het voornaamste voordeel van Gentoo is dat je eenvoudig pakketten kunt optimalizeren voor je hardware en dat het nieuwste van het nieuwste beschikbaar is als ebuild. Dat zijn echter dingen die je juist niet wil voor een kritische server, aangezien het beide oorzaken zijn van mogelijke stabiliteitsproblemen met je software. Ik geef toe dat Debian ook niet optimaal is wegens oude pakketten, maar RHEL ofzo biedt toch wel voordelen hier (desnoods Whiteboxlinux).

[daank]

CXNeXo schreef op donderdag 24 februari 2005 @ 13:37:
Nog even voor de TS, antwoorden op de onderstaande vragen maakt het wat duidelijker

Hoe kritisch zijn die servers nu eigenlijk?
Hoeveel webservers zijn het?
Hoeveel site's gaan ze hosten?
Maken de sites gebruik van databases?
Hoeveel ruimte nemen de site's/databases op het moment in?

1. gezien onze klanten zijn de servers gewoon kritisch , wij willen de mogenlijke downtime tot een minimum houden.
2. op dit moment is het geplanned op 3 webservers
3. exact aantal weet ik niet , ik denk dat het er ongeveer 400 moeten worden
4. de sites maken gebruik van een mysql database , dit allemaal op 2 database servers.
5. de ruimte die de sites innemen is niet bekend, ik moet kijken naar een fileserver van rond de 1TB

[daank]

Evos schreef op donderdag 24 februari 2005 @ 13:39:
Los van het feit of er een goede Distro is gekozen, ben zelf van mening dat als je zulke vragen hier post (en de manier waarop), je niet in staat bent om het plan uit te voeren en te behouden

Als ik het zo lees is het de bedoeling dat je als het ware een mirror hebt, dit zou je kunnen doen dmv Rsync

<sup>How to setup rsync for anonymous mirroring

rsync is an open source utility that provides fast incremental file transfer</sup>

ik heb van rsync begrepen dat dit behoorlijk processor intensief is

[Verwijderd]

pffff, de simpele oplossing is een SAN, maar dat ligt waarschijnlijk ver buiten je budget. Puur software matig is wel te doen, denk rsync, linux-ha en Linux Virtual Server. Of eventueel 2 machines met een gedeeld GFS of AFS filesystem. Other than that heb je weinig opties denk ik.

Maarreuh, als die data echt zo belangrijk is, waarom kan er dan geen klein SAN voor aangeschaft worden? En hoe zit het met je backups? Kunnen jullie van het geld wat jullie moeten uitgeven om de data van scratch te restoren een nieuw san kopen?

Overigens, om je "rsync is processor intensief" argument van de tafel af te vegen, een dedicated fileserver is per definitie I/O bound, en niet CPU bound. Dus het maakt geen zak uit of rsync een paar procentjes CPU tijd snoept. Wel is het zo, dat als je heel erg veel files hebt, en rsync stat() over al deze files, dat dit een I/O bottleneck kan worden. Maar ook daar is wel enigzinds omheen te werken (dedicated netwerk link tussen beide systemen, en eventueel filesystem snapshots om van te syncen ipv het live filesystem)

[ Voor 19% gewijzigd door Verwijderd op 24-02-2005 15:16 ]