Trage OpenSuSe webserver

[Verwijderd]

Sinds vorige week begon onze server trager te worden maar nu de laatste 24 uur is het niet meer werkbaar. Nu hebben we een trage download 15kbps maar de upload is nu wel 200kbps. Dit geld voor FTP als voor HTTP. Hier uit concluderen we dat het niet aandeze twee liggen vsftpd en apache. De site in kwestie is een leeromgeving waar ongeveer een 4000 users op zitten. Het is geen performance probleem want de daluren(1-5) is hij even traag als op de piekmomenten. Het is een dual CPU xeon die op 1.6GHz zijn werk doet. Hij heeft 2GB aan ram. We hebben al vanalles geprobeert:

Server al 3 keer herstart. (voor de reboot had de server een uptime van 416 dagen)
Firewall aan en uitgezet.
Apache herstart
Mysql herstart
Mysql tabellen gedefragmenteerd.
...

We zitten nu moet onze handen in het haar. Heeft iemand ideëen waar het probleem zou kunnen liggen? Hoe kunnen we een hardware fout uitsluiten?


Robin

[lordgandalf]

wat geeft top voor info en tools als netstat enz.

[Verwijderd]

Top geeft niks abnormaal overal CPU > 5% en netstat geeft wel een hoop active http connecties maar dat lijk me normaal.

[Koffie]

Het is me toch niet helemaal duidelijk wat je probleem is.
De server is traag, maar wat is nu exact traag (welke processen)?
Je hebt het over een trage up en download, maar sluit meteen de 2 services die daar verantwoordelijk voor zijn uit?
Is je NIC 100% in orde (errors)? Zijn je disken in orde? Andere hardware onderdelen al uitgesloten (memory die aan het overlijden is (ECC errors?))?

[Verwijderd]

Het laden van een simpele html pagina met wat foto's duur ongeveer 30 sec.
Een bestand downloaden van 10 Mbyte duur 10 Minuten. Dit geldt voor vsftpd apache netcat...
Een bestand uploaden van 10Mbyte duurt nog geen 30 seconden. Idem als hier boven

Dit vind ik raar. De ping is ook vrij normaal 20ms en geen packet loss.

[Koffie]

Ik zou toch eens de netwerkkaart vervangen. Ooit heb ik op een oude NW311 doos ook de meest vreemde netwerkproblemen gehad - zonder echt ergens errors te hebben. De NIC bleek gewoon niet lekker meer te werken en vervangen bleek de oplossing.

[Kabouterplop01]

Is je server wel gepatched tegen de laaste tcp lekken? Als je een flink aantal half open http sessions hebt vind je servert dat echt niet tof. Je hebt best kans dat iemand je bakje onderuit wil duwen.
al een chkrootkit gedraaid?

[CAPSLOCK2000]

Heb je al gecontroleerd of er niet iets anders je netwerkverbinding dicht trekt?
Gebruik tcpdump of wireshark om te kijken wat er over de kabel gaat.

[Verwijderd]

@Kabouterplop01:

De server is pas herstart geweest. weinig open http sessions.

Nu heb ik niet eens met wireshark gekeken en merk ik dat er veel pakken opnieuw moeten worden verzonden. Wegens errors in de pakketten. CRC die niet klopt.


Edit:

Ik heb net chkrootkit gedraait en het heeft geen rootkits gevonden.

Edit2:

Net ping -s 10000 gedraait. (ping pakketten van 10kb groot)
Op de 120 pakketten hadden we een loss van 93% (deze komen soms aan maar zijn niet correct)

Naar een andere server ook gedaan om een referentie te hebben daar hadden we 0% loss.

[ Voor 42% gewijzigd door Verwijderd op 15-09-2009 21:54 ]

[CAPSLOCK2000]

Verwijderd schreef op dinsdag 15 september 2009 @ 21:07:
Nu heb ik niet eens met wireshark gekeken en merk ik dat er veel pakken opnieuw moeten worden verzonden. Wegens errors in de pakketten. CRC die niet klopt.

kratje bier op een rotte netwerkkaart

[ Voor 12% gewijzigd door CAPSLOCK2000 op 15-09-2009 22:40 ]

[Gomez12]

CAPSLOCK2000 schreef op dinsdag 15 september 2009 @ 22:39:
[...]


kratje bier op een rotte netwerkkaart

Flesje bier op een kapotte switch / router

[Kabouterplop01]

Gomez12 schreef op dinsdag 15 september 2009 @ 22:48:
[...]

Flesje bier op een kapotte switch / router

Ik denk dan meer aan een van de poorten van die switch; of een verkeerde speed/duplex instelling!

zie je wat met dmesg?

[ Voor 5% gewijzigd door Kabouterplop01 op 15-09-2009 23:55 ]

[Verwijderd]

In Augustus is er een switch vervangen in het datacenter. Daar zit momenteel een nieuwe.

In de vakantie maanden word de leeromgeving niet/zeer weinig gebruikt en merkte we niks van zijn traagheid.

dmesg zegt dat de interface up is met een 100mb full duplex. Een andere server op die switch geeft geen problemen.

Robin

[MoBi]

Al de netwerkkaart vervangen?

[Schumaster]

Al deze problemen wijzen inderdaad op een kapotte netwerkkaart. Haal voor 3, 4 tientjes een intel pro/1000 en je bent van de ellende af.

[Verwijderd]

Het probleem is nu verholpen. Moet nog de een mail krijgen van de technieker wat het juist gedaan heeft.