Serieus Traffic probleem, graag alleen serieuze reacties.

[Koffievlek.nl]

Ik zit met een 'klein' probleem. Ik ben webmaster van een website, en ik wordt overspoeld door bezoekers. Geen probleem zou je denken...

Gisteren bleef te Nedstat teller op bijna 40.000 bezoekers hangen, dit is vrij veel voor een website, en ik heb daardoor ook erg veel last van pagina's die onbereikbaar zijn (too many connections).

Vandaag zitten er ook weer 35.000 aan te komen. Ik kan natuurlijk dat deel wat veel bezoekers trekt offline gooien, maar daar heb ik geen website voor geopend. Wat ik wil is dit:

Ik wil er voor zorgen:

1. Dat deze stromen aan traffic beheersbaar worden, daar wil ik mee zeggen, dat de website voor iedereen toegangelijk is en blijft.

2. Ik wil de kosten beheersbaar houden. Ik kan en -wil- geen dure (quad P4 Xeon blablabla) servers veroorloven. De webruimte en vooral bandbreedte (GB's) zal aan de hand van sponsoring en reclame opbrengsten opgebracht moeten worden.

Mijn pagina is niet altijd zo druk. Hiervoor zat ik rond de 1500/2000 bezoekers per dag. Maar dit soort uitschieters wil ik wel kunnen opvangen en kunnen gebruiken als mooie aanwinst ipv. dure bezoekers...

Zijn er mensen die zo'n zelfde scenario hebben meegemaakt, en hoe ga je hier dan mee om?

Ik heb expres niet mijn url in de post gezet ivm. paranoide modjes. Je kan zelf wel raden wat de site is...

[0siris]

1). Sta je ergens op een vrij populaire site genoemd (een andere dan t.net )
2). Kun je zien waar ze vandaan komen?
3). Kun je de intropagina van je site veranderen in iets van een paar KB groot ipv meteen al een flinke pagina van ruim 100 KB?

[ Voor 4% gewijzigd door 0siris op 30-01-2004 12:23 ]

[Liqued]

Als ik zo ff naar je netstat gegevens kijk, dan lijkt dit meer een "één malige" uitschieter. Je kan aan je ISP vragen of je site tijdelijk op een andere server verplaatst kan worden (dit heb ik ook een keertje gedaan toen ik een enquête voor 100.000 mensen op mijn domein plaatste).

Je kan ook eens kijken waar die bezoekers precies vandaan komen en aan die site vragen of die bezoekers naar een pagina worden gestuurd met bijna alleen maar tekst van die bepaalde post waarna ze verwijzen (scheeld een hoop in traffic).

ps. je URL staat ook in je sig en is ook gelijk je username

[ Voor 4% gewijzigd door Liqued op 30-01-2004 12:27 ]

[Rac-On]

hmzz ja ik kan er ook niet op nee..

Je kan proberen er achter te komen waarom er zo veel connecties zijn? Wat voor server draait je site nu op?

Het is nu inderdaad een vrij heftige FP... dat gaat wel bandbreedte trekken...

[Liqued]

rac-on schreef op 30 januari 2004 @ 12:26:
hmzz ja ik kan er ook niet op nee..

F5'en

[sjaak]

Heb je de max. connectie's wel ingesteld op IIS voor zo'n hoog bezoekersaantal?

[BalusC]

rac-on schreef op 30 januari 2004 @ 12:26:
Je kan proberen er achter te komen waarom er zo veel connecties zijn?

Dat lijkt me ook het meest belangrijkste. Dit lijkt gewoon teveel op een soort van website-DDOS.

[Koffievlek.nl]

Ik weet precies waar ze vandaan komen, en door wat.

Met die eenmalige uitschieter ben ik het eens ja. Maar ik voorzie al wel een beetje dat de pagina een stuk drukker gaat worden, dan ie was. Vandaar dat ik mij af vraag hoe je hier dan een blijvende oplossing voor moet maken.

Wat zijn de mogelijkheden met sponsoring, aan wat moet ik dan denken en in ruil voor wat precies? Dus hoeveel bezoekers voor hoeveel GB's en webruimte of te wel hosting?

[jep]

Too many connections klinkt meer als een php oopsje, kan dat? Naar je database toe dus.

[Verwijderd]

Als je nou een hoster zoekt waarbij het niet erg is om te pieken naar dergelijke bezoekers aantallen en waarbij het ook geen performance of bereikbaarheids problemen geeft?

[jep]

BalusC schreef op 30 januari 2004 @ 12:39:
[...]
Dat lijkt me ook het meest belangrijkste. Dit lijkt gewoon teveel op een soort van website-DDOS.

Die doen ze echt niet op zo'n manier . En daar gaat nedstat ook niet van ratelen. Ik gok dat je ergens gelinked staat. Ik deed laatst 40mbit, hadden ze een filmpje op retecool gezet.

offtopic:
DeLaNo kijk uit met 't ams-ix logo op je site, daar zijn ze erg streng op geworden . Laatst zijn alle members gevraagd om hun klanten 't logo weg te laten halen... so you know

[ Voor 43% gewijzigd door jep op 30-01-2004 12:43 ]

[ACM]

40k bezoekers op een dag en je suggereert dat je een quad-xeon doos nodig zou hebben ??
Het fok-forum heeft een hele tijd op een dual p3 1Ghz gedraaid met een dual p3 1Ghz database (die ook de fok-frontpage doet) en het was behoorlijk zwaar belast, maar draaide dan ook ~ een half miljoen bezoekers op een dag (en volgens mij kreeg niemand een "too many connections"-melding van apache).

Dus imho heb je totaal geen dure server nodig om 40k bezoekers te trekken... Als je echter downloads aanbiedt, dan kon je wel es "out of connections" raken ja omdat ze dan veel langer bezet blijven... Maar dat kan je beter ook gewoon zo min mogelijk aanbieden. (kost hoop geld voor weinig potentiele inkomsten enzo)

[Verwijderd]

jep schreef op 30 januari 2004 @ 12:41:
[...]

offtopic:
DeLaNo kijk uit met 't ams-ix logo op je site, daar zijn ze erg streng op geworden . Laatst zijn alle members gevraagd om hun klanten 't logo weg te laten halen... so you know

Dat gebeurd niet, ik heb contacten bij de ams-ix, ik mag het gewoon voeren daar ik ook al opties heb lopen.

[ Voor 3% gewijzigd door Verwijderd op 30-01-2004 12:49 ]

[Rac-On]

Liqued schreef op 30 januari 2004 @ 12:28:
[...]


F5'en

de nuttige reply... wat denk je dat ik gedaan heb? Was gewoon meer een vaststelling omdat ik zelf ff ging kijken...

Maar goed, nogmaals, wat voor machine/software draait die site mee?

[i2Paq]

Op je eigen site roep je iets over een filmpje waarvan je de link inmiddels hebt verwijderd (je geeft een link op naar een andere site) en verklaar je verder dat je met je hoster gaat praten. Heb je inmiddels al gepraat en zo ja, wat was de uitkomst? Zo nee, eerst maar eens doen, zij kunnen je als geen ander de oplossing bieden indien je vaker van deze pieken verwacht.
Lijkt me voorbarig hier van alles te roepen terwijl jij nog gaat/moet onderhandelen.

[Maestro.mosjuh]

ik zou idd graag willen lezen hoeveel dataverkeer je op een dag trekt...
en al er over nagedacht de beginpagina te switchen met een veel 'lichtere' ?

[pistole]

heb je al onderzocht waarom je die foutmelding krijgt?
-connecties naar database / files / bestanden

Er zijn meerdere settings die dit kunnen voorkomen, waaronder
-verhogen max connecties
-connection timeout verlagen (even je virtual website herstarten om gelijk te activere)

Ook kan ik je aanraden (als je desktop- of netwerktoegang hebt) eens een performance monitor te laten lopen en relevante counters te bekijken:
-... lijstje

* pistole beheert/host o.a. een site die dagelijks meer dan 400k hits trekt. Aangezien dit allemaal "korte" requests zijn is het daar erg raadzaam de connection timeout drastisch te verlagen

[ Voor 21% gewijzigd door pistole op 30-01-2004 13:01 ]

[Guru Evi]

Wat heb je op dit moment qua hardware met welke bandbreedte?

Kun je misschien meerdere goedkope servers met een of andere soort van loadbalancing (al was het maar dns-gewijs)?

Is het mogelijk om misschien uw dynamische pagina's te laten cachen door een squid proxy en om de x-aantal tijd pas te verversen?

Als je echt zoveel bezoekers hebt, denk ik wel dat het mogelijk moet zijn om een "duurdere" oplossing te verkrijgen.

Gebruik eens Apache ipv IIS (gaat al veel helpen). Misschien een andere hoster die meer biedt voor minder of evenveel geld?

[ Voor 15% gewijzigd door Guru Evi op 30-01-2004 13:04 ]

[pistole]

Guru Evi schreef op 30 januari 2004 @ 13:03:
Gebruik eens Apache ipv IIS (gaat al veel helpen). Misschien een andere hoster die meer biedt voor minder of evenveel geld?

Over nuttige replies gesproken..

Ik zie dat je je site laat hosten door www.vevida.nl
Ik ken deze mensen niet, maar het lijkt mij dat als je hun professionele (?) diensten gebruikt, dat zij dit probleem voor je moeten oplossen.

[Koffievlek.nl]

EDIT Ik heb net contact met Vevida opgenomen, de aantal connecties staat nu op 250, en de connection time is verkort. Dit op aanrader van Pistole. Thx.

Koffievlek lijkt zo waar weer een beetje te draaien.


Het verhaal is zo: ik zit nu nog bij vevida.nl. Deze vragen mij teveel geld voor traffic. Ik ben gaan zoeken naar een andere host, en heb er eentje gevonden. Maar dit is al weer zo'n 2 weken terug.

Ik heb mijn account bij vevida inmiddels al opgeheven, en het verloopt rond de maand mei.

Met de nieuwe host heb ik (toen) een afspraak gemaakt voor 50MB / en zo'n 8 tot 10GB traffic. Maar ik ga nu als het even mee zit behoorlijk wat meer draaien...
Kan ik met een banner naar hun toe, vragen om de bandbreedte kwijt te schelden? Dit gebeurt nl. wel bij de grote websites als Flabber.nl en Coolios.flabber.nl.

_

Dan wordt mij gevraagd door i2paq waarom ik hier een vraag stel... Ik vraag het juist, zodat ik weet waarover ik kan onderhandelen, en wat een beetje redelijk is om te vragen van een hoster.

[ Voor 13% gewijzigd door Koffievlek.nl op 30-01-2004 13:56 ]

[Liqued]

Kan je niet beter kijken naar adverteerders ipv sponsoring van een ISP? Als je kan aantonen dat je meer dan 50.000 bezoekers per dag trekt, dan kan je eens serieus met advertensie bedrijven gaan praten (bv http://www.webads.nl of ga eens naar http://webvertising.pagina.nl/ voor meer van dat soort bedrijven).

[Maestro.mosjuh]

ok; ik heb opeens een helder idee... (gebeurt ook niet vaak )
uit bovenstaand verhaaltje maak ik op dat je nu tijdelijk 2 hosters hebt,
en al eerder heb je aangegeven dat de vraag tijdelijk hoger zal liggen (zal later weer afnemen).

mijn tip:
draai op je oude pagina een script die de balast een beetje verdeelt (1 bezoeker naar de ene hoster, de andere naar de ander). zo heb je veel minder load per server en zal het waarsch beter draaien

vertel het mij als ik een denk/leesfout gemaakt heb.

edit:

Als je kan aantonen dat je meer dan 50.000 bezoekers per dag trekt, dan kan je eens serieus met advertensie bedrijven gaan praten

op zijn topdag haalde hij 40.000...

[ Voor 16% gewijzigd door Maestro.mosjuh op 30-01-2004 13:55 ]

[Verwijderd]

Koffievlek.nl schreef op 30 januari 2004 @ 13:35:
Het verhaal is zo: ik zit nu nog bij vevida.nl. Deze vragen mij teveel geld voor traffic. Ik ben gaan zoeken naar een andere host, en heb er eentje gevonden. Maar dit is al weer zo'n 2 weken terug.

Vevida vraagt helemaal niet teveel geld voor traffic, misschien vind jij het te duur, maar hun prijzen zijn helemaal niet duur voor wat ze leveren.

[killercow]

Er zijn genoeg oplossingen, als je bijvoorbeeld de gasten van rushcommerce.com mailt of ze intresse hebben dan kun je wellicht een deal maken over de hosting, daar draait een van mijn websites ook , ze willen dan alleen banner ruimte op je sites waarop ze producten verkopen.

40k bezoekers per dag moet geen probleem zijn, een beetje server kan dat met gemak aan, (als je scripts niet al te blunt zijn natuurlijk.) ook de traffic kan je op allerlei manieren beperken.

[Ramon]

ik zou voordat je gaat denken aan extra hardware eens kijken hoe je je pagina's kan optimaliseren eigenlijk. Kijk bijvoorbeeld eens naar het gebruik van externe CSS-files ( kan clientside gecached worden == minder dataverkeer voor jou). Daarnaast kan je misschien kritisch naar je eigen pagina kijken en bedenken of je misschien plaatjes weg kan doen en vervangen voor tekst.

[pdehoop]

10 euri per gb is behoorlijk wat....
colocatie kun je vaak met 3 euri per gb krijgen...

dan is 3x zoveel betalen voor traffic bij normale hosting wel wat veel hoor.

[Koffievlek.nl]

pdehoop schreef op 30 januari 2004 @ 14:13:
10 euri per gb is behoorlijk wat....
colocatie kun je vaak met 3 euri per gb krijgen...

dan is 3x zoveel betalen voor traffic bij normale hosting wel wat veel hoor.

Volgens Delano niet.

[Verwijderd]

Koffievlek.nl schreef op 30 januari 2004 @ 14:16:
[...]


Volgens Delano niet.

10 euro per extra gb? aja, das wel duur ja

Maar ik weet dat vevida een prima bedrijf is, ken hun prijzen verder niet, ging er beetje vanuit dat ze redelijk normaal zijn. 10 euro/gb is idd behoorlijk veel.