Wat is de beste indeling bij een grote belasting?

[Gerwin]

Hallo allemaal, ik heb een vraag over hoe ik iets het beste kan gaan doen. Ik heb een website die heel erg druk bezocht wordt en waar banners op draaien die binnen een bepaalde tijd refreshen, hij roept dan een bannerprogramma aan die de banner roleert.

Nu de vraag: ik heb een stuk of 30 banners staan die dus continu worden geraadpleegd (elke seconde wel 10+). Alles draait op 1 server. Nu vraag ik me af of de server dit wel kan bolwerken, wat is dan een betere structuur. Heel veel directory's met enkele banners. Zodat de activiteit over de directory's versprijd wordt of maakt dit niet uit en kan net zo goed alles in één directory staan?

[bloasfist]

Intuitief zou ik zeggen dat je het beter allemaal in 1 dir kan laten staan. Maarja, wie ben ik . Er zullen vast wel mensen zijn die zoveel kennis van dirren op schijven hebben dat ze een logische verklaring hebben welke oplossing minder belastend is voor het systeem.

edit:

typo

[scorpionv]

Spreid het over meerdere schijven en bussen. Dit draait volgens mij vooral om je bandbreedte naar 1 schijf toe.

[Expander]

Zorgen dat die 30 banners in je werkgeheugen komen.

[DJSmiley]

Op woensdag 29 augustus 2001 23:43 schreef Expander het volgende:
Zorgen dat die 30 banners in je werkgeheugen komen.

Idd, die banners zijn denk ik statisch, dus die kan je wel in je geheugen krijgen...


Dunno welk os erop draait, bij windows kan je maybe zelfs een ramdrive aanmaken

Al is er natuurlijk een elegantere oplossing.. iets van een proxy-achtig iets ofzo?? tnet heeft d8 ik ook zoiets.

[Coen Rosdorff]

Op donderdag 30 augustus 2001 00:14 schreef DJSmiley het volgende:

Dunno welk os erop draait, bij windows kan je maybe zelfs een ramdrive aanmaken

Linux ook hoor. En ik heb zo'n vaag vermoeden dat de BSD's dat ook wel kunnen.

Al is er natuurlijk een elegantere oplossing.. iets van een proxy-achtig iets ofzo?? tnet heeft d8 ik ook zoiets.

Dat is tot nu toe nog bij nadenken gebleven.
2 Machine's met squid als reverse proxy zouden redelijk eenvoudig als loadbalancer ingezet kunnen worden en dan gelijk de static content cachen.

[Gerwin]

Er draait een Apache op. Ik heb verder geen controle over de schijf zelf (de server).

Maar als die 30 banners nu heel erg intensief opgevraagd worden. Laten we het extreme nemen elke 10 keer per seconde. Is het dan verstandig ze allemaal in één directory te zetten of ze allemaal in een eigen directory. Ik heb van verschillende mensen eens iets vernomen dat dit minder belastend moet zijn voor de server en de snelheid ten goede komt. Bovendien zijn er minder kans op fouten dacht ik.

Klopt dit of maakt het helemaal geen barst uit. Alles draait op 1 server.

[Verwijderd]

...en waar banners op draaien die binnen een bepaalde tijd refreshen, hij roept dan een bannerprogramma aan die de banner roleert.

De meeste banner rotators werken via perl of php en als dat bij jou ook zo is moet je daar naar kijken i.p.v. de lokatie van je banners. Apache cached tenslotte zelf ook dus ik zou me daar niet zo druk over maken.
De banners die op je pagina's staan... zijn dat gewone <img> tags of zijn dat SSI exec's of includes ofzo?

Als je 10 van die banners op een pagina hebt staan en ze worden er b.v. met een perl scriptje via SSI ingeramd, dan heb je dus met 10 requests per seconde, 100 perl scriptjes per seconde draaien.
Als daar dan nog wat php processing overheen moet (klokje, bezoekersaantallen of andere dynamische shit) dan krijgt de server het wel druk ja.

Indien mogelijk moet je je pagina's statisch maken. Ik heb na veel gezeur met bestaande rotators zelf maar iets gebouwd maar je kan b.v. Webads best makkelijk aanpassen. Ik parse nu iedere minuut de .html pagina's en vervang de banners zodat het zoveel mogelijk statische content is. Een verschil van dag en nacht.

[Gerwin]

Op donderdag 30 augustus 2001 01:53 schreef MarcoTC het volgende:

[..]
De banners die op je pagina's staan... zijn dat gewone <img> tags of zijn dat SSI exec's of includes ofzo?
[..]

De banners die op mijn pagina staan zijn IMG tags die aangeroept worden door een script van Webadverts. Als ik het goed begrijp moet dit dus geen probleem opleveren. Ik kan alles gerust in 1 hele grote directory plaatsen en hoef voor een beter rendement niet per groepje van banners een aparte directory te creëren. Daar ging het me eigenlijk om. Die SSI ging me veel te traag daar ben ik vanaf.

[Coen Rosdorff]

Je zegt niets over het OS dat je gebruikt, maar als dit Linux/BSD/Unix is, dan maakt de plek van de banners echt niets uit. Als er genoeg RAM in die machine zit, dan zullen die bannertjes allemaal fijn uit het cache komen.

[Verwijderd]

Een beetje server served makkelijk 500 banners per seconde hoor... geen probleem volgens mij, tenzij je een heel erg bagger systeem hebt.

Ik heb ons eigen banner systeem ook ooit eens liggen benchmarken om te kijken of het een beetje (D)DoS attack kan overleven, alles vanaf 1 server en na 10.000 banners per seconde gaf ie het dan toch wel zwaar op (kan me voorstellen dat je bandbreedte het dan al lang heeft begeven). Voor elke banner worden ook nog eens 2 SQL queries verzonden naar de database die locaal op de server staat. Het is gebaseerd op PHP en MySQL en draait op een redelijk flinke FreeBSD bak; dus 10 requests per seconde, daar hoef je je voorlopig nog niet zo druk over te maken.

Het grootste probleem als je veel banners tegelijk serverd bij mij was dat de database het niet meer echt kon bijhouden en enorm veel geheugen begon te vreten. Als je banners niet uit een database komen, dan komt het toch allemaal uit de cache van je webserver en hoef je je helemaal nergens druk over te maken.

[Macros]

Er is geen snelheids verschil tussen alle banners in 1 dir of verspreid over meerdere dirs. Dat maakt dus niets uit.

Verder komen die banners vanzelf in de cache te staan van het os dan wel de webserver applicatie. Dus na een tijdje staan ze allemaal vrolijk in het geheugen dus gaat het nog sneller.

Tada, al zijn antwoorden beantwoord.

[igmar]

Linux ook hoor. En ik heb zo'n vaag vermoeden dat de BSD's dat ook wel kunnen.

Vast wel. Alleen niet echt nodig aangezien zowel BSD als Linux een meer dan uitstekende cache hebben die dit soort zaken in de cache opslaan. Je moet alleen zorgen dat je voldoende geheigen hebt.

Dat is tot nu toe nog bij nadenken gebleven.
2 Machine's met squid als reverse proxy zouden redelijk eenvoudig als loadbalancer ingezet kunnen worden en dan gelijk de static content cachen.

Ook een oplossing, maar met dynamische zooi werkt het niet.. Werken wel, maar het biedt geen voordeel.

[Gerwin]

Op donderdag 30 augustus 2001 21:10 schreef Macros het volgende:
Er is geen snelheids verschil tussen alle banners in 1 dir of verspreid over meerdere dirs. Dat maakt dus niets uit.

Verder komen die banners vanzelf in de cache te staan van het os dan wel de webserver applicatie. Dus na een tijdje staan ze allemaal vrolijk in het geheugen dus gaat het nog sneller.

Tada, al zijn antwoorden beantwoord.

Heel erg bedankt voor je antwoord. Maakt dus niets uit... en wat een "collega" zei is dus lulkoek. Maar een second opinion is nooit verkeerd. Ik weet genoeg.

Allemaal heel erg bedankt voor de reacties!

[PanMan]

Het schijnt dat als je een hoop plaatjes hebt (1000 oid), je ze beter over meerdere dir's kan verspreiden, dan allemaal in 1 dir stoppen. Maar, bij zo'n beperkt aantal banners moet je er vooral voor zorgen dat ze idd. gecacht worden in het geheugen. Misschien kan je dat forcen, nooit onderzocht.
Success,
PanMan.

[Verwijderd]

Ik denk dat je beter de refresh eruit kan halen want ook al kan de server het aan.
Je traffic zal lekker stijgen als er elke een banner ingeladen wordt.
500 keer 10KB dat keer 30 tikt lekker aan
Reken ik nog minimaal.