Forum zeer traag: oorzaak hoge server load?

[2Dutch]

beste mensjes, ik zit nu een aantal minuten te proberen om een topic te herladen, een topic in LA te open..maar het duuuuuuurt
Niet meer normaal en heb hier toch 768/128 liggen
Zit met een aantal andere GOTters te ICQen, die zeggen precies hetzelfde.
Nu heb ik even bij .plan gekeken en bij de server stats. Nu valt het me op dat een hoop van die bakken zeer hoog zitten met de server load? Is dat normaal of wat is dan de reden dat alles loopt alsof het 9600 baud is? Gister liep het nog aardig, maar vandaag..

edit:

Het plaatsen van dit bericht duurde ruim een halve minuut...

[ Voor 7% gewijzigd door 2Dutch op 24-10-2003 13:30 ]

[GGS_206]

Ik heb der ook last van, wel lastig soms

[Verwijderd]

Idd, ik zit me hier te verbijten op de traagheid. Sinds de upgrade is het voornamelijk overdag ERG traag. Wat is er aan de hand?

[chem]

De posthistory is, ondanks het feit dat de queries en werking onveranderd is, verantwoordelijk voor queries die letterlijk minuten duren.
We zijn er mee bezig, maar hebben nog geen oplossing.

[SyS_ErroR]

veel succes dan! is er eigenlijk een lopend draadje waarin alle changes staan van de nieuwe versie?

[2Dutch]

Gelukkig is er een oorzaak aan te wijzen
Zou het niet handiger zijn om GOT dan even tijdelijk plat te gooien? Of ben ik nu blond?

[gomaster]

@ SyS_ErroR wat dacht je van med ns lezen

[curry684]

2Dutch: het tijdelijk verwijderen van het de topichistory-php-file lijkt me beter idee dan

[Glacier]

Het is inderdaad niet te harden zeg Het lijkt wel of jullie de servers in oezbekistan (of hoe je dat ook moge schrijven ) staan
Hopelijk wordt er snel een oplossing gevonden...

[JvS]

zeg curry, zou je voortaan de edit knop willen gebruiken?

[curry684]

Hmmm frustraties uitleven op de Alt-S knop wordt blijkbaar niet betrapt door het double_post filter

(de nieuwe multiselect trash is hier wel handig trouwens )

[Sick Nick]

Total: 36.14 | Incl: 0.04, Init: 25.72, Action: 11.81 | DB: 20.24/23, Tpl: 0.02

Nice

[Han]

Volgens mij is het gefixed

[Verwijderd]

Curry telt voor 4??

Het rare is dat er momenten zijn dat het weer supersnel is

Nou ja, we wachten af.

[the_stickie]

curry684 schreef op 24 oktober 2003 @ 13:43:
2Dutch: het tijdelijk verwijderen van het de topichistory-php-file lijkt me beter idee dan

1 keertje lijkt me genoeg niet

het problem was gistereen al, en ik heb ook een keertje gehad dat ik (zeker) maar 1 ker iets gepost had en (zeker) maar 1 keer geklikt had, maar dat het er wel 2 keer stond...

misschien een deel van de oorzaak of eerder een deel van het gevolg?

edit: maar gij geeft eerlijk toe meerdere keren ge alt-s't te heben, of geklikt, dus kan ook toeval zijn

[ Voor 11% gewijzigd door the_stickie op 24-10-2003 13:52 ]

[2Dutch]

curry684 schreef op 24 October 2003 @ 13:43:
2Dutch: het tijdelijk verwijderen van het de topichistory-php-file lijkt me beter idee dan

Okee, als jij het zegt
Want wat is er dan zo anders tussen 1.8 en 1.9 zou je dan denken.. Maar goed, ik merk het wel als het weer beter gaat, het heeft tijd nodig lijkt mij.

[Possible]

yep het is erg snel weer nu
Btw even een vraagje: Hoeveel servers draaien er in totaal om dit hele forum op te zetten ? was ik wel beniewd na

[Sir_Killalot]

SyS_ErroR schreef op 24 October 2003 @ 13:38:
veel succes dan! is er eigenlijk een lopend draadje waarin alle changes staan van de nieuwe versie?

Woensdag 22-10 overstap react 1.8 -> 1.9

[Verwijderd]

Jup hij doet nu weer een beetje snel
Toenstraks zag ik ook nog stuk of 6 mysql errors
toen deed het Got kleine 30 sec niet meer
daarna weer wel..

[wildhagen]

Het is beter, maar nog steeds niet heel erg snel, wisselt nogal...

Total: 6.81 | Incl: 0.04, Init: 5.02, Action: 2.3 | DB: 3.94/23, Tpl: 0.02
Total: 6.81 | Incl: 0.03, Init: 6.6, Action: 0.33 | DB: 3.99/17, Tpl: 0.01
Total: 9.17 | Incl: 0.04, Init: 7.57, Action: 4.03 | DB: 8.94/17, Tpl: 0.01

[ Voor 15% gewijzigd door wildhagen op 24-10-2003 14:00 ]

[JT]

w031, hier loopt het weer snel

Total: 0.32 | Incl: 0.11, Init: 0.16, Action: 0.18 | DB: 0.24/23, Tpl: 0.02

[Illegal_Alien]

Jep draait were als een vrolijke puppy:

Total: 0.13 | Incl: 0.04, Init: 0.05, Action: 0.08 | DB: 0.06/23, Tpl: 0.02

[Stoffel]

Illegal_Alien schreef op 24 oktober 2003 @ 14:10:
Jep draait were als een vrolijke puppy:

Total: 0.13 | Incl: 0.04, Init: 0.05, Action: 0.08 | DB: 0.06/23, Tpl: 0.02

Hier toch nog niet bepaald

[Erkens]

_-SToFFeL-_ schreef op 24 oktober 2003 @ 14:13:
[...]


Hier toch nog niet bepaald

Total: 0.2 | Incl: 0.07, Init: 0.07, Action: 0.14 | DB: 0.08/26, Tpl: 0.04

alleen myReact doet er wat langer over:
Total: 12.48 | Incl: 0.04, Init: 0.05, Action: 12.45 | DB: 12.26/44, Tpl: 0.08

[Stoffel]

Erkens schreef op 24 oktober 2003 @ 14:24:
[...]

Total: 0.2 | Incl: 0.07, Init: 0.07, Action: 0.14 | DB: 0.08/26, Tpl: 0.04

alleen myReact doet er wat langer over:
Total: 12.48 | Incl: 0.04, Init: 0.05, Action: 12.45 | DB: 12.26/44, Tpl: 0.08

Yep, klopt idd, de posthistory kan nog altijd beter schriftelijk opgevraagd worden geloof ik

De rest is weer lekker snel.

[gomaster]

Total: 28.06 | Incl: 0.04, Init: 21.55, Action: 10.62 | DB: 21.01/23, Tpl: 0.04
niet echt snel te noemen. Ik probeerde nog een profile op te vragen maar dat gebeurde al helemaal niet
Misschien tijdelijk ff de posthistory weghalen totdat dit gefixed is?

[wildhagen]

Nou, ik heb het record geloof ik te pakken: Total: 50.23 | Incl: 0.04, Init: 48.81, Action: 2.01 | DB: 5.13/17, Tpl: 0.02, ik heb tenminste nog geen hogere waarden gezien...

[ Voor 10% gewijzigd door wildhagen op 24-10-2003 14:52 ]

[Wildfire]

wildhagen schreef op 24 oktober 2003 @ 14:42:
Nou, ik heb het record geloof ik te pakken: Total: 50.23 | Incl: 0.04, Init: 48.81, Action: 2.01 | DB: 5.13/17, Tpl: 0.02, ik heb tenminste nog geen hogere waarden gezien...

Wow, da's bijna een minuut wachten. Ik zit hier voornamelijk op waarden van een halve minuut...

Zoiets als

Total: 24.96 | Incl: 0.03, Init: 20.91, Action: 5 | DB: 17.44/22, Tpl: 0.01

En dat was dan alleen maar het naar LA gaan...

[Han]

Zullen we anders dit topic geen opsomtopic van loadtijden laten worden? Dank u

[jelmervos]

Heeft het misschien hier iets mee te maken?

[crisp]

Delphi schreef op 24 oktober 2003 @ 14:59:
Heeft het misschien hier iets mee te maken?

Die hoeveelheid delete-queries is wel opmerkelijk

[DarkX]

Wat is er veranderd dat de posthistory ineens om een dergelijk hoge load vraagt

[G33rt]

DarkX schreef op 24 October 2003 @ 15:24:
Wat is er veranderd dat de posthistory ineens om een dergelijk hoge load vraagt

er is dus bijna niets veranderd volgens chem, dat is zo vreemd.

wel is Apollo de posthistories aan het deleten ofzo, die delete queries zijn wel erg extreem veel

laten we hopen dat het gefixed kan worden.

[chem]

G33rt schreef op 24 October 2003 @ 15:27:
[...]

er is dus bijna niets veranderd volgens chem, dat is zo vreemd.

wel is Apollo de posthistories aan het deleten ofzo, die delete queries zijn wel erg extreem veel

laten we hopen dat het gefixed kan worden.

gut, dat wist ik helemaal niet

[chem]

Die deletes zijn trouwens de auto-expiring usergroup memberships.

[DarkX]

Whuh? Wasda?

Maar er is geen idee wat post history nu ineens fout doet?

En nu is mijn post history uit mijn myreact?

[ Voor 25% gewijzigd door DarkX op 24-10-2003 15:53 ]

[curry684]

Iig is de find-on-poster nu fix0red en loopt de rest van het forum nu ook niet meer als dikke stront door een koffiefilter

[DarkX]

Ik merk het

Mag ik nu mijn post history weer terug in mijn MyReact?

[G33rt]

Ik heb de posthistory tijdelijk uitgeschakeld in MyReact, als je problemen ondervind kan je dat zelf ook natuurlijk nog doen.

Chem: die opmerking was grappig bedoeld, was dat echt zo?

[Jasper]

De post history in myReact is inderdaad tijdelijk uitgeschakeld.

[G33rt]

Jasper schreef op 24 October 2003 @ 16:22:
De post history in myReact is inderdaad tijdelijk uitgeschakeld.

dat zie ik nu pas, ik had em zelf daarvoor al op 0 gezet

[pisart]

Jasper schreef op 24 October 2003 @ 16:22:
De post history in myReact is inderdaad tijdelijk uitgeschakeld.

Wanneer komt ie terug? Ik mis hem nogal

[G33rt]

pisart schreef op 25 October 2003 @ 10:19:
[...]


Wanneer komt ie terug? Ik mis hem nogal

hij komt vast wel terug op het moment dat http://gathering.tweakers.net/forum/find/poster/$id niet meer lang wachten oplevert, dan werkt het zaakje weer

edit @ 15:20: bij mij werkt find/poster nu weer lekker snel, betekent dat dat we in Myreact ook weer post history mogen?

[ Voor 20% gewijzigd door G33rt op 25-10-2003 15:20 ]

[ACM]

't Probleem is dat er helemaal nog niks aangepast is (verder, tov vrijdagmiddag).
't Zal daardoor eerder "lekker snel" zijn omdat er gewoon domweg minder opvragingen van de posthistory zijn, met als gevolg dat als het in myreact weer aangaat de boel weer sloom is

[ Voor 7% gewijzigd door ACM op 26-10-2003 18:25 ]

[Arnout]

Er zijn 20 resultaten, verdeeld over 1 pagina's, op deze pagina zijn 5 niet weergegeven vanwege rechtenconflicten.
Er is gezocht op: system.alt

rechtenconflicten?

[bazs2000]

Ja, crewfora komt er ook in voor en die mag jij niet zien. Dat is een rechtenconflict.

[DarkX]

ACM> Ik wil niet supervervelend zijn, maar het lijkt me sterk dat het uitschakelen van MyReact posthistory ineens zoveel verlichting oplevert? Daarbij, het verbaast met gewoon dat er ineens zoveel meer aanvragen zijn dat het Got vertraagd? Ik kan me voorstellen dat posthistory veel aangevraagd wordt, maar waarom is het nu een probleem, en voor 1.9 niet?

Begrijp me goed, ik wil jullie niet afzeiken ofzo, maar ik vraag me serieus af wat er veranderd is

[Rafe]

Er is niks aan de queries veranderd , maar toch levert het sinds 1.9 opeens queries op die minutenlang blijven hangen om de een of andere manier (tenminste, dat was wat ACM ooit zei dacht ik).

[ Voor 9% gewijzigd door Rafe op 26-10-2003 21:42 ]

[Verwijderd]

Gokje, bij elke record in de post history wordt nu gechecked of deze mag worden getoond adhv een group membership relatie?

Dat is bij mij in eerste instantie gezien de changelog de eerste ingeving.

Of zijn de indexes nog niet gereed, of zijn ze niet goed aangemaakt.. etc. etc.

[ACM]

DarkX schreef op 26 October 2003 @ 21:38:
ACM> Ik wil niet supervervelend zijn, maar het lijkt me sterk dat het uitschakelen van MyReact posthistory ineens zoveel verlichting oplevert? Daarbij, het verbaast met gewoon dat er ineens zoveel meer aanvragen zijn dat het Got vertraagd? Ik kan me voorstellen dat posthistory veel aangevraagd wordt, maar waarom is het nu een probleem, en voor 1.9 niet?

Waarom lijkt je dat sterk

De query voor de posthistory is behoorlijk zwaar, een van de zwaarste die react kent. Myreact bevat daarnaast ook nog een AT en die custom-forum-lijst, etc, dus dat maakt het extra zwaar, met de posthistory als topper.
Elke keer dat myreact opgevraagd wordt is dat dus een grote extra belasting op de server die er met het uitgeschakeld zijn van de posthistory veel minder is.
Dus ja, het lawine effect van 1 klein dingetje dat wat langer duurt dan anders en daardoor al het andere enorm vertraagt is goed mogelijk.

Maar we weten niet waar het precies aan ligt, de posthistory lijkt de dader te zijn, maar dat kan best iets zijn dat al halverwege de lawine is, ipv aan het begin.

[curry684]

bazs2000 schreef op 26 October 2003 @ 18:31:
Ja, crewfora komt er ook in voor en die mag jij niet zien. Dat is een rechtenconflict.

Lijkt me niet echt het probleem hoor:

Er zijn 21 resultaten, verdeeld over 1 pagina's, op deze pagina zijn 100 niet weergegeven vanwege rechtenconflicten.
Er is gezocht op: system.alt
Woord frequenties: system: 123097, alt: 12048
Database van 800321 documenten doorzocht in 28,067s.

Da's mijn resultaat op die query

ACM: zijn al deze problemen wellicht te ondervangen door de oudste 100000 topics te backuppen en tijdelijk te deleten uit de normale database? Daar het blijkbaar een probleem met de grootte van de DB is....?

[DarkX]

ACM schreef op 27 October 2003 @ 11:44:
[...]

Waarom lijkt je dat sterk

De query voor de posthistory is behoorlijk zwaar, een van de zwaarste die react kent. Myreact bevat daarnaast ook nog een AT en die custom-forum-lijst, etc, dus dat maakt het extra zwaar, met de posthistory als topper.
Elke keer dat myreact opgevraagd wordt is dat dus een grote extra belasting op de server die er met het uitgeschakeld zijn van de posthistory veel minder is.
Dus ja, het lawine effect van 1 klein dingetje dat wat langer duurt dan anders en daardoor al het andere enorm vertraagt is goed mogelijk.

Maar we weten niet waar het precies aan ligt, de posthistory lijkt de dader te zijn, maar dat kan best iets zijn dat al halverwege de lawine is, ipv aan het begin.

Nou, mensen die posthistory willen opvragen doen het nu toch gewoon via posthistory? Hoe zorgt myreact voor zoveel extra aanvragen?

Ow, niet dat ik je wil betwijfelen hoor, maar ik vraag het me gewoon af

[Hahn]

DarkX schreef op 27 October 2003 @ 14:20:
[...]


Nou, mensen die posthistory willen opvragen doen het nu toch gewoon via posthistory? Hoe zorgt myreact voor zoveel extra aanvragen?

Ow, niet dat ik je wil betwijfelen hoor, maar ik vraag het me gewoon af

Er zijn zat mensen die hun posthistory niet gebruiken, maar wel gewoon laten staan. En als je naar je myReact gaat is het niet altijd je bedoeling om in je posthistory te kijken, terwijl die wel wordt gegenereerd, wat dus load kost zonder dat er gebruik van gemaakt wordt

[Stoffel]

Als je er gewoon een pref van maakt die je aan moet zetten scheelt dat waarschijnlijk al zeker de helft aan totale load

[Erkens]

_-SToFFeL-_ schreef op 28 October 2003 @ 00:55:
Als je er gewoon een pref van maakt die je aan moet zetten scheelt dat waarschijnlijk al zeker de helft aan totale load

die is er toch ook
je kan een aantal invullen waarbij 0 staat voor geen

[Verwijderd]

MaRc0 schreef op 27 oktober 2003 @ 14:24:
En als je naar je myReact gaat is het niet altijd je bedoeling om in je posthistory te kijken, terwijl die wel wordt gegenereerd, wat dus load kost zonder dat er gebruik van gemaakt wordt

Als dat het probleem is, dan is er gewoon echt iets mis. (Niet negatief bedoeld.) Maar een forum bestaat nu gewoon uit data, uit heel erg veel data elke pageview weer... terwijl je echt niet al die data op dat moment zou willen zien.

Neem de index, misschien dat je op dat moment interesse hebt in 2 of 3 forums, zouden dan de overige 20 of zo niet getoont mogen worden? Is nl. ook data (load dus om die data op te vragen) die je helemaal niet wilt. Kortom je kan gewoon niet zeggen dat mensen iets niet mogen zien omdat het anders load kost.

Dat het als tijdelijke oplossing dient ok, maar structureel gezien is het geen oplossing.

[Erkens]

Verwijderd schreef op 28 oktober 2003 @ 07:58:
Dat het als tijdelijke oplossing dient ok, maar structureel gezien is het geen oplossing.

Jasper schreef op 24 oktober 2003 @ 16:22:
De post history in myReact is inderdaad tijdelijk uitgeschakeld.

[ACM]

Verwijderd schreef op 28 oktober 2003 @ 07:58:
Als dat het probleem is, dan is er gewoon echt iets mis. (Niet negatief bedoeld.) Maar een forum bestaat nu gewoon uit data, uit heel erg veel data elke pageview weer... terwijl je echt niet al die data op dat moment zou willen zien.

We wisten al dat er wat mis is hoor