Inventaris laadt ontzettend traag

Pagina: 1
Acties:

Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Ik heb al een tijdje dat het laden van mijn inventaris ontzettend traag gaat.

Als hij eenmaal is geladen gaat het weer snel, maar soms is het even later weer traag.

Kan het zijn dat er iets aan de server-kant niet goed gaat met caching oid?

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • 0 Henk 'm!

  • F_J_K
  • Registratie: Juni 2001
  • Niet online

F_J_K

Moderator CSA/PB

Front verplichte underscores

Welke browser, adblockers, etc? Gaat hier (iOS, Brave) erg snel. Met overigens een enkele pc in de inventaris. Heb jij er heel veel?

'Multiple exclamation marks,' he went on, shaking his head, 'are a sure sign of a diseased mind' (Terry Pratchett, Eric)


Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Ik heb wel redelijk wat in m'n inventaris, maar dat was vroeger ook geen punt. De server-request duurt enorm lang, zeg zo'n 5-10 seconden (bij het initieel laden van specifiek de inventaris link), waardoor ik het idee heb dat het sowieso niet lokaal zit.

Ik heb het op m'n Macbook in Chrome en ook op m'n Windows PC met Chrome 105.0.5195.127

Ik heb Tweakers gewhitelist, dus geen adblockers op de site.

[ Voor 10% gewijzigd door MsG op 26-09-2022 21:49 ]

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • +3 Henk 'm!

  • Kees
  • Registratie: Juni 1999
  • Laatst online: 14:34

Kees

Serveradmin / BOFH / DoC
Als je de source opent staan helemaal onderaan een paar timers

voorbeeld van deze pagina:
Server time: 0,0510 s (C: 0,0305 s, Q: 19; 0,0093 s, E: 3; 0,0281 s, M: 32; 0,0088 s, A: 3; 0,0434 s)
Mem: 9672 KB

Wat zeggen die bij jouw inventaris?


offtopic:
(en voor wie het wil weten: C = compute/cpu, Q = aantal db-queries, E = aantal 'engine' queries (api requests), M = aantal memcached queries, A = aantal activemq berichten - en allemaal met de tijd die ervoor nodig was)

"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan


Acties:
  • 0 Henk 'm!

  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 09:44

MAX3400

XBL: OctagonQontrol

Inventaris van 3x niks aan produkten hier:
code:
1
2
3
4
5
6
7
8
<!--
Request ID: Twk-eun-web1_243.11.3_747222_63328f0383a0c4.96418151
Env: frontpage-production
Server time: 0,0403 s (C: 0,0219 s, Q: 17; 0,0108 s, E: 8; 0,0176 s, M: 11; 0,0019 s, A: 3; 0,0329 s)
Mem: 5730 KB
User: MAX3400
Engines: (S) twk-eun-web1 (8)
-->

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Zal ik even opzoeken. Op de mobiele telefoon kwam ik even niet bij de source code maar was hij wel weer traag.

Het werkt steevast zo:
Ik klik op inventaris en hij laadt +10 seconden. Daarna lijkt de pagina aan de serverkant gecached en is hij een X periode snel. Na een paar uur is de cache blijkbaar weer verdampt en is hij weer 1x traag om de cache op te bouwen.

Als hij straks op de desktop weer traag is, geef ik je de gevraagde gegevens.
MAX3400 schreef op dinsdag 27 september 2022 @ 07:50:
Inventaris van 3x niks aan produkten hier:
code:
1
2
3
4
5
6
7
8
<!--
Request ID: Twk-eun-web1_243.11.3_747222_63328f0383a0c4.96418151
Env: frontpage-production
Server time: 0,0403 s (C: 0,0219 s, Q: 17; 0,0108 s, E: 8; 0,0176 s, M: 11; 0,0019 s, A: 3; 0,0329 s)
Mem: 5730 KB
User: MAX3400
Engines: (S) twk-eun-web1 (8)
-->
Jij ervaart dezelfde traagheid? Anders mis ik de relevantie een beetje?

[ Voor 36% gewijzigd door MsG op 27-09-2022 07:52 ]

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • +1 Henk 'm!

  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 09:44

MAX3400

XBL: OctagonQontrol

MsG schreef op dinsdag 27 september 2022 @ 07:51:

Jij ervaart dezelfde traagheid? Anders mis ik de relevantie een beetje?
Het voelt (nadruk) iets minder snel dan mijn Wenslijst ja. Ik weet de exacte verschillen niet in request maar mijn Wenslijst (met meer produkten):
code:
1
2
3
4
5
6
7
8
<!--
Request ID: Twk-eun-web2_243.11.3_3311959_63329120a45cf5.23644842
Env: frontpage-production
Server time: 0,0404 s (C: 0,0211 s, Q: 13; 0,0080 s, E: 13; 0,0182 s, M: 11; 0,0020 s, A: 3; 0,0329 s)
Mem: 6116 KB
User: MAX3400
Engines: (S) twk-eun-web2 (13)
-->

En in procenten zijn bovenstaande waarden wel "flink" anders dan mijn Inventaris.

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


Acties:
  • +3 Henk 'm!

  • Kees
  • Registratie: Juni 1999
  • Laatst online: 14:34

Kees

Serveradmin / BOFH / DoC
40ms is een redelijke tijd, maar inderdaad, als ik de inventaris van MsG open dan duurt het iets langer

(gefeliciteerd: je hebt de langzaamste pageview gedaan van vandaag met 27 seconden ;) - maar die stats gooien we elke nacht weg, vandaar dat ik vroeg of je de pagina vandaag opnieuw wilde bekijken)

[ Voor 22% gewijzigd door Kees op 27-09-2022 08:22 ]

"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan


Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Maar mijn inventaris heeft al tijden ongeveer deze grootte, dus vindt het wel interessant dat het nu ineens zo traag is. Zeg een dikke maand nu dat ik er regelmatig "last" van heb.

Zo spannend is de relatie ook niet toch? Een lijstje die weer linkt product id's bevat, waarna die producten weer gepopulate worden met hun eigen gegevens.

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • 0 Henk 'm!

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

MsG schreef op dinsdag 27 september 2022 @ 08:34:
Maar mijn inventaris heeft al tijden ongeveer deze grootte, dus vindt het wel interessant dat het nu ineens zo traag is. Zeg een dikke maand nu dat ik er regelmatig "last" van heb.

Zo spannend is de relatie ook niet toch? Een lijstje die weer linkt product id's bevat, waarna die producten weer gepopulate worden met hun eigen gegevens.
Die pagina is niet bijster efficiënt opgebouwd; in werkelijkheid worden daar _al_ je inventarissen getoond (en eentje uitgeklapt). Dus wat je aangeeft moet je in ieder geval vermenigvuldigen met het aantal inventarissen dat je hebt (bij jou 22).

Daar zou nog steeds geen 10+ seconde voor nodig moeten zijn... maar geeft iig aan dat het een minder triviale pagina is dan je wellicht dacht :)

Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Tijd voor een mooie refactor-slag ;-).

Ik wilde hem nu openen op de desktop, om Kees de gegevens te sturen, maar hij laadt nu in elk geval nog snel.

Zodra hij weer traag gaat zal ik de gegevens van die request posten.

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Weet je zeker dat hij bij het laden van de pagina al alle inventarissen inlaadt?

Ik probeer nu de inventaris 'Kapot' open te klappen, en het duurt behoorlijk lang.

@Kees
Request ID: Twk-eun-web3_244.0.1_2660160_63342275385b46.31261324
Env: frontpage-production
Server time: 11,3483 s (C: 0,0351 s, Q: 51; 11,3021 s, E: 11; 0,0085 s, M: 10; 0,0013 s, A: 3; 0,0027 s)
Mem: 8037 KB
User: MsG
Engines: (S) twk-eun-web3 (11)
-->
Terwijl de inventarispagina als geheel wel snel laadde.

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Het was een tijdje weer prima, maar nu weer kaktraag:

code:
1
2
3
4
5
6
7
8
<!--
Request ID: Twk-tc3-web4_245.5.0_1944824_634fbcf914b723.93459535
Env: frontpage-production
Server time: 15,7831 s (C: 0,0327 s, Q: 59; 15,7346 s, E: 3; 0,0130 s, M: 10; 0,0023 s, A: 3; 0,0027 s)
Mem: 10436 KB
User: MsG
Engines: (S) twk-tc3-web4 (3)
-->


Het gekke vind ik vooral dat als er niks gewijzigd is aan de inventory hij de volgende keer _weer_ traag laadt. Wordt er geen caching gebruikt qua queries?

code:
1
2
3
4
5
6
7
8
<!--
Request ID: Twk-eun-web2_245.5.1_3943876_634fc3accc1be0.84415059
Env: frontpage-production
Server time: 25,8808 s (C: 0,0238 s, Q: 34; 25,8511 s, E: 1; 0,0006 s, M: 10; 0,0011 s, A: 3; 0,0026 s)
Mem: 3700 KB
User: MsG
Engines: (S) twk-eun-web2 (1)
-->

[ Voor 41% gewijzigd door MsG op 19-10-2022 11:31 ]

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Inmiddels krijg ik zelfs deze als ik mijn inventaris probeer te laden:

Afbeeldingslocatie: https://tweakers.net/i/QYAcTMzkiBCqpsDx0B_AmTQspFw=/800x/filters:strip_exif()/f/image/yQiNpkjE2hbo8n1VFB63ngCQ.png?f=fotoalbum_large

Terwijl ik niks heb veranderd aan de inventaris, is hij elke dag weer opnieuw traag. Wordt de cache elke keer leeggegooid ongeacht of er wijzigingen zijn? De inventaris is inmiddels voor mij redelijk onbruikbaar.

Wellicht de technical debt van de Inventaris ook een keer inlossen? Of anders een kill your darlings toepassen?

[ Voor 8% gewijzigd door MsG op 23-03-2023 21:22 ]

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • +1 Henk 'm!

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

MsG schreef op woensdag 19 oktober 2022 @ 11:03:
Het was een tijdje weer prima, maar nu weer kaktraag:
Tsja, er zit iets heel inefficients in mysql. Het zijn niet echt moeilijke queries die ie moet uitvoeren. Als ik ze los uitvoer zijn ze meestal ruim binnen een seconde klaar (en dat in jouw geval dan natuurlijk nog wel 20+ keer), maar blijkbaar doet mysql wel iets waar ie af en toe een table lock bij aantreft en daar op moet wachten. En dat kan dan blijkbaar meerdere seconden duren :/
En omdat dat "af en toe" bij jou 20+ x gebeurt, zit er in de praktijk bijna altijd wel meerdere keren zo'n wachttijd tussen.
Het gekke vind ik vooral dat als er niks gewijzigd is aan de inventory hij de volgende keer _weer_ traag laadt. Wordt er geen caching gebruikt qua queries?
Nee. We cachen geen queries, daarvoor doen we veel te veel verschillende queries met data die te vaak kan veranderen; bij jou is het de query die telt hoeveel producten er in iedere inventaris zit en wat de toaalprijs daarvan is. En die prijzen kunnen elke minuut anders zijn.

Ik kan wel even kijken of het nog effect heeft om die totaalprijsberekening eruit te halen, dus wel het totaal aantal producten erin tonen, maar niet wat dat dan waard is.

[ Voor 5% gewijzigd door ACM op 24-03-2023 07:13 ]


Acties:
  • +1 Henk 'm!

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

MsG schreef op donderdag 23 maart 2023 @ 21:21:
Terwijl ik niks heb veranderd aan de inventaris, is hij elke dag weer opnieuw traag. Wordt de cache elke keer leeggegooid ongeacht of er wijzigingen zijn? De inventaris is inmiddels voor mij redelijk onbruikbaar.
Er is dus geen cache om weg te gooien ;)
Wellicht de technical debt van de Inventaris ook een keer inlossen? Of anders een kill your darlings toepassen?
Tsja, er is wel meer tech debt om op te lossen en er zijn niet zo heel veel mensen met zoveel inventarissen of wenslijsten. In die zin heb je wel je een edge case gevonden.

Darling killen; wat verwacht je daar dan van? Dat we stoppen met inventarissen? Verbieden zoveel inventarissen te hebben?

Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Ik vind het raar dat als je zoveel wenslijsten hebt, wat technisch vrijwel hetzelfde is, dat het dan niet traag is.

Zijn inventarissen en wenslijsten heel andere code bij jullie?

Ik vind het gewoon raar, dat een simpele lijstjes relatie met producten daaronder, de halve site laat crashen.

Maar goed ik snap ook dat sommige code al sinds oprichting draait, en dat je die situatie niet 123 veranderd.

Ik kan me voorstellen dat als de inventaris voornamelijk traag is, door de prijscalculaties, dat daar nog wel winst te behalen valt door dat er (optioneel?) uit te slopen. Voor mij is dat deel in elk geval totaal niet relevant.

En met darlings killen, bedoel ik dat Tweakers soms er iets te veel een handje van heeft om halfwerkende zaken in leven te houden, terwijl je als bedrijf soms beter 5 dingen heel goed kan doen, dan 10 dingen een beetje. Maar goed vanaf de zijlijn makkelijk lullen, dus neem het met een korrel zout. Laten we zeggen dat het af en toe frustreert als je weer 30+ seconden moet wachten op een klik.

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • +2 Henk 'm!

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

MsG schreef op vrijdag 24 maart 2023 @ 08:20:
Ik vind het raar dat als je zoveel wenslijsten hebt, wat technisch vrijwel hetzelfde is, dat het dan niet traag is.

Zijn inventarissen en wenslijsten heel andere code bij jullie?
Nee, zelfde code. En deze gebruiker meldde het ook:
Wenslijst tweakers Heeeeeel traag

Het is wel zo dat het pas vanaf 21 inventarissen of wenslijsten gebeurt, omdat dan andere code wordt geactiveerd. In de tijd dat die aanpassing werd gedaan, was dat juist dan veel sneller...
Ik vind het gewoon raar, dat een simpele lijstjes relatie met producten daaronder, de halve site laat crashen.
Het is wel heel ambitieus om dat 'de halve' site te noemen terwijl het 1 pagina is, waar 1 query zich raar gedraagt :P
Ik kan me voorstellen dat als de inventaris voornamelijk traag is, door de prijscalculaties, dat daar nog wel winst te behalen valt door dat er (optioneel?) uit te slopen. Voor mij is dat deel in elk geval totaal niet relevant.
Ik heb het zo aangepast dat ie nu niet voor iedere losse inventaris die query die mysql soms heel moeilijk vindt uitvoert, maar in totaal 1x voor al je lijsten gecombineerd.

Gaat het nu beter?
En met darlings killen, bedoel ik dat Tweakers soms er iets te veel een handje van heeft om halfwerkende zaken in leven te houden, terwijl je als bedrijf soms beter 5 dingen heel goed kan doen, dan 10 dingen een beetje. Maar goed vanaf de zijlijn makkelijk lullen, dus neem het met een korrel zout. Laten we zeggen dat het af en toe frustreert als je weer 30+ seconden moet wachten op een klik.
Even voor de duidelijkheid; het is sowieso een "edge case" omdat jij erg veel inventarissen hebt. Dus voor bijna iedereen werkt het wel ok. De 'darling' die dan gekilled zou kunnen worden is het toelaten van een onbeperkt aantal inventarissen en daar een limiet op zetten :)

Maar laten we hopen dat voornoemde oplossing het voldoende verbeterd.

Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Dank voor je werk ACM, ik ga het de komende tijd even aankijken (soms was het eerder al traag en soms weleens snel), dus ik kan er binnenkort wat zinnigers over zeggen.

Wordt gewaardeerd in elk geval :).

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • 0 Henk 'm!

  • Waterval
  • Registratie: Juli 2009
  • Laatst online: 26-12-2024
Heb hetzelfde probleem, de poging om te laden duurt ongeveer 70 seconden en krijg dan de melding "tweakers is down"

Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Ik merk trouwens geen verschil. De inventaris laadt nog steeds heel erg traag. En als de pagina zelf eindelijk geladen is, moet ik wederom lang wachten als ik een daadwerkelijke inventaris wil uitklappen.

[ Voor 44% gewijzigd door MsG op 03-04-2023 10:00 ]

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • +1 Henk 'm!

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

Voor zover ik weet was het trouwens niet steeds traag, maar af en toe. Ik had net meerdere keren de inventaris-pagina van @MsG bekeken en die was toen gewoon snel, maar we zien inderdaad in de logs dat het flink kan oplopen.

We weten overigens nog steeds niet wat de echte oorzaak is. Het lijkt iets te maken met de manier waarop we de prijssamenvattingen opstellen... daarbij wordt eerst los voor alle producten de samenvattingen opnieuw gemaakt en dan ineens de tabel met nieuwe samenvattingen omgeruild met de 'oude'.

Dat omruilen is iets dat MySQL heel snel hoort te kunnen doen. Maar blijkbaar doet ie er toch af en toe meerdere seconde over. En jullie moesten dan waarschijnlijk daarop wachten (en die omruil-query moest wellicht weer op iets anders wachten, dat weer op iets anders moest wachten, dat ...).

En dan wordt een query die normaliter door MySQL in 0.0xx seconde uitgevoerd kan worden ineens veel trager.

70 seconde verbaast me dan wel, want zo lang wacht onze loadbalancer niet eens op de request.

Ik heb e.e.a. aangepast zodat ie voor inventarissen niet die prijzen meeneemt, voor wenslijsten nog wel. Bij inventarissen werd de totaalprijs toch al niet getoond...

Daardoor verwacht ik dat ie nu niet meer soms traag is, maar is er ook een soort A/B-test ontstaan. Als het vanaf nu alleen nog bij wenslijsten voorkomt, was dit inderdaad de bron. Als jullie inventarislijsten nu nog steeds soms heel traag zijn, is er blijkbaar nog meer aan de hand.

Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Ik hou het in de gaten. Ik waardeer het zeer dat je het zo uitgebreid oppakt. Het klopt inderdaad dat de inventaris niet per definitie _altijd_ traag is. Soms laadt het wel meteen. Ik post over een tijdje wel weer of ik verbeteringen zie.

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • 0 Henk 'm!

  • MsG
  • Registratie: November 2007
  • Laatst online: 12:24

MsG

Forumzwerver

Topicstarter
Mijn inventaris lijkt nu consistent snel te zijn :), bedankt @ACM voor het fixen!

Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn


Acties:
  • +1 Henk 'm!

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

Bedankt voor de terugkoppeling @MsG
Pagina: 1