Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
'Multiple exclamation marks,' he went on, shaking his head, 'are a sure sign of a diseased mind' (Terry Pratchett, Eric)
Ik heb het op m'n Macbook in Chrome en ook op m'n Windows PC met Chrome 105.0.5195.127
Ik heb Tweakers gewhitelist, dus geen adblockers op de site.
[ Voor 10% gewijzigd door MsG op 26-09-2022 21:49 ]
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
voorbeeld van deze pagina:
Server time: 0,0510 s (C: 0,0305 s, Q: 19; 0,0093 s, E: 3; 0,0281 s, M: 32; 0,0088 s, A: 3; 0,0434 s)
Mem: 9672 KB
Wat zeggen die bij jouw inventaris?
(en voor wie het wil weten: C = compute/cpu, Q = aantal db-queries, E = aantal 'engine' queries (api requests), M = aantal memcached queries, A = aantal activemq berichten - en allemaal met de tijd die ervoor nodig was)
"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan
1
2
3
4
5
6
7
8
| <!-- Request ID: Twk-eun-web1_243.11.3_747222_63328f0383a0c4.96418151 Env: frontpage-production Server time: 0,0403 s (C: 0,0219 s, Q: 17; 0,0108 s, E: 8; 0,0176 s, M: 11; 0,0019 s, A: 3; 0,0329 s) Mem: 5730 KB User: MAX3400 Engines: (S) twk-eun-web1 (8) --> |
Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof
Het werkt steevast zo:
Ik klik op inventaris en hij laadt +10 seconden. Daarna lijkt de pagina aan de serverkant gecached en is hij een X periode snel. Na een paar uur is de cache blijkbaar weer verdampt en is hij weer 1x traag om de cache op te bouwen.
Als hij straks op de desktop weer traag is, geef ik je de gevraagde gegevens.
Jij ervaart dezelfde traagheid? Anders mis ik de relevantie een beetje?MAX3400 schreef op dinsdag 27 september 2022 @ 07:50:
Inventaris van 3x niks aan produkten hier:
code:
1 2 3 4 5 6 7 8 <!-- Request ID: Twk-eun-web1_243.11.3_747222_63328f0383a0c4.96418151 Env: frontpage-production Server time: 0,0403 s (C: 0,0219 s, Q: 17; 0,0108 s, E: 8; 0,0176 s, M: 11; 0,0019 s, A: 3; 0,0329 s) Mem: 5730 KB User: MAX3400 Engines: (S) twk-eun-web1 (8) -->
[ Voor 36% gewijzigd door MsG op 27-09-2022 07:52 ]
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
Het voelt (nadruk) iets minder snel dan mijn Wenslijst ja. Ik weet de exacte verschillen niet in request maar mijn Wenslijst (met meer produkten):MsG schreef op dinsdag 27 september 2022 @ 07:51:
Jij ervaart dezelfde traagheid? Anders mis ik de relevantie een beetje?
1
2
3
4
5
6
7
8
| <!-- Request ID: Twk-eun-web2_243.11.3_3311959_63329120a45cf5.23644842 Env: frontpage-production Server time: 0,0404 s (C: 0,0211 s, Q: 13; 0,0080 s, E: 13; 0,0182 s, M: 11; 0,0020 s, A: 3; 0,0329 s) Mem: 6116 KB User: MAX3400 Engines: (S) twk-eun-web2 (13) --> |
En in procenten zijn bovenstaande waarden wel "flink" anders dan mijn Inventaris.
Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof
(gefeliciteerd: je hebt de langzaamste pageview gedaan van vandaag met 27 seconden
[ Voor 22% gewijzigd door Kees op 27-09-2022 08:22 ]
"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan
Zo spannend is de relatie ook niet toch? Een lijstje die weer linkt product id's bevat, waarna die producten weer gepopulate worden met hun eigen gegevens.
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
Die pagina is niet bijster efficiënt opgebouwd; in werkelijkheid worden daar _al_ je inventarissen getoond (en eentje uitgeklapt). Dus wat je aangeeft moet je in ieder geval vermenigvuldigen met het aantal inventarissen dat je hebt (bij jou 22).MsG schreef op dinsdag 27 september 2022 @ 08:34:
Maar mijn inventaris heeft al tijden ongeveer deze grootte, dus vindt het wel interessant dat het nu ineens zo traag is. Zeg een dikke maand nu dat ik er regelmatig "last" van heb.
Zo spannend is de relatie ook niet toch? Een lijstje die weer linkt product id's bevat, waarna die producten weer gepopulate worden met hun eigen gegevens.
Daar zou nog steeds geen 10+ seconde voor nodig moeten zijn... maar geeft iig aan dat het een minder triviale pagina is dan je wellicht dacht
Ik wilde hem nu openen op de desktop, om Kees de gegevens te sturen, maar hij laadt nu in elk geval nog snel.
Zodra hij weer traag gaat zal ik de gegevens van die request posten.
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
Ik probeer nu de inventaris 'Kapot' open te klappen, en het duurt behoorlijk lang.
@Kees
Terwijl de inventarispagina als geheel wel snel laadde.Request ID: Twk-eun-web3_244.0.1_2660160_63342275385b46.31261324
Env: frontpage-production
Server time: 11,3483 s (C: 0,0351 s, Q: 51; 11,3021 s, E: 11; 0,0085 s, M: 10; 0,0013 s, A: 3; 0,0027 s)
Mem: 8037 KB
User: MsG
Engines: (S) twk-eun-web3 (11)
-->
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
1
2
3
4
5
6
7
8
| <!-- Request ID: Twk-tc3-web4_245.5.0_1944824_634fbcf914b723.93459535 Env: frontpage-production Server time: 15,7831 s (C: 0,0327 s, Q: 59; 15,7346 s, E: 3; 0,0130 s, M: 10; 0,0023 s, A: 3; 0,0027 s) Mem: 10436 KB User: MsG Engines: (S) twk-tc3-web4 (3) --> |
Het gekke vind ik vooral dat als er niks gewijzigd is aan de inventory hij de volgende keer _weer_ traag laadt. Wordt er geen caching gebruikt qua queries?
1
2
3
4
5
6
7
8
| <!-- Request ID: Twk-eun-web2_245.5.1_3943876_634fc3accc1be0.84415059 Env: frontpage-production Server time: 25,8808 s (C: 0,0238 s, Q: 34; 25,8511 s, E: 1; 0,0006 s, M: 10; 0,0011 s, A: 3; 0,0026 s) Mem: 3700 KB User: MsG Engines: (S) twk-eun-web2 (1) --> |
[ Voor 41% gewijzigd door MsG op 19-10-2022 11:31 ]
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
/f/image/yQiNpkjE2hbo8n1VFB63ngCQ.png?f=fotoalbum_large)
Terwijl ik niks heb veranderd aan de inventaris, is hij elke dag weer opnieuw traag. Wordt de cache elke keer leeggegooid ongeacht of er wijzigingen zijn? De inventaris is inmiddels voor mij redelijk onbruikbaar.
Wellicht de technical debt van de Inventaris ook een keer inlossen? Of anders een kill your darlings toepassen?
[ Voor 8% gewijzigd door MsG op 23-03-2023 21:22 ]
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
Tsja, er zit iets heel inefficients in mysql. Het zijn niet echt moeilijke queries die ie moet uitvoeren. Als ik ze los uitvoer zijn ze meestal ruim binnen een seconde klaar (en dat in jouw geval dan natuurlijk nog wel 20+ keer), maar blijkbaar doet mysql wel iets waar ie af en toe een table lock bij aantreft en daar op moet wachten. En dat kan dan blijkbaar meerdere seconden durenMsG schreef op woensdag 19 oktober 2022 @ 11:03:
Het was een tijdje weer prima, maar nu weer kaktraag:

En omdat dat "af en toe" bij jou 20+ x gebeurt, zit er in de praktijk bijna altijd wel meerdere keren zo'n wachttijd tussen.
Nee. We cachen geen queries, daarvoor doen we veel te veel verschillende queries met data die te vaak kan veranderen; bij jou is het de query die telt hoeveel producten er in iedere inventaris zit en wat de toaalprijs daarvan is. En die prijzen kunnen elke minuut anders zijn.Het gekke vind ik vooral dat als er niks gewijzigd is aan de inventory hij de volgende keer _weer_ traag laadt. Wordt er geen caching gebruikt qua queries?
Ik kan wel even kijken of het nog effect heeft om die totaalprijsberekening eruit te halen, dus wel het totaal aantal producten erin tonen, maar niet wat dat dan waard is.
[ Voor 5% gewijzigd door ACM op 24-03-2023 07:13 ]
Er is dus geen cache om weg te gooienMsG schreef op donderdag 23 maart 2023 @ 21:21:
Terwijl ik niks heb veranderd aan de inventaris, is hij elke dag weer opnieuw traag. Wordt de cache elke keer leeggegooid ongeacht of er wijzigingen zijn? De inventaris is inmiddels voor mij redelijk onbruikbaar.
Tsja, er is wel meer tech debt om op te lossen en er zijn niet zo heel veel mensen met zoveel inventarissen of wenslijsten. In die zin heb je wel je een edge case gevonden.Wellicht de technical debt van de Inventaris ook een keer inlossen? Of anders een kill your darlings toepassen?
Darling killen; wat verwacht je daar dan van? Dat we stoppen met inventarissen? Verbieden zoveel inventarissen te hebben?
Zijn inventarissen en wenslijsten heel andere code bij jullie?
Ik vind het gewoon raar, dat een simpele lijstjes relatie met producten daaronder, de halve site laat crashen.
Maar goed ik snap ook dat sommige code al sinds oprichting draait, en dat je die situatie niet 123 veranderd.
Ik kan me voorstellen dat als de inventaris voornamelijk traag is, door de prijscalculaties, dat daar nog wel winst te behalen valt door dat er (optioneel?) uit te slopen. Voor mij is dat deel in elk geval totaal niet relevant.
En met darlings killen, bedoel ik dat Tweakers soms er iets te veel een handje van heeft om halfwerkende zaken in leven te houden, terwijl je als bedrijf soms beter 5 dingen heel goed kan doen, dan 10 dingen een beetje. Maar goed vanaf de zijlijn makkelijk lullen, dus neem het met een korrel zout. Laten we zeggen dat het af en toe frustreert als je weer 30+ seconden moet wachten op een klik.
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
Nee, zelfde code. En deze gebruiker meldde het ook:MsG schreef op vrijdag 24 maart 2023 @ 08:20:
Ik vind het raar dat als je zoveel wenslijsten hebt, wat technisch vrijwel hetzelfde is, dat het dan niet traag is.
Zijn inventarissen en wenslijsten heel andere code bij jullie?
Wenslijst tweakers Heeeeeel traag
Het is wel zo dat het pas vanaf 21 inventarissen of wenslijsten gebeurt, omdat dan andere code wordt geactiveerd. In de tijd dat die aanpassing werd gedaan, was dat juist dan veel sneller...
Het is wel heel ambitieus om dat 'de halve' site te noemen terwijl het 1 pagina is, waar 1 query zich raar gedraagtIk vind het gewoon raar, dat een simpele lijstjes relatie met producten daaronder, de halve site laat crashen.
Ik heb het zo aangepast dat ie nu niet voor iedere losse inventaris die query die mysql soms heel moeilijk vindt uitvoert, maar in totaal 1x voor al je lijsten gecombineerd.Ik kan me voorstellen dat als de inventaris voornamelijk traag is, door de prijscalculaties, dat daar nog wel winst te behalen valt door dat er (optioneel?) uit te slopen. Voor mij is dat deel in elk geval totaal niet relevant.
Gaat het nu beter?
Even voor de duidelijkheid; het is sowieso een "edge case" omdat jij erg veel inventarissen hebt. Dus voor bijna iedereen werkt het wel ok. De 'darling' die dan gekilled zou kunnen worden is het toelaten van een onbeperkt aantal inventarissen en daar een limiet op zettenEn met darlings killen, bedoel ik dat Tweakers soms er iets te veel een handje van heeft om halfwerkende zaken in leven te houden, terwijl je als bedrijf soms beter 5 dingen heel goed kan doen, dan 10 dingen een beetje. Maar goed vanaf de zijlijn makkelijk lullen, dus neem het met een korrel zout. Laten we zeggen dat het af en toe frustreert als je weer 30+ seconden moet wachten op een klik.
Maar laten we hopen dat voornoemde oplossing het voldoende verbeterd.
Wordt gewaardeerd in elk geval
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
[ Voor 44% gewijzigd door MsG op 03-04-2023 10:00 ]
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
We weten overigens nog steeds niet wat de echte oorzaak is. Het lijkt iets te maken met de manier waarop we de prijssamenvattingen opstellen... daarbij wordt eerst los voor alle producten de samenvattingen opnieuw gemaakt en dan ineens de tabel met nieuwe samenvattingen omgeruild met de 'oude'.
Dat omruilen is iets dat MySQL heel snel hoort te kunnen doen. Maar blijkbaar doet ie er toch af en toe meerdere seconde over. En jullie moesten dan waarschijnlijk daarop wachten (en die omruil-query moest wellicht weer op iets anders wachten, dat weer op iets anders moest wachten, dat ...).
En dan wordt een query die normaliter door MySQL in 0.0xx seconde uitgevoerd kan worden ineens veel trager.
70 seconde verbaast me dan wel, want zo lang wacht onze loadbalancer niet eens op de request.
Ik heb e.e.a. aangepast zodat ie voor inventarissen niet die prijzen meeneemt, voor wenslijsten nog wel. Bij inventarissen werd de totaalprijs toch al niet getoond...
Daardoor verwacht ik dat ie nu niet meer soms traag is, maar is er ook een soort A/B-test ontstaan. Als het vanaf nu alleen nog bij wenslijsten voorkomt, was dit inderdaad de bron. Als jullie inventarislijsten nu nog steeds soms heel traag zijn, is er blijkbaar nog meer aan de hand.
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn
Denk om uw spatiegebruik. Dit scheelt Tweakers.net kostbare databaseruimte! | Groninger en geïnteresseerd in Domotica? Kom naar DomoticaGrunn