Feedback over storing 19 Feb 2025

[duvekot]

Geachte Redactie,

Zoals jullie vast ook wel gemerkt hadden was Tweakers op het einde van de avond van 19 Feb 2025 niet bereikbaar

Nu is het volgens mij al weer een hele tijd geleden dat Tweakers down is gegaan 👍

Komt er nog een artikel met een eventuele beschrijving wat er gebeurt is wat deze storing veroorzaakt heeft? En hoe het opgelost is en wat er in de toekomst aan gedaan wordt om dit te voorkomen?

Bijvoorbeeld zoals Cloudflare dat ook doet als zij problemen hebben gehad?

Ik had al gezocht naar een topic over deze storing maar die had ik nog niet gevonden.

Groetjes,

Kees D.

[bhhing]

Idem, zoals topic starter al aangaf: zouden jullie misschien iets over kunnen vertellen?
(ik voeg een screenshot bij ter verduidelijking)

Met vriendelijke groet,

bhhing

[ Voor 51% gewijzigd door bhhing op 20-02-2025 12:12 ]

[DaFeliX]

Ik kan wel wat vertellen, ondanks dat ik er verder helemaal niet bij betrokken was.

Het probleem speelde met onze engine, dit is een in Java geschreven applicatie, en gebruiken we als een soort zoekmachine. Deze applicatie kan een hele hoop data in geheugen inladen, zodat we sneller een antwoord krijgen dan wanneer we via onze PHP code de database zouden bevragen.

We kregen gisteravond snel door (dankzij meerdere meldingen vanuit verschillende hoeken) dat er een probleem was met de website, en net zo snel hadden we door dat de engines waren uitgevallen. Tweakers gebruikt de engine veelvuldig, dus als de engine faalt, faalt de hele website.

Nu is het vervelende dat we niet direct ervoor iets aangepast hadden. Wel hadden we recentelijk iets aangepast aan de garbage collection van de engine. Ook hebben we wel wat databaseaanpassingen gedaan die invloed zouden kunnen hebben op het (niet) functioneren van de engine. We waren dus hard op zoek in die hoeken om te zien waar 't probleem zat.
Maar omdat de engines na een herstart vrijwel direct weer crashten, maakte dit het onderzoeken van het probleem erg lastig.

Lang verhaal kort, het bleek te liggen aan iets heel anders. Er was een aanpassing gedaan door een medewerker aan een waarde die gebruikt wordt in een berekening. Doordat de waarde nu exact 1 was, trad er een situatie op die we nog nooit eerder hadden gehad - waardoor de in een eeuwige loop kwam te zitten, waarna de applicatie crashte. De code zelf bestond al lang, maar omdat er in die waardes vrijwel nooit aangepast worden, heeft 't nog nooit eerder voor problemen gezorgd.

We hebben de waarde van de berekening aangepast in de database, waardoor de engine in elk geval weer kon starten. Vanmorgen hebben we wat aanpassing gedaan aan de engine waardoor dit probleem niet meer kan voorkomen, en wellicht dat we nog wat extra validatie gaan toevoegen zodat de waarde 1 (die hier eigenlijk helemaal niet logisch was) niet meer geaccepteerd wordt.

[duvekot]

Thx @DaFeliX voor je antwoord ... Altijd lastig dat soort problemen.

Maar wordt er ook nagedacht om zo iets als een artikel op de frontpage te publiceren?

[Nielson]

@DaFeliX Bedankt voor de uitleg! Zat net als ts ook al te zoeken naar wat meer info, aangezien de storing voor Tweakers begrippen ook best lang duurde. Misschien nog een idee om een simpele html pagina toe te voegen voor dit soort storingen met wat meer uitleg dan de error pagina die werd getoond.

[DaFeliX]

@duvekot Ik ben zelf wel iemand die het leuk vind om hierover te schrijven, maar een frontpageartikel schrijven vereist een hoop meer tijd dan ik er aan wil besteden - ik bouw liever aan leukere dingen . Misschien dat we het in onze development .plan nog wel 'ns kunnen opschrijven, maar als eigen artikel denk ik niet dat het waarde (genoeg) heeft.

Maar zoals @Nielson aangeeft, misschien is plek waar we dit soort dingen kunnen melden wel handig zodat men weet dát en wát er aan de hand is. Anderzijds, dit soort dingen gebeuren (hopelijk) niet al te vaak

Ik gooi het in elk geval in de groep, misschien dat @ikloon die meeleest hier ook 'ns over kan nadenken.

[Prisma16]

@DaFeliX, dank voor de uitleg. Frontpageartikel lijkt mij ook overbodig. Dit is zo iets specifiek dat er, in ieder geval op dit moment, geen algemene lessen uit kunnen worden geleerd.

[DaFeliX]

Prisma16 schreef op donderdag 20 februari 2025 @ 13:21:
@DaFeliX, dank voor de uitleg. Frontpageartikel lijkt mij ook overbodig. Dit is zo iets specifiek dat er, in ieder geval op dit moment, geen algemene lessen uit kunnen worden geleerd.

Een algemene les die te trekken is: vertrouw nooit user input

[duvekot]

Prisma16 schreef op donderdag 20 februari 2025 @ 13:21:
@DaFeliX, dank voor de uitleg. Frontpageartikel lijkt mij ook overbodig. Dit is zo iets specifiek dat er, in ieder geval op dit moment, geen algemene lessen uit kunnen worden geleerd.

Maar vanuit een transparantie oogpunt wel zo netjes naar je "klanten" toe om te vertellen wat er gebeurt is ...
Nu moet je goed zoeken ... En kom je misschien deze thread tegen .. maar je kan ook proactief naar voren stappen en melden wat er gebeurt is.

[dutchgio]

Er wordt anders vrij veel 'nieuws' over storingen geschreven op de FP:
https://tweakers.net/nieuws/zoeken/?keyword=storing

[Raven]

* Raven denkt terug aan
.plan: Server- & netwerkstatusmeldingen XII
.plan: Server- & netwerkstatusmeldingen XI
.plan: Server- & netwerkstatusmeldingen X
.plan: Server- & netwerkstatusmeldingen IX
etc

[DaFeliX]

@duvekot .plan: Wysiwyg-editor en verbeterde toegankelijkheid - Development-iteratie #306

[duvekot]

Thx @DaFeliX 👍