Crawler vind valide order ID in magento

[Obiter dictum]

Voor een klant kreeg ik laatst de mededeling dat één hij iets raars had gespot. Magento biedt de mogelijkheid online klanten te bekijken, en op welke URL zij zich bevonden. Dit IP-adres bevond zich op;

http://www.domein.nl/ideal/ideal/return/order_id/meestrecenteordernummer/order_code/codehier/

Waarbij "meestrecenteordernummer" dus het ordernummer was van de meest recente bestelling geplaatst op de webshop. Het IP-adres van afkomstig uit Japan, van TrendMicro. Een copy/paste van de url levert een 404 op.

Desondanks verontrust het ons dat een crawler op de één of andere manier inzage heeft in wat de laatst geplaatste order is geweest. Hoe is het mogelijk dat een crawler hier achter is gekomen?

[RobIII]

Obiter dictum schreef op maandag 12 september 2011 @ 23:15:
Hoe is het mogelijk dat een crawler hier achter is gekomen?

Dat moeten wij in onze glazen bol zien? Je zult toch echt zelf in je site op zoek moeten gaan of er nergens linkjes worden geplaatst naar die pagina('s) en het zou me niets verbazen als een ("gare") crawler hidden input values waarin zich URL's bevinden ook gewoon indexeert.
Het zou overigens ook goed mogelijk zijn dat, bijv., in een bevestigingsmail linkjes door een (mail)virusscanner opgepikt worden en gescand worden (misschien wel door een centrale service ofzo (ik roep maar wat) wanneer 't een smartphone betreft bijvoorbeeld) of gewoon een virusscanner op een desktop-pc die 'meekijkt' tijdens het browsen om te scannen op malafide zaken.

[ Voor 29% gewijzigd door RobIII op 12-09-2011 23:26 ]

[Obiter dictum]

Nouja, het hoeft niet per sé in een glazen bol te zijn, maar als het een bekend fenomeen is bij een mede Tweaker dan zou het leuk zijn als hij die kennis zou willen delen...

Jij vermoedt dus die twee dingen, dat geeft al iets om mee te beginnen te bekijken. Bedankt!

Als we dan toch aan het editen gaan ; dat is erg goed mogelijk, temeer omdat de crawler afkomstig is van Trendmicro. Helaas is het gebruikte e-mailadres één van een eigen domein, dus niet te achterhalen of deze (standaard) een virusscan heeft.

[ Voor 31% gewijzigd door Obiter dictum op 12-09-2011 23:29 ]

[Bosmonster]

Alles wat niet beveiligd is, maar wel een publieke URL heeft, daar moet je vanuit gaan dat het ooit in google terecht gaat komen.

Dit kan van alles zijn, een linkje in GMail, een geïnstalleerde Google Toolbar, etc. De complete bedrijfsvoering van Google is gericht op maar 1 ding: het verzamelen van gegevens.

[ Voor 17% gewijzigd door Bosmonster op 13-09-2011 07:25 ]

[frickY]

Ga er maar van uit dat een bezoeker die bij de klant bestelde virus-beveiliging van Trend Micro heeft.
Die wil dan wel eens url's submitten voor analyse.

Zou bouwen ze een gehele database op van unsafe pages.

[mocean]

Wel interessant om rekening mee te houden als developer, de bekende e-mail in de trant van "Klik op deze link om uw registratie & e-mail te bevestigen" wordt dan al door de virus-scanner bezocht.

[RobIII]

mocean schreef op dinsdag 13 september 2011 @ 14:11:
Wel interessant om rekening mee te houden als developer, de bekende e-mail in de trant van "Klik op deze link om uw registratie & e-mail te bevestigen" wordt dan al door de virus-scanner bezocht.

Keyword: Idempotentie / GET/POST
(Hoewel dat, als je afhankelijk bent van gare zut als iDeal (light), wat lastiger is...)

[ Voor 11% gewijzigd door RobIII op 13-09-2011 15:34 ]

[OkkE]

Is indexering van zulke mappen/URLs niet eenvoudig tegen te gaan met een robots.txt?

RobIII schreef op dinsdag 13 september 2011 @ 15:52:
[...]

Moet een crawler zich daar wel aan houden; daar is 0 garantie op (en zelfs malafide crawlers die juist dat soort bestanden/directories gaan doorzoeken). Doorsnee zoekmachines als google, bing, weet-ik-het zullen de robots.txt respecteren, de rest is vrij spel.

Oeps, mijn fout. Had even niet door dat het om juist die malafide crawlers ging. Inderdaad erg irritant dat zulke zicht niet aan de richtlijnen houden.

[ Voor 74% gewijzigd door OkkE op 13-09-2011 16:02 ]

[RobIII]

OkkE schreef op dinsdag 13 september 2011 @ 15:49:
Is indexering van zulke mappen/URLs niet eenvoudig tegen te gaan met een robots.txt?

Moet een crawler zich daar wel aan houden; daar is 0 garantie op (en zelfs malafide crawlers die juist dat soort bestanden/directories gaan doorzoeken). Doorsnee zoekmachines als google, bing, weet-ik-het zullen de robots.txt respecteren, de rest is vrij spel.

[ Voor 12% gewijzigd door RobIII op 13-09-2011 15:52 ]

[Bosmonster]

mocean schreef op dinsdag 13 september 2011 @ 14:11:
Wel interessant om rekening mee te houden als developer, de bekende e-mail in de trant van "Klik op deze link om uw registratie & e-mail te bevestigen" wordt dan al door de virus-scanner bezocht.

Sowieso moet je dus altijd linken naar een pagina met een actie en niet direct een actie uitvoeren.

Zelfde voor die leuke delete-knopjes die je soms hebt die direct iets weggooien

[mocean]

Bosmonster schreef op dinsdag 13 september 2011 @ 16:44:
[...]


Sowieso moet je dus altijd linken naar een pagina met een actie en niet direct een actie uitvoeren.

Zelfde voor die leuke delete-knopjes die je soms hebt die direct iets weggooien

Dat klopt, binnen sites gaat alles netjes per POST als er een verandering moet optreden. Maar bij veel bevestigings-links in e-mails is dat zeker niet zo.