[PHP] http_referer

[Verwijderd]

Beste mensen,

Ik gebruik voor een zelfgemaakte statistiekentool op een specifieke subpagina van mn site $_SERVER['HTTP_REFERER'].

Ik weet dat veel browsers e.d. HTTP_REFERER niet (goed) doorgeven en misschien kan een site zelf ook wel zorgen dat ie niet in http_referer doorgegeven wordt, dat weet ik niet, maar niet relevant.

De pagina waarop ik de referer opsla, kan maar via 2 andere paginas bezocht worden. Een pagina binnen hetzelfde domein en een pagina op een ander domein. Ik weet ook zeker dat 99% van de bezoekers via die 2 paginas komen.

Nu blijkt dat maar 25% van alle referers opgeslagen wordt en de overige 75% leeg is.
Dit vind ik erg vreemd. Als ik zelf het test met Explorer en Firefox werkt het prima. Zou het dan kunnen zijn dan 75% van de mensen die mijn site bezoeken rare browsers hebben of extreem oude versies die de referer niet opslaan? Dat kan ik me haast niet voorstellen. (het gaat om +/- 300 bezoekers per dag) Het is ook niet zo dat de link met javascript geopend wordt ofzo.

Iemand een idee hoe dit komt? Ik mag toch aannemen dat 90% van de bezoekers een redelijk actuele versie van explorer of firefox heeft en niks raar ingesteld heeft. Het publiek is trouwens gemiddeld nederland, dus geen typische IT-ers ofzo

[AtleX]

Veel firewalls, ao ZoneAlarm als ik het mij goed herinner, halen ook referers uit requests.

[gorgi_19]

Een firewall kan de boel ook blokkeren.

[Verwijderd]

Firewall of bot's misschien?

[Verwijderd]

Ik wist neit dat firewalls ook http_referer leegt. Crap zeg wat irritant!

[Snake]

Verwijderd schreef op maandag 23 juli 2007 @ 11:27:
Ik wist neit dat firewalls ook http_referer leegt. Crap zeg wat irritant!

Inderdaad, soms wel handig zo.

Maar waarom werk je niet met een sessie? Alleen toegang tot die pagina als je via die of die pagina, waar je dan die sessie creëert, binnenkomt?

[ Voor 6% gewijzigd door Snake op 23-07-2007 11:40 ]

[Grijze Vos]

Bookmarks heb je ook nog natuurlijk. (naast firewalls.)

[ Voor 20% gewijzigd door Grijze Vos op 23-07-2007 11:48 ]

[Verwijderd]

Snake schreef op maandag 23 juli 2007 @ 11:40:
[...]
Maar waarom werk je niet met een sessie? Alleen toegang tot die pagina als je via die of die pagina, waar je dan die sessie creëert, binnenkomt?

Omdat het ook vanaf een heel ander domein komt. Is het dan mogelijk een sessie te maken bij een domein X en vanaf domein Y bij die sessie te komen?

[gorgi_19]

Verwijderd schreef op maandag 23 juli 2007 @ 13:24:
[...]


Omdat het ook vanaf een heel ander domein komt. Is het dan mogelijk een sessie te maken bij een domein X en vanaf domein Y bij die sessie te komen?

Nee

[marko77]

Je zou je logfiles kunnen nalopen (mits je daarbij kunt komen) en kijken wat voor user agents er gebruikt zijn.

[RobIII]

marko77 schreef op maandag 23 juli 2007 @ 13:31:
Je zou je logfiles kunnen nalopen (mits je daarbij kunt komen) en kijken wat voor user agents er gebruikt zijn.

En dan? Matchen op UserAgent Dat gaat natuurlijk never nooit niet werken

[Fuzzillogic]

RobIII schreef op maandag 23 juli 2007 @ 13:32:
[...]

En dan? Matchen op UserAgent Dat gaat natuurlijk never nooit niet werken

Spiders van SE's zoals googlebot geven ook geen referrer mee, maar kunnen wel voor een groot deel van de hits verantwoordelijk zijn. Door te filteren met een combinatie van whitelist/blacklist kun je vrij aardig alleen de echte browsers eruit pikken, en dan zul je zien dat het percentage referrers veel hoger is. Daarbij is het imo wel schijtirritant dat veel bots ook onder de Mozilla/4.0 of Mozilla/5.0-vlag spideren.

[Verwijderd]

Fuzzillogic schreef op maandag 23 juli 2007 @ 13:37:
[...]

Spiders van SE's zoals googlebot geven ook geen referrer mee, maar kunnen wel voor een groot deel van de hits verantwoordelijk zijn. Door te filteren met een combinatie van whitelist/blacklist kun je vrij aardig alleen de echte browsers eruit pikken, en dan zul je zien dat het percentage referrers veel hoger is. Daarbij is het imo wel schijtirritant dat veel bots ook onder de Mozilla/4.0 of Mozilla/5.0-vlag spideren.

Nee dat kan niet. Ik sla de referer pas op na een offerteaanvraag op de betreffende paginas. En ik denk dat ons product niet heel interessant is voor een bot Het is dus niet zo dat elke willekeurige bezoeker direct opgeslagen wordt.

[japsai]

Misschien niet heel elegant, maar je zou die twee 'referring' pagina's een query variabele mee kunnen laten geven à la ?referrer=domain1 (GET of als hidden form variabele).

[BasieP]

Fuzzillogic schreef op maandag 23 juli 2007 @ 13:37:
[...]

Spiders van SE's zoals googlebot geven ook geen referrer mee, maar kunnen wel voor een groot deel van de hits verantwoordelijk zijn. Door te filteren met een combinatie van whitelist/blacklist kun je vrij aardig alleen de echte browsers eruit pikken, en dan zul je zien dat het percentage referrers veel hoger is. Daarbij is het imo wel schijtirritant dat veel bots ook onder de Mozilla/4.0 of Mozilla/5.0-vlag spideren.

als je iets als browscap.ini hebt kan je heel simpel zien of iets een crawler is.

if ($hit['crawler'] = 1) {
...
}

sowieso is dat wel handig voor stats...