Bingbots blijkbaar geblokkeerd...

[Stab]

Ik heb een website die vrij goed scoort op Google, maar totaal onvindbaar is op Bing.
Ik heb een Bing webmaster tools aangemaakt om de zaak te verhelpen en hiervoor moet je een sitemap toevoegen. Volgens Bing support wordt de website daarna gecrawled en geïndexeerd.

Echter, het toevoegen van de sitemap 'mislukt' steeds. Volgens Bing support komt het omdat mijn website de bingbots blokkeert. Ze hebben mij een aantal IP-adressen gegeven die ik dus moet 'unblocken'.

Nou heb ik mijn robots.txt file al een aantal keer aangepast en nu zelfs volledig verwijderd. Ofwel, alle bots zijn welkom om alles te crawlen.
Dit heeft helaas geen effect op de bingbots.

Hoe kan ik op een andere manier de ipadressen van de bingbots handmatig 'allowen'? Iemand een idee?

[RobIII]

Heb je zélf al een keer geprobeerd de sitemap op te halen? Lukt dat wel? Content-type correct?

[Stab]

RobIII schreef op dinsdag 29 september 2015 @ 19:49:
Heb je zélf al een keer geprobeerd de sitemap op te halen? Lukt dat wel? Content-type correct?

Thanks Roblll

Ja, de sitemap werkt prima. Ook via Google Webmaster Tools geen probleem.

Volgens Bing support is het echt dat de bingbots IP's niet moeten worden geblokkeerd...
Hiervoor had ik overigens een andere website (zelfde domein) met een andere robots.txt en sitemap en die is ook nooit succesvol geïndexeerd door Bing, maar wel door Google.

Heel vreemd dit.

[RobIII]

Waar draait je site op? Wordpress? Joomla? Iets anders? En zitten er plugins of zaken in die IP-restricties beheren? Wat staat daar in?
M.a.w.: met de huidige informatie is 't gewoon koffiedik kijken en kunnen we niets zinnigs zeggen, hooguit gissen naar mogelijke oorzaken. En dat laatste kun je net zo goed zelf; je zou dus op z'n minst even kunnen aangeven waar je zelf al in/naar gezocht/gekeken hebt, wat je bevindingen waren etc.

Overigens kan "Bing support" veel zeggen, maar je weet 100% zeker dat de IP's ge-denied worden? Het is niet dat ze een andere/verkeerde URL opvragen en een 404 krijgen o.i.d.?

[ Voor 17% gewijzigd door RobIII op 29-09-2015 19:57 ]

[Stab]

RobIII schreef op dinsdag 29 september 2015 @ 19:56:
Waar draait je site op? Wordpress? Joomla? Iets anders? En zitten er plugins of zaken in die IP-restricties beheren? Wat staat daar in?
M.a.w.: met de huidige informatie is 't gewoon koffiedik kijken en kunnen we niets zinnigs zeggen, hooguit gissen naar mogelijke oorzaken. En dat laatste kun je net zo goed zelf; je zou dus op z'n minst even kunnen aangeven waar je zelf al in/naar gezocht/gekeken hebt, wat je bevindingen waren etc.

Overigens kan "Bing support" veel zeggen, maar je weet 100% zeker dat de IP's ge-denied worden? Het is niet dat ze een andere/verkeerde URL opvragen en een 404 krijgen o.i.d.?

Thanks. Nee dat laatste is sowieso niet zo.
Ik heb inderdaad Wordpress draaien met een aantal plug-ins. Geen die ik zo zou kunnen vermoeden hier iets te blokkeren. Robots.txt is leeg en htcaccess bevat alleen een redirect van non www naar www en doet leverage browser caching. Zou dat er iets mee te maken kunnen hebben?

Verder, in zijn algemeen, hoe blokkeer je een bepaalde bot / ip, anders dan met robots.txt? Dan weet ik waarin ik het moet zoeken.

Nogmaals dank voor je tijd.

[André]

Heb je de "fetch as bingbot" functie al geprobeerd in de Bing webmaster tools? Welke melding geeft die terug?

[Stab]

Wacht even, ik heb 2 uur geleden mijn robots.txt file helemaal verwijderd en opnieuw de sitemap ingediend en dat is nu voor het eerst 'succesvol'.

Heel vreemd, want in de file stond alleen dat alle 'useragents' allowed zijn met een locatie van de sitemap, maar wellicht dat het dan nu langzaam maar zeker wel gaat lukken met Bing.

Ook is de site verificatie voor het eerst gelukt... Vreemd maar het lijkt nu goed te gaan.

Wellicht iets te maken met het feit dat ik vandaag mijn site flink 'sneller' heb gemaakt? Het is dat, of de verwijdering van de robots.txt.

Bedankt allen in ieder geval.

[RobIII]

Hoe zag/ziet je robots.txt er uit?

[Stab]

RobIII schreef op dinsdag 29 september 2015 @ 22:02:
Hoe zag/ziet je robots.txt er uit?

Er stond alleen dit in:

User-agent: *
Allow: /
Sitemap: xxx.xx/sitemap.xml

[Verwijderd]

Je hoster kan een crawl limit hebben ingesteld voor bing of googlebot. Het komt vaak voor op shared hosting dat per ongeluk bing of google in een firewall komt omwille 'teveel' connecties naar 'teveel' websites.