[robots.txt] Syntax error

[MuddyMagical]

Ik heb het idee dat ik me echt zwaar ga schamen, maar heb er gisteravond een hele tijd op zitten staren maar de oplossing niet kunnen vinden.

Mijn robots.txt wordt niet geaccepteerd.

code:

User-agent: *
Disallow: /profile/

Ik heb deze op verschillende sites waaronder Google Webmaster tools getest en overal krijg ik terug dat er iets niet klopt of dat die url toch toegankelijk is.
Zelfs de encoding van het stand gecheckt en die is UTF-8. Er staat geen vaag teken voor tekst of iets en ik ben op het punt dat ik mijn laptop buiten gooi.

Wie verlost mij en wijst mij op mijn fout ?

Foutmelding van http://www.frobee.com/robots-txt-check

Line 1: Syntax error! Expected <field>: <value>
1: User-agent: *
2: Disallow: /profile/

Line 2: Missing User-agent directive! Found Disallow
Each rule record has to start with at least one User-agent statement. Blank lines delimit rule records and may not be used between User-agent and Disallow statements.
1: User-agent: *
2: Disallow: /profile/

[ Voor 26% gewijzigd door MuddyMagical op 17-09-2013 13:26 ]

[Mappy]

Wellicht toch een UTF-8 BOM aan het begin van je bestand? Probeer 'm eens als UTF-8 zonder BOM, of gewoon als ASCII te bewaren.

[Ealanrian]

Ik ga nu iets heel doms vragen op basis van je melding maar je hebt toch niet letterlijk

code:

1: User-agent:* 
2: Disallow: /profile/

dus met 1 en 2 er voor in je robots staan?

[MuddyMagical]

Mappy schreef op dinsdag 17 september 2013 @ 13:29:
Wellicht toch een UTF-8 BOM aan het begin van je bestand? Probeer 'm eens als UTF-8 zonder BOM, of gewoon als ASCII te bewaren.

Held, echt waar. 3 uur eikelen en het antwoord in 4 minuten.

In Notepad 'Encoding as UTF8 without BOM' gekozen en werkt perfect.

Ealanrian schreef op dinsdag 17 september 2013 @ 13:31:
Ik ga nu iets heel doms vragen op basis van je melding maar je hebt toch niet letterlijk

code:

1: User-agent:* 
2: Disallow: /profile/

dus met 1 en 2 er voor in je robots staan?

Nope. Ik snap je vraag, maar zie hierboven.

[ Voor 32% gewijzigd door MuddyMagical op 17-09-2013 13:33 ]

[BtM909]

Het is idd je UTF8 met BOM wat het probleem veroorzaakte

[Ealanrian]

MuddyMagical schreef op dinsdag 17 september 2013 @ 13:33:
[...]

Held, echt waar. 3 uur eikelen en het antwoord in 4 minuten.

In Notepad 'Encoding as UTF8 without BOM' gekozen en werkt perfect.


[...]

Nope. Ik snap je vraag, maar zie hierboven.

Mooi dat het is opgelost, ik dacht ik vraag het gewoon aangezien soms zulke fouten gewoon gemaakt worden (ja ik heb het zelf ook eens gehad in een ander ding...)