[Erledigt] robots.txt wird von einigen Suchmaschinen nicht gefunden

Hallo Gemeinde,

folgendes Problem habe ich: Einige Suchmaschinen wie Bing, Yandex usw. finden bei meiner Homepage keine robots.txt. Wenn ich aber schaue, ist sie vorhanden. Was kann ich machen, dass die robots.txt von den Suchmaschinen gesehen wird?

Habe Pro Shop 8.

Lieben Dank für Ideen und Tipps.

LG

Daniel

Hallo Daniel,

im Pro8 ist der Standard-Eintrag für robots.txt wie folgt (bei den Website-Eigenschaften):

# robots.txt for [u]

User-agent: *

Allow: /
[r]

Sitemap: [s]

[u] = URL der Webseite
[r] = alle Disallow einträge
[s] = sitemap.xml

Für Allow wird bei diesem Code Standardmäßig nichts hinzugefügt, was eventuell zu Deinem Problem führen könnte.

Ich habe mal bei Bing (robots.txt tester) nachgesehen und dort wird folgendes beim Editor bildlich dargestellt:

# robots.txt for ...

User-agent: *
Disallow: /all
Allow: /all/but/this

Sitemap: ...

Normalerweise würde folgender Code ausreichen, dass alles gecrawlt wird:

User-agent: *
Allow: /

Aber da Bing bei seinem Beispiel hier auch all angiebt, würde ich es an deiner Stelle mal mit folgenden Code versuchen:

# robots.txt for [u]

User-agent: *

Allow: /all
[r]

Sitemap: [s]

Also beim Allow das "all" ergänzen.
Eventuell benötigt Bing hier einen Eintrag, weiß ich allerdings nicht, ist nur einen Vermutung.

Danke dir lieber Thomas für das ausführliche Beschreiben. Werde das demnächst mal ausprobieren und mitteilen ob's geklappt hat.

Lieben Gruss

Daniel

Wenn Sie Bingbot erlauben möchten, die gesamte Website zu crawlen, fügen Sie den folgenden Ausschnitt in Ihre robots.txt-Datei ein.

User-agent: bingbot
Allow: /

So nun habe ich es getestet wie Thomas meinte. Hat nichts gebracht. Bing ist gut. Aber Yandex findet keine robots.txt. Da bekomme ich immer die Meldung nicht gefunden. Mit dem kann ich aber Leben. Danke für die Hilfe. Werde den Post schliessen.

Lieben Gruss

Daniel