Hallo Daniel,
im Pro8 ist der Standard-Eintrag für robots.txt wie folgt (bei den Website-Eigenschaften):
# robots.txt for [u]
User-agent: *
Allow: /
[r]
Sitemap: [s]
[u] = URL der Webseite
[r] = alle Disallow einträge
[s] = sitemap.xml
Für Allow wird bei diesem Code Standardmäßig nichts hinzugefügt, was eventuell zu Deinem Problem führen könnte.
Ich habe mal bei Bing (robots.txt tester) nachgesehen und dort wird folgendes beim Editor bildlich dargestellt:
# robots.txt for ...
User-agent: *
Disallow: /all
Allow: /all/but/this
Sitemap: ...
Normalerweise würde folgender Code ausreichen, dass alles gecrawlt wird:
User-agent: *
Allow: /
Aber da Bing bei seinem Beispiel hier auch all angiebt, würde ich es an deiner Stelle mal mit folgenden Code versuchen:
# robots.txt for [u]
User-agent: *
Allow: /all
[r]
Sitemap: [s]
Also beim Allow das "all" ergänzen.
Eventuell benötigt Bing hier einen Eintrag, weiß ich allerdings nicht, ist nur einen Vermutung.
Mit freundlichen Grüßen
Thomas
Web To Date seit 2004, Siquando Web 12, Pro Web 9, Web Client