#1

Lima

Eroberer  (98 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://fotoarte.ch

Hallo Gemeinde,

folgendes Problem habe ich: Einige Suchmaschinen wie Bing, Yandex usw. finden bei meiner Homepage keine robots.txt. Wenn ich aber schaue, ist sie vorhanden. Was kann ich machen, dass die robots.txt von den Suchmaschinen gesehen wird?

Habe Pro Shop 8.

Lieben Dank für Ideen und Tipps.

LG

Daniel


Dieser Beitrag wurde bereits 1 mal bearbeitet, zuletzt von »W2D Fan« (07.03.2024, 07:55)
#2

MuggelClan

Forum-Sponsor  (835 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Hallo Daniel,

im Pro8 ist der Standard-Eintrag für robots.txt wie folgt (bei den Website-Eigenschaften):

# robots.txt for [u]

User-agent: *

Allow: /
[r]

Sitemap: [s]

 

[u] = URL der Webseite
[r] = alle Disallow einträge
[s] = sitemap.xml

Für Allow wird bei diesem Code Standardmäßig nichts hinzugefügt, was eventuell zu Deinem Problem führen könnte.

Ich habe mal bei Bing (robots.txt tester) nachgesehen und dort wird folgendes beim Editor bildlich dargestellt:

# robots.txt for ...

User-agent: *
Disallow: /all
Allow: /all/but/this

Sitemap: ...


Normalerweise würde folgender Code ausreichen, dass alles gecrawlt wird:

User-agent: *
Allow: /

Aber da Bing bei seinem Beispiel hier auch all angiebt, würde ich es an deiner Stelle mal mit folgenden Code versuchen:

# robots.txt for [u]

User-agent: *

Allow: /all
[r]

Sitemap: [s]


Also beim Allow das "all" ergänzen.
Eventuell benötigt Bing hier einen Eintrag, weiß ich allerdings nicht, ist nur einen Vermutung.

 

 


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#3

Lima

Eroberer  (98 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://fotoarte.ch

Danke dir lieber Thomas für das ausführliche Beschreiben. Werde das demnächst mal ausprobieren und mitteilen ob's geklappt hat.

 

Lieben Gruss

Daniel

#4

alter

Forum-Sponsor  (1092 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Wenn Sie Bingbot erlauben möchten, die gesamte Website zu crawlen, fügen Sie den folgenden Ausschnitt in Ihre robots.txt-Datei ein.

User-agent: bingbot
Allow: /


viele Grüsse René

#5

Lima

Eroberer  (98 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://fotoarte.ch

So nun habe ich es getestet wie Thomas meinte. Hat nichts gebracht. Bing ist gut. Aber Yandex findet keine robots.txt. Da bekomme ich immer die Meldung nicht gefunden. Mit dem kann ich aber Leben. Danke für die Hilfe. Werde den Post schliessen.

 

Lieben Gruss

Daniel

323 Aufrufe | 5 Beiträge