Wie kann die robots.txt angepasst werden?

Hallo zusammen,

ich habe die neueste Version von Pro Web installiert. Ich würde nun gerne die robots.txt Datei ändern. Aber wie?

In der Doku ist nichts zu finden und meine Versuche, den Redirect in der .htaccess für die robots.txt zu deaktivieren und eine robots.txt manuell anzugeben sind gescheitert.

Danke für Eure Tipps!

Die Angelegenheit ist lösbar.

Aber:

1. Was exakt (!) hast Du bisher unternommen (bitte genau beschreiben) und woran ist dies gescheitert?
2. Wie genau möchtest Du die robots.txt überhaupt anpassen bzw. erweitern?

Übrigens wird die robots.txt von Haus aus automatisch aus Deinen entsprechenden Einstellungen im Client heraus "gefüttert". Gleiches gilt auch für die sitemap.xml.

 Hallo

Ich habe das Problem mit dem Siqundo pro 6. Goggel findet das robots.txt nicht richtig eingestellt ist. und blockiert meine Webseite www.naturfarben-malerei.ch

Habe keine Einstellung geändert da ich zuwenig IT Erfahrung habe als Maler und Lehmbauer

Wo finde finde ich die Einstellung für robots.txt im Siquando ? der Support verweist mich nur auf die Teuere Tel. Nr. für mich eine Abzocke...

Denn bei der instalation habe ich mir das Packet gekauft das ein Mitarbeiter mir hilft das ganze zu Installieren.

Und jetzt soll ich seinen Fehler auch noch Selber Zahlen.

Kenne diese Abzocke nicht von anderen Software Firma.

Es ist für mich nicht nachvollziehen das die zweit Webseite www.lehm-Kunst.ch robotts.txt  akzeptiert und die www.naturfarben-malerei.ch nicht.

Ich habe es probiert das ganze neu zu Instaliere.

Suchmaschinen wurde eingeschalte und ausgeschaltet und wurde keine änderung festgestellt.

Beide wurden gleichzeitig bearbeitet mit Siquando pro 6

Besten Dank für die Unterstzützng.

In deiner robots.txt steht

User-agent: *
Disallow: /

Lösche mal das

Disallow: /

So wie es Goggo in seinem Beitrag dir zeigt, sieht die robots.txt aus, wenn du bei den Website-Eigenschaften unter Reiter Suchmaschinen bei Suchroboter den Haken für "Vom index ausschließen (noindex)" gesetzt hast.

Nimm den Haken bei "Vom index ausschließen (noindex)" heraus.

Kontrolliere dann dein robots.txt 

Gib im Browsern in die Adresszeile deine Internetadresse ein und schreibe /robots.txt dahinter. 

Jetzt siehst du welche Ordner noch mit noindex ausgeschlossen sind. Diese kannst du dann bei den jeweiligen Unterordner in den Eigenschaften auf gleicher weise mit entfernen der Haken herausnehmen

Hallo MuggelClan

Danke schön für deine Hilfestellung dies haben wir schon probiert.

----------------------------------------------------------------------------------------

Meine Siguando 6 Pro Installation wurde mit Hilfe des Supports eingerichtet.

Beide Webseiten wurde mit der aktuellen Siguando Version neu angelegt.

===
= Situation vor der Supportanfrage war wie folgt:
=
=
= Beide Webseiten haben die gleiche Konfiguration bei der Suchmaschinen Einstellungen.
=
= - Unterschied im dargestellen robots.txt mit Browser aufgerufen
=
= naturfarben-malerei.ch
= --- cut here ---
= Disallow: /
= --- cut here ---
= -
= lehm-kunst.ch
= --- cut here ---
= Disallow:
= --- cut here ---
=
=
= Vergleich der Dateien in der Doc-Root
= .htaccess (beide gleich)
= robots.txt (beide gleich)
= robots.txt.php (beide gleich)
===

a) Problembeschrieb an den Support war ...
--
Suchmaschinen werden verboten obwohl das physikalische robots.txt im root
auf erlaubt steht. (Detail weiter unten)

Die Suchmaschineneinstellungen in den Eigenschaften meiner Webseite sind Alle
blank - daher müsste das indizieren der Webseite für Suchmaschinen erlaubt sein.

Ich habe versuchshalber die Einstellungen auf verboten gesetzt und
wieder ausgeschaltet. Das hatte keinen Erfolg.
--

b) Der Support hatte uns gebeten die robots Dateien zu löschen weil sie von
  Siguando gerendert werden. Das haben wir getan - jedoch ohne das sich
  das Verhalten geändert hätte.

Webseite wurde auf dem Webserver gelöscht und neu angelegt. Dies ohne
das eine Änderung im robots.txt (vom Browser aufgerufen) gemacht wurde.
Es wird immer nocht "Disallow: /" angezeigt. (Auch mit forcierter Neu-
installation der Module)

Wir hatten Support angefragt welche Datei geändert werden müsste damit
das Indizieren mit Suchmaschinen erlaubt wird - Siguando Support ging
auf diese Frage nicht ein und gab nur den Hinweis dass weiterer Support
via Kostenpflichtigen Telefonanruf geleistet wird.

c) "Gretchenfrage ..."

- Siguandoinstallationd der Webseite kann nicht mit einem manuell angelegten
robots.txt geändert werden. Was muss in welchem File geändert werden damit
die Suchmaschinen erlaubt werden?

--- Wir haben die zwei verschiedenen Webseiten verglichen und konnten bisher
   keinen Unterschied in den Dateien finden welche wir für relevant gehalten haben.

Also naturfarben,

laut deinem Quelltext hast du aus welchen Grund auch immer bei deiner Webseite "naturfarben-malerei.ch" in den Website-Eigenschaften, auf den Reiter "Suchmachinen" einen Haken bei "Von Index ausschließen (noindex)". Nimm diesen Haken raus (siehe Anhang). Google wird jetzt nicht mehr aufgefordert nicht zu indexieren.

Bei deiner Webseite "lehm-kunst.ch" ist diesen Haken laut der Quelltext schon nicht gesetzt.

Es wird an den Text nach angabe von /robots.txt hinter deiner Internetadresse nichts ändern. Die wird offensichtlich irgendwo aus dem Programmintern hervor geholt wo wir Otto normal User nicht kommen können.

suchrobots.png

Hallo Marjorie

Dankeschön für deine Antwort.

unter Siguando 6 Pro sieht das so aus bei mir

Hallo Zusammen
bei mir ist das Gleiche, erhalte auch die Meldung "Disallow", obwohl in den Website-Eigenschaften, auf den Reiter "Suchmachinen" keinen Haken bei "Von Index ausschliessen (noindex)" gesetzt wurde. Ich bin derzeit daran, dies mit Google zu klären. Auch bei Siquando habe ich diesbezüglich einen Fall eröffnet.
Das bewirkt auch das bei Google die Website als unsicher gilt da diese nicht inexiert wird

"Von Index ausschließen (noindex)". Nimm diesen Haken raus

> der ist schon immer raus darum verstehe ich das ganze nicht.

Hee René

schön von dir zu lesen das ich der einzige bin mit diesem Problem

Viele Grüsse Bruno

Hallo Bruno

gibt sicher noch mehr User mit diesem Problem. Es beschäftigen sich einfach nicht alle damit. Viele denken, das Problem löst sich von selbst

Es fällt mir dazu nichts mehr ein und ich befürchte das nur Siquando hier helfen kann.

Hallo Marjorie
das sehe ich auch, so das Siquando das lösen sollte. Aber bei leider sieht Siquando immer zuerst den Fehler bei den Usern. Irgendwie wird die Indexierung verhindert, obwohl man den Hacken nicht gesetzt hat. Obwohl Google noch am Fehler dran ist, wird durch diese vermutet, dass evtl. ein Upgrade oder Plugin nicht sauber programmiert sein könnte. Aber das kann wohl nur Siquando selbst beantworten

Guten Morgen,

für den Betrieb von SIQUANDO Pro Web 6 wird kein physikalische robots.txt angelegt und auch nicht benötigt.
LÖSCHE die im Root-Verzeichnis manuell angelegte physikalische robots.txt !!! (Diese wird sonst vorrangig zu Pro Web von den Suchmaschinen verwendet).

Mit LÖSCHEN des robots.txt gibst du das Crawlen der Suchmaschinen frei. D.h. kein robots.txt vorhanden, keine Einschränkung zum crawlen der gesamten Webseite.

Wenn sich die Datei robots.txt nicht löschen lässt, dann kontaktiere deinen Web-Provider und bitte ihm für dich diese Datei robots.txt zu löschen.

In die Datei robots.txt (robots.txt.php, die anschließend als robots.txt aufrufbar ist) wird von ProWeb automatisch von den Häkchen "Von Index ausschließen (noindex)" in den jeweiligen Eigenschaften der Ordner und Seiten im ProWeb-Client gesteuert. Es werden nur die "Von Index ausschließen (noindex)" markierten in robots.txt eingetragen die auch markiert sind. Die nicht markierten werden gar nicht eingetragen.

Empfehlung: Kontrolliere alle Eigenschaften (Ordner und Seiten und natürlich die Webseite-Eigenschaften und Startordner) ob auch wirklich das Häkchen bei "Von Index ausschließen (noindex)" NICHT gesetzt ist.

Zusammenfassung in Kurzform:
- LÖSCHE die manuell angelegte physikalische robots.txt !!!
- Kontrolliere meine beschriebene Empfehlung

UND ZUM SCHLUSS:

Abwarten und Tee trinken, bis Google eine Webseite neu versucht zu crawlen, denn das findet ja nicht ständig statt. Änderungen werden erst nach erneuten Crawlen der Suchmaschine bei deren Suchergebnisse erst bemerkbar.

Übrigens, der Support von SIQUANDO hat die bereits alles gesagt (entsprechend deiner Beschreibung) was du tun kannst. Alles andere (falls die Datei robots.txt sich nicht löschen lässt oder anpassen lässt / -> Disallow: / löschen), musst du mit dem Support von deinem Web-Provider klären bzw. löschen oder anpassen lassen.

Hallo MuggelClan
Danke für Deine Ausführungen. Das von Dir beschriebene Prozedere habe ich schon mehrfach gemacht. Auch wenn der robots.txt vom Provider gelöscht wird nutzt dies nichts da dieser auf Magische weise wieder durch die Software von Siquando angelegt wird. Da nützt dann auch kein Warten auf die Google Indexierung etwas.

Hallo Muggel clan und René

 Wie bringt man dazu siquando ihr Software zu überprüfen wenn div. User das Problem haben?

Gruss Bruno

 Hallo Renè,

SIQUANDO ProWeb erstellt keine Datei robots.txt sondern die Datei robots.txt.php.

Ich habe geschrieben dass die robots.txt gelöscht werden soll und nicht die robots.txt.php.

Die Datei robots.txt wird vorrangig zu robots.txt.php behandelt. Wenn du keine robots.txt hast, dann kann man trotzdem mit /robots.txt die Daten robots.txt.php in der Adresszeile vom Browser aufrufen.

Wenn Disallow / dort steht, dann wird alles gesperrt. Da "/" ist verantwortlich dass gesperrt ist.

Bei mir existiert kein robots.txt, sondern nur robots.txt.php

Hallo MuggelClan
bei mir ist auch nur "robots.txt.php" trotzdem wird alles gesperrt. Ausgegeben wird beim Aufruf im Explorer folgendes:

User-agent: *
Disallow:

das bedeutet wiederum, dass keine Indexierung stattfinden kann. 

Renè,

Mach mal bitte folgendes:

- erstelle unter der Startseite einen Ordner 

- gehe in die Eigenschaften und setze den Haken bei noindex

- kontrollieren jetzt mal robots.txt.php

Jetzt müsste nur der Ordner dort stehen mit Disallow: /Ordner

Nur um Klarzustellen:

Ein Befehl Disallow: / sperrt alles.

Ein Befehl Disallow: erlaubt alles, es wird nichts gesperrt 

Es ändert sich nichts.

Das liegt aber nicht an der Software SIQUANDO ProWeb.

Deswegen habe auch bereits oben schon empfohlen den Support vom Web-Provider zu kontaktieren. 

Danke für Deine erneute Nachricht

Google schreibt folgendes zum robots.txt

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

1. Der User-Agent namens „Googlebot“ darf keine URLs crawlen, die mit http://example.com/nogooglebot/ beginnen.
2. Alle anderen User-Agents dürfen die gesamte Website crawlen. Diese zweite Regel könnte weggelassen werden und das Ergebnis wäre das gleiche. Standardmässig dürfen User-Agents die gesamte Website crawlen.
3. User-Agent:
   Disallow: es findet keine Indexierung statt da dies mit dem Befehl verboten wird

Also ich weiss jetzt nicht, was das mit dem Provider zu tun hat, wenn der Befehl durch die Software generiert wird. Zudem bin ich bei HostEurope bei welchem auch Siquando Ihren Test Shop am Laufen hat. Zudem hatte ich schon Kontakt mit dem Support von HostEurope auch hier die Meinung der Fehler dürfte Softwaremässig ausgelöst werden

Renè,

Eventuell sucht google bei dir nicht nach Metadaten, sondern macht nur Snippeds.

Google entscheidet selber wie auf den Webseiten gesucht wird.

Wenn Google meint die Metadaten passen nicht, dann sucht google mit so genannten Snipped die Homepage durch. Dadurch werden nur eingeschränkt einzelne Seiten gecrawlt.

Da hilft dann nur das Einreichen von Seiten direkt bei Google. Hierzu wird allerdings ein Google-Account benötigt. 

Danke für Deine erneute Antwort. Ich habe ein Google-Account. Aber wie gesagt Google schaut nach wie vor

Bzgl.:

Disallow:

siehe hier:
Robots.txt – SELFHTML-Wiki

Dort steht folgendes als Beispiel:

Danke für die neue Nachricht. Bin mal gespannt auf die neuen Antworten von Google, Siquando. Irgendwann wird das Problem bestimmt gelöst. Aber es ist halt schon so, mit den ständigen Upgrades von Google und Co. wird die Zukunft sicherlich nicht einfacher, auch nicht für die Softwarehersteller. Ich denke, langfristig können da nur noch die Grossen mithalten. Dies natürlich zulasten aller Kleinstunternehmen, welche sich schlicht und einfach die teuren Lösungen nicht leisten können und dann entweder auf der Strecke bleiben oder sich selber versuchen zu helfen. Wie das hier im Forum ja schon lange geschieht.

An dieser Stelle möchte ich mich mal bei allen bedanken, welche tatkräftig helfen, um Lösungen zu finden. Der Dank gilt speziell auch unserem Forums-Betreiber, den ohne ginge gar nichts.

Hallo Bruno
Siquando reagiert, wenn sich viele User melden. Wenn es nur ein zwei sind, liegt der Fehler bei den Usern