#1

breuer-versand

Neuling  (8 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden
 https://www.breuer-versand.de

Hallo zusammen,

ich habe die neueste Version von Pro Web installiert. Ich würde nun gerne die robots.txt Datei ändern. Aber wie?

In der Doku ist nichts zu finden und meine Versuche, den Redirect in der .htaccess für die robots.txt zu deaktivieren und eine robots.txt manuell anzugeben sind gescheitert.

Danke für Eure Tipps!

#2

Volker W.

Administrator  (7794 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden
 https://www.warmers.de  ·   vwarmers  ·   vwarmers  ·   volkerw68

Die Angelegenheit ist lösbar.

Aber:

  1. Was exakt (!) hast Du bisher unternommen (bitte genau beschreiben) und woran ist dies gescheitert?
  2. Wie genau möchtest Du die robots.txt überhaupt anpassen bzw. erweitern?


Übrigens wird die robots.txt von Haus aus automatisch aus Deinen entsprechenden Einstellungen im Client heraus "gefüttert". Gleiches gilt auch für die sitemap.xml.


Viele Grüße,
Volker

Über mich  ·  Volker W. Musik & Sounds  ·  Facebook  ·  Twitter  ·  Instagram  ·  StayFriends  ·  LinkedIn  ·  XING

#3

naturfarben

Neuling  (7 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 http://Web6

 Hallo

Ich habe das Problem mit dem Siqundo pro 6. Goggel findet das robots.txt nicht richtig eingestellt ist. und blockiert meine Webseite www.naturfarben-malerei.ch

Habe keine Einstellung geändert da ich zuwenig IT Erfahrung habe als Maler und Lehmbauer

 

Wo finde finde ich die Einstellung für robots.txt im Siquando ? der Support verweist mich nur auf die Teuere Tel. Nr. für mich eine Abzocke... 😠

Denn bei der instalation habe ich mir das Packet gekauft das ein Mitarbeiter mir hilft das ganze zu Installieren.

Und jetzt soll ich seinen Fehler auch noch Selber Zahlen.

Kenne diese Abzocke nicht von anderen Software Firma.

Es ist für mich nicht nachvollziehen das die zweit Webseite www.lehm-Kunst.ch robotts.txt  akzeptiert und die www.naturfarben-malerei.ch nicht.

Ich habe es probiert das ganze neu zu Instaliere.

Suchmaschinen wurde eingeschalte und ausgeschaltet und wurde keine änderung festgestellt.

Beide wurden gleichzeitig bearbeitet mit Siquando pro 6

Besten Dank für die Unterstzützng.

 

 

#4

Goggo

Neuling  (6 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden
 https://www.villa-malu.com  ·   VillaMaLuPirovac

In deiner robots.txt steht

User-agent: *
Disallow: /
#5

Goggo

Neuling  (6 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden
 https://www.villa-malu.com  ·   VillaMaLuPirovac

Lösche mal das

Disallow: /
#6

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

So wie es Goggo in seinem Beitrag dir zeigt, sieht die robots.txt aus, wenn du bei den Website-Eigenschaften unter Reiter Suchmaschinen bei Suchroboter den Haken für "Vom index ausschließen (noindex)" gesetzt hast.

Nimm den Haken bei "Vom index ausschließen (noindex)" heraus.

Kontrolliere dann dein robots.txt 

Gib im Browsern in die Adresszeile deine Internetadresse ein und schreibe /robots.txt dahinter. 

Jetzt siehst du welche Ordner noch mit noindex ausgeschlossen sind. Diese kannst du dann bei den jeweiligen Unterordner in den Eigenschaften auf gleicher weise mit entfernen der Haken herausnehmen


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#7

naturfarben

Neuling  (7 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 http://Web6

Hallo MuggelClan

Danke schön für deine Hilfestellung dies haben wir schon probiert.

----------------------------------------------------------------------------------------

 

Meine Siguando 6 Pro Installation wurde mit Hilfe des Supports eingerichtet.

Beide Webseiten wurde mit der aktuellen Siguando Version neu angelegt.

===
= Situation vor der Supportanfrage war wie folgt:
=
=
= Beide Webseiten haben die gleiche Konfiguration bei der Suchmaschinen Einstellungen.
=
= - Unterschied im dargestellen robots.txt mit Browser aufgerufen
=
= naturfarben-malerei.ch
= --- cut here ---
= Disallow: /
= --- cut here ---
= -
= lehm-kunst.ch
= --- cut here ---
= Disallow:
= --- cut here ---
=
=
= Vergleich der Dateien in der Doc-Root
= .htaccess (beide gleich)
= robots.txt (beide gleich)
= robots.txt.php (beide gleich)
===

a) Problembeschrieb an den Support war ...
--
Suchmaschinen werden verboten obwohl das physikalische robots.txt im root
auf erlaubt steht. (Detail weiter unten)

Die Suchmaschineneinstellungen in den Eigenschaften meiner Webseite sind Alle
blank - daher müsste das indizieren der Webseite für Suchmaschinen erlaubt sein.

Ich habe versuchshalber die Einstellungen auf verboten gesetzt und
wieder ausgeschaltet. Das hatte keinen Erfolg.
--

b) Der Support hatte uns gebeten die robots Dateien zu löschen weil sie von
  Siguando gerendert werden. Das haben wir getan - jedoch ohne das sich
  das Verhalten geändert hätte.

Webseite wurde auf dem Webserver gelöscht und neu angelegt. Dies ohne
das eine Änderung im robots.txt (vom Browser aufgerufen) gemacht wurde.
Es wird immer nocht "Disallow: /" angezeigt. (Auch mit forcierter Neu-
installation der Module)

Wir hatten Support angefragt welche Datei geändert werden müsste damit
das Indizieren mit Suchmaschinen erlaubt wird - Siguando Support ging
auf diese Frage nicht ein und gab nur den Hinweis dass weiterer Support
via Kostenpflichtigen Telefonanruf geleistet wird.

c) "Gretchenfrage ..."

- Siguandoinstallationd der Webseite kann nicht mit einem manuell angelegten
robots.txt geändert werden. Was muss in welchem File geändert werden damit
die Suchmaschinen erlaubt werden?

--- Wir haben die zwei verschiedenen Webseiten verglichen und konnten bisher
   keinen Unterschied in den Dateien finden welche wir für relevant gehalten haben.

#8

W2D Fan

Co-Administratorin  (4549 Punkte)  ·   weiblich  ·   Niederlande  ·   Nachricht senden

Also naturfarben,

laut deinem Quelltext hast du aus welchen Grund auch immer bei deiner Webseite "naturfarben-malerei.ch" in den Website-Eigenschaften, auf den Reiter "Suchmachinen" einen Haken bei "Von Index ausschließen (noindex)". Nimm diesen Haken raus (siehe Anhang). Google wird jetzt nicht mehr aufgefordert nicht zu indexieren.

Bei deiner Webseite "lehm-kunst.ch" ist diesen Haken laut der Quelltext schon nicht gesetzt.

Es wird an den Text nach angabe von /robots.txt hinter deiner Internetadresse nichts ändern. Die wird offensichtlich irgendwo aus dem Programmintern hervor geholt wo wir Otto normal User nicht kommen können.


Gruß,
Marjorie

Hilfe ist nicht selbstverständlich. Deshalb halte ich ein "Dankeschön", nachdem jemandem geholfen wurde, für überaus angebracht und höflich.


#9

naturfarben

Neuling  (7 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 http://Web6

Hallo Marjorie

Dankeschön für deine Antwort.

unter Siguando 6 Pro sieht das so aus bei mir Screenshot%20%2865%29.png

#10

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Hallo Zusammen
bei mir ist das Gleiche, erhalte auch die Meldung "Disallow", obwohl in den Website-Eigenschaften, auf den Reiter "Suchmachinen" keinen Haken bei "Von Index ausschliessen (noindex)" gesetzt wurde. Ich bin derzeit daran, dies mit Google zu klären. Auch bei Siquando habe ich diesbezüglich einen Fall eröffnet.
Das bewirkt auch das bei Google die Website als unsicher gilt da diese nicht inexiert wird 😠


viele Grüsse René

#11

naturfarben

Neuling  (7 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 http://Web6

"Von Index ausschließen (noindex)". Nimm diesen Haken raus

> der ist schon immer raus darum verstehe ich das ganze nicht.

 

#12

naturfarben

Neuling  (7 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 http://Web6

Hee René

schön von dir zu lesen das ich der einzige bin mit diesem Problem

Viele Grüsse Bruno

#13

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Hallo Bruno

gibt sicher noch mehr User mit diesem Problem. Es beschäftigen sich einfach nicht alle damit. Viele denken, das Problem löst sich von selbst 😉


viele Grüsse René

#14

W2D Fan

Co-Administratorin  (4549 Punkte)  ·   weiblich  ·   Niederlande  ·   Nachricht senden

Es fällt mir dazu nichts mehr ein und ich befürchte das nur Siquando hier helfen kann.


Gruß,
Marjorie

Hilfe ist nicht selbstverständlich. Deshalb halte ich ein "Dankeschön", nachdem jemandem geholfen wurde, für überaus angebracht und höflich.

#15

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Hallo Marjorie
das sehe ich auch, so das Siquando das lösen sollte. Aber bei leider sieht Siquando immer zuerst den Fehler bei den Usern. Irgendwie wird die Indexierung verhindert, obwohl man den Hacken nicht gesetzt hat. Obwohl Google noch am Fehler dran ist, wird durch diese vermutet, dass evtl. ein Upgrade oder Plugin nicht sauber programmiert sein könnte. Aber das kann wohl nur Siquando selbst beantworten 😉


viele Grüsse René

#16

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Guten Morgen,

für den Betrieb von SIQUANDO Pro Web 6 wird kein physikalische robots.txt angelegt und auch nicht benötigt.
LÖSCHE die im Root-Verzeichnis manuell angelegte physikalische robots.txt !!! (Diese wird sonst vorrangig zu Pro Web von den Suchmaschinen verwendet).

Mit LÖSCHEN des robots.txt gibst du das Crawlen der Suchmaschinen frei. D.h. kein robots.txt vorhanden, keine Einschränkung zum crawlen der gesamten Webseite.

Wenn sich die Datei robots.txt nicht löschen lässt, dann kontaktiere deinen Web-Provider und bitte ihm für dich diese Datei robots.txt zu löschen.

In die Datei robots.txt (robots.txt.php, die anschließend als robots.txt aufrufbar ist) wird von ProWeb automatisch von den Häkchen "Von Index ausschließen (noindex)" in den jeweiligen Eigenschaften der Ordner und Seiten im ProWeb-Client gesteuert. Es werden nur die "Von Index ausschließen (noindex)" markierten in robots.txt eingetragen die auch markiert sind. Die nicht markierten werden gar nicht eingetragen.

Empfehlung: Kontrolliere alle Eigenschaften (Ordner und Seiten und natürlich die Webseite-Eigenschaften und Startordner) ob auch wirklich das Häkchen bei "Von Index ausschließen (noindex)" NICHT gesetzt ist.

 

Zusammenfassung in Kurzform:
- LÖSCHE die manuell angelegte physikalische robots.txt !!!
- Kontrolliere meine beschriebene Empfehlung

UND ZUM SCHLUSS:

Abwarten und Tee trinken, bis Google eine Webseite neu versucht zu crawlen, denn das findet ja nicht ständig statt. Änderungen werden erst nach erneuten Crawlen der Suchmaschine bei deren Suchergebnisse erst bemerkbar.

Übrigens, der Support von SIQUANDO hat die bereits alles gesagt (entsprechend deiner Beschreibung) was du tun kannst. Alles andere (falls die Datei robots.txt sich nicht löschen lässt oder anpassen lässt / -> Disallow: / löschen), musst du mit dem Support von deinem Web-Provider klären bzw. löschen oder anpassen lassen.

 


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#17

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Hallo MuggelClan
Danke für Deine Ausführungen. Das von Dir beschriebene Prozedere habe ich schon mehrfach gemacht. Auch wenn der robots.txt vom Provider gelöscht wird nutzt dies nichts da dieser auf Magische weise wieder durch die Software von Siquando angelegt wird. Da nützt dann auch kein Warten auf die Google Indexierung etwas.

 


viele Grüsse René

#18

naturfarben

Neuling  (7 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 http://Web6

Hallo Muggel clan und René

 

 Wie bringt man dazu siquando ihr Software zu überprüfen wenn div. User das Problem haben?

Gruss Bruno

 
#19

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Hallo MuggelClan
Danke für Deine Ausführungen. Das von Dir beschriebene Prozedere habe ich schon mehrfach gemacht. Auch wenn der robots.txt vom Provider gelöscht wird nutzt dies nichts da dieser auf Magische weise wieder durch die Software von Siquando angelegt wird. Da nützt dann auch kein Warten auf die Google Indexierung etwas.

 

 Hallo Renè,

SIQUANDO ProWeb erstellt keine Datei robots.txt sondern die Datei robots.txt.php.

Ich habe geschrieben dass die robots.txt gelöscht werden soll und nicht die robots.txt.php.

Die Datei robots.txt wird vorrangig zu robots.txt.php behandelt. Wenn du keine robots.txt hast, dann kann man trotzdem mit /robots.txt die Daten robots.txt.php in der Adresszeile vom Browser aufrufen.

Wenn Disallow / dort steht, dann wird alles gesperrt. Da "/" ist verantwortlich dass gesperrt ist.

Bei mir existiert kein robots.txt, sondern nur robots.txt.php


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#20

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Hallo MuggelClan
bei mir ist auch nur "robots.txt.php" trotzdem wird alles gesperrt. Ausgegeben wird beim Aufruf im Explorer folgendes:

User-agent: *
Disallow:

das bedeutet wiederum, dass keine Indexierung stattfinden kann. 


viele Grüsse René

#21

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Renè,

Mach mal bitte folgendes:

- erstelle unter der Startseite einen Ordner 

- gehe in die Eigenschaften und setze den Haken bei noindex

- kontrollieren jetzt mal robots.txt.php

Jetzt müsste nur der Ordner dort stehen mit Disallow: /Ordner

 


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#22

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Nur um Klarzustellen:

Ein Befehl Disallow: / sperrt alles.

Ein Befehl Disallow: erlaubt alles, es wird nichts gesperrt 


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#23

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Es ändert sich nichts.


viele Grüsse René

#24

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Das liegt aber nicht an der Software SIQUANDO ProWeb.

Deswegen habe auch bereits oben schon empfohlen den Support vom Web-Provider zu kontaktieren. 


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#25

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Danke für Deine erneute Nachricht

Google schreibt folgendes zum robots.txt

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

  1. Der User-Agent namens „Googlebot“ darf keine URLs crawlen, die mit http://example.com/nogooglebot/ beginnen.
  2. Alle anderen User-Agents dürfen die gesamte Website crawlen. Diese zweite Regel könnte weggelassen werden und das Ergebnis wäre das gleiche. Standardmässig dürfen User-Agents die gesamte Website crawlen.
  3. User-Agent:
    Disallow: es findet keine Indexierung statt da dies mit dem Befehl verboten wird

Also ich weiss jetzt nicht, was das mit dem Provider zu tun hat, wenn der Befehl durch die Software generiert wird. Zudem bin ich bei HostEurope bei welchem auch Siquando Ihren Test Shop am Laufen hat. Zudem hatte ich schon Kontakt mit dem Support von HostEurope auch hier die Meinung der Fehler dürfte Softwaremässig ausgelöst werden


viele Grüsse René

#26

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Renè,

Eventuell sucht google bei dir nicht nach Metadaten, sondern macht nur Snippeds.

Google entscheidet selber wie auf den Webseiten gesucht wird.

Wenn Google meint die Metadaten passen nicht, dann sucht google mit so genannten Snipped die Homepage durch. Dadurch werden nur eingeschränkt einzelne Seiten gecrawlt.

Da hilft dann nur das Einreichen von Seiten direkt bei Google. Hierzu wird allerdings ein Google-Account benötigt. 


Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 

#27

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Danke für Deine erneute Antwort. Ich habe ein Google-Account. Aber wie gesagt Google schaut nach wie vor 😉


viele Grüsse René

#28

MuggelClan

Forum-Sponsor  (808 Punkte)  ·   männlich  ·   Deutschland  ·   Nachricht senden

Bzgl.:

Disallow:

siehe hier:
Robots.txt – SELFHTML-Wiki

Dort steht folgendes als Beispiel:

keinem Suchmaschinen-Bot irgendetwas erlauben
User-agent: * Disallow: /
Mit / bestimmen Sie alle Daten des Wurzelverzeichnisses und aller Unterverzeichnisse.
 
meinRobot von allen anderen Verboten ausschließen
 
User-agent: mein-Robot
Disallow:
 
User-agent: * Disallow: /
Durch eine fehlende Angabe hinter Disallowwird alles erlaubt.

Mit freundlichen Grüßen

Thomas

Web To Date seit 2004, Siquando Web 12, Pro Web 8, Web Client 


Dieser Beitrag wurde bereits 1 mal bearbeitet, zuletzt von »MuggelClan« (02.07.2022, 16:59)
#29

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Danke für die neue Nachricht. Bin mal gespannt auf die neuen Antworten von Google, Siquando. Irgendwann wird das Problem bestimmt gelöst. Aber es ist halt schon so, mit den ständigen Upgrades von Google und Co. wird die Zukunft sicherlich nicht einfacher, auch nicht für die Softwarehersteller. Ich denke, langfristig können da nur noch die Grossen mithalten. Dies natürlich zulasten aller Kleinstunternehmen, welche sich schlicht und einfach die teuren Lösungen nicht leisten können und dann entweder auf der Strecke bleiben oder sich selber versuchen zu helfen. Wie das hier im Forum ja schon lange geschieht.

An dieser Stelle möchte ich mich mal bei allen bedanken, welche tatkräftig helfen, um Lösungen zu finden. Der Dank gilt speziell auch unserem Forums-Betreiber, den ohne ginge gar nichts.


viele Grüsse René

#30

alter

Forum-Sponsor  (1085 Punkte)  ·   männlich  ·   Schweiz  ·   Nachricht senden
 https://www.petrollampen-shop.ch

Hallo Bruno
Siquando reagiert, wenn sich viele User melden. Wenn es nur ein zwei sind, liegt der Fehler bei den Usern 😉


viele Grüsse René

8035 Aufrufe | 32 Beiträge