"am häufigsten verlinkte Seiten" in der Google search-Console

Hallo zusammen,

in der Google-Search-Console werden viele Seiten unseres Shops "hundemarke-mit-herz.de" nicht indexiert, weil "verweisende Seiten" nicht oder nicht mehr existieren.

Tatsächlich wurden immer wieder Verzeichnisse umbenannt oder entfernt, für die fast alle dieser Seiten gibt und gab es nie einen aktiv durch uns hergestellten Link zu dieser Seite.

Wir haben in unserem Shop alle Hundemarken streng nach Materialien getrennt, darum haben wir z.B. niemals einen Link von einer Seite, die sich mit Aluminium-Marken beschäftigt, zu einer Seite mit RedDingo-Marken oder umgekehrt gemacht.

Trotzdem bestehen diese Beziehungen im Seitenquelltext, sie müssen aber von Siquando Pro-Shop irgendwie im Hintergrund unbemerkt erstellt worden sein.

Ein Beispiel: im quelltext der Seite "https://www.hundemarke-mit-herz.de/content/hundemarken/biothane/" steht irgendwo der Link "<li><a href="../edelstahl/e-rund-4groessen/"><span>Edelstahl rund</span></a></li>" zusammen mit 75 anderen 

nicht zutreffenden Linkzielen.

Kann irgendjemand erklären, woher diese falschen Einträge stammen könnten?

Vielen Dank für Eure Mühe

Hallo,

der Beispiel-Link "<li><a href="../edelstahl/e-rund-4groessen/" steht nicht nur auf der angegebenen Seite, sondern auf jeder Seite in der Navigation.
Du hast also einen Ordner "Edelstahl" in dem ein Ordner "e-rund-4groessen" gibt.
Wenn du in den Ordner-Eigenschaften nachsiehst, dann steht im Reiter "Allgemein" bei Ordnername "e-rund-4groessen". Diese Seite ist auch erreichbar und es sind auch entsprechende Produkte auf dieser Seite zu sehen. Also ist es keines Wegs ein nicht zutreffender Linkziel, sondern korrekt zutreffend.

Wenn du also nicht willst, dass diese Seite angezeigt wird, dann musst du den Ordner "e-rund-4groessen" bei Reiter "Sichtbarkeit" ausblenden.

Wenn du nicht möchtest, dass die Seite indiziert wird, dann kann man bei Reiter "Suchmaschinen" den Haken bei "Suchroboter (robots)" entsprechend bei "Vom Index ausschließen (noindex)" setzen. Dies heißt jedoch nicht, dass die Seite nicht gecrawlt wird.

Wenn z.B. eine Seite in den Meta-Tags angegeben wird, das die Seite nicht indiziert werden soll, kann google diese Information erst wissen, wenn die Seite auch bereits gecrawlt wurde.
Daher gibt es eine Datei "robots.txt", die google auslesen kann und wenn da dann die information steht, dass die Seite nicht indiziert werden soll, dann wird google sich auch daran halten, ohne das die Seite gecrawlt worden ist.

Daher macht es Sinn den Haken bei Reiter "Suchmaschinen" bei "Suchroboter (robots)" entsprechend bei "Vom Index ausschließen (noindex)" zu setzen.
Da du jedoch die Seite auch über die Navigation zur Verfügung stellst, ist ja auch die Seite frei zugänglich und crawlt diese auf jeden fall und wenn da nicht in der Datei als Meta-Tag steht, dass die Seite nicht indiziert werden soll, wird google diese auch indizieren, wenn er nicht schon vorher die robots.txt gelesen hat. Hat google zuvor die information erhalten diese Seite nicht zu indizieren, dann wird sich google eben auch daran halten und dann eben auch angeben "nicht indiziert weil ....", also irgenbwo die information war diese nicht zu indizieren oder aus andere Gründen, wie dupplikate usw..

Was kann man tun?
Also alles erst mal so angeben wie man es haben möchte und die Seite zur Überprüfung in der Google-Search-Console neu einreichen.

Bedenke aber google crawlt alles, wenn es nicht explizit in der "robots.txt" ausgeschlossen wurde, was er dann als noindex liest wird sich google daran halten. Wenn keine Einschränkungen vorgenommen wurde wird google nach eigenen Ermessen nach seinen Regeln entscheiden, ob diese indiziert wird oder nicht.

Hallo zusammen

Ich sehe das genauso wie Thomas: Alles, was irgendwo noch sichtbar ist, wird früher oder später von Google & Co. gecrawlt.

Die Indexierung betrifft eben nicht nur aktuelle Inhalte, sondern auch:

• alte Bilderleichen, die man vergessen hat manuell zu löschen

• sonstigen Datenmüll, von dem man dachte, er sei längst weg

• Überbleibsel aus früheren Versionen der Website oder des Shops

Gerade bei älteren Web-/Shop-Versionen von Siquando gab es die Möglichkeit, nicht verwendete Elemente zu entfernen. In den neueren proWeb/proShop-Versionen wird diese Funktion so nicht mehr angeboten. Dadurch bleibt mehr „unsichtbarer Ballast“ im System, wenn man nicht selbst aktiv aufräumt.

Und mal ehrlich: Welcher Web- oder Shopbetreiber hat nicht noch irgendwo Altlasten im System, von denen er überzeugt war, sie seien längst gelöscht?

Was crawlt Google eigentlich alles?

Kurz gesagt: Alles, was technisch erreichbar ist. Google unterscheidet nicht zwischen „gewollt online“ und „vergessen zu löschen“.

Gecrawlt werden u.a.:

• Seiten – auch alte, verlinkte oder vergessene Unterseiten

• Bilder – selbst wenn sie nirgends mehr eingebunden sind, aber noch auf dem Server liegen

• Dateien – PDFs, Excel, Word, ZIP usw.

• Altlasten – Testseiten, alte Shop-Kategorien, doppelte Inhalte

• Alles, was verlinkt ist – intern, extern, über alte Sitemaps oder frühere Links

Nicht automatisch sichtbar sind nur Bereiche mit echtem Schutz (Login, Passwort, korrekt gesetztes noindex).

Fazit: Wenn eine Datei oder Seite noch erreichbar ist, wird sie früher oder später gefunden. Regelmäßiges Aufräumen ist Pflicht. Wenn man nicht wirklich konsequent darauf achtet, alles sauber und aktuell zu halten, werden zwangsläufig Inhalte gecrawlt, die wir selbst längst vergessen haben.

Vielen Dank Thomas und René,

ich fürchte aber, wir haben uns nicht ganz richtig verstanden:

Ich möchte nicht einzelne Seiten nicht anzeigen oder nicht indexieren lassen, mein Problem ist vielmehr, dass auf jeder einzelnen Seite links zu allen anderen Kategorien von Produkten und deren unterkategorien... zu finden sind,

also zu Produktseiten die eigentlich in keiner Beziehung zueinander stehen, außer natürlich, dass es ebenfalls in der Regel Hundemarken sind. Aber nicht nur, es gibt ebenso Links zu Geschenkartikeln, die da nicht hingehören.

Keine dieser Links haben wir bewusst auf den Seiten plaziert - Siquando macht das quasi unbemerkt im Hintergrund.

Um auzuschließen, dass diese Links durch das Duplizieren anderer Seiten - statt der Neuerstellung - erzeugt werden, habe ich eine leere Seite erstellt, dort sollten dann also eigentlich keine Links im Quelltext stehen.

Aber auch hier sind wieder sämtliche Kategorien... verlinkt.

Es sieht fast so aus, als würde das Shopsystem auch alle Punkte der Seitennavigation im Kopf und im Fuss der Seite verlinken, also auch "Startseite", "AGB" und "Gästebuch" usw.

Viel wichtiger sind aber die Menueinträge zu den verschiedenen Materialien, z.B. "Hundemarken zum Anhängen" -> "Red Dingo M auf Lager" - alle diese Kategorien, so tief wie sie verschachtelt sind,

tauchen im Quelltext jeder Seite auf. Sollte sich die Benennung einer Kategorie ändern, stimmt der Quelltext dieser Seite nicht mehr und es gibt "tote" Links.

So wie ich das sehe, kommt man aus der Nummer nur raus, wenn man von Zeit zu Zeit an jeder Seite eine kleine Änderung macht, damit ein neuer Quelltext erzeugt wird, bei dem dann hoffentlich die Links 

mit den neuen Bezeichnungen eingetragen sind - Im Grunde muss ich das, nachdem ich Kategorien umbenanntz habe, mit jeder Seite machen - was bei einem umfangreichen Shop Tage und Wochen dauern kann.

Ich werde auf alle Fälle mal prüfen, ob man mit "Änderungen" das Problem beheben kann - ich glaube ich bin auf eine heißen Fährte .

Viele Grüße

Ich habe es im der Zwischenzeit getestet, ich lag falsch .

Änderungen bei der Benennung von Menutiteln werden quasi sofort in die Quelltexte aller Seiten übernommen, ohne dass man jede Seite einzeln anfassen muss.