Seiten werden von Google nicht indiziert

Hallo Helfende!

wir haben eine sehr umfangreiche Webseite. Google hat davon 323 Seiten indiziert, bei 238 weiteren wird die Indizierung abgelehnt. In der Robots.txt sind diese nicht blockiert.

Hat jemand eine Idee, woran das liegen kann? Die manuell angestoßene Neuindizierung brachte das angehängte Fehlerbild. die dazugehörige Seite habe ich getestet, in dem ich den Link aus Google kopiert und direkt eingegeben habe. Dies funktionierte problemlos.

Wenn die Sache kompliziert ist und sich ein Profi ihr annehmen kann darf er gerne eine Rechnung stellen - der Erfolg wird natürlich vorausgesetzt.

Screenshot 2023-10-18 180639.jpg

Hallo Michael
das gleiche Problem habe ich auch mit meiner Seite. Habe, wie schon mal hier im Forum geschrieben, das ganze mit Google angeschaut. Der Support von Google hat das Gefühl, dass es an einem Softwarefehler bei Siquando handelt. Dieses Problem hatte ich schon mehrfach bei Siquando deponiert (ohne Erfolg, man geht da nicht auf einzelne User ein). Da ich Otto-Normalanwender bin, kann ich nicht sagen, ob ich selbst als Anwender etwas mit der Sitemap, Robots.txt und kanonischer URL nicht verstehe und daher auch falsch eingestellt habe. Ebenfalls wird mir von Google mitgeteilt, dass meine Seite zwar mit einem Mobile Gerät gelesen werden könne, jedoch der Text und der Abstand zu klein sei. Auch dies habe ich mit Siquando versucht anzuschauen.

Hallo René,

herzlichen Dank für Deine Antwort. Das klingt leider nach einem Todesurteil für die Software. Dann werden wir der Empfehlung unserer Werbeagentur folgen müssen und die Seite nach und nach in Wordpress (oder etwas ähnliches) überführen müssen.

Schade eigentlich. Aber fast 50% nicht indizierbare Seiten + die gleichen Fehlermeldungen, die auch Du hast sind ein paar Probleme zu viel.

Viele Grüße!

Jörg-Michael

Hallo Michael
Achtung, WordPress hat auch seine Fehler. Aber das muss jeder für sich entscheiden. Eine Werbeagentur macht immer für die Software Werbung, welche sie auch bedienen können. Ob man damit besser fährt ?

Hallo Jörg-Michael,

Auf deinem Bild steht "keine verweisen Sitemap gefunden".

Sind die Seiten denn in der Sitmap aufgeführt?

Sind die Seiten auch bei den Seiteneigenschaften mit Häkchen hinzugefügt?

Hallo Renè,

Die Text- bzw. Buchstaben-abstände kann man ja jetzt bei ProWeb/ProShop vergrößern.

Sicher ist, dass jede Software ihre Fehler hat. Nur bin ich bestenfalls das, was man als Hobbyprogrammierer bezeichnen kann und es fehlt mir die Zeit mich mit den vielen Eigenarten von Suchmaschinen, Software (und eigener Unfähigkeit) ausführlich auseinanderzusetzen. Wenn ich einen Dienstleister beauftrage kann ich den ggfs. an den Hörnern ziehen und das macht mehr Spaß, als sich ständig an die eigenen greifen zu müssen. Ich habe vor vielen Jahren mit Web-to-date angefangen und bisher jedes Update erworben. 

Ich habe nur einige wenige Seiten explizit ausgeschlossen, da diese nicht fertiggestellt sind. Diese werden von Google aber nur zum Teil als Ausschluss anerkannt und sind dennoch gelistet. Bing schert sich um die Blockierung überhaupt nicht. Duplikate sind definitiv keine enthalten. Es gibt weder gleichlautende Überschriften noch ähnliche Inhalte. 

Die angeblich umgeleitete Seite ist nicht umgeleitet.

Die Sitemap wird automatisch erzeugt. Ich habe etliche Stichproben gemacht. Die angeblich nicht darin enthaltenen Seiten stehen alle in Verzeichnissen, in denen andere Seiten vorhanden sind und ich habe auch nichts in den Eigenschaften verändert.

Bei einigen Seiten bekomme ich vom Live-Test von Google, dass der Fehler 404 ausgelöst wurde. Gebe ich den Link zu der Seite per Copy-and-Paste ein, ist die Seite vorhanden.

Ich stehe vor Rätseln ohne Ende.

Die betroffenen Seiten haben auch den Seitenname mit gültige Dateiendungen:

Beispiel:

https://Beispieldomain.de/ordner/seite.php oder .html 

Also nicht nur 

https://Beispieldomain.de/ordner/seite

Hallo Michael

bei "Hörnern ziehen" bin ich dabei. Du schreibst zudem genau das, was ich auch sehe

Ich denke da beißt sich was mit

https://tappeser.de/sitemap.xml.php

Und

https://tappeser.de/sitemap.xml

Hallo MuggelClan
ich habe mehrfach in der Sitemap umgestellt auf das Format xml, trotzdem werden fast 50 % der Seiten in der Sitemap zwar übernommen, aber Google kann dieselben nicht indexieren, weil irgendwas nicht stimmt. Erstellt man die Sitemap neu, erhält man statt das Format xml / html. Zumindest bei mir ist das so

Hallo MuggelClan,

ich habe beide Dateien mal mit WinMerge überprüft. Sie haben den gleichen Inhalt. Und ich bin auf die Suche gegangen nach fehlenden Endungen und habe diverse Setein gefunden, welchen diese gefehlt haben. Habe alles korrigiert.

Herzlichen Dank!

Jetzt bin ich gespannt, wie es morgen bei Google aussieht.

Hallo MuggelClan
Schrift usw. habe ich schon in proShop 8 angepasst. Google gibt trotzdem einen Fehler aus

Hallo Jörg-Michael,

Google hat schon längst nicht mehr die Strategie alles und jedes in den Index aufzunehmen. Die Entscheidung eine gecrawlte Seite zu indexieren oder nicht hat nicht unbedingt etwas mit einer fehlerhaften Seite zu tun oder Fehlern des CMS-Systems. Auch die "Fehlermeldungen" in Google Search Console sind nicht immer als als Fehler zu verstehen, die unbedingt korrigiert werden müssen. Eine Seite, deren Canonical Link in Form des Ordners von Siquando Pro Web indexiert ist, muss nicht in jedem Fall nochmal zusätzlich als direkte Seite mit .html indexiert werden.

Das Ziel die eigene Seite möglichst umfassend indexiert zu bekommen erreicht man zum einen durch regelmäßiges proaktives Einreichen der Sitemap im XML-Format und im Falle das der Besuchs-Rhythmus des Google Crawlers längere Intervalle hat bzw. das Crawling-Budget für eine umfangreiche Seite nicht ausreicht, in dem man konsequent die Seiten manuell zur Indexierung anmeldet. Aber nur Seiten, die auch ordnungsgemäß in der übermittelten und durch Google verarbeiteten Sitemap sind und möglichst in einheitlicher Form. Also nicht mal die dedizierte Seite und mal der übergeordnete Ordner. Entweder oder.

Das Crawling-Budget richtet sich nach dem Google-Ranking und dem Crawling-Rhythmus. Außerdem können zu lange Ladezeiten der Seiten das Crawling einer umfangreichen Seite limitieren. Google verwendet zudem unterschiedliche Server, die miteinander synchronisiert werden. Ein Server verwaltet die Sitemap. Einer die Crawling-Daten, ein weiterer den Index. Mal sehr simplifiziert beschrieben. Eine Einreichung einer aktualisierten Sitemap führt also nicht sofort zum Besuch des Crawlers, und das Crawling nicht sofort zur Entscheidung über die Indexierung. Das manuelle Anmelden nimmt die Seite in eine weitere Warteschlange auf - jenseits des üblichen Crawling-Budgets. 

Google bevorzugt Seiten mit regelmäßiger Aktualisierungsfrequenz. Bezüglich dem manuellen Melden zur Indexierung: Sehr große redaktionelle Angebote und Shopanbieter machen dies auch, allerdings automatisiert über eine API. Dies wird von Bing oder Google ausdrücklich begrüßt sofern dies nicht zu Fehlmeldungen oder Missbrauch führt. Das Budget für die manuelle Meldungen über die Search Console oder die Bing Webmaster Tools haben daher (wegen häufigem Missbrauch) ein tägliches Limit. Außerdem sollte die Seite jeweils vorher geprüft werden, ob bereits erfasst. Eine Seite mit z.B. 300 fehlenden Seiten kann man aber durchaus innerhalb einer Woche, in Etappen, manuell melden.  

Bei den teilweise irreführenden Fehlermeldungen von Google sind die Meldungen bzgl. Blockieren durch Robots.TXT erfahrungsgemäß valide und sollten nachverfolgt und behoben werden. Sperrt man die Seite absichtlich ist das natürlich kein Fehler, selbst wenn Google dies so bezeichnet. Fehlermeldungen wegen angeblicher Probleme mit der mobilen Lesbarkeit verhindern nicht das Crawlen oder die Aufnahme in den Index sondern bestimmen höchstens die Position im Suchergebnis, da Google eine Mobile First Strategie verfolgt. Auch bei dem Crawler.

Aber noch einmal: Weder Google noch Bing planen von sich aus (wie zu Beginn des Webs) jede Seite einer Webpräsenz zu indexieren. Ein Nicht-Indexieren bedeutet, dass sie andere Seiten für relevanter gehalten haben. Aber nicht zwingend, dass der Crawler die Seite als fehlerhaft angesehen hat. Das die Suchmaschinen immer wählerischer werden hängt natürlich mit der stetig wachsenden Zahl an Webseiten zusammen, aber auch mit den vielen objektiv irrelevanten Seiten, Duplicate Content, Filterergbnisseiten usw. - insofern gerne regelmäßig die Sitemap proaktiv einreichen und jede neue bzw. fehlende Seite - wenn diese gerne indexiert werden soll.

Es liegt nicht an Mängeln von Siquando Pro Web. Wordpress gilt immer mystisch als angeblich SEO-freundlicher. Objektiv liegt das aber weniger am erzeugten Code als daran, dass es dort sehr viele SEO-Plugins gibt, zum Beispiel auch für die automatische API-Übermittlung neuer Seiten usw. - außerdem sollte man zwischen Indexierung und Ranking unterscheiden. Für das Rankng hat Wordpress sehr viele Drittanbieter-Plugins zur SEO-Optimierung. Das wäre auch eine tolle, sinnvolle Ergänzung für Siquando. Für die Indexierung gibt es aus Seiten der Suchmaschinen keinen vehindernden Grund, eine saubere Siquando-Seite nicht zu indexieren. Aber das Crawling-Budget und die anschließende Relevanzbewertung sind ein limitierender Faktor. Das gilt aber für jedes CMS. Auch für Wordpress. Manuelles, proaktives Melden und ein Sitemap-Einreichen, jedesmal wenn es neue Seiten gibt, hilft. Und wenn die Seiten erstmal indexiert sind werfen die Suchmaschinen diese nur in Ausnahmefällen wieder raus. Aber auch wenn jede einzelne Seite einer Präsenz im Index ist, wird der Crawler nicht jede regelmäßig besuchen und auf Änderungen überprüfen. Aber das war ja auch hier nicht das Thema.

Ich hoffe, das hilft. Also keine Wunder erwarten und das bisherige Nichtindexieren automatisch als Fehler (eigener oder der von Siquando) interpretieren. Natürlich trotzdem anhand der der Sitemap immer auf selbstkritisch nach Fehlern schauen. Der Hinweis, dass Google und/oder Bing sich nicht an Crawling-Sperren halten ist ungewöhnlich. Da würde ich in der Tat einen Konfigurationsfehler vermuten. Die Settings bei Siquando, richtig gemacht, wirken da eigentlich zuverlässig.

Beste Grüße

Oliver  

Vielen Dank für deine sehr umfangreiche Aufklärung.

 Auf dem Bild ist die Fehlermeldung "verweisende Seite -> nicht gefunden".
Es ist schon richtig, dass die Seite nicht unbedingt als direkte Seite mit .html indexiert werden, ABER
Hier in SIQUANDO ProWeb/ProShop gibt es die Möglichkeit im ProjektCentral (die Software gibt es ja nicht auf Wordpress) folgende Einstellung vorzunehmen:
"URL, bei denen ein abschließendes / fehlt, umleiten, wenn möglich" !!!
Wenn also hier ein Haken gesetzt ist, dann leitet Siquando Pro die Seiten die ohne .html oder .php sind auf einen Ordner um, in dem dann auch eine Index-Seite vorhanden sein muss.
Beispiel:
https://Beispieldomain.de/ordner/seite  -> leitet auf 
https://Beispieldomain.de/ordner/seite/index.php oder index.html 

und nicht auf

https://Beispieldomain.de/ordner/seite.php oder seite.html 

Aus diesem Grund und aus Sicht der Software SIQUADO ProWeb oder ProShop ist es wichtig diese Einstellung zu beachten !!!
Daher habe ich auch zuvor gefragt "Die betroffenen Seiten haben auch den Seitenname mit gültige Dateiendungen ...".

Die Seiten würden in meinem Beispiel also einfach nicht gefunden werden, da diese im Ordner "Seite" (den es ja nicht gibt) die Index-Seite "index.html" nicht finden kann.
Aus diesem Grund kann auch Google oder auch andere Suchmaschinen diese nicht indexieren.

... Google bevorzugt Seiten mit regelmäßiger Aktualisierungsfrequenz. ...

-> ja dem stimme ich voll zu und wirkt auch auf meine Seiten sehr gut. Trotzdem sollte das dann aber auch in der "sitemap.xml" richtig eingestellt werden, und zwar in den Eigenschaften im Reiter "Sitemap". Auch wenn hier einige der Meinung sind, das bringt nichts, dem kann ich nur sagen auf meine Seiten hat es was gebracht.


... automatische API-Übermittlung neuer Seiten usw. - außerdem sollte man zwischen Indexierung und Ranking unterscheiden. Für das Rankng hat Wordpress sehr viele Drittanbieter-Plugins zur SEO-Optimierung. Das wäre auch eine tolle, sinnvolle Ergänzung für Siquando. Für die Indexierung gibt es aus Seiten der Suchmaschinen keinen vehindernden Grund, eine saubere Siquando-Seite nicht zu indexieren. ...

-> es sind eben Drittanbieter-Plugins zur SEO-Optimierung, ich wüsste nicht, dass SIQUANDO hier das verbietet, es gibt auch für die SIQUANDO-Software Drittanbieter, sind ja auch ein paar hier im Forum. Aber man muss auch beachten, dass SIQUANDO Pro ganz anders aufgebaut ist und es sehr schwer ist überhaupt einen Druchblick in der Datenbank zu finden. 

Guten Morgen Oliver / Muggelclan

Danke Euch beiden für die Ausführungen (ist einfach toll)

Wie ich schon mal geschrieben hatte, ist es für einen Otto normal User nicht ganz einfach zu sehen, wo genau der Hebel angesetzt wird und wo man eher die Finger davon lassen sollte. Ich bin der Meinung, dass wen man eine Webseite oder E-Commerce Seite erstellt, ein paar Basics vorhanden sein sollten. Da viele User wie ich keine Webmaster oder IT-Spezialisten sind, erwarten wir halt von einer Software, dass diese uns hilft, ohne grössere Kenntnisse eine Webseite möglichst fehlerfrei ins Netz zu kommen. Und erst noch erwarten ein top Ranking zu erreichen.
Nun ich denke egal welche Software und Tools wir verwenden wir können keine "Eierlegende Wollmilchsau" erwarten, da ja jeder Software-Hersteller auch nur mit Wasser kocht.
Ich selbst versuche mich weiterhin durchzukämpfen und bin dankbar für Tipps wie die von Oliver und MuggelClan und selbstverständlich auch weiteren Usern hier im Forum welche mir schon oft geholfen haben weiter zu kommen. Manchmal sieht man den Wald vor lauter Bäumen nicht mehr und dann sind einfache Tipps genau das, wonach man Stundenlang gesucht hatte.

Ich will ja nicht unken, aber mein klassisches Siquando Shop 11 wird von Google geliebt...

mit absinth-oase.de bin ich bei Google auf Platz 3 bei Ungefähr 5.420.000 Ergebnisse (0,31 Sekunden) - Keyword: Absinth

Und ich tue gar nicht sooo viel für das Ranking...

Hier habe ich bei einem kleinen SEO Wettbewerb kurz mal den 1. Platz belegt für das Suchwort: Absinthlöffel mit https://www.absinth-oase.de/zubehoer/loeffel/

Da habe ich aber damals tatsächlich ein bisschen mehr Zeit investiert...

Wenn ich die Pro Shop Probleme hier im Forum sehe bzgl. SEO, begeistert mich das leider gar nicht...

Ich werde die klassische Shop Serie so lange nutzen wie möglich und dann werde ich wohl zum Wechseln gezwungen leider... Schade...

Hallo Uli
gratuliere zu Deinem Erfolg.
Ich würde an dieser Stelle mal sagen, vieles sind User Fehler. Wie schon mehrfach erwähnt, ich selbst bin Otto Normalverbraucher und damit auch nicht unbedingt in der SEO Welt daheim wie etwa ein IT-Spezialist oder Webmaster. Obwohl, ich jetzt vom Thema abschweife. Web/Shop8 bietet halt schon einiges, was bei der 11er-Version so nicht vorhanden ist.

Meinst Du die Siquando Shop 11 Version bietet so einiges, was bei Shop 8 nicht vorhanden war oder was meinst Du konkret?

Hallo Uli
ja Shop11 bietet sicher einiges, aber schau mal in den Vergleich bei Siquando 
https://www.siquando.de/pro-shop/versionsvergleich/ 

Zudem kommt bei mir immer noch der Faktor Zeit fürs Hochladen in den alten Versionen dazu, in den neuen stelle ich etwas ein und sehe es sofort. Aber klar alles, was Vorteile hat, hat auch Nachteile.

Ich habe nie Wert aus den Index aller Seiten bei Google. Ist / war für nie so wichtig. Wichtig war für mich das die Hauptseiten bei Google gefunden wurden. Das Koi-Händlerverzeichnis wurde von mir erstellt www.koi-hv.de zum Schluss fast 3.000 Seiten (Seite wurde vor 2 Jahren verkauft). Auch die Webseite www.bioweidegans-franken.de habe ich für ein Freund gemacht. Unter den ersten 20 Seiten auf Google gefunden zu werden war / ist wichtig, Am besten gleich mit 3-4 Treffern .

Also lieber auf die Hauptseiten / Aufmacher konzentrieren. Der Rest kommt dann nach und nach im Index an. Vielleicht nicht die Beste Antwort, aber für mich war es der Beste / Kostengünstigste Weg. Und Zeitsparend