Google Webcrawler legt die Webseite lahm

Hallo liebes Siquando-Forum,

ich wende mich heute mit einem Problem an euch, bei dem ich nicht weiter komme.

Die www.tauchschule-buddycheck.de, deren Webseite ich betreut habe, hat sich an mich gewandt, weil die Webseite sehr häufig nicht erreichbar ist, bzw. Fehler meldet. Die Webseite wird bei webgo gehostet, aktuelle Siquando Version Proweb 9.

Die Fehler äußert sich unter anderem wie folgt :

Fatal error: Uncaught NGDatabaseException: Database access failed. Database error #1203: "User web146_1 already has more than 'max_user_connections' active connections". in /home/www/tauchschule-buddycheck/classes/db/ngdbconnector.php:53 Stack trace: #0 /home/www/tauchschule-buddycheck/index.php(8): NGDBConnector->connect() #1 {main} thrown in /home/www/tauchschule-buddycheck/classes/db/ngdbconnector.php on line 53

Die Webseite ist dabei phasenweise nicht fehlerfrei zu erreichen. Email können nicht fehlerfrei abgerufen werden. Die Webseite kann häufig nicht bearbeitet werden mit dem gleichen Fehler.

Was bisher getan wurde

- Nach Rückfrage beim Hoster steht die Anzahl der maximal zulässigen Connections auf Maximum

- Löschen aller Datenbanken, kompletter Neuaufbau der Webseite

Die alles bracht keine Verbesserung

Ich habe mir dann mal die Webseiten Statistik angeschaut und erstaunt festgestellt, dass in den Monaten Oktober und November jeweils 15 TB Datenverkehr war (normal sind 100GB). Im Detail waren im November bisher 585 Millionen Zugriffe erfolgt, Verursacht von Google Webcrawlern. Die IP ist eine Google IP. Hier die Statistik für November 2024 Stand heute.

Es werden dabei auf dem Server GB große Protokolldateien angelegt aus der zu ersehen ist, dass über 100 Anfragen pro Sekunde erfolgen. Der Zugriff erfolgt dabei auf Webseiteninhalte, die definitiv nicht vorhanden sind.

z.B. : „GET /index.php/tauchsportartikel-in-iserlohn/adventangebot/ ….

Ich habe danach noch die robots.txt Seite angepasst, was leider nichts gebracht hat.

# robots.txt for https://www.tauchschule-buddycheck.de/

User-agent: *

Allow: /
Disallow: /admin/
Disallow: /tauchsportartikel-in-iserlohn/
Disallow: /tauchsportartikel/
Crawl-delay: 5  

Sitemap: https://www.tauchschule-buddycheck.de/sitemap.xml

Eine Anfrage bei Google läuft aber es erfolgte keine Antwort bisher

Hat jemand eine Idee ? Kann das ein DDoS Angriff sein ? Vielen Dank im Voraus

Helwig

Hallo Helwig,

ich würde bis zur Ursachenklärung und weitere Vorschläge zur Fehlerbeseitigung mal vorübergehend GoogleBot den Zugriff auf die Seite sperren:

Lese mal diese Seite von Google, wie man sperren kann:
https://support.google.com/news/publisher-center/answer/9605477

 Hallo Thomas,

danke für deine Antwort.

Ich habe jetzt in der robots.txt wie folgt eingetragen und ein erneutes Crawlen bei Google beantragt :

# robots.txt for https://www.tauchschule-buddycheck.de/

# User-agent: *

User-Agent: Googlebot Disallow: /

# Allow: /
# Disallow: /admin/
# Disallow: /tauchsportartikel-in-iserlohn/
# Disallow: /tauchsportartikel/
# Crawl-delay: 5

Sitemap: https://www.tauchschule-buddycheck.de/sitemap.xml

Zusätzlich stand die ganze Zeit in der .htaccess der folgend Eintrag

<Limit GET POST>
order allow,deny
allow from all
deny from 66.249.66.0
</Limit>

Im Moment prasseln die Anfrage wieder ohen Unterbrechungen rein. Heute schon 8,4 Millionen

Gruß
Helwig

Hallo Helwig,

mit 
User-Agent: Googlebot Disallow: /

verbietest du generell schon GoogleBot.

Erwähne das nur, da du unten mit GET POST die eine IP-Adresse verbietest, aber andere wiederum nicht.

Aber lasse es mal so und beobachte mal ob es sich bemerkbar macht.

Noch en kleiner Hinweis, weißt du bestimmt aber auch:

robots.txt geht vor <meta>-Tags, heißt falls du auch noindex z.B. bei den Ordner-/Seiteneigenschaften Reiter "Suchmaschinen" haken gesetzt hast. Spielt aber jetzt erst mal mit Deinem generellen harten Eingriff auch keine Rolle.

Siehe hier. Den Googlebot ausschliessen würde ich definitiv nicht.

guten Morgen Thomas,

vielen Dank für den Hinweis.Leider kann ich im Moment nicht mal die Webseite bearbeiten oder Eintragungen im Projekt Central zum Server übertragen.Hier die Fehlermeldungen

The REST Webservice raised the exception #30005 of type NGDatabaseException: "Database access failed.
Database error #2002: "Cannot assign requested address"." on line 53 in file "/home/www/tauchschule-buddycheck/classes/db/ngdbconnector.php"

Selbst FilZilla steigt mit einer Zeitüberschreitung aus. Die Webseite wird weiterhin ununterbrochen vom Google web crawler "belagert". Ich muss jetzt erst mal auf irgend eine Art und Weise Ruhe rein bringen. Die Meldung an Google wegen übermäßigen Crawling ist schon seit Tagen raus. Ich habe die Webseite mals testweise auf eien eigene Domain www.tauch-lehrer.de gelegt. Dort läuft die Seite ohne Probleme.

Hier ein Screebshot aud der Search Console !!! Echt beeindruckend

 

Hallo Helwig,

Das sieht mir wirklich nach einen DDos-Angriff der aus. Da geht's jetzt erstmal darum die Homepage wieder freizuschalten und abwehrmaßnahmen durchzuführen. 

Das mit dem /index.php/ ist erstmal eine Nebensache, das wird ja durch sperren auch mit berücksichtigt. 

Ich habe Dir auf Basis dieser offiziellen Liste der vom Googlebot verwendeten IP-Adressen mal einen .htaccess Auszug geschrieben, welcher ausnahmslos alle Zugriffe dieser IP-Adressen von Grund auf sperrt.

Here U R:

<IfModule mod_setenvif.c>

  SetEnvIf Remote_Addr "2001:4860:4801:10::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:11::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:12::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:13::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:14::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:15::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:16::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:17::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:18::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:19::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:1a::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:1b::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:1c::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:1d::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:1e::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:1f::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:20::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:21::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:22::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:23::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:24::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:25::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:26::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:27::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:28::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:29::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2a::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2b::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2c::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2d::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2e::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:2f::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:31::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:32::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:33::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:34::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:35::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:36::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:37::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:38::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:39::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:3a::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:3b::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:3c::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:3d::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:3e::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:40::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:41::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:42::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:43::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:44::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:45::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:46::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:47::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:48::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:49::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:4a::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:4b::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:50::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:51::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:53::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:54::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:55::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:60::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:61::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:62::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:63::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:64::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:65::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:66::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:67::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:68::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:69::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:6a::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:6b::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:6c::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:6d::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:6e::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:6f::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:70::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:71::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:72::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:73::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:74::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:75::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:76::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:77::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:78::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:79::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:80::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:81::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:82::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:83::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:84::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:85::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:86::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:87::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:88::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:90::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:91::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:92::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:93::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:94::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:a0::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:c::\/64" block
  SetEnvIf Remote_Addr "2001:4860:4801:f::\/64" block
  SetEnvIf Remote_Addr "192\.178\.5\.0\/27" block
  SetEnvIf Remote_Addr "192\.178\.6\.0\/27" block
  SetEnvIf Remote_Addr "192\.178\.6\.32\/27" block
  SetEnvIf Remote_Addr "34\.100\.182\.96\/28" block
  SetEnvIf Remote_Addr "34\.101\.50\.144\/28" block
  SetEnvIf Remote_Addr "34\.118\.254\.0\/28" block
  SetEnvIf Remote_Addr "34\.118\.66\.0\/28" block
  SetEnvIf Remote_Addr "34\.126\.178\.96\/28" block
  SetEnvIf Remote_Addr "34\.146\.150\.144\/28" block
  SetEnvIf Remote_Addr "34\.147\.110\.144\/28" block
  SetEnvIf Remote_Addr "34\.151\.74\.144\/28" block
  SetEnvIf Remote_Addr "34\.152\.50\.64\/28" block
  SetEnvIf Remote_Addr "34\.154\.114\.144\/28" block
  SetEnvIf Remote_Addr "34\.155\.98\.32\/28" block
  SetEnvIf Remote_Addr "34\.165\.18\.176\/28" block
  SetEnvIf Remote_Addr "34\.175\.160\.64\/28" block
  SetEnvIf Remote_Addr "34\.176\.130\.16\/28" block
  SetEnvIf Remote_Addr "34\.22\.85\.0\/27" block
  SetEnvIf Remote_Addr "34\.64\.82\.64\/28" block
  SetEnvIf Remote_Addr "34\.65\.242\.112\/28" block
  SetEnvIf Remote_Addr "34\.80\.50\.80\/28" block
  SetEnvIf Remote_Addr "34\.88\.194\.0\/28" block
  SetEnvIf Remote_Addr "34\.89\.10\.80\/28" block
  SetEnvIf Remote_Addr "34\.89\.198\.80\/28" block
  SetEnvIf Remote_Addr "34\.96\.162\.48\/28" block
  SetEnvIf Remote_Addr "35\.247\.243\.240\/28" block
  SetEnvIf Remote_Addr "66\.249\.64\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.64\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.64\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.64\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.64\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.64\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.64\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.65\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.66\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.66\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.66\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.66\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.66\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.66\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.68\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.68\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.68\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.68\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.69\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.70\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.71\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.72\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.73\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.74\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.74\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.74\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.74\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.74\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.75\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.76\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.77\.96\/27" block
  SetEnvIf Remote_Addr "66\.249\.78\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.78\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.0\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.128\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.160\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.192\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.224\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.32\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.64\/27" block
  SetEnvIf Remote_Addr "66\.249\.79\.96\/27" block

  deny from env=block

</IfModule>

Füge diese Liste in Project Central unter Projekteinstellungen ändern -> Server-Zugangsdaten festlegen -> Apache .htaccess bearbeiten ein. Drücke dann dreimal auf OK, um das Projekt auf dem Server kurz zu aktualisieren.

Alle Zugriffe des tatsächlichen Googlebots sollten dann ab sofort komplett unterbunden werden.

Hinweis:

Insofern nicht nur der Googlebot bei Dir so extrem crawlt, sondern auch andere IP-Adressen im Spiel sind, mußt Du den obigen .htaccess Auszug eigenständig entsprechend erweitern.

Viel Erfolg!

Hallo Volker,

vielen Dank für deine Mühe.

Ich komme im Moment leider weder über FileZilla noch über die Siquando Projekteinstellungen an die .htaccess ran. Es ist im wesendlichen die eine IP (die auch in deiner Liste steht 66.249.66.0) die die Masse der Anfragen verursacht. Die steht auch schon in der .htaccess. Ohne irgendeine Wirkung

<Limit GET POST>
order allow,deny
allow from all
deny from 66.249.66.0
</Limit>

Im Moment bin ich mit dem Support des Hosters in Kontakt mit der Frage, ob das nicht von deren Seite bemerkt werden sollte wenn so eine Serverbelastung stattfindet. Melde mich wenn es eine Lösung des Problems gibt. Nochmals vielen Dank an alle für die Unterstützung. Gut, dass es das Forum gibt.

Viele Grüße
Helwig