GEO-Handbuch, Teil 9: Was KI-Crawler auf Ihrer Website wirklich sehen

Ihre Leistungsseite sieht im Browser gut aus. Ein Crawler erhält aber eine Sicherheitsprüfung, eine leere HTML-Hülle oder eine widersprüchliche Weiterleitung. Dann hilft auch der beste Text wenig. Dieser Teil zeigt, wie Sie den technischen Weg zur Information nachvollziehbar prüfen.

1 — Vier Prüfungen, vier unterschiedliche Ergebnisse#

Erreichbarkeit, Indexierung, Auswahl als Quelle und eine spätere Anfrage sind verschiedene Schritte. Ein HTTP-Status 200 belegt nur eine erfolgreiche Serverantwort. Erst der Inhalt zeigt, ob die gewünschte Seite ausgeliefert wurde. Ein indexierter Beitrag kann wiederum ungenutzt bleiben. Technische Qualität schafft Voraussetzungen; sie bestellt keine Empfehlung.

2 — Suchzugriff und Modelltraining getrennt entscheiden#

OpenAI unterscheidet OAI-SearchBot für die Suche und GPTBot für potenzielles Modelltraining. ChatGPT-User bezeichnet nutzerveranlasste Abrufe und folgt nicht derselben automatischen Crawl-Logik. Anthropic dokumentiert Claude-SearchBot, ClaudeBot und Claude-User ebenfalls mit unterschiedlichen Aufgaben. Perplexity trennt PerplexityBot für die Suche von Perplexity-User. Die genaue Behandlung steht jeweils in der aktuellen Anbieter-Dokumentation. [1][2][3]

Daraus folgt unsere Arbeitsregel: Schreiben Sie zuerst auf, welche öffentlichen Inhalte gefunden werden sollen und welche Nutzung Sie erlauben möchten. Prüfen Sie danach die passenden Regeln. Ein pauschales «alle KI-Bots sperren» kann eine andere Wirkung haben als beabsichtigt. Ebenso falsch wäre es, für bessere Sichtbarkeit sämtliche Schutzmassnahmen abzuschalten.

Für Google Search gibt es zusätzlich die dokumentierte Einstellung «Search generative AI control» in der Search Console. Prüfen Sie die konkrete Property und vererbte Einstellungen. Diese Steuerung betrifft die anwendbaren generativen Suchfunktionen und ist von einer vollständigen Entfernung aus der Suche sowie von Trainingskontrollen zu unterscheiden. Wir beschreiben hier die Dokumentation, keine an Ihrem Konto vorgenommene Änderung. [4]

3 — Die wichtige Aussage muss erreichbar bleiben#

Prüfen Sie die Seite einmal als Besucher und einmal anhand der Serverantwort. Stimmen Titel, Leistung, Ort und Kontakt? Ist der zentrale Inhalt erst nach einem Klick, Login oder einer aufwendigen Interaktion verfügbar? Legen Sie wesentliche Aussagen als echten Text an. Eine Infografik darf erklären, sollte aber nicht die einzige Trägerin einer entscheidenden Information sein.

Das ist keine Behauptung, alle Crawler könnten gleich viel JavaScript ausführen. Wir empfehlen robuste, serverseitig verfügbare Kerninhalte, damit die Bedeutung der Seite möglichst wenig von einer speziellen Ausführungsumgebung abhängt. Die sichtbare Browserseite bleibt zusätzlich auf Mobilgeräten und mit Tastatur zu prüfen.

4 — Häufige Konflikte sauber auflösen#

Ein Bot-Name im User-Agent beweist nicht die Identität des Absenders. Bei Freigaben im Firewall- oder CDN-System prüfen Sie die vom Anbieter vorgesehenen Verifikationsmöglichkeiten. Testen Sie Änderungen eng begrenzt und halten Sie einen Rückweg bereit. Ein erfolgreicher manueller Abruf allein beweist noch nicht, dass der echte Bot Zugang hat.

5 — Strukturierte Daten beschreiben die sichtbare Seite#

Google nennt kein spezielles KI-Schema oder zusätzliches KI-Textformat als Voraussetzung. Strukturierte Daten müssen zur sichtbaren Information passen. Ein sauberer Artikel benötigt deshalb vor allem einen eindeutigen Titel, einen verantwortlichen Autor, nachvollziehbare Datumsangaben und passende Quellen. Ein JSON-LD-Block kann diese Information auszeichnen, aber fehlende Belege nicht ersetzen. [5]

Robots.txt ist zudem keine Zugangssicherung für vertrauliche Dokumente. Google erklärt, dass damit gesperrte URLs unter Umständen trotzdem in Suchergebnissen erscheinen können. Für private Inhalte braucht es geeigneten Zugriffsschutz. Eine noindex-Anweisung muss ein Crawler lesen können; eine gleichzeitig gesperrte Seite erschwert genau das. [6]

6 — Beginnen Sie mit einer repräsentativen Seite#

Wählen Sie eine wichtige Leistungsseite, einen Ratgeber und gegebenenfalls eine Sprachvariante. Dokumentieren Sie Ausgangszustand, Zuständigkeit und erwartetes Ergebnis. Nach dem Fix prüfen Sie dieselben URLs erneut. Erst dann rollen Sie die Änderung auf gleichartige Seiten aus. So wird aus «technisches GEO» ein nachvollziehbarer Auftrag mit begrenztem Risiko.

Verbindungen im Kurs#

Quellen und Arbeitsgrundlage#

Geprüft am 25. Oktober 2026. Prüfabläufe und Abnahmematrix sind eigene Arbeitsmodelle. Keine neue Crawl-Messung und keine dokumentierten Kundenergebnisse.

Glossar: Begriffe und Verbindungen#