Bevor die KI deine Marke empfehlen kann, müssen ihre Crawler deine Seite lesen können. Wenn du sie versehentlich blockierst oder deine Seite schwer zu verarbeiten ist, wirst du aus rein technischem Grund für die Modelle unsichtbar. Dieser Leitfaden fasst zusammen, wie du deine Seite für KI-Crawler bereit machst.
Wer diese Bots sind
Die wichtigsten Engines nutzen eigene Crawler, um ihre Antworten zu speisen: GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) und Google-Extended (Google). Dein erstes Ziel ist sicherzustellen, dass sie ohne Hindernisse auf deinen Content zugreifen können.
Prüfe deine robots.txt
Viele Marken blockieren diese Bots, ohne es zu wissen. Prüfe deine robots.txt und erlaube, wenn du in KI-Antworten erscheinen willst, die generativen Crawler ausdrücklich. Sie zu blockieren bedeutet, auf die Sichtbarkeit in diesen Engines zu verzichten. Gib außerdem den Ort deiner Sitemap an.
Liefere zugängliches HTML, nicht nur JavaScript
Crawler verstehen Inhalte besser, die direkt im HTML verfügbar sind. Erscheint deine Schlüsselinformation erst nach dem Ausführen von schwerem JavaScript, sehen sie manche Bots nicht. Stelle sicher, dass deine wichtigen Texte, Daten und Links im initialen HTML stehen, ohne von Client-seitigem Rendering abzuhängen.
Achte auf Performance und Stabilität
Eine langsame Seite mit Fehlern oder häufigen Ausfällen erschwert das Crawling und mindert das Vertrauen. Geschwindigkeit, HTTPS und Stabilität sind nicht nur klassische SEO-Faktoren: Sie entscheiden auch, ob ein KI-Crawler dich vollständig lesen kann.
Strukturiere und markiere deine Daten mit Schema
Die schema.org-Auszeichnung (Organization, Product, FAQPage, Article usw.) sagt dem Modell eindeutig, was jedes Element ist. Eine klare Struktur aus Überschriften, Listen und Tabellen, kombiniert mit gut implementiertem Schema, macht deinen Content leicht extrahier- und zitierbar.
Veröffentliche eine llms.txt
Die Datei llms.txt fasst im Root deiner Domain zusammen, welche deiner Inhalte relevant sind und was deine belegbaren Daten sind. Sie ist ein direktes, geordnetes Signal für die Modelle und ergänzt robots.txt und Schema.
Prüfe, ob sie dich wirklich lesen
- Sieh in den Server-Logs nach, um Besuche von GPTBot, ClaudeBot und PerplexityBot zu bestätigen.
- Prüfe, dass deine Schlüsselseiten Code 200 zurückgeben und ohne JS laden.
- Validiere dein Schema und deine llms.txt.
- Teste, indem du die Modelle nach deiner Marke fragst und das Gesagte mit deiner Seite abgleichst.
Häufige Fehler
Bots in der robots.txt blockieren, Content hinter JavaScript verstecken, widersprüchliche Daten über Seiten hinweg, oder eine llms.txt veröffentlichen und nie aktualisieren. Diese Punkte zu beheben ist meist das, was die ersten Erwähnungen in KI-Antworten freischaltet.
Wie technisches SEO und GEO zusammenspielen
Für KI-Crawler zu optimieren heißt nicht, klassisches SEO aufzugeben: Es heißt, darauf aufzubauen. Eine schnelle, sichere, gut strukturierte und crawlbare Seite ist die gemeinsame Basis beider Welten. Auf dieser Basis ergänzt GEO spezifische Signale für generative Modelle: ausdrückliche Erlaubnisse für ihre Bots, auf Extraktion ausgelegtes Schema, einen kanonischen Entitäts-Datensatz und eine llms.txt, die deine belegbaren Daten ordnet.
Der Unterschied im Ziel ist entscheidend. SEO will, dass der Nutzer auf deinen Link klickt; GEO will, dass das Modell dich in seiner Antwort zitiert, oft ganz ohne Klick. Deshalb lohnt es, robots.txt, Logs und Schema mit diesem doppelten Blick zu prüfen. In der Praxis behandeln die Marken, die in der KI am besten erscheinen, die technische Schicht als lebendiges Gut: Sie auditieren sie regelmäßig, achten darauf, dass die Bots weiter Zugang haben, und aktualisieren Schema und llms.txt, wenn sich Preise, Leistungen oder Abdeckung ändern. Zugänglichkeit ist keine einmalige Aufgabe, sondern eine dauerhafte Bedingung, um zitierbar zu bleiben.
Eine praktische Routine hilft: Prüfe nach jedem Redesign, jeder Plattform-Migration oder größeren Content-Änderung vier Dinge erneut — deine robots.txt, deine Performance, dein Schema und deine llms.txt. Diese vier Checks, regelmäßig durchgeführt, verhindern die meisten stillen Einbrüche der KI-Sichtbarkeit und halten deine Seiten für jeden relevanten generativen Crawler lesbar.
Sieh es als Grundhygiene fürs KI-Zeitalter: Das Ziel ist schlicht, dass GPTBot, ClaudeBot und PerplexityBot an jedem beliebigen Tag deine Schlüsselseiten abrufen, sie als sauberes HTML lesen und konsistente, gut ausgezeichnete Daten finden können. Ist das gegeben, hat deine restliche GEO-Arbeit endlich ein solides Fundament, auf dem sie aufbauen kann.
Kurz gesagt: Erst Zugang und Lesbarkeit, dann alles andere — denn ein Modell kann nur empfehlen, was es zuvor problemlos lesen und verstehen konnte.
Häufige Fragen
Wie optimiere ich meine Seite für KI-Crawler?
Erlaube die generativen Bots (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) in deiner robots.txt, liefere deinen Schlüssel-Content als zugängliches HTML ohne JavaScript-Abhängigkeit, achte auf Performance und HTTPS, markiere deine Daten mit schema.org und veröffentliche eine llms.txt. Prüfe danach in den Logs, ob diese Bots dich wirklich lesen.
Soll ich GPTBot und ClaudeBot erlauben oder blockieren?
Wenn du in KI-Antworten erscheinen willst, solltest du sie erlauben. Sie in der robots.txt zu blockieren bedeutet, auf die Sichtbarkeit in diesen Engines zu verzichten. Blockieren solltest du sie nur, wenn du aus Prinzip nicht von diesen Modellen genutzt werden möchtest.
Warum ist es wichtig, nicht von JavaScript abzuhängen?
Weil manche KI-Crawler Inhalte besser verstehen, die direkt im HTML stehen. Erscheint deine Schlüsselinformation erst nach dem Ausführen von JavaScript, riskierst du, dass sie sie nicht lesen und daher nicht zitieren können.
Informativer Artikel von Petri Heil · GEO & SEO. Willst du wissen, wie deine Marke heute in der KI erscheint? Fordere eine Diagnose an.