Cloudflare Content Signals: AEO-Lizenzierung und Pay per Crawl

Kontext in 30 Sekunden\n\n- Cloudflare hat am 24. September 2025 die Cloudflare Content Signals Policy vorgestellt. Sie ergänzt robots.txt um maschinenlesbare Präferenzen für drei Nutzungsarten von Inhalten: search, ai-input und ai-train. Managed robots.txt setzt standardmäßig search=yes und ai-train=no, ai-input bleibt offen, bis Sie es definieren.\n- Parallel bietet Cloudflare AI Crawl Control Funktionen für Crawler-Management, Blocken, Abrechnung und anpassbare 402 Payment Required Antworten. Diese greifen hinter WAF und Bot Management, damit sich Zugriffe vertraglich steuern und vergüten lassen. Details in der AI Crawl Control Dokumentation.\n- Für AEO zählt Sichtbarkeit in Google AI Overviews, Copilot Search und Perplexity. Die Auswahl der Quellen weicht oft von klassischen Top 10 Rankings ab, was neue Snippet-Strategien erfordert.\n\n## Teil 1: Policy festlegen und sauber deklarieren\n\n### 1) Content-Signale definieren\n\n- Baseline ohne AI-Lizenz: search=yes, ai-input=no, ai-train=no.\n- Baseline für vertragliche Partner mit Live-Grounding gegen Vergütung: search=yes, ai-input=yes, ai-train=no.\n- Nur bei Trainingsvertrag: ai-train=yes für definierte Bereiche.\n\n### 2) robots.txt um Content Signals ergänzen\n\nBeispiel global:\n\n\nUser-agent: *\nContent-Signal: search=yes, ai-input=no, ai-train=no\nAllow: /\n\n\nBeispiel für Partner-Ordner mit Live-Grounding:\n\n\nUser-agent: *\nContent-Signal: search=yes, ai-input=yes, ai-train=no\nAllow: /live/\n\n\nHinweis: Cloudflare Managed robots.txt setzt standardmäßig search=yes und ai-train=no. ai-input bleibt ungesetzt, bis Sie es explizit definieren.\n\n### 3) Ergänzende Vendor-Controls berücksichtigen\n\n- Google-Extended steuert Training und Grounding in Gemini, nicht die Sichtbarkeit in AI Overviews. Nutzen Sie es ergänzend, rechnen Sie aber nicht mit einem dedizierten AIO Opt-out.\n\n## Teil 2: Whitelists und technische Kontrolle in Cloudflare\n\n### 4) WAF und Bot Management ausrichten\n\nZiel: Nur verifizierte Bots und vertraglich erlaubte AI-Crawler erhalten Zugriff auf definierte Pfade.\n\nRelevante Felder in Cloudflare-Regeln:\n\n- cf.bot_management.verified_bot true für bekannte Good Bots\n- cf.bot_management.score zur Abgrenzung von nicht verifizierten Bots\n\nBeispiel Allow für verifizierte Bots auf /live/:\n\n\n(http.request.uri.path starts_with "/live/") and cf.bot_management.verified_bot\n\n\nBeispiel Block für AI-Bots ohne Vertrag auf /api/:\n\n\n(http.request.uri.path starts_with "/api/") and not cf.bot_management.verified_bot and cf.bot_management.score lt 30\n\n\nBest Practice: Mit Challenge und Logging starten, dann auf Block oder Charge umstellen.\n\n### 5) Crawler-spezifische Whitelists aufsetzen\n\n- Perplexity: User-Agents PerplexityBot für Indexierung und Perplexity-User für userinitiierte Fetches. Erlauben Sie nur die Kombination aus UA und veröffentlichten IP-Ranges. Alles andere blocken.\n- Google: Googlebot für Search zulassen. Echte Googlebot Requests über Reverse DNS oder signalisierte JSON Pfade verifizieren, nicht nur den UA String.\n- Microsoft Copilot Search: bingbot und adidxbot offen halten. Live-Grounding separat über AI Crawl Control verhandeln. Copilot betont Linkzitierung, was Referral-Potenzial schafft.\n- Praxis-Hinweis: Gegen Stealth-Crawling zusätzlich JA3 und JA4 Fingerprints, ASN-Gates und Abgleich abweichender Muster einsetzen.\n\n### 6) AI Crawl Control für Pay per Crawl aktivieren\n\nVorgehen:\n\n1. In AI Crawl Control den betreffenden Crawler auswählen und Block oder Charge je Pfad definieren.\n2. Für geblockte Crawler 402 Payment Required mit Kontakt und Tarifbedingungen ausspielen.\n3. Für erlaubte Crawler Preis pro Request oder pro Token vereinbaren und Monitoring aktivieren.\n\nReihenfolge im Request Flow beachten: Zuerst WAF Regeln, dann Bot Solutions, dann AI Crawl Control. Regeln harmonisieren, damit keine legitimen Charged-Flows durch frühere Blocks verloren gehen.\n\n## Teil 3: Messung und Attribution der neuen AI Kanäle\n\n### 7) Logbasierte AI-Referral-Messung aufsetzen\n\nIn Cloudflare Logpush Felder wie BotScore, VerifiedBot, User-Agent, JA3, JA4, ASN, Path, Response Code und Referer aktivieren.\n\nKennzahlen:\n\n- AI Crawl Requests pro Crawler und Pfad\n- Anteil Allowed vs Blocked vs Charged\n- Downstream Clicks aus AI-Produkten anhand Referer-Mustern und UTM-Landepfaden in Content-Zitaten\n\nGrenzen und Praxis: Google zählt AIO Klicks in der Search Console als reguläre Search Klicks. Für differenzierte AIO-Attribution ergänzen Sie Log-Heuristiken und Paneldaten. Wachstum der AI Referrals ist real, aber verteilt und branchenabhängig.\n\n## Teil 4: AEO-Snippet-Design ohne Trainingsrechte zu verschenken\n\n### 8) Was AI Overviews bevorzugt\n\nAnswer Engines wählen häufig Quellen außerhalb der klassischen Top 10. Snippets müssen daher prägnant, evidenzbasiert und eigenständig wertstiftend sein.\n\n### 9) Snippet-Bauplan pro URL\n\n- Ein Claim in einem Satz, dann 3 bis 5 nummerierte Belege mit Datumsstempeln.\n- Key Value Liste mit Zahlen, Schwellen und Fristen.\n- Mini FAQ mit 2 bis 3 präzisen Fragen und Antworten.\n- Zitierfreundliche Absätze mit 30 bis 60 Wörtern, klare Entitäten und Einheiten.\n- Sichtbarer Lizenzhinweis im Footer mit Verweis auf Ihre Content-Signal Präferenz, kein Freigabetext für Training.\n\nTechnische To-dos:\n\n- Title 58 bis 65 Zeichen, H1 und H2 deckungsgleich\n- Strukturierte Daten für FAQ und HowTo\n- Sprechende Ankerüberschriften für Deep Links\n- Lazy Loading für Hauptinhalte vermeiden\n- Erste Quelle Above the Fold\n\nVertiefung zu Oberflächen und Snippet-Formaten finden Sie in unserem Beitrag Browser-AEO für Gemini in Chrome sowie in Live-AEO für Google Search Live.\n\n## Teil 5: Verhandlungsleitfaden Pay per Crawl\n\n### 11) Mindestanforderungen an AI Partner\n\n- Bot-Transparenz: veröffentlichter UA, IP JSON und Reverse DNS Prüfpfad\n- Nutzungszweck: Search Index vs Live-Grounding vs Training getrennt ausweisen\n- Reporting: monatliche LogExports, Clickthrough Reports, Dispute-Prozess\n- Kompensation: Mindestpreis je 1.000 Requests oder je 1.000 Output Tokens bei Live-Grounding, Training nur mit separater Lizenz\n- Durchsetzung: Akzeptanz von 402 Payment Required bei Vertragsbruch\n\n## Teil 6: AEO in neuen Oberflächen von Gemini und Copilot\n\nGemini in Chrome und der AI Mode verschieben Aufmerksamkeit in den Browser. Copilot Search betont Quellenzitierung und Inline Links. Optimieren Sie Ihre Snippets und Linkarchitektur entsprechend und prüfen Sie kanal-spezifische Playbooks wie Inbox-AEO mit Perplexity Email.\n\n## Teil 7: Quickstart Checkliste für Ihr Team\n\n- Policy setzen: search=yes, ai-input je nach Deal, ai-train=no als Default\n- robots.txt aktualisieren und auditieren\n- WAF Regeln live setzen, Verified Bots erlauben, Unbekannte challengen\n- AI Crawl Control aktivieren und 402 Payment Required Template konfigurieren\n- Perplexity, Google und Microsoft Whitelists mit UA plus IP Ranges einpflegen\n- Logpush nutzen, AI Referral Dashboard aufbauen, monatlich reporten\n- AEO Snippets pro Money Page überarbeiten, Quellenbelege und Mini FAQs ergänzen\n- Legal Playbook und Vergütungsraster für Pay per Crawl finalisieren\n\nStand: 27. September 2025.