Zurück zum Blog

ChatGPT-Sichtbarkeit messen: ein Prüfprotokoll

Ein wiederholbares ChatGPT-Prüfprotokoll: Fragen, Suchmodus, Sprache, Quellen und Fehler mit einem ausgefüllten Beispiel.

Redaktionell geprüft:

Fachliche Aussagen und Quellen geprüft; eigene Beispiele und Abnahmekriterien ergänzt. Beobachtungen, methodische Empfehlungen und unbestätigte Ursachen sind getrennt dargestellt.

TL;DR: Wichtigste Punkte

Verlässliche Beobachtung braucht festgelegte Bedingungen. Ein einzelner Screenshot und drei Wiederholungen erfüllen unterschiedliche Zwecke; beide haben begrenzte Aussagekraft.

  • Testkennung: Erlaubt den Vergleich desselben Tests.
  • Frage und Kontext: Wortlaut vollständig im internen Protokoll.
  • Fiktiver Befund: Nennung ja, eigene Zitation nein.

Fragen Sie präzise: Bei welchen kaufnahen Fragen erscheint welche Aussage über unsere Firma, und welche sichtbare Quelle stützt sie? Ein allgemeines «Sind wir in ChatGPT?» vermischt Markenwissen, Suche und unterschiedliche Nutzerkontexte.

Einordnung und Geltungsbereich

Definieren Sie Fragen zu Leistung, Ort, Abgrenzung und Vergleich. Dokumentieren Sie Oberfläche, sichtbare Modellangabe, Suchmodus, Sprache, Datum und den relevanten Account- oder Erinnerungskontext. Ein Test mit Websuche ist von einer Antwort ohne sichtbaren Suchabruf zu unterscheiden.

Klassifizieren Sie die Antwort: korrekt genannt, falsch zugeordnet, nicht genannt oder nicht beantwortet. Quellen-URLs sind eine eigene Spalte. Eine korrekt genannte Marke ohne eigene Quelle darf nicht automatisch als Zitation der Website gezählt werden.

Ein einzelner Chat ist keine belastbare Ausgangsmessung. Drei Wiederholungen an verschiedenen Tagen können ein praktikabler Einstieg sein; das ist eine gewählte Stichprobe und keine statistische Mindestnorm. Umfang und Unsicherheit richten sich nach der Geschäftsentscheidung. Für lokale Schweizer Märkte gehören passende Orts- und Sprachfragen ins Set.

Ein ausgefüllter Messdatensatz

Die folgende Zeile ist vollständig fiktiv und dient als Vorlage. Sie meldet keine tatsächliche ChatGPT-Nennung. Gespeichert werden sollte auch die Rohantwort, damit ein zweiter Prüfer die Klassifikation nachvollziehen kann. Persönliche Account-Daten gehören nicht in eine öffentliche Berichtsversion.

PrüfpunktBeispiel / GegenstandEinordnung
TestkennungCH-DE-LOCAL-01 / Version 1Erlaubt den Vergleich desselben Tests.
Frage und KontextBüroreinigung in Malters; DE; Websuche; 07.09.2026Wortlaut vollständig im internen Protokoll.
Fiktiver BefundMarke genannt; keine eigene Quellen-URL; Ort korrektNennung ja, eigene Zitation nein.
FolgeschrittWeitere Läufe an zwei getrennten TagenStabilität beobachten; Ursache noch offen.

So wenden Sie das an

  • Vor dem ersten Lauf das Frage-Set und die Klassen festlegen.
  • Neue Gespräche mit dokumentiertem Erinnerungskontext verwenden.
  • Antwort und Quellen gemeinsam sichern.
  • Pro Frage die Ergebnisse aller Läufe samt Abweichungen zeigen.

Quellen und nächste Lektüre

Der nächste Schritt

Nächster Schritt

Der kostenlose Kurzcheck liefert eine erste Einschätzung zu einer Domain, drei kaufnahen Fragen und drei Beobachtungen. Im Erstgespräch klären wir, ob eine vertiefte Analyse sinnvoll ist.

Erstgespräch anfragen

Häufige Fragen

Sind drei Wiederholungen verbindlich?

Nein. Sie sind ein Beispiel für einen kleinen wiederholbaren Einstieg. Für wichtige Entscheidungen kann eine grössere und besser kontrollierte Stichprobe nötig sein.

Zählt eine Nennung ohne URL als Zitation?

Nein. Nennung und verlinkte Quelle sind getrennte Messgrössen.

Warum lokale Fragen aufnehmen?

Sie bilden reale Kaufentscheidungen in einem Gebiet und einer Sprache ab, die ein generisches englisches Branchenprompt nicht abdeckt.