Der Fragensatz
Die Fragen, die ein echter Kunde dieser Kategorie stellen würde: was er lösen muss, wie er es ohne Markenkenntnis benennen würde, was er fragen würde, um Optionen zu vergleichen. Das Set wird geschlossen, bevor man Ergebnisse ansieht.
Wie wir die Sichtbarkeit von Marken in KI untersuchen
Methodik
Die häufigste Art, die Sichtbarkeit einer Marke in KI-Systemen zu bewerten, ist zugleich die unzuverlässigste: einen Assistenten öffnen, eine Frage schreiben, sehen, ob die Marke auftaucht, und daraus einen Schluss ziehen. Diese Geste liefert einen Eindruck, keinen Wert. Und jeder Eindruck hängt von dem ab, was niemand notiert hat: was gefragt wurde, in welchem System, an welchem Datum.
Messen in Suchmaschinen hat einen stabilen Bezug: Eine Position ist eine Zahl, die sich erneut abfragen lässt. In einem generativen System gibt es diesen festen Boden nicht. Es gibt eine Antwort, die zu einem konkreten Zeitpunkt auf eine konkrete Frage entstanden ist, und beim Wiederholen der Anfrage einen anderen Text zu bekommen ist kein Fehler der Methode: Es ist die Natur dessen, was gemessen wird.
Das macht Forschung nicht unmöglich, aber anspruchsvoller: Es zwingt zum Wiederholen, zum Protokollieren und zum Vergleichen. Hier erklären wir, wie wir es tun, ohne Ergebnisse vorwegzunehmen.
Etwas messen, das nicht stillhält
Ein generatives System liefert keinen gespeicherten Eintrag, sondern einen im Moment gebauten Text. Dieser Bau variiert aus drei Gründen, die jeden Messversuch betreffen.
- Es variiert zwischen Durchläufen. Dieselbe Frage, zweimal unter ähnlichen Bedingungen gestellt, kann unterschiedliche Antworten hervorbringen: im Umfang, in der Reihenfolge der Gedanken und in den Marken, die auftauchen.
- Es variiert mit der Zeit. Systeme werden aktualisiert, und die veröffentlichten Inhalte ändern sich. Was heute nicht erscheint, kann später erscheinen, ohne dass jemand etwas bearbeitet hat, und umgekehrt.
- Es hängt davon ab, wie gefragt wird. Eine offene Frage, die Bitte um eine Empfehlung und eine Anfrage, die schon eine Marke nennt, lösen unterschiedliche Antworten aus. Ein geändertes Wort kann die Entitäten ändern, die das System für relevant hält.
Keine dieser Schwankungen löst man mit einer Technik: Man löst sie durch Wiederholen und Protokollieren. Wenn der Gegenstand der Untersuchung instabil ist, ist es ehrlich zu beschreiben, wie oft beobachtet wurde.
Eine einzelne Anfrage ist eine Anekdote. Eine Gruppe von Anfragen, über die Zeit mit demselben Kriterium wiederholt, ist ein Wert.
Was vor dem Messen festgelegt wird
Wenn das System instabil ist, muss die Methode stabil sein. Vor der ersten protokollierten Antwort werden vier Entscheidungen festgelegt, damit eine spätere Messung mit der vorherigen vergleichbar ist.
Die Systeme, die abgefragt werden
Nicht alle rufen gleich ab, gewichten gleich und zitieren gleich, und sie haben nicht dieselbe Abdeckung je Sprache und Markt. Es wird erklärt, welche einbezogen werden, und angenommen, dass die Schlüsse für diese gelten, nicht für „die KI“ im Allgemeinen.
Die Frequenz
In welchem Abstand dasselbe Set wiederholt wird. Das bestimmt, welche Art von Veränderung sich erkennen lässt: weit auseinanderliegende Aufnahmen zu vergleichen vermischt die Wirkung eines Eingriffs mit dem bloßen Lauf der Zeit.
Wie protokolliert wird
Das Format ist Teil der Methode, kein nachgelagerter Vorgang. Ein einheitliches Protokoll erlaubt es, Anteile über ein Set zu zählen; ein Haufen einzelner Eindrücke erlaubt es, gar nichts zu zählen.
Diese Entscheidungen machen aus einer informellen Übung eine Grundlinie. Ohne Vergleich lässt sich eine Veränderung nicht auf etwas zurückführen, das man getan hat.
Der Zyklus von Search Intelligence, auf dieses Problem angewandt
Der Zyklus, mit dem Sageo Estudio arbeitet, ist Untersuchen, Messen, Interpretieren, Eingreifen und erneut Messen. Auf die Sichtbarkeit in KI-Systemen angewandt, hat jeder Schritt seinen eigenen Inhalt.
Untersuchen
Die Lage rekonstruieren, bevor man etwas erzählt: was die Marke über sich selbst sagt und was andere über sie sagen, welche Entität die Systeme beschreiben, wenn man sie ohne Nennung nach der Kategorie fragt, und welche Quellen wiederkehrend abgerufen werden.
Messen
Das Fragenset auf den festgelegten Systemen mit der festgelegten Frequenz ausführen und jede Antwort im selben Format protokollieren. Die Messung erzeugt die Grundlinie.
Interpretieren
Erklärungen für das Beobachtete suchen: warum die Marke bei manchen Fragen erscheint und bei anderen nicht, warum sie erwähnt wird, ohne zitiert zu werden, warum das System sie mit einem veralteten Merkmal verbindet. Jede Erklärung ist eine prüfbare Hypothese.
Eingreifen
An den Hypothesen arbeiten: Konsistenz der Entität, Inhalte, die klar und zuordenbar antworten, strukturierte Daten, technische Zugänglichkeit und Präsenz in den externen Quellen, die die Systeme abrufen.
Erneut messen
Dasselbe Set auf denselben Systemen mit demselben Protokoll wiederholen und gegen die Grundlinie vergleichen. Der Vergleich gilt Anteilen über mehrere Runden, nicht zwei einzelnen Aufnahmen.
Was bei jeder Antwort protokolliert wird
Zu notieren „wir sind drin“ oder „wir sind nicht drin“ erlaubt es, nichts zu lernen. Pro Antwort wird Folgendes protokolliert.
- Ob die Marke erwähnt wurde und in welcher genauen Form: der vollständige Name, eine Variante oder ein Produkt.
- Ob sie mit Link auf eine eigene Seite zitiert wurde und mit welchem. Erwähnung und Zitat werden getrennt protokolliert.
- An welcher Stelle der Antwort sie erscheint —am Anfang, im Verlauf, in einer Liste am Ende—: Der erste Absatz ist nicht dasselbe wie das Ende eines langen Textes.
- Mit welchen anderen Marken sie erscheint, in welcher Reihenfolge und in welchem Kontext: Das ist die Gruppe, mit der das System die Marke verbindet.
- Welche Quellen das System nutzte, mit der URL, wenn verfügbar: Das ist der direkteste Hinweis darauf, woher es nimmt, was es behauptet.
- Was über die Marke gesagt wurde, nicht nur ob sie erschien. Eine Erwähnung mit falscher Information ist ein Problem, kein Erfolg.
Zusammen damit wird die minimale Nachvollziehbarkeit gespeichert: Frage, System, Datum und Uhrzeit. Ohne diese Felder lässt sich ein Protokolleintrag weder prüfen noch vergleichen.
Warum die Messung wiederholt wird
Das Wiederholen erfüllt drei Funktionen, und keine ist optional.
Die erste ist, das Regelhafte vom Ausnahmefall zu trennen. Wenn eine Marke in einer von zehn Ausführungen derselben Frage erscheint, beweist eine Aufnahme, die sie zeigt, keine Verbesserung.
Die zweite ist, die eigene Veränderung von der Veränderung der Umgebung zu unterscheiden. Systeme werden aktualisiert und Wettbewerber veröffentlichen: Mit nur einer Messung vorher und einer nachher kann jede Differenz vom Eingriff, von einer Aktualisierung oder vom Zufall stammen.
Die dritte ist, sichtbar zu machen, was sich nicht wiederholt. Es gibt Fragen, bei denen eine Marke beständig erscheint, und andere, bei denen sie sporadisch auftaucht: Dieser Unterschied in der Stabilität ist selbst ein Fund.
Methodische Ehrlichkeit: Was ein kleines Set nicht zulässt
Eine strenge Methode erkennt man daran, was sie behauptet und was sie zu behaupten unterlässt. Das sind die Vorsichtsmaßnahmen, die diese Forschung begleiten.
- Ein Fragenset ist eine Stichprobe, nicht das Ganze. Es beschreibt das Verhalten des Systems gegenüber diesen Fragen unter diesen Bedingungen. Auf „die ganze KI“ oder „den ganzen Markt“ zu verallgemeinern geht über das hinaus, was die Stichprobe trägt.
- Korrelation ist keine Ursache. Dass ein Eingriff mit einer Veränderung der Antworten zusammenfällt, beweist nicht, dass er sie ausgelöst hat. Der Gleichlauf schlägt eine Hypothese vor; sie zu prüfen verlangt, zu wiederholen und alternative Erklärungen auszuschließen.
- Das Ergebnis eines Systems überträgt sich nicht auf ein anderes. Jedes System ruft andere Quellen ab und gewichtet anders. Ein Fund in einem System ist ein Fund in einem System.
- Das Protokoll hat einen Fehlerspielraum. Eine generierte Antwort zu lesen verlangt menschliches Urteilsvermögen: was als Erwähnung zählt, wann ein Verweis einem Zitat gleichkommt.
- Das Zeitfenster wird erklärt. Jede Messung gehört zu einem konkreten Zeitraum. Ohne diese Angabe wird ein Ergebnis gelesen, als wäre es dauerhaft, und das ist es nicht.
Hier wird die Methode beschrieben, keine Ergebnisse. Sageo Estudio veröffentlicht keine Zahlen zur Sichtbarkeit in KI-Systemen, weil es noch keine abgeschlossenen und freigegebenen Messungen gibt, die sie stützen. Die Unterscheidung zählt: Eine dokumentierte Methode lässt sich prüfen und nachvollziehen; eine Zahl ohne Methode lässt sich nur glauben.
Search Intelligence · Untersuchen → Messen → Interpretieren → Eingreifen → Erneut messen
Bewerten Sie diesen Kristall
Wie viele Edelsteine geben Sie ihm?
Statt Sternen verwenden wir Edelsteine, also das, was in einer Geode entsteht. Ihre Bewertung hilft zu erkennen, welche Kristalle weiter geschliffen werden sollten.
Bewertungen werden geladen…
Kommentare
Ein Kommentar kann korrigieren, ergänzen oder dem widersprechen, was im Artikel steht. Er wird nach der Prüfung veröffentlicht.
Kommentare werden geladen…