L'insieme delle domande
Quelle che farebbe un cliente reale di quella categoria: che cosa deve risolvere, come lo nominerebbe senza conoscere marchi, che cosa chiederebbe per confrontare le opzioni. Il set si chiude prima di guardare i risultati.
Metodologia
Il modo più comune di valutare la visibilità di un marchio nei sistemi di intelligenza artificiale è anche il meno affidabile: aprire un assistente, scrivere una domanda, vedere se il marchio compare e trarre una conclusione. Quel gesto produce un'impressione, non un dato. E ogni impressione dipende da quello che nessuno ha annotato: che cosa è stato chiesto, in quale sistema, in quale data.
Misurare nei motori di ricerca ha un riferimento stabile: una posizione è un numero che si può consultare di nuovo. In un sistema generativo quel pavimento solido non esiste. C'è una risposta prodotta in un momento concreto per una domanda concreta, e ottenere un testo diverso ripetendo la query non è un errore del metodo: è la natura di quello che si misura.
Questo non rende impossibile la ricerca, ma la rende più esigente: obbliga a ripetere, a registrare e a confrontare. Qui spieghiamo come lo stiamo facendo, senza anticipare risultati.
Misurare qualcosa che non sta fermo
Un sistema generativo non restituisce un registro memorizzato, ma un testo costruito al momento. Quella costruzione varia per tre ragioni che riguardano qualsiasi tentativo di misurare.
- Varia tra un'esecuzione e l'altra. La stessa domanda, formulata due volte in condizioni simili, può produrre risposte diverse in estensione, in ordine delle idee e nei marchi che compaiono.
- Varia nel tempo. I sistemi si aggiornano e il contenuto pubblicato cambia. Quello che oggi non compare può comparire dopo senza che nessuno abbia toccato nulla, e anche il contrario.
- Dipende da come si chiede. Una domanda aperta, una richiesta di raccomandazione e una query che nomina già un marchio attivano risposte diverse. Cambiare una parola può cambiare le entità che il sistema considera rilevanti.
Nessuna di queste variazioni si risolve con una tecnica: si risolvono ripetendo e registrando. Se l'oggetto di studio è instabile, l'onestà è descrivere quante volte è stato osservato.
Una sola query è un aneddoto. Un insieme di query ripetute nel tempo, con lo stesso criterio, è un dato.
Che cosa si definisce prima di misurare
Se il sistema è instabile, il metodo deve essere stabile. Prima di registrare la prima risposta si fissano quattro decisioni, perché una misurazione successiva sia confrontabile con quella precedente.
I sistemi che si consultano
Non tutti recuperano, pesano e citano allo stesso modo né hanno la stessa copertura per lingua e mercato. Si dichiara quali sono inclusi e si assume che le conclusioni valgano per quelli, non per "l'IA" in generale.
La frequenza
Ogni quanto si ripete lo stesso set. Definisce che tipo di cambiamento si può rilevare: confrontare rilevazioni molto distanti mescola l'effetto di un intervento con il semplice passare del tempo.
Come si registra
Il formato è parte del metodo, non una formalità successiva. Un registro uniforme permette di contare proporzioni su un set; un mucchio di impressioni sciolte non permette di contare nulla.
Queste decisioni trasformano un esercizio informale in una linea di base. Senza confronto non c'è modo di attribuire un cambiamento a qualcosa che è stato fatto.
Il ciclo di Search Intelligence applicato a questo problema
Il ciclo con cui lavora Sageo Estudio è Indagare, Misurare, Interpretare, Intervenire e Misurare di nuovo. Applicato alla visibilità nei sistemi di IA, ogni passo ha un contenuto proprio.
Indagare
Ricostruire la situazione prima di raccontare qualsiasi cosa: che cosa dice il marchio di sé e che cosa dicono altri di lui, quale entità descrivono i sistemi quando si chiede loro della categoria senza nominarla, e quali fonti vengono recuperate di frequente.
Misurare
Eseguire il set di domande sui sistemi definiti, con la frequenza definita, e registrare ogni risposta con lo stesso formato. La misurazione produce la linea di base.
Interpretare
Cercare spiegazioni per quello che si è osservato: perché il marchio compare in alcune domande e in altre no, perché viene menzionato senza essere citato, perché il sistema lo associa a un attributo non aggiornato. Ogni spiegazione è un'ipotesi verificabile.
Intervenire
Lavorare sulle ipotesi: coerenza dell'entità, contenuto che risponda in modo chiaro e attribuibile, dati strutturati, accessibilità tecnica e presenza nelle fonti esterne che i sistemi recuperano.
Misurare di nuovo
Ripetere lo stesso set, sugli stessi sistemi, con lo stesso registro, e confrontare con la linea di base. Il confronto è tra proporzioni lungo più round, non tra due rilevazioni isolate.
Che cosa si registra in ogni risposta
Annotare "siamo usciti" o "non siamo usciti" non permette di imparare nulla. Per ogni risposta si registra quanto segue.
- Se il marchio è stato menzionato e con quale forma esatta: il nome completo, una variante o un prodotto.
- Se è stato citato con un link a una pagina propria, e quale. Menzione e citazione si registrano separatamente.
- In quale parte della risposta compare —all'inizio, nello sviluppo, in una lista finale—: non è la stessa cosa il primo paragrafo o la fine di un testo lungo.
- Con quali altri marchi compare, in quale ordine e in quale contesto: è il gruppo con cui il sistema associa il marchio.
- Quali fonti ha usato il sistema, con l'URL quando è disponibile: è l'indizio più diretto su da dove prende quello che afferma.
- Che cosa si è detto sul marchio, non solo se è comparso. Una menzione con informazioni sbagliate è un problema, non un risultato.
Insieme a questo si conserva la tracciabilità minima: domanda, sistema, data e ora. Senza quei campi, un registro non si può verificare né confrontare.
Perché la misurazione si ripete
Ripetere assolve tre funzioni, e nessuna è opzionale.
La prima è separare l'abituale dall'eccezionale. Se un marchio compare in una esecuzione su dieci della stessa domanda, una rilevazione che lo mostra non prova un miglioramento.
La seconda è distinguere il proprio cambiamento dal cambiamento dell'ambiente. I sistemi si aggiornano e i concorrenti pubblicano: con una sola misurazione prima e una dopo, qualsiasi differenza può dipendere dall'intervento, da un aggiornamento o dal caso.
La terza è rendere visibile quello che non si ripete. Ci sono domande in cui un marchio compare in modo costante e altre in cui compare in modo sporadico: quella differenza di stabilità è di per sé un riscontro.
Onestà metodologica: che cosa un set piccolo non permette di dire
Un metodo rigoroso si riconosce da quello che afferma e da quello che si astiene dall'affermare. Queste sono le precauzioni che accompagnano questa ricerca.
- Un set di domande è un campione, non l'universo. Descrive il comportamento del sistema davanti a quelle domande, in quelle condizioni. Estrapolare a "tutta l'IA" o a "tutto il mercato" supera quello che il campione sostiene.
- Correlazione non è causa. Che un intervento coincida con un cambiamento nelle risposte non dimostra che lo abbia provocato. La coincidenza propone un'ipotesi; verificarla richiede di ripetere e di escludere spiegazioni alternative.
- Il risultato di un sistema non si trasferisce a un altro. Ogni sistema recupera fonti diverse e pesa in modo diverso. Un riscontro in uno è un riscontro in uno.
- Il registro ha un margine di errore. Leggere una risposta generata implica criterio umano: che cosa conta come menzione, quando un riferimento equivale a una citazione.
- Si dichiara la finestra temporale. Ogni misurazione corrisponde a un periodo concreto. Senza quel dato, un risultato si legge come se fosse permanente, e non lo è.
Qui si descrive il metodo, non i risultati. Sageo Estudio non pubblica cifre di visibilità nei sistemi di IA perché non ci sono ancora misurazioni concluse e autorizzate che le sostengano. La distinzione conta: un metodo documentato si può rivedere e replicare; una cifra senza metodo si può solo credere.
Search Intelligence · Indagare → Misurare → Interpretare → Intervenire → Misurare di nuovo
Valuta questo cristallo
Quante gemme gli dà?
Al posto delle stelle usiamo gemme, cioè ciò che si forma dentro una geode. La sua valutazione aiuta a capire quali cristalli conviene continuare a lucidare.
Caricamento delle valutazioni…
Commenti
Un commento può correggere, ampliare o contestare ciò che dice l'articolo. Viene pubblicato dopo la revisione.
Caricamento dei commenti…