O conjunto de perguntas
As que um cliente real dessa categoria faria: o que precisa resolver, como nomearia isso sem conhecer marcas, o que perguntaria para comparar opções. O conjunto é fechado antes de olhar os resultados.
Metodologia
A forma mais comum de avaliar a visibilidade de uma marca em sistemas de inteligência artificial é também a menos confiável: abrir um assistente, escrever uma pergunta, ver se a marca aparece e tirar uma conclusão. Esse gesto produz uma impressão, não um dado. E toda impressão depende do que ninguém anotou: o que se perguntou, em que sistema, em que data.
Medir em buscadores tem uma referência estável: uma posição é um número que pode ser consultado de novo. Em um sistema generativo não existe esse piso firme. Há uma resposta produzida em um momento concreto para uma pergunta concreta, e obter um texto diferente ao repetir a consulta não é um erro do método: é a natureza do que se mede.
Isso não torna a pesquisa impossível, mas a torna mais exigente: obriga a repetir, a registrar e a comparar. Aqui explicamos como estamos fazendo, sem antecipar resultados.
Medir algo que não fica parado
Um sistema generativo não devolve um registro armazenado, mas um texto construído no momento. Essa construção varia por três razões que afetam qualquer tentativa de medir.
- Varia entre execuções. A mesma pergunta, formulada duas vezes em condições parecidas, pode produzir respostas diferentes em extensão, em ordem das ideias e nas marcas que aparecem.
- Varia com o tempo. Os sistemas se atualizam e o conteúdo publicado muda. O que hoje não aparece pode aparecer depois sem que ninguém tenha intervido em nada, e o contrário também.
- Depende de como se pergunta. Uma pergunta aberta, um pedido de recomendação e uma consulta que já nomeia uma marca ativam respostas diferentes. Mudar uma palavra pode mudar as entidades que o sistema considera relevantes.
Nenhuma dessas variações se resolve com uma técnica: elas se resolvem repetindo e registrando. Se o objeto de estudo é instável, o honesto é descrever quantas vezes se observou.
Uma única consulta é uma anedota. Um conjunto de consultas repetidas no tempo, com o mesmo critério, é um dado.
O que se define antes de medir
Se o sistema é instável, o método precisa ser estável. Antes de registrar a primeira resposta, quatro decisões são fixadas, para que uma medição posterior seja comparável com a anterior.
Os sistemas que são consultados
Nem todos recuperam, ponderam e citam igual, nem têm a mesma cobertura por idioma e mercado. Declara-se quais são incluídos e assume-se que as conclusões valem para eles, não para "a IA" em geral.
A frequência
De quanto em quanto tempo o mesmo conjunto se repete. Define que tipo de mudança se pode detectar: comparar capturas muito distantes mistura o efeito de uma intervenção com a simples passagem do tempo.
Como se registra
O formato é parte do método, não uma formalidade posterior. Um registro uniforme permite contar proporções sobre um conjunto; um monte de impressões soltas não permite contar nada.
Essas decisões convertem um exercício informal em uma linha de base. Sem comparação não há como atribuir uma mudança a algo que foi feito.
O ciclo de Search Intelligence aplicado a este problema
O ciclo com que a Sageo Estudio trabalha é Investigar, Medir, Interpretar, Intervir e Medir de novo. Aplicado à visibilidade em sistemas de IA, cada passo tem um conteúdo próprio.
Investigar
Reconstruir a situação antes de contar qualquer coisa: o que a marca diz de si mesma e o que dizem outros dela, que entidade os sistemas descrevem ao serem perguntados pela categoria sem nomeá-la, e que fontes são recuperadas de forma recorrente.
Medir
Executar o conjunto de perguntas sobre os sistemas definidos, com a frequência definida, e registrar cada resposta com o mesmo formato. A medição produz a linha de base.
Interpretar
Buscar explicações para o que foi observado: por que a marca aparece em umas perguntas e em outras não, por que ela é mencionada sem ser citada, por que o sistema a associa a um atributo desatualizado. Cada explicação é uma hipótese verificável.
Intervir
Trabalhar sobre as hipóteses: consistência da entidade, conteúdo que responda de forma clara e atribuível, dados estruturados, acessibilidade técnica e presença nas fontes externas que os sistemas recuperam.
Medir de novo
Repetir o mesmo conjunto, sobre os mesmos sistemas, com o mesmo registro, e comparar com a linha de base. A comparação é entre proporções ao longo de várias rodadas, não entre duas capturas isoladas.
O que se registra em cada resposta
Anotar "aparecemos" ou "não aparecemos" não permite aprender nada. Por cada resposta registra-se o seguinte.
- Se a marca foi mencionada e com que forma exata: o nome completo, uma variante ou um produto.
- Se foi citada com link para uma página própria, e qual. Menção e citação são registradas separadamente.
- Em que parte da resposta ela aparece —no início, no desenvolvimento, em uma lista final—: não é a mesma coisa o primeiro parágrafo e o fim de um texto longo.
- Com que outras marcas ela aparece, em que ordem e em que contexto: é o grupo com que o sistema associa a marca.
- Que fontes o sistema usou, com a URL quando estiver disponível: é a pista mais direta sobre de onde ele tira o que afirma.
- O que foi dito sobre a marca, não só se ela apareceu. Uma menção com informação errada é um problema, não uma conquista.
Junto com isso se guarda a rastreabilidade mínima: pergunta, sistema, data e hora. Sem esses campos, um registro não pode ser auditado nem comparado.
Por que a medição se repete
Repetir cumpre três funções, e nenhuma é opcional.
A primeira é separar o habitual do excepcional. Se uma marca aparece em uma de cada dez execuções da mesma pergunta, uma captura que a mostre não prova uma melhoria.
A segunda é distinguir a própria mudança da mudança do ambiente. Os sistemas se atualizam e os concorrentes publicam: com uma única medição antes e outra depois, qualquer diferença pode dever-se à intervenção, a uma atualização ou ao acaso.
A terceira é tornar visível o que não se repete. Há perguntas em que uma marca aparece de forma sustentada e outras em que aparece de maneira esporádica: essa diferença de estabilidade é um achado em si mesma.
Honestidade metodológica: o que um conjunto pequeno não permite dizer
Um método rigoroso se reconhece pelo que afirma e pelo que se abstém de afirmar. Estas são as precauções que acompanham esta pesquisa.
- Um conjunto de perguntas é uma amostra, não o universo. Descreve o comportamento do sistema diante dessas perguntas, nessas condições. Extrapolar para "toda a IA" ou para "todo o mercado" excede o que a amostra sustenta.
- Correlação não é causa. Que uma intervenção coincida com uma mudança nas respostas não demonstra que a tenha provocado. A coincidência propõe uma hipótese; verificá-la exige repetir e descartar explicações alternativas.
- O resultado de um sistema não se traslada para outro. Cada sistema recupera fontes distintas e pondera de forma distinta. Um achado em um é um achado em um.
- O registro tem margem de erro. Ler uma resposta gerada implica critério humano: o que conta como menção, quando uma referência equivale a uma citação.
- Declara-se a janela de tempo. Toda medição corresponde a um período concreto. Sem esse dado, um resultado é lido como se fosse permanente, e não é.
Aqui se descreve o método, não resultados. A Sageo Estudio não publica cifras de visibilidade em sistemas de IA porque ainda não há medições terminadas e autorizadas que as respaldem. A distinção importa: um método documentado pode ser revisado e replicado; uma cifra sem método só pode ser acreditada.
Search Intelligence · Investigar → Medir → Interpretar → Intervir → Medir de novo
Avalie este cristal
Quantas gemas você dá a ele?
Em vez de estrelas usamos gemas, que é o que se forma dentro de um geodo. Sua avaliação ajuda a saber quais cristais vale a pena continuar polindo.
Carregando as avaliações…
Comentários
Um comentário pode corrigir, ampliar ou contestar o que diz o artigo. É publicado depois da revisão.
Carregando os comentários…