El conjunto de preguntas
Las que haría un cliente real de esa categoría: qué necesita resolver, cómo lo nombraría sin conocer marcas, qué preguntaría para comparar opciones. El set se cierra antes de mirar resultados.
Metodología
La forma más común de evaluar la visibilidad de una marca en sistemas de inteligencia artificial es también la menos confiable: abrir un asistente, escribir una pregunta, ver si la marca aparece y sacar una conclusión. Ese gesto produce una impresión, no un dato. Y toda impresión depende de lo que nadie anotó: qué se preguntó, en qué sistema, en qué fecha.
Medir en buscadores tiene una referencia estable: una posición es un número que se puede volver a consultar. En un sistema generativo no existe ese piso firme. Hay una respuesta producida en un momento concreto para una pregunta concreta, y obtener un texto distinto al repetir la consulta no es un error del método: es la naturaleza de lo que se mide.
Eso no vuelve imposible la investigación, pero la vuelve más exigente: obliga a repetir, a registrar y a comparar. Aquí explicamos cómo lo estamos haciendo, sin anticipar resultados.
Medir algo que no se queda quieto
Un sistema generativo no devuelve un registro almacenado, sino un texto construido en el momento. Esa construcción varía por tres razones que afectan cualquier intento de medir.
- Varía entre ejecuciones. La misma pregunta, formulada dos veces en condiciones parecidas, puede producir respuestas distintas en extensión, en orden de ideas y en las marcas que aparecen.
- Varía con el tiempo. Los sistemas se actualizan y cambia el contenido publicado. Lo que hoy no aparece puede aparecer después sin que nadie haya intervenido nada, y lo contrario también.
- Depende de cómo se pregunta. Una pregunta abierta, una petición de recomendación y una consulta que ya nombra una marca activan respuestas diferentes. Cambiar una palabra puede cambiar las entidades que el sistema considera relevantes.
Ninguna de esas variaciones se resuelve con una técnica: se resuelven repitiendo y registrando. Si el objeto de estudio es inestable, lo honesto es describir cuántas veces se observó.
Una sola consulta es una anécdota. Un conjunto de consultas repetidas en el tiempo, con el mismo criterio, es un dato.
Qué se define antes de medir
Si el sistema es inestable, el método tiene que ser estable. Antes de registrar la primera respuesta se fijan cuatro decisiones, para que una medición posterior sea comparable con la anterior.
Los sistemas que se consultan
No todos recuperan, ponderan y citan igual ni tienen la misma cobertura por idioma y mercado. Se declara cuáles se incluyen y se asume que las conclusiones valen para ellos, no para "la IA" en general.
La frecuencia
Cada cuánto se repite el mismo set. Define qué tipo de cambio se puede detectar: comparar capturas muy separadas mezcla el efecto de una intervención con el simple paso del tiempo.
Cómo se registra
El formato es parte del método, no un trámite posterior. Un registro uniforme permite contar proporciones sobre un set; un montón de impresiones sueltas no permite contar nada.
Estas decisiones convierten un ejercicio informal en una línea de base. Sin comparación no hay forma de atribuir un cambio a algo que se hizo.
El ciclo de Search Intelligence aplicado a este problema
El ciclo con el que trabaja Sageo Estudio es Investigar, Medir, Interpretar, Intervenir y Volver a medir. Aplicado a la visibilidad en sistemas de IA, cada paso tiene un contenido propio.
Investigar
Reconstruir la situación antes de contar nada: qué dice la marca de sí misma y qué dicen otros de ella, qué entidad describen los sistemas al preguntarles por la categoría sin nombrarla, y qué fuentes se recuperan de forma recurrente.
Medir
Ejecutar el set de preguntas sobre los sistemas definidos, con la frecuencia definida, y registrar cada respuesta con el mismo formato. La medición produce la línea de base.
Interpretar
Buscar explicaciones para lo observado: por qué la marca aparece en unas preguntas y en otras no, por qué se la menciona sin citarla, por qué el sistema la asocia a un atributo desactualizado. Cada explicación es una hipótesis verificable.
Intervenir
Trabajar sobre las hipótesis: consistencia de la entidad, contenido que responda de forma clara y atribuible, datos estructurados, accesibilidad técnica y presencia en las fuentes externas que los sistemas recuperan.
Volver a medir
Repetir el mismo set, sobre los mismos sistemas, con el mismo registro, y comparar contra la línea de base. La comparación es entre proporciones a lo largo de varias rondas, no entre dos capturas aisladas.
Qué se registra en cada respuesta
Anotar "salimos" o "no salimos" no permite aprender nada. Por cada respuesta se registra lo siguiente.
- Si la marca fue mencionada y con qué forma exacta: el nombre completo, una variante o un producto.
- Si fue citada con enlace a una página propia, y cuál. Mención y cita se registran por separado.
- En qué parte de la respuesta aparece —al inicio, en el desarrollo, en una lista final—: no es lo mismo el primer párrafo que el final de un texto largo.
- Con qué otras marcas aparece, en qué orden y en qué contexto: es el grupo con el que el sistema asocia la marca.
- Qué fuentes usó el sistema, con la URL cuando esté disponible: es la pista más directa sobre de dónde toma lo que afirma.
- Qué se dijo sobre la marca, no solo si apareció. Una mención con información equivocada es un problema, no un logro.
Junto con eso se guarda la trazabilidad mínima: pregunta, sistema, fecha y hora. Sin esos campos, un registro no se puede auditar ni comparar.
Por qué se repite la medición
Repetir cumple tres funciones, y ninguna es opcional.
La primera es separar lo habitual de lo excepcional. Si una marca aparece en una de cada diez ejecuciones de la misma pregunta, una captura que la muestre no prueba una mejora.
La segunda es distinguir el propio cambio del cambio del entorno. Los sistemas se actualizan y los competidores publican: con una sola medición antes y otra después, cualquier diferencia puede deberse a la intervención, a una actualización o al azar.
La tercera es hacer visible lo que no se repite. Hay preguntas donde una marca aparece de forma sostenida y otras donde aparece de manera esporádica: esa diferencia de estabilidad es un hallazgo en sí misma.
Honestidad metodológica: lo que un set pequeño no permite decir
Un método riguroso se reconoce por lo que afirma y por lo que se abstiene de afirmar. Estas son las precauciones que acompañan a esta investigación.
- Un set de preguntas es una muestra, no el universo. Describe el comportamiento del sistema frente a esas preguntas, en esas condiciones. Extrapolar a "toda la IA" o a "todo el mercado" excede lo que la muestra sostiene.
- Correlación no es causa. Que una intervención coincida con un cambio en las respuestas no demuestra que lo haya provocado. La coincidencia propone una hipótesis; verificarla exige repetir y descartar explicaciones alternativas.
- El resultado de un sistema no se traslada a otro. Cada sistema recupera fuentes distintas y pondera distinto. Un hallazgo en uno es un hallazgo en uno.
- El registro tiene margen de error. Leer una respuesta generada implica criterio humano: qué cuenta como mención, cuándo una referencia equivale a una cita.
- Se declara la ventana de tiempo. Toda medición corresponde a un período concreto. Sin ese dato, un resultado se lee como si fuera permanente, y no lo es.
Aquí se describe el método, no resultados. Sageo Estudio no publica cifras de visibilidad en sistemas de IA porque todavía no hay mediciones terminadas y autorizadas que las respalden. La distinción importa: un método documentado se puede revisar y replicar; una cifra sin método solo se puede creer.
Search Intelligence · Investigar → Medir → Interpretar → Intervenir → Volver a medir
Califica este cristal
¿Cuántas gemas le das?
En lugar de estrellas usamos gemas, que es lo que se forma dentro de una geoda. Tu calificación ayuda a saber qué cristales conviene seguir puliendo.
Cargando las calificaciones…
Comentarios
Un comentario puede corregir, ampliar o discutir lo que dice el artículo. Se publica después de revisarlo.
Cargando los comentarios…