En esta nota
En resumen
- No miente: completa con lo más probable. El tono seguro es un rasgo del estilo, no una medida de confianza.
- Falla más en datos que no puede saber, en referencias concretas y en cálculos largos.
- Es bastante confiable trabajando sobre material que le diste vos.
- Cuatro controles: darle el material, pedirle que cite, permitirle no saber, y separar hacer de preparar.
Alguien pide una cifra del sector y recibe un número preciso, con fuente y año. Lo pone en una presentación. Después resulta que el número no existe, la fuente tampoco, y el año era decorativo.
Esto no es un defecto que se vaya a arreglar con la próxima versión. Es consecuencia directa de cómo funciona la herramienta, y una vez que se entiende deja de ser una sorpresa y pasa a ser algo que se administra.
Por qué pasa
Un modelo de lenguaje hace una sola cosa: dado un texto, produce la continuación más probable. Aprendió las regularidades de una cantidad enorme de texto, y con eso predice qué viene después.
Cuando le preguntás por algo que sabe bien, lo más probable coincide con lo cierto. Cuando le preguntás por algo que no puede saber, igual produce la continuación más probable: una cifra con forma de cifra, una cita con forma de cita. Nada en el proceso distingue entre recordar y construir.
Por eso el tono no varía. La seguridad con la que escribe es un rasgo del estilo, no una medida de confianza en el contenido. Son dos cosas independientes, y la intuición humana las asocia con fuerza: cuando una persona habla con seguridad, solemos suponer que sabe. Esa asociación es la que falla acá.
Dejá de leer la seguridad del texto como señal de confiabilidad. No lo es, y es la costumbre que más errores produce en los primeros meses.
Las tres situaciones donde más se equivoca
1Datos específicos que no puede saber
Tus precios, tus plazos, cifras internas, estadísticas de sector, fechas exactas. Nada de eso está en el material con el que aprendió, o está de forma parcial y desactualizada. Ahí la tasa de error es alta y el resultado siempre suena bien.
2Referencias y citas concretas
Pedirle el artículo, la norma o el estudio que respalda algo es una de las formas más rápidas de obtener algo inventado. Construye referencias con la forma correcta: autor plausible, título plausible, año plausible. Cualquier cita que vayas a usar hay que verificarla en la fuente.
3Cálculos con varios pasos
Los modelos mejoraron mucho, pero un cálculo largo sigue siendo terreno resbaladizo, sobre todo cuando mezcla porcentajes, fechas y condiciones. Si el número importa, se verifica aparte.
Dónde sí es confiable
Vale decirlo porque se pierde de vista: hay un conjunto grande de tareas donde el error es bajo, y tienen algo en común. Son tareas sobre material que vos le diste, donde no necesita recordar nada.
| Tarea | Por qué es confiable |
|---|---|
| Resumir un documento que le pasaste | La información está a la vista |
| Reformular o cambiar el tono de un texto | El contenido lo pusiste vos |
| Clasificar mensajes en categorías | Criterio explícito, resultado verificable |
| Extraer datos de un documento | Se compara contra el original de un vistazo |
| Encontrar inconsistencias en un texto | Trabaja sobre lo que tiene enfrente |
El patrón general: cuanto más material le das, menos inventa. Y cuanto más abierta la pregunta, más completa con lo probable.
Los cuatro controles que funcionan
Darle el material en vez de pedirle que recuerde. El control más efectivo de todos. En lugar de "cuál es nuestra política de devoluciones", pegarle la política y preguntarle sobre eso. Suena obvio y casi nadie lo hace al principio.
Pedirle que cite de dónde sacó cada dato. Cuando responde sobre material que le diste, pedirle que indique el fragmento exacto. Si no puede señalarlo, probablemente lo construyó. Este control convierte la verificación en algo de segundos.
Permitirle no saber. Por defecto intenta responder siempre. Una instrucción explícita cambia bastante el comportamiento: "si el material no alcanza para responder, decí que no lo sabés en vez de completar". Parece menor y es de los cambios con mejor rendimiento por esfuerzo.
Separar hacer de preparar. El control estructural, el que evita los desastres:
| Puede solo | Prepara y alguien aprueba |
|---|---|
| Buscar, resumir, clasificar | Enviar algo a un cliente |
| Escribir borradores | Modificar datos en sistemas |
| Marcar lo que requiere atención | Cualquier cosa con plata o compromiso |
Es el mismo criterio con el que se delega trabajo a alguien que recién entró: no porque sea tonto, sino porque todavía no conoce el contexto donde un error sale caro.
Cuando explota algo
Hay otra clase de error, más visible y menos peligrosa: la cosa directamente se rompe. Una pantalla en rojo, un proceso que se cuelga, algo que funcionaba ayer.
La regla mental primero: si explota, es parte del proceso. No es que lo hiciste mal ni que la herramienta sea una estafa.
Y el método: copiar el error completo sin intentar entenderlo, pegarlo junto con el contexto de lo que estabas haciendo, y pedir que lo resuelvan. Si después de tres intentos sigue roto, retroceder un paso: casi siempre el problema está antes, en algo que se asumió mal.
No necesitás entender el código que se rompió. Necesitás saber pedir que te lo arreglen, con el contexto adelante. Esa es la habilidad nueva.
Seba Chuffer · LAB AI
Lo que hay que decirle al equipo
Cuando se introduce la herramienta en una empresa, conviene explicar esto explícitamente. Dos frases evitan la mayoría de los problemas:
"Es muy bueno trabajando sobre material que vos le des, y no es confiable recordando datos que no le diste."
"El tono seguro no significa nada. Si el dato importa, verificalo."
Sin eso, la curva típica es la misma en todos lados: entusiasmo, un error público, desconfianza total, abandono. Explicar el límite desde el principio evita las tres etapas.
La confianza sana no es total ni nula: es saber en qué tareas apoyarse sin revisar y en cuáles verificar siempre. Ese mapa se construye en pocas semanas si alguien lo enseña.
El resumen
- No miente: completa con lo más probable. El tono seguro es estilo.
- Falla más en datos que no puede saber, referencias y cálculos largos.
- Es confiable trabajando sobre material que le diste.
- Dale el material y pedile que cite.
- Permitile decir que no sabe. Cambia más de lo que parece.
- Lo irreversible pasa por una persona. Siempre.
En el LAB esto se practica, no se explica
Doce semanas en vivo donde armás los sistemas de tu negocio con los controles puestos desde el diseño. Con mentores que revisan qué se puede soltar y qué tiene que pasar por alguien antes de llegar a un cliente.
Conocer el LAB AI ›Preguntas frecuentes
¿Por qué la IA inventa datos que suenan ciertos?
Porque su tarea es producir la continuación más probable de un texto, no verificar hechos. Cuando no tiene la información, igual produce algo con la forma correcta: un número plausible, una cita bien construida. La seguridad del tono no refleja seguridad sobre el contenido: son cosas independientes.
¿En qué casos se equivoca más?
En datos específicos que no puede saber (precios, cifras internas, fechas exactas), en referencias y citas concretas, y en cálculos con varios pasos. Al contrario, es bastante confiable resumiendo, reformulando o clasificando material que le diste vos, porque ahí no tiene que recordar nada.
¿Sirve pedirle que no invente?
Ayuda poco por sí solo. Lo que sí funciona es darle el material sobre el que tiene que responder, pedirle que cite de dónde salió cada dato y darle permiso explícito para decir que no sabe cuando el material no alcanza.
¿Cómo evito que un error llegue al cliente?
Separando lo que el sistema puede hacer solo de lo que solo puede preparar. Todo lo irreversible, o con consecuencia sobre dinero o compromisos, pasa por una persona antes de salir. Es el mismo criterio con el que se delega trabajo a alguien que recién entró.
Escrito a partir de lo que vemos en las sesiones del LAB AI, el programa en vivo donde cada participante implementa IA en los procesos reales de su negocio.