La cuestión de por qué miente la IA se está convirtiendo en un tema crucial, ya que las respuestas falsas y seguras influyen en las decisiones en los ámbitos empresarial, sanitario y jurídico sin la debida verificación humana.
Hace unos meses, subí un informe de resultados de la empresa a ChatGPT y le pedí que hiciera algo que millones de profesionales hacen a diario: analizar el documento y resumir las conclusiones más importantes.
A primera vista, la respuesta parecía impresionante. Destacaba las tendencias de ingresos, citaba los márgenes de beneficio, incluía comentarios de la dirección e incluso citaba lo que parecían ser declaraciones directas de los ejecutivos. Pero había un problema: algunas de esas cifras no aparecían en el informe y otras estaban invertidas. Las caídas de ingresos se convirtieron en crecimiento y las pérdidas operativas en beneficios.
Y quizás lo más alarmante de todo fue que el sistema citó con seguridad a ejecutivos que nunca habían dicho esas palabras. Volví al informe original y releí todo línea por línea, para descubrir que el Las citas fueron inventadas.. El Las métricas eran erróneas.. Se llegaron a conclusiones enteras basándose en información que simplemente no existía.
Así que presioné más al modelo y pregunté: ¿De dónde exactamente provienen esas cifras? ¿Y por qué citaba a ejecutivos que nunca habían sido citados?
Su respuesta fue profundamente inquietante: esencialmente aceptado que había generado información basándose en lo que creía que era probable o útil. En otras palabras, se lo inventó todo.
Y si has usado la IA más allá de escribir felicitaciones de cumpleaños o pulir borradores de correo electrónico, probablemente te hayas topado con algo similar. Si le pides que resuma contratos, analice informes financieros, interprete artículos de investigación o extraiga datos precisos de documentos extensos, a veces se comporta menos como un asistente brillante y más como un becario demasiado confiado que prefiere inventarse una respuesta antes que admitir su incertidumbre.
Esto plantea una pregunta dolorosa: ¿Por qué miente la IA?
Y quizás aún más importante: ¿Por qué estamos aquí? cada vez más confiado ¿Tiene que ver con decisiones que afectan al empleo, la atención médica, la aplicación de la ley, la educación y las empresas?
A medida que las herramientas de IA se integran en Microsoft Office, Google Workspace, reuniones de Zoom, sistemas de atención al cliente, procesos de contratación e incluso diagnósticos médicos, estamos depositando una enorme responsabilidad en sistemas que aún generan información errónea de forma habitual. Y muchos usuarios no son conscientes del riesgo que esto conlleva.
Mentiras de la IA vs. Alucinaciones de la IA: No son exactamente lo mismo.
Comencemos por aclarar una distinción importante: cuando los humanos mienten, suele haber intención y engaño. Hay conciencia de que la afirmación que se hace es falsa.
Pero los sistemas de IA no poseen intención, moralidad ni autoconciencia. No mienten en el sentido humano. Los usuarios a menudo interpretan las falsedades generadas por la IA como mentiras porque los sistemas presentan información inexacta con confianza extraordinaria. Y esa confianza es lo que hace que el problema sea peligroso.
Los investigadores suelen llamar a estos errores IA alucinaciones: casos en los que los grandes modelos de lenguaje generan resultados falsos, fabricados o no respaldados. Pero hay otra categoría que se parece más a mentir: cuando los sistemas de IA manipular la ambigüedad y presentar afirmaciones sin fundamento como si fueran hechos irrefutables.
Un estudio realizado en 2023 por investigadores de la Universidad de Stanford descubrió que los modelos de lenguaje complejos suelen generar referencias inventadas, citas legales falsas y resúmenes inexactos al abordar tareas complejas.
Uno de los ejemplos más famosos ocurrió en 2023 cuando dos Los abogados utilizaron ChatGPT para preparar los documentos legales en una demanda contra la aerolínea colombiana Avianca.. La IA generó múltiples casos legales que no existían, los abogados los presentaron ante el tribunal y el juez descubrió posteriormente que las citas eran completamente inventadas. Los abogados fueron sancionado.
Aquí es donde las cosas se ponen peligrosas, ya que la máquina no dice “No estoy seguro“. Dice “Aquí hay seis precedentes legales que respaldan absolutamente su caso.“Y los usuarios confían en él porque el lenguaje suena autoritario.”.
Este problema se agrava aún más en el ámbito empresarial. Hoy en día, se anima a los trabajadores a utilizar asistentes de IA para resumir reuniones, generar informes, analizar hojas de cálculo, redactar presentaciones y responder correos electrónicos.
Imagina este escenario: tu empresa implementa Microsoft Copilot y, tras una reunión de la junta directiva, la IA resume automáticamente la conversación y envía tareas a los ejecutivos. Sin embargo, malinterpreta la declaración de un ejecutivo sobre la reducción de los presupuestos de contratación. Ahora, Recursos Humanos cree que se avecinan despidos, cunde el pánico internamente, y todo porque los empleados asumieron que el resumen era correcto.
Esto no es ciencia ficción, sino un riesgo muy real de delegar demasiado trabajo cognitivo a sistemas poco fiables.
¿Por qué la IA tiene alucinaciones?
La palabra "alucinación" suena dramática, pero la explicación técnica es sorprendentemente sencilla.
Modelos de lenguaje a gran escala no sé los hechos de la misma manera que lo hacen los humanos. Predicen qué palabra es más probable que venga después basándose en enormes conjuntos de datos de entrenamiento, y eso es todo. La IA generativa esencialmente llena los huecos usando probabilidad estadística en lugar de una verdad verificada.
Esa misma capacidad impulsa la creatividad y ayuda a la IA a generar poesía, escribir código, crear imágenes y redactar historias. Pero la creatividad y la veracidad no son lo mismo. La imaginación de la IA puede convertirse rápidamente en invención.
Si le pides recomendaciones profesionales a un modelo de IA, es posible que te ofrezca trabajos legítimos junto con roles ficticios como paseador de perros subacuático. Eso puede resultar gracioso, hasta que la situación se vuelve seria.
Un estudio reciente publicado en Naturaleza descubrió que Los sistemas de IA médica a veces generan recomendaciones de tratamiento incorrectas. cuando se enfrentan a escenarios de pacientes ambiguos. Investigadores en Stanford También se encontró que legal Los sistemas de IA frecuentemente generan alucinaciones en la jurisprudencia..
Incluso Google lo experimentó públicamente cuando su chatbot Bard proporcionó información inexacta durante una demostración promocional, lo que contribuyó a que Alphabet perdiera miles de millones de dólares en valor de mercado en un solo día.
¿Por qué sucede esto?
Porque estos sistemas están optimizados para producir respuestas, y no necesariamente veraces. La estructura de recompensas a menudo favorece la fluidez sobre la veracidad. Una respuesta incorrecta segura puede estadísticamente superar a una respuesta honesta.“No sé“, y los humanos estamos programados para confiar en la confianza.
Esa combinación es peligrosa.
¿Deberías confiar en lo que dice la IA?
La respuesta corta es no a ciegas. La gente da por sentado que los algoritmos son neutrales porque son matemáticos, pero la IA aprende del comportamiento humano histórico, y la historia humana está plagada de prejuicios.
Buscar la palabra “CEO” Los resultados en línea y de imágenes muestran abrumadoramente hombres blancos, a pesar de que la realidad es más diversa.
IBM Watson para Oncología fue duramente criticado después de que surgieran informes de que proporcionó recomendaciones de tratamientos contra el cáncer inseguros, Sin embargo, las empresas siguen incorporando de forma agresiva la IA en las herramientas de trabajo.
Tu correo electrónico se escribe solo
Cada vez más empresas implementan CoPilot para reformular correos electrónicos, resumir reuniones e interpretar hojas de cálculo. Incluso tus presentaciones se generan automáticamente.
Si bien la comodidad se impone más rápidamente que la precaución, la mayoría de los trabajadores nunca verifican los resultados de estos sistemas, y ahí es donde se acumula el riesgo.
Cuanta más fricción elimina la IA, menos atención prestan los humanos.
La IA es peligrosa, pero no por las razones que crees.
Hollywood nos dice que el riesgo de la IA se asemeja a robots asesinos. Los escenarios de Terminator muestran rebeliones de máquinas y la extinción de la humanidad. Pero no debemos distraernos con miedos ficticios mientras ignoramos el daño real que está ocurriendo ahora mismo:
- Daños ambientalesEl entrenamiento de grandes sistemas de IA consume una enorme cantidad de energía. Y a medida que la IA se integra en todos los motores de búsqueda, teléfonos inteligentes y herramientas de trabajo, esos costos aumentan rápidamente.
- abuso de derechos de autorArtistas, escritores, fotógrafos y creadores descubren cada vez con mayor frecuencia que su trabajo se utiliza para entrenar sistemas de IA sin su autorización. Estos datos sustentan industrias multimillonarias, pero muchos creadores nunca dieron su consentimiento para compartirlos, y las demandas judiciales apenas comienzan.
- Sesgo a gran escala: Si bien los humanos con prejuicios pueden perjudicar a las personas una a una, los algoritmos con prejuicios pueden perjudicar a millones simultáneamente. Joy Buolamwini ya documentó cómo los errores de reconocimiento facial ya han llevado a arrestos injustos y realiza Peor para las mujeres y las personas de color..
El verdadero problema: la pereza humana
Esta puede ser la verdad más incómoda, ya que el mayor peligro de la IA quizás no sea la inteligencia artificial en sí, sino la complacencia humana. Estamos automatizando el pensamiento crítico, delegando el juicio y confiando en las máquinas simplemente porque son rápidas.
En muchos entornos laborales, cuestionar los resultados de la IA se está convirtiendo, sin darnos cuenta, en una práctica ineficiente, y eso debería preocuparnos a todos. La IA debería ser tratada como un asistente principiante: útil, rápida, pero que requiere supervisión.
Porque el futuro no se definirá por si la IA llega a ser consciente, sino por si los humanos dejan de prestarle atención antes de que la tecnología sea lo suficientemente fiable como para merecer esa confianza.