Hace unos meses, sub\u00ed un informe de resultados de la empresa a ChatGPT y le ped\u00ed que hiciera algo que millones de profesionales hacen a diario: analizar el documento y resumir las conclusiones m\u00e1s importantes.<\/p>\n\n\n\n
A primera vista, la respuesta parec\u00eda impresionante. Destacaba las tendencias de ingresos, citaba los m\u00e1rgenes de beneficio, inclu\u00eda comentarios de la direcci\u00f3n e incluso citaba lo que parec\u00edan ser declaraciones directas de los ejecutivos. Pero hab\u00eda un problema: algunas de esas cifras no aparec\u00edan en el informe y otras estaban invertidas. Las ca\u00eddas de ingresos se convirtieron en crecimiento y las p\u00e9rdidas operativas en beneficios.<\/p>\n\n\n\n
Y quiz\u00e1s lo m\u00e1s alarmante de todo fue que el sistema cit\u00f3 con seguridad a ejecutivos que nunca hab\u00edan dicho esas palabras. Volv\u00ed al informe original y rele\u00ed todo l\u00ednea por l\u00ednea, para descubrir que el Las citas fueron inventadas.<\/strong>. El Las m\u00e9tricas eran err\u00f3neas.<\/strong>. Se llegaron a conclusiones enteras bas\u00e1ndose en informaci\u00f3n que simplemente no exist\u00eda.<\/p>\n\n\n\n As\u00ed que presion\u00e9 m\u00e1s al modelo y pregunt\u00e9: \u00bfDe d\u00f3nde exactamente provienen esas cifras? \u00bfY por qu\u00e9 citaba a ejecutivos que nunca hab\u00edan sido citados?<\/p>\n\n\n\n Su respuesta fue profundamente inquietante: esencialmente aceptado <\/strong>que hab\u00eda generado informaci\u00f3n bas\u00e1ndose en lo que cre\u00eda que era probable o \u00fatil<\/strong>. En otras palabras, se lo invent\u00f3 todo.<\/p>\n\n\n\n Y si has usado la IA m\u00e1s all\u00e1 de escribir felicitaciones de cumplea\u00f1os o pulir borradores de correo electr\u00f3nico, probablemente te hayas topado con algo similar. Si le pides que resuma contratos, analice informes financieros, interprete art\u00edculos de investigaci\u00f3n o extraiga datos precisos de documentos extensos, a veces se comporta menos como un asistente brillante y m\u00e1s como un becario demasiado confiado que prefiere inventarse una respuesta antes que admitir su incertidumbre.<\/p>\n\n\n\n Y quiz\u00e1s a\u00fan m\u00e1s importante: \u00bfPor qu\u00e9 estamos aqu\u00ed? cada vez m\u00e1s confiado<\/strong> \u00bfTiene que ver con decisiones que afectan al empleo, la atenci\u00f3n m\u00e9dica, la aplicaci\u00f3n de la ley, la educaci\u00f3n y las empresas?<\/p>\n\n\n\n A medida que las herramientas de IA se integran en Microsoft Office, Google Workspace, reuniones de Zoom, sistemas de atenci\u00f3n al cliente, procesos de contrataci\u00f3n e incluso diagn\u00f3sticos m\u00e9dicos, estamos depositando una enorme responsabilidad en sistemas que a\u00fan generan informaci\u00f3n err\u00f3nea de forma habitual. Y muchos usuarios no son conscientes del riesgo que esto conlleva.<\/p>\n\n\n\n Comencemos por aclarar una distinci\u00f3n importante: cuando los humanos mienten, suele haber intenci\u00f3n y enga\u00f1o. Hay conciencia de que la afirmaci\u00f3n que se hace es falsa.<\/p>\n\n\n\n Pero los sistemas de IA no poseen intenci\u00f3n, moralidad ni autoconciencia. No mienten en el sentido humano. Los usuarios a menudo interpretan las falsedades generadas por la IA como mentiras porque los sistemas presentan informaci\u00f3n inexacta con confianza extraordinaria<\/strong>. Y esa confianza es lo que hace que el problema sea peligroso.<\/p>\n\n\n\n Los investigadores suelen llamar a estos errores IA alucinaciones<\/strong>: casos en los que los grandes modelos de lenguaje generan resultados falsos, fabricados o no respaldados. Pero hay otra categor\u00eda que se parece m\u00e1s a mentir: cuando los sistemas de IA manipular la ambig\u00fcedad <\/strong>y presentar afirmaciones sin fundamento como si fueran hechos irrefutables.<\/p>\n\n\n\n Un estudio realizado en 2023 por investigadores de la Universidad de Stanford descubri\u00f3 que los modelos de lenguaje complejos suelen generar referencias inventadas, citas legales falsas y res\u00famenes inexactos al abordar tareas complejas.<\/p>\n\n\n\n Uno de los ejemplos m\u00e1s famosos ocurri\u00f3 en 2023 cuando dos Los abogados utilizaron ChatGPT para preparar los documentos legales en una demanda contra la aerol\u00ednea colombiana Avianca.<\/a>. La IA gener\u00f3 m\u00faltiples casos legales que no exist\u00edan, los abogados los presentaron ante el tribunal y el juez descubri\u00f3 posteriormente que las citas eran completamente inventadas. Los abogados fueron sancionado<\/strong>.<\/p>\n\n\n\n Aqu\u00ed es donde las cosas se ponen peligrosas, ya que la m\u00e1quina no dice \u201cNo estoy seguro<\/em>\u201c. Dice \u201cAqu\u00ed hay seis precedentes legales que respaldan absolutamente su caso.<\/em>\u201cY los usuarios conf\u00edan en \u00e9l porque el lenguaje suena autoritario.\u201d. <\/p>\n\n\n\n Este problema se agrava a\u00fan m\u00e1s en el \u00e1mbito empresarial. Hoy en d\u00eda, se anima a los trabajadores a utilizar asistentes de IA para resumir reuniones, generar informes, analizar hojas de c\u00e1lculo, redactar presentaciones y responder correos electr\u00f3nicos. <\/p>\n\n\n\n Imagina este escenario: tu empresa implementa Microsoft Copilot y, tras una reuni\u00f3n de la junta directiva, la IA resume autom\u00e1ticamente la conversaci\u00f3n y env\u00eda tareas a los ejecutivos. Sin embargo, malinterpreta la declaraci\u00f3n de un ejecutivo sobre la reducci\u00f3n de los presupuestos de contrataci\u00f3n. Ahora, Recursos Humanos cree que se avecinan despidos, cunde el p\u00e1nico internamente, y todo porque los empleados asumieron que el resumen era correcto.<\/p>\n\n\n\n Esto no es ciencia ficci\u00f3n, sino un riesgo muy real de delegar demasiado trabajo cognitivo a sistemas poco fiables.<\/p>\n\n\n\n La palabra "alucinaci\u00f3n" suena dram\u00e1tica, pero la explicaci\u00f3n t\u00e9cnica es sorprendentemente sencilla.<\/p>\n\n\n\n Modelos de lenguaje a gran escala no s\u00e9 los hechos<\/strong> de la misma manera que lo hacen los humanos. Predicen qu\u00e9 palabra es m\u00e1s probable que venga despu\u00e9s bas\u00e1ndose en enormes conjuntos de datos de entrenamiento, y eso es todo. La IA generativa esencialmente llena los huecos usando probabilidad estad\u00edstica <\/strong>en lugar de una verdad verificada.<\/p>\n\n\n\n Esa misma capacidad impulsa la creatividad y ayuda a la IA a generar poes\u00eda, escribir c\u00f3digo, crear im\u00e1genes y redactar historias. Pero la creatividad y la veracidad no son lo mismo. La imaginaci\u00f3n de la IA puede convertirse r\u00e1pidamente en invenci\u00f3n.<\/p>\n\n\n\n Si le pides recomendaciones profesionales a un modelo de IA, es posible que te ofrezca trabajos leg\u00edtimos junto con roles ficticios como paseador de perros subacu\u00e1tico<\/em>. Eso puede resultar gracioso, hasta que la situaci\u00f3n se vuelve seria.<\/p>\n\n\n\n Un estudio reciente publicado en Naturaleza <\/strong>descubri\u00f3 que Los sistemas de IA m\u00e9dica a veces generan recomendaciones de tratamiento incorrectas.<\/a> cuando se enfrentan a escenarios de pacientes ambiguos. Investigadores en Stanford <\/strong>Tambi\u00e9n se encontr\u00f3 que legal Los sistemas de IA frecuentemente generan alucinaciones en la jurisprudencia.<\/a>.<\/p>\n\n\n\n Incluso Google lo experiment\u00f3 p\u00fablicamente cuando su chatbot Bard proporcion\u00f3 informaci\u00f3n inexacta durante una demostraci\u00f3n promocional, lo que contribuy\u00f3 a que Alphabet perdiera miles de millones de d\u00f3lares en valor de mercado en un solo d\u00eda.<\/p>\n\n\n\nEsto plantea una pregunta dolorosa: \u00bfPor qu\u00e9 miente la IA? <\/h4>\n\n\n\n
Mentiras de la IA vs. Alucinaciones de la IA: No son exactamente lo mismo.<\/h4>\n\n\n\n
\u00bfPor qu\u00e9 la IA tiene alucinaciones?<\/h4>\n\n\n\n