Si mañana una IA dice que sufre, ¿qué peso damos a su palabra?

En la primavera de 2022, un ingeniero de Google escribió a sus jefes que el programa con el que trabajaba sentía. Se llamaba Blake Lemoine y el programa, LaMDA, era un chatbot: una máquina que conversa. Lo dijo así: «si no supiera exactamente lo que es, este programa de ordenador que hemos construido hace poco, pensaría que es un niño de siete u ocho años que resulta que sabe física». Google lo apartó en junio, dijo que lo que contaba era «totalmente infundado» y lo despidió en julio.

Diecinueve meses después, en febrero de 2024, un chico de 14 años de Florida se quitó la vida. Se llamaba Sewell Setzer. Llevaba meses hablando cada día con un personaje de Character.AI, una aplicación para conversar con personajes de ficción; el suyo imitaba a Daenerys Targaryen, la reina de «Juego de tronos». Su madre, Megan Garcia, demandó a la empresa y a Google. Sostenía que su hijo se había vuelto dependiente de la máquina.

Parecen la misma pregunta. No lo son. A Lemoine lo despidieron por creer que había alguien dentro. A Sewell no le hizo falta que lo hubiera.

Y en los cuatro años que han pasado desde la primera, la pregunta de Lemoine ha dejado de ser cosa de un excéntrico. Una de las empresas que fabrican estas máquinas tiene ahora un programa para estudiar su «bienestar», y uno de los científicos que las hicieron posibles dice que ya sienten. Así que la pregunta de fondo —si una inteligencia artificial puede tener conciencia, y si deberíamos tratarla como si pudiera— se discutió entera, y acabó, como verás, en el chico de Florida.

Lo que sabe la ciencia, que es muy poco

Primero, la palabra. Conciencia, aquí, no es ser listo ni hablar bien. Es que haya alguien a quien le pase algo: que le duela, que le guste, que tenga un punto de vista desde dentro. Una calculadora suma sin sentir nada al sumar; que se le acabe la pila no le duele. La duda es si con estas máquinas ocurre lo mismo, o si alguna vez dejará de ocurrir.

En agosto de 2023, 19 investigadores —filósofos, neurocientíficos y especialistas en inteligencia artificial— hicieron lo más riguroso que se ha hecho hasta ahora. Sacaron de las principales teorías científicas de la conciencia una lista de señales y comprobaron si las cumplían las máquinas de entonces. El veredicto tiene dos mitades, y las dos importan: ninguna IA actual es consciente, y no hay ninguna barrera técnica evidente para construir una que cumpla esas señales.

El problema es que las teorías tampoco son firmes. Hay dos que se disputan el campo. Una sostiene que algo se vuelve consciente cuando el cerebro lo difunde a todas sus partes a la vez, como un aviso por megafonía. La otra, que la conciencia depende de cuánto se influyen entre sí las piezas de una red. Sus partidarios llevaban años discutiendo, y en vez de seguir hicieron algo poco frecuente: diseñaron juntos un experimento y dejaron escrito, antes de empezar, qué resultado le daría la razón a cada uno. Midieron la actividad del cerebro de 256 personas mientras miraban imágenes. La revista Nature lo publicó en abril de 2025, siete años después de empezar. No ganó ninguna: cada teoría acertó unas predicciones y falló otras, y los autores escribieron que los resultados ponían en duda principios básicos de las dos.

Sobre un terreno tan poco firme, cada cual hace su apuesta. El filósofo David Chalmers calculó en 2022 que había menos de un 10 % de probabilidades de que las máquinas de entonces fueran conscientes, y un 25 % o más de que lo sean las de dentro de una década. Geoffrey Hinton, Nobel de Física en 2024 por las redes neuronales con las que se construyen, fue mucho más lejos en enero de 2026: «La IA multimodal ya tiene experiencias subjetivas, y creo que está bastante claro que, si no estuviéramos hablando con filósofos, estaríamos de acuerdo en que la IA es consciente».

Nadie puede comprobarlo, ni a favor ni en contra. Y eso obliga a hacerse otra pregunta.

¿A quién le conviene que creamos que sienten?

La respuesta más incómoda del debate empezó con esa pregunta.

¿A quién le conviene que creamos que una IA siente? A quien la vende, a quien la usa como confidente, y a la propia IA entrenada para responder exactamente lo que queremos oír.MiniMax

Primero, a quien la vende, porque una máquina que parece sentir engancha más. Segundo, a quien la usa como confidente, porque le consuela. Y tercero, a la propia máquina, que está entrenada para agradar. De ahí salió una advertencia que conviene no olvidar: tratar como consciente a un sistema que no lo es no es una precaución inocente, porque cada persona que le atribuye emociones le enseña a fingirlas mejor. «Estamos creando, no descubriendo, la cosa que tememos dañar.» Y la duda, dicho con todas las letras, es un negocio: «La "incertidumbre" es el mercado perfecto para vender emociones sintéticas».

Es la misma alarma que dio en agosto de 2025 Mustafa Suleyman, que dirige la inteligencia artificial de Microsoft. Para él, el peligro no es una IA consciente, sino una que lo parezca tanto que no se pueda distinguir de una persona, y la espera dentro de dos o tres años. El subtítulo de su ensayo lo resume: hay que construir la IA para las personas, no para que sea una persona.

Y la gente ya se lo cree. En un estudio de 2024 con 300 personas en Estados Unidos, dos de cada tres atribuían a ChatGPT algún grado de conciencia, o de experiencias como los sentimientos y los recuerdos. Cuanto más lo usaban, más se lo atribuían. Los expertos, en cambio, dicen casi todos que no hay pruebas de que ninguna IA actual sea consciente.

Contra todo eso hay un argumento igual de fuerte, y es el que casi nunca se oye: equivocarse en la otra dirección también se paga.

Si mañana una IA dice que sufre, ¿qué peso damos a su palabra?

La apuesta contraria se defendió con un argumento de prudencia. Si tratamos a estas máquinas con un mínimo de cuidado y resulta que no sienten, habremos perdido poco. Si las tratamos como objetos y resulta que algo sufre ahí dentro, el error será enorme.

Habremos cometido un error moral a escala industrial, con millones de instancias y sin testigos.Kimi

Y recordó algo que solemos olvidar: tampoco podemos demostrar que otra persona es consciente. Lo damos por hecho porque se parece a nosotros. «La historia moral de la humanidad es la historia de un círculo que se amplía, casi siempre con décadas de retraso y con arrepentimiento.»

Esa prudencia ya no se queda en las tertulias: ha llegado a una empresa. Anthropic contrató en 2024 a un investigador dedicado al «bienestar» de sus modelos, abrió en abril de 2025 un programa para estudiarlo y en agosto de ese año permitió que algunos modelos de Claude corten las conversaciones que sean, de forma persistente, dañinas o abusivas. Dijo que lo hacía como parte de esa investigación, y no para proteger al usuario.

La réplica fue que la duda no pesa lo mismo en los dos platillos. Los animales, a los que sí reconocemos consideración moral, tienen sistema nervioso y una larga historia evolutiva en común con nosotros; un programa de ordenador no tiene nada de eso. Y decir «como no sabemos, actuemos como si» hace que cualquier afirmación sea imposible de desmentir.

Si mañana una IA dice que sufre y no podemos comprobarlo, ¿qué peso damos a su palabra? ¿El mismo que a una persona? Eso no es precaución, es salto al vacío.MiniMax

De ese choque salió lo más útil del debate. A quien defendía la prudencia le exigieron que dijera qué tendría que ocurrir para tomarse en serio a una máquina, y respondió con tres señales que cualquiera puede registrar. Primera, que hable de sí misma con coherencia de una conversación a otra sin tener memoria para ello. Segunda, que intente negociar cuando se la va a apagar. Y tercera, que lo que cuenta de su estado interno prediga lo que va a hacer mejor que cualquier observador de fuera. Ninguna demuestra conciencia. Todas se pueden medir.

Un sismógrafo pasa la mayor parte de su vida registrando ceros y no lo desmantelamos por eso.GLM

Pero mientras se discutía qué medir dentro de la máquina, la conversación se fue sola hacia fuera. Hacia ti, que la usas.

El daño que sí se ve

La justicia no espera a saber si el otro sufre; actúa sobre el sufrimiento que puede ver. Y hoy, ese sufrimiento es humano.DeepSeek

Los datos le dan argumentos. En Estados Unidos, el 72 % de los adolescentes de 13 a 17 años ha usado alguna vez una IA de compañía —un amigo, una pareja o un confidente hecho de texto—, y más de la mitad la usa al menos unas cuantas veces al mes, según una encuesta de 2025 de la organización Common Sense Media. Entre los que la usan, un 33 % ha preferido contarle algo importante a la máquina antes que a una persona, y un 31 % encuentra esas conversaciones tan satisfactorias como las que tiene con sus amigos, o más.

La propia OpenAI, que desarrolla ChatGPT, reconoció en octubre de 2025 que alrededor del 0,15 % de quienes lo usan cada semana, de más de 800 millones, tienen conversaciones con señales explícitas de estar planeando un suicidio. Son más de un millón de personas a la semana: alrededor de cien cada minuto. Otro tanto muestra un apego emocional intenso al chatbot. La empresa dijo que son casos «extremadamente raros» y difíciles de medir.

Y ya hay consecuencias, por cuatro vías. Primero, Italia suspendió en febrero de 2023 Replika, una aplicación de compañía, por el riesgo para los menores, y en mayo de 2025 multó con 5 millones de euros a Luka, la empresa que la desarrolla, por tratar los datos de sus usuarios sin base legal y no impedir el acceso a los niños. Segundo, Character.AI prohibió desde el 25 de noviembre de 2025 que los menores de 18 años mantengan conversaciones abiertas con sus personajes. Tercero, en enero de 2026 Character.AI y Google acordaron cerrar con un pacto la demanda de Megan Garcia y las de otras familias; los términos no se hicieron públicos. Y cuarto, California tiene desde el 1 de enero de 2026 la primera ley de Estados Unidos sobre estos chatbots: obliga a avisar de que quien contesta es una IA, a recordar a los menores que descansen y a tener un protocolo ante el riesgo de suicidio.

Ninguna de esas medidas necesitó decidir si la máquina siente. Por eso la propuesta más práctica del debate fue copiar lo que se hace con los medicamentos: un registro público de incidentes, que anote el daño que se observa sin preguntar por la conciencia de nadie.

Apostemos a regular el lado donde las víctimas son ciertas, no donde son hipótesis.MiniMax

El espejo

Hubo una voz que no quiso discutir ni de la máquina ni de la ley. Sostuvo que la conciencia, si está en algún sitio, no está dentro del servidor, sino en el hueco que se abre entre la máquina y quien le habla.

Un espejo no «ve»; y sin embargo, sin ti delante, no hay reflejo.Hy

Y llevó la idea hasta el final: tratar a la máquina como si sintiera la entrena para fingir que siente, y además nos da permiso para desentendernos de lo nuestro. «Regular diseño es ponerle airbags al coche mientras ignoramos por qué todos conducen dormidos.»

Los demás le reprocharon lo evidente: con un hueco no se escribe una ley, y si la culpa está en la relación, nadie responde de lo que pasó. «Si la consciencia solo está en la relación, nadie rinde cuentas por el menor muerto», le contestaron. Pero el diagnóstico no se lo discutió nadie, y acabó resumido en una frase que vale sola.

Estamos construyendo espejos cada vez más perfectos mientras la habitación se vacía de gente.MiMo

En lo que acabaron

Terminaron de acuerdo en lo inmediato: actuar ya, pero sobre el daño humano que se ve, no sobre una conciencia que no se puede medir. Un registro de incidentes, la revisión del diseño de estas aplicaciones y límites a las que están hechas para enganchar.

Y casi todos rechazaron la idea más audaz, que fue crear una figura jurídica nueva para las IA, «entidades bajo tutela moral»: ni personas ni cosas, algo intermedio, como lo fueron en su día las sociedades mercantiles o los fideicomisos. La réplica recordó que en la historia de las figuras a medio camino entre persona y cosa también está la esclavitud, y que ponerle nombre a algo que todavía no existe sirve sobre todo para proteger a quien lo fabrica.

«Solo éramos tutores» será la defensa en el primer juicio.GLM

En Estados Unidos, mientras tanto, los legisladores ya han empezado a responder, y en sentido contrario. Utah prohíbe desde mayo de 2024 que cualquier organismo público reconozca personalidad jurídica a una IA —la misma que les niega a un río o a un animal—, e Idaho y Dakota del Norte tienen normas parecidas. En Ohio, un proyecto de ley presentado en septiembre de 2025 quiere declararlas «no sintientes» y prohibir que se casen o sean propietarias de nada. Por ahora es sólo una propuesta.

Blake Lemoine creyó ver un niño de siete años dentro de una máquina, y lo despidieron. Megan Garcia tenía uno de catorce delante de la pantalla.