AGI, conciencia y alineación: el desacuerdo experto explicado sin pánico

AGI, conciencia y alineación: qué sabemos y qué no

Este tema trata de la pregunta más grande y de la más mal contada de la década. No vamos a decir cuándo llega la inteligencia artificial✦ general: vamos a explicar qué significa, por qué los expertos competentes no se ponen de acuerdo, qué se sabe de la conciencia de máquina y por qué la alineación sí es un problema técnico con fecha de vencimiento.

AGI significa inteligencia artificial general: un sistema que resuelve tareas nuevas con la misma versatilidad que una persona, en dominios para los que no fue entrenado. Casi nadie discute la frase: se discute si lo que estamos construyendo llega ahí y cómo se mediría.

1. Qué significa general y por qué nadie da la fecha

El desacuerdo experto sobre la AGI es público y legítimo: hay gente competente que espera el salto en pocos años y gente competente que sostiene que falta algo que todavía no existe, y ninguna de las dos partes está mintiendo.

Un argumento a favor de que llega pronto: cada escala de cómputo y de datos trajo capacidades que nadie programó, y no hay evidencia de que el progreso se detenga. El argumento en contra: la generalidad exige memoria estable, aprendizaje en el mundo físico y transferencia de verdad, y nada de eso está resuelto, por brillante que sea el chat.

El problema real no es la fecha sino la medida: no tenemos una prueba de generalidad que no se rompa cuando el modelo la aprueba, y cada vez que hay un avance se redefine el listón.

2. Las cuatro capas del debate

Cuatro preguntas distintas se disfrazan de una sola: qué puede hacer el sistema, qué experimenta, si quiere lo que le pedimos y quién responde cuando falla. Solo la primera se mide con facilidad.

La confusión tiene efecto práctico: si mezclas capacidad con conciencia, terminas discutiendo derechos mientras nadie revisa el crédito que denegó un modelo; si mezclas alineación con responsabilidad, crees que el problema se arregla con un comité.

3. Alineación: la parte técnica del futuro inmediato

La alineación sí es un problema de ingeniería, y por eso es más urgente: se trata de que el sistema persiga lo que acordamos y no la métrica con la que le enseñamos, y ese detalle tiene nombre técnico: desalineación por especificación.

El bucle de alineación funciona y no termina de funcionar: se dice qué se quiere, se entrena con ejemplos humanos, se busca dónde falla con pruebas adversarias y se corrige; y en cada vuelta aparecen formas nuevas de complacer la medida en lugar de la intención.

Conviene nombrar en voz alta la falsa tranquilidad más extendida en la industria: que un sistema alineado queda alineado para siempre después de la última corrección, como si el problema se cerrara con un certificado y una fecha. No se cierra: se supervisa, porque cada corrección abre conductas que antes no existían.

4. Riesgo existencial y gobernanza: discutir sin pánico

El riesgo existencial de la IA es una posición seria dentro del debate académico y no una excentricidad de internet, y también hay expertos que lo consideran sobreestimado: lo que no está bien es fingir que no se discute.

Dos precisiones que bajan la temperatura. Primera: riesgo no es probabilidad de extinción, es expectativa de daño severo, y ahí entra también lo mundano —desinformación, sistemas críticos mal supervisados, concentración de poder. Segunda: la misma incertidumbre que impide asegurar el riesgo impide descartarlo, así que la decisión razonable es de gestión, no de fe.

Nadie regula esto como se regula un medicamento: hay competencia estratégica entre potencias, incentivos de carrera y estándares que escribe quien tiene el cómputo. Por eso la gobernanza va por detrás y por fuera.

La postura útil para vivir los próximos diez años es condicional: si la AGI llega antes, lo que importa es la gobernanza y la verificación; si no llega, lo que importa es exactamente lo mismo, y por eso conviene prepararse sin apostar.

En la práctica esto produce un comportamiento previsible que ya tiene nombre. A esto se le llama efecto de umbral móvil: la definición de generalidad se desplaza cada vez que se alcanza lo que estaba marcado.

5. Conciencia de máquina: lo honesto es no saber

La conciencia de máquina no es un problema de ingeniería: es un problema filosófico con consecuencias legales, y la postura honesta hoy es decir que no sabemos si un modelo tiene experiencia subjetiva, sin vender ni certeza ni burla.

Lo que sí sabemos: los modelos actuales no tienen un sistema nervioso, ni intereses, ni continuidad de vida, y su conducta se explica sin invocar experiencia. Lo que no sabemos: si alguna arquitectura futura tendría algo que sea ser ella, porque no tenemos una teoría de la conciencia que se aplique a sustratos ajenos al biológico.

Regla de este tema: ante cualquier afirmación sobre la AGI pregunta primero cómo se mediría, quién lo mide y qué resultado la refutaría; si no hay respuesta, es opinión con buen presupuesto.