Sistemas autónomos matando: Skynet debe esperar, según análisis francés

Opinión francesa sobre la ética de las armas autónomas

Jean-Baptiste Jeangène Vilmer || War on the Rocks




¿Cómo afrontarán las democracias más poderosas del mundo los dilemas éticos y legales planteados por el desarrollo de los llamados "robots asesinos" o sistemas de armas autónomas letales (lethal autonomous weapons systems o LAWS)? Por un lado, LAWS promete ventajas operativas incomparables, como actuar como un multiplicador de fuerza, expandir el campo de batalla y sacar a los humanos de misiones aburridas, sucias o peligrosas. Las potencias autoritarias como China y Rusia parecen estar dedicando enormes recursos a la consecución de estas capacidades. Por otro lado, otorgar a las armas autónomas la autoridad para determinar quién vive o muere es una pesadilla ética, práctica y legal. Un par de estados tienen políticas bien documentadas, sobre todo Estados Unidos y Reino Unido.

Este artículo se centra en Francia, que ha comenzado el difícil trabajo de analizar los problemas éticos asociados con los sistemas de armas autónomas letales. Soy miembro del Comité de Ética de Defensa de Francia, que depende directamente del ministro de Defensa del país. El año pasado, el comité presentó una opinión sobre el "soldado mejorado", que trazó una línea roja entre las prácticas aceptables y no invasivas y las inaceptables, como la ingeniería genética.

En abril, el Ministerio de Defensa francés publicó otro dictamen del Comité de Ética de Defensa sobre "la integración de la autonomía en los sistemas de armas letales". Argumentamos que las LAWS deben entenderse como armas completamente autónomas, que son éticamente inaceptables por varias razones, pero que los sistemas de armas letales parcialmente autónomas (PALWS), que presentan tanto beneficios como riesgos potenciales, podrían ser éticamente aceptables en determinadas condiciones.

¿Por qué eso importa? No solo porque, según el conocimiento de este autor, ninguna otra potencia militar importante tiene un comité de ética de este tipo desempeñando un papel tan importante dentro de su Ministerio de Defensa, y eso en sí mismo dice algo sobre el espíritu francés. Es probable que la opinión del Comité de Ética de la Defensa sobre las armas autónomas sea analizada por varias otras razones: fue Francia quien, en 2013, inició el debate multilateral sobre las armas autónomas; ha sido un participante activo en el debate desde entonces (ver, por ejemplo, la propuesta franco-alemana de 2017); y también porque Francia presidirá la próxima conferencia de revisión de la Convención sobre ciertas armas convencionales en diciembre de 2021.

LAWS versus PALWS

La primera tarea del comité, y posiblemente la más importante tarea inicial, fue definir los términos clave. Decidió definir LAWS como:

Un sistema de armas letales programado para ser capaz de cambiar sus propias reglas de operación, particularmente en lo que respecta al enfrentamiento con el objetivo, más allá de un marco de uso determinado, y capaz de computar decisiones para realizar acciones sin ninguna evaluación de la situación por parte de un comando militar humano.

El aspecto más importante de esta definición es su estrechez: de acuerdo con la posición de Francia en las reuniones de la ONU, los LAWS se consideran sistemas totalmente autónomos. Definir LAWS siempre ha sido un desafío, porque, si se entiende como completamente autónomo, estamos hablando de armas que aún no existen. Como resultado, no hay experiencia compartida o entendimiento con estas armas. En la historia del control de armas, eso los hace bastante únicos. En foros multilaterales (por ejemplo, las Naciones Unidas), algunos estados han utilizado el desafío de definir las LEYES como una excusa para obstruir o reorientar el debate. Al limitar LAWS a armas totalmente autónomas, Francia defiende un enfoque restrictivo que evita que esas armas se confundan con sistemas de armas operados a distancia o supervisados, que siempre involucran a un operador humano.

Luego, el comité introdujo la categoría de sistemas de armas letales parcialmente autónomos (PALWS). Decidió definirlo como:

[I] ntegrar automatización y software: [1] al cual, luego de evaluar la situación y bajo su responsabilidad, el comando militar puede asignar el cómputo y ejecución de tareas relacionadas con funciones críticas tales como identificación, clasificación, interceptación y compromiso dentro del tiempo y límites de espacio y condiciones; [2] que incluyen salvaguardas técnicas o características intrínsecas para evitar fallas, mal uso y renuncia por el mando de dos deberes vitales, a saber, la evaluación de la situación y la presentación de informes.

PALWS son una categoría intermedia, distinta de las otras dos. Por un lado, los PALWS no son LAWS porque no pueden cambiar sus propias reglas de funcionamiento, "no pueden tomar iniciativas letales". Por otro lado, los PALWS tampoco son sistemas de armas automatizados. La diferencia entre autonomía y automatización es fundamental. Una vez desplegadas, tanto las armas autónomas como las automatizadas pueden funcionar sin la participación humana. Sin embargo, mientras que la automatización se refiere al desempeño de un número limitado de tareas repetitivas y predeterminadas (el sistema siempre reacciona de la misma manera al mismo estímulo), la autonomía implica la capacidad de aprender y adaptarse en un entorno cambiante. Por ejemplo, las minas y algunos sistemas de defensa aérea están automatizados porque actúan de forma reactiva y repetitiva, detonando o disparando, cuando sus sensores detectan un objeto. No aprenden ni se adaptan, y no necesitan hacerlo porque no tienen que afrontar situaciones inesperadas. Su entorno no cambia. Las PALWS no son LAWS en el sentido de que no son completamente autónomas. Sin embargo, debido a que todavía son (parcialmente) autónomos, tampoco son armas automatizadas. Varias armas existentes podrían clasificarse como PALWS, entre las que se encuentran las municiones merodeadores como el israelí IAI Harop, el turco STM Kargu-2 (ver el video al final por una potencial primera utilización de este drone para un ataque automático en Libia) y un modelo chino no identificado utilizado en enjambres; las Bombas Colaborativas Americanas de Pequeño Diámetro (CSDB), o el buque de guerra con drones Sea Hunter (ver foto de arriba).

Ahora bien, en este punto podrían plantearse dos objeciones. Primero, que tal distinción entre LEYES y PALWS ciertamente no es nueva en el debate internacional, ni en las doctrinas nacionales. De hecho, ya en 2012, cuando Estados Unidos fue el primer país en establecer pautas para el desarrollo y uso de la autonomía en los sistemas de armas, ya habían distinguido entre un sistema de armas autónomo y uno semiautónomo. Si la categoría PALWS es una innovación terminológica en francés, especialmente en un documento ministerial, los sistemas de armas “parcialmente” y “semi” autónomos, aunque se definen de manera diferente, se refieren al mismo desafío de describir lo que se encuentra bajo el umbral de la plena autonomía.

En segundo lugar, al adoptar una definición estrecha de LAWS que se limita a las armas totalmente autónomas, ¿no las define Francia como algo que nadie ha querido nunca? Bajo la apariencia de rechazar LAWS, una categoría de sistemas que realmente no han sido considerados, ¿no está Francia realmente legitimando la categoría más realista de PALWS? Esta es una preocupación legítima. Sin embargo, como miembro del comité que redactó el dictamen, la intención no era legitimar cualquier categoría de armas autónomas que sea. En cambio, el objetivo era agregar el rigor intelectual necesario. El problema con la terminología “LAWS” es que se presume que “autónomo” es dicotómico: un sistema es, o no, autónomo. Y si es autónomo, se presume que es completamente autónomo, lo que, por buenas razones, nadie quiere realmente. Por tanto, es más útil adoptar una terminología alternativa basada en la idea de que la integración de la autonomía en los sistemas de armas puede ser y será gradual. Rechazar LAWS y centrarse en PALWS por esa razón no significa que PALWS no pueda ser éticamente problemático. No los está legitimando. Más bien, su legitimidad depende de varios criterios. La distinción ofrecida por el comité simplemente reorienta la discusión para centrarse en la categoría relevante.

Los LAWS no son aceptables

Francia ha renunciado públicamente al uso de armas letales totalmente autónomas, tanto por razones éticas como operativas, desde 2013. En 2018, el presidente Emmanuel Macron dijo que se "oponía categóricamente" a las LAWS, en la medida en que "abolirían toda responsabilidad". Añadió que “la decisión de dar luz verde la tiene que tomar un ser humano porque se necesita a alguien que se responsabilice de ello”. En mayo de 2021, la ministra de Defensa francesa, Florence Parly, confirmó que “Francia dice y siempre dirá que no a los robots asesinos. Francia se niega a confiar la decisión de vida o muerte a una máquina que actuaría de forma totalmente autónoma y escaparía a cualquier control humano ”.

La posición de Francia sobre LAWS está en línea con sus aliados más cercanos. La directiva de 2012 del Departamento de Defensa de EE. UU. declaró explícitamente que sus sistemas de armas deberían "permitir a los comandantes y operadores ejercer los niveles adecuados de juicio humano en el uso de la fuerza". Esta es, por supuesto, otra forma de decir que no deberían ser completamente autónomos. Del mismo modo, el Reino Unido expresó repetidamente que "no está desarrollando sistemas de armas autónomos letales, y el funcionamiento de los sistemas de armas por parte de las fuerzas armadas del Reino Unido siempre estará bajo supervisión y control humanos". Muchos otros estados hicieron comentarios similares. De hecho, este es uno de los pocos puntos de consenso en el debate de la ONU sobre las LEYES: de una forma u otra, todos insisten en mantener el control humano. Nadie quiere un arma completamente autónoma, ya que la autonomía total, literalmente la capacidad de establecer las propias reglas, significaría imprevisibilidad, lo que haría que esos sistemas fueran "militarmente inútiles".

Pero esto solo plantea una pregunta más difícil: ¿Deberían los países prohibir preventivamente los LAWS? Aquí es donde radica el desacuerdo.

El Comité de Ética de la Defensa de Francia también rechazó la incorporación de LAWS en el ejército del país por varias razones. Los LAWS:

[R] omper la cadena de mando; atentar contra el principio constitucional de libertad de acción para disponer de las fuerzas armadas; no proporcionar ninguna garantía sobre el cumplimiento de los principios del derecho internacional humanitario; ser contrarios a nuestra ética militar y a los compromisos fundamentales asumidos por los soldados franceses, es decir, honor, dignidad, uso controlado del uso de la fuerza y la humanidad.

El comité consideró "legítimo y vital continuar la investigación en el área de la autonomía en armas letales", una investigación centrada "en formas y medios de permitir que las fuerzas francesas contrarresten el uso de LAWS por parte de los estados u otros enemigos, pero sin usar LAWS nosotros mismos". . "

Las PALWS son interesantes y arriesgadas

PALWS ofrece una serie de ventajas en términos de rendimiento, precisión, pertinencia, protección y permanencia (las “5 P”). En términos de rendimiento, proporcionarán medios para ganar velocidad, en particular al acortar el ciclo observar-orientar-decidir-actuar. Además, uno de los mayores desafíos del futuro de la guerra será la defensa contra ataques convencionales o nucleares entrantes a velocidad hipersónica (de al menos Mach 5, y algunos de ellos supuestamente alcanzan Mach 20), lo que deja muy poco tiempo para reaccionar y, por lo tanto, requiere una mayor autonomización. Lo mismo ocurre con la defensa contra un ataque de saturación o enjambre. PALWS también será útil para monitorear áreas muy extensas en todos los entornos (terrestre, aéreo, marítimo, cibernético, espacial) que no se pueden cubrir sin un cierto grado de autonomía.

PALWS también ayudará a lidiar con la creciente masa de información ("diluvio de datos") que enfrentan los centros de mando y los soldados individuales. Los sistemas autónomos pueden ayudar a la toma de decisiones en un campo de batalla cada vez más interconectado. También ayudarán a penetrar en áreas altamente defendidas física y virtualmente; mejorar la precisión de los golpes; y proteger a los soldados, especialmente contra artefactos explosivos improvisados ​​o en ambientes contaminados. Finalmente, los PALWS durarán más que los equipos humanos en el mar, en el aire o en tierra, especialmente en entornos peligrosos o sucios, y por tanto proporcionarán una mayor permanencia en una zona determinada.

Al mismo tiempo, los PALWS presentan una serie de riesgos. El despliegue de armas autónomas, incluso si son solo parcialmente autónomas, pone a prueba la aceptabilidad moral y social del uso de la fuerza sin intervención humana. La oposición interna al uso de PALWS, incluso entre los propios soldados, podría socavar la confianza en las acciones y la legitimidad del estado. El aprendizaje automático también puede conducir a comportamientos inesperados y no deseados, ya que plantea problemas en la confiabilidad a largo plazo de los sistemas.

También está la cuestión de la rendición de cuentas: en caso de un incidente (por ejemplo, fuego amigo o víctimas civiles), ¿quién debe ser considerado responsable? Esta es, de hecho, una de las principales críticas dirigidas a las armas autónomas e invocadas por los opositores como motivo para pedir una prohibición preventiva. La integración de la autonomía en los sistemas de armas inevitablemente hará que sea más difícil establecer la responsabilidad, ya que hay muchas capas de control (estado, fabricante, programador, integrador de sistemas, contratista y comandante militar). Establecer la responsabilidad será difícil pero no imposible, porque una capacidad autónoma de toma de decisiones no “rompe la cadena causal que permite la atribución y la responsabilidad”, como explicó el profesor Marco Sassòli en 2014. Además, tal dilución de la responsabilidad no es inaudita, ya que ya es lo que sucede cuando un avión con piloto automático se estrella, o cuando un automóvil autónomo tiene un accidente.

Entre otros riesgos de incorporar PALWS, el Comité de Ética de Defensa identificó la piratería (por lo tanto, secuestrando esos sistemas); el impacto psicológico en los seres humanos, especialmente aquellos excluidos del proceso de toma de decisiones o que ya no pueden entender lo que está haciendo el sistema, lo que podría causar una falta de participación o una “pérdida de humanidad” en el combate; y otros riesgos psicológicos como confiar ciegamente en la máquina, perder la confianza en la capacidad humana para afrontar una situación compleja y desarrollar todo tipo de sesgos cognitivos. También existe el riesgo de reducir el umbral del uso de la fuerza y ​​el riesgo de proliferación global, incluida la adquisición por parte de actores no estatales.

Cómo PALWS podría ser éticamente aceptable

Es esencial delinear las condiciones bajo las cuales sería éticamente aceptable diseñar, desarrollar e implementar PALWS. Esto es lo que el Comité denominó las “5C”: mando, control de riesgos, cumplimiento, competencia y confianza.

Para cada misión, PALWS debe tener reglas establecidas por el comando humano (en términos de su objetivo, límites espaciales y temporales, reglas de enfrentamiento y otras restricciones); no deberían poder cambiar esas reglas por sí mismos (solo el comando humano puede hacerlo); no deben poder asignar una misión que se aparte de lo que fue programado inicialmente a otro PALWS, o solo después de la validación por parte del comando humano; y lo que adquieren a través del aprendizaje automático durante una misión no debe usarse para programar nuevas tareas sin la participación humana.

Además, el personal militar que despliega PALWS (no solo operadores sino también líderes tácticos, comandantes de teatro y líderes estratégicos) debe estar preparado y capacitado en consecuencia. De manera similar, cualquier personal involucrado en el diseño, desarrollo y promoción de esas armas (ej., ingenieros, investigadores, diplomáticos, políticos) deben ser conscientes de los diversos riesgos y problemas que implica su uso. Las autoridades públicas también deben ser informadas. Además, se deben implementar en los sistemas mecanismos como la desactivación de emergencia o la autodestrucción, en caso de una pérdida de comunicación, así como un dispositivo para abortar una misión en curso.

El Comité de Ética de la Defensa de Francia también recomendó realizar una revisión legal completa siempre que se desarrolle la autonomía en la toma de decisiones en un sistema de armas letales, "especialmente en lo que respecta a las funciones de identificación, clasificación y apertura de fuego". Por último, pero no menos importante, también abogó por la transparencia internacional.

Mirando hacia el futuro

No hay nada radicalmente nuevo en esta opinión del Comité de Ética de Defensa francés para quienes siguen de cerca el debate internacional de una década sobre armas más o menos autónomas. La mayoría, si no todas, de estas recomendaciones han sido realizadas por académicos y organizaciones no gubernamentales. Lo interesante de esta opinión ética es que también involucra argumentos legales, científicos y operativos, y que proviene de un comité creado por el Ministerio de Defensa francés. Sin embargo, lo que está en juego aquí no es solo un estado. Mientras más estados individuales desarrollen una política pública clara y detallada, más fácil será acordar un marco normativo a nivel global.