Aprendizaje automático y toma de decisiones en el campo de batalla

Aprendizaje automático y decisiones de vida o muerte en el campo de batalla

Brad DeWees, Chris Umphres y Maddy Tung || War on the Rocks





En 1946, el New York Times reveló uno de los mayores secretos de la Segunda Guerra Mundial: "una máquina asombrosa que aplica velocidades electrónicas por primera vez a tareas matemáticas hasta ahora demasiado difíciles y engorrosas para resolver". Uno de los creadores de la máquina dijo que su propósito era "reemplazar, en la medida de lo posible, el cerebro humano". Si bien esta primera versión de una computadora no reemplazó al cerebro humano, sí marcó el comienzo de una nueva era en la que, según la historiadora Jill Lepore, "el cambio tecnológico superó enormemente la capacidad humana para el cálculo moral".

Esa era continúa con la aplicación del aprendizaje automático (machine learning) a cuestiones de mando y control. La aplicación del aprendizaje automático ya es una realidad en algunas áreas: la Fuerza Aérea de EE. UU., por ejemplo, lo ha utilizado como un "miembro de la tripulación de vuelo" en un avión militar, y el Ejército de EE. UU. lo está utilizando para elegir el "tirador" adecuado. para un objetivo identificado por un sensor superior. El ejército está avanzando hacia el uso de algoritmos de aprendizaje automático para dirigir sistemas robóticos, analizar grandes conjuntos de datos, pronosticar amenazas y diseñar estrategias. El uso de algoritmos en estas áreas y otras ofrece increíbles oportunidades militares, desde ahorrar horas-persona en la planificación hasta superar a los pilotos humanos en peleas de perros y usar un “motor semántico de hipótesis múltiples” para mejorar nuestra comprensión de los eventos y tendencias globales. Sin embargo, la oportunidad del aprendizaje automático conlleva un riesgo ético: las fuerzas armadas podrían ceder la elección de vida o muerte a los algoritmos, y renunciar a la elección abdica del estado de uno como actor moral.

Hasta ahora, el debate sobre el papel de los algoritmos en la elección del campo de batalla ha sido: o bien, los algoritmos deberían tomar decisiones de vida o muerte porque no hay otra forma de mantener el ritmo en un campo de batalla cada vez más autónomo, o los humanos deberían hacer vida y - opciones de muerte porque no hay otra forma de mantener la moral en la guerra. Ésta es una falsa dicotomía. La elección no es algo unitario que deba entregarse ni a los algoritmos ni a las personas. En todos los niveles de toma de decisiones (es decir, táctica, operativa y estratégica), la elección es el resultado de un proceso de varios pasos. La pregunta no es si los algoritmos o los humanos deberían tomar decisiones de vida o muerte, sino más bien de qué pasos del proceso cada uno debería ser responsable. Al dividir la elección en sus partes constituyentes y capacitar a los miembros del servicio en la ciencia de la decisión, las fuerzas armadas pueden aumentar la velocidad de las decisiones y mantener la moral. Este artículo propone cómo puede hacer ambas cosas. Describe los componentes constitutivos de una elección, luego analiza cuáles de esos componentes deberían ser realizados por algoritmos de aprendizaje automático y cuáles requieren participación humana.

Qué son las decisiones y qué se necesita para tomarlas

Piense en un piloto de combate que caza misiles tierra-aire. Cuando el piloto ataca, está determinando que su elección, en relación con otras posibilidades que tiene ante sí, maximiza el beneficio neto esperado o la utilidad. Es posible que no procese conscientemente la decisión en estos términos y que no realice el cálculo a la perfección, pero no obstante, está determinando qué decisión optimiza los costos y beneficios esperados. Para ser claros, el ejemplo del piloto de combate no pretende limitar la discusión. El proceso conceptual básico es el mismo si los que toman las decisiones son los que activan el gatillo en las líneas del frente o los comandantes en los centros de operaciones distantes. El alcance y los detalles de una decisión cambian en los niveles superiores de responsabilidad, por supuesto, de arriesgar una unidad a muchas, o arriesgar la vida de un espectador a arriesgar cientos. Independientemente de dónde se sienta el tomador de decisiones, o más bien dónde reside legalmente la autoridad para elegir emplear la fuerza, la elección requiere los mismos cuatro pasos fundamentales.

El primer paso es enumerar las alternativas disponibles para el tomador de decisiones. El piloto de caza, nuevamente solo por ejemplo, podría tener dos alternativas: atacar el sistema de misiles desde un enfoque de largo alcance relativamente más seguro, o atacar desde un rango más cercano con más riesgo pero una mayor probabilidad de un ataque exitoso. El segundo paso es tomar cada una de estas alternativas y definir los posibles resultados relevantes. En este caso, los resultados relevantes del piloto podrían incluir matar el misil mientras sobrevive, matar el misil sin sobrevivir, fallar en matar el sistema pero sobrevivir y, por último, fallar en matar el misil y al mismo tiempo no sobrevivir.

El tercer paso es hacer una estimación de probabilidad condicional, o una estimación de la probabilidad de cada resultado asumiendo una alternativa dada. Si el piloto se acerca, ¿cuál es la probabilidad de que mate el misil y sobreviva? ¿Cuál es la misma probabilidad de ataque desde larga distancia? Y así sucesivamente para cada resultado de cada alternativa.

Hasta ahora, el piloto ha determinado qué puede hacer, qué puede suceder como resultado y qué tan probable es cada resultado. Ella ahora, en lugar del completo abandono de las estimaciones algorítmicas en favor de la intuición. La probabilidad, como la división larga, es un campo que es mejor dejar a las máquinas.

Si bien las máquinas toman la iniciativa con la intervención humana ocasional en los pasos uno al tres, lo contrario es cierto para el cuarto paso de hacer concesiones de valor. Esto se debe a que las compensaciones de valor capturan la complejidad tanto ética como militar, como ya saben muchos comandantes. Incluso con información perfecta (p. ej., La misión tendrá éxito pero le costará la vida al piloto), los comandantes aún pueden verse divididos sobre qué decisión tomar. De hecho, si uno debe hacer tales concesiones y cómo hacerlo es la esencia de las teorías éticas como la deontología o el consecuencialismo. Y la priorización de qué objetivos militares conducirán de manera más eficiente al éxito (cualquiera que sea su definición) es una parte siempre polémica y crítica de la planificación militar.

Mientras los comandantes y operadores sigan siendo responsables de las compensaciones, pueden mantener el control y la responsabilidad por la ética de la decisión incluso cuando se involucran menos en los otros componentes del proceso de decisión. Es de destacar que este control y responsabilidad se pueden incorporar a la función de utilidad por adelantado, lo que permite que los sistemas se ejecuten a la velocidad de la máquina cuando sea necesario.

Un camino a seguir

La incorporación del aprendizaje automático y la inteligencia artificial en los procesos de toma de decisiones militares no será nada fácil, pero es posible y una necesidad militar. China y Rusia están utilizando el aprendizaje automático para acelerar su propia toma de decisiones y, a menos que Estados Unidos mantenga el ritmo, corre el riesgo de encontrarse en una seria desventaja en futuros campos de batalla.

Los militares pueden garantizar el éxito de la elección asistida por máquinas al garantizar que tanto los responsables de la toma de decisiones como los desarrolladores de tecnología comprendan bien la división adecuada del trabajo entre humanos y máquinas.

Las fuerzas armadas deben comenzar por expandir los programas de educación para el desarrollo para que cubran de manera rigurosa y repetida la ciencia de la decisión, algo que la Fuerza Aérea ha comenzado a hacer en sus sesiones Pinnacle, su programa de educación ejecutiva para generales de dos y tres estrellas. Los encargados de la toma de decisiones militares deben aprender los pasos descritos anteriormente, y también aprender a reconocer y controlar los sesgos inherentes, que pueden dar forma a una decisión siempre que haya espacio para la participación humana. Décadas de investigación en la ciencia de la decisión han demostrado que la toma de decisiones intuitiva está repleta de sesgos sistemáticos como el exceso de confianza, la atención irracional a los costos hundidos y los cambios en la preferencia de riesgo basados ​​simplemente en cómo se enmarca una elección. Estos sesgos no se limitan solo a las personas. Los algoritmos también pueden mostrarlos cuando los datos de entrenamiento reflejan sesgos típicos de las personas. Incluso cuando los algoritmos y las personas comparten la responsabilidad de las decisiones, una buena toma de decisiones requiere conciencia y voluntad de combatir la influencia del sesgo.

Los militares también deberían exigir a los desarrolladores de tecnología que aborden la ética y la responsabilidad. Los desarrolladores deberían poder demostrar que las listas de alternativas, resultados y estimaciones de probabilidad generadas algorítmicamente no están sesgadas de tal manera que favorezcan la destrucción sin sentido. Además, cualquier sistema que aborde la selección de objetivos, o la combinación de objetivos militares con posibles medios para afectar esos objetivos, debe poder demostrar una línea clara de responsabilidad ante un tomador de decisiones responsable del uso de la fuerza. Una forma de hacerlo es diseñar sistemas habilitados para el aprendizaje automático en torno al modelo de toma de decisiones descrito en este artículo, que mantiene la responsabilidad de los tomadores de decisiones humanos a través de sus valores enumerados. Para lograr esto, los comandantes deben insistir en conservar la capacidad de adaptar los insumos de valor. A menos que las oportunidades de entrada sean intuitivas, los comandantes y las tropas volverán a utilizar herramientas más simples y probadas en combate con las que se sientan más cómodos: las mismas radios o armas antiguas o, para tomar decisiones, plataformas de diapositivas. Los desarrolladores pueden ayudar a que las estimaciones de probabilidad sean más intuitivas proporcionándolas en forma visual. Del mismo modo, pueden hacer que las compensaciones de valor sean más intuitivas al presentar diferentes opciones hipotéticas (pero realistas) para ayudar a los tomadores de decisiones a refinar sus juicios de valor.

La tarea poco envidiable de los comandantes es imaginar una serie de resultados potenciales dado su contexto particular y asignar una puntuación numérica o “utilidad” de modo que se puedan hacer comparaciones significativas entre ellos. Por ejemplo, un comandante podría asignar un valor de 1000 puntos a la destrucción de un portaaviones enemigo y -500 puntos a la pérdida de un avión de combate. Si esto es un reflejo exacto de los valores del comandante, ella debería ser indiferente entre un ataque sin pérdidas de cazas y un portaaviones enemigo destruido y uno que destruye dos portaaviones pero le cuesta dos cazas. Ambos se valoran por igual en 1.000 puntos. Si el comandante prefiere fuertemente un resultado sobre el otro, entonces los puntos deben ajustarse para reflejar mejor sus valores reales o, de lo contrario, un algoritmo que use ese sistema de puntos hará incontables elecciones coherentes con los valores del comandante. Este es solo un ejemplo de cómo obtener compensaciones, pero el punto clave es que las compensaciones deben darse en términos precisos.

Por último, las fuerzas armadas deben prestar especial atención a ayudar a quienes toman las decisiones a dominar sus roles como tasadores de valor, particularmente con respecto a las decisiones centradas en la vida de quién arriesgar, cuándo y para qué objetivo. En el paradigma de comando y control del futuro, es probable que se requiera que los tomadores de decisiones documenten tales compensaciones en formas explícitas para que las máquinas puedan entenderlas (por ejemplo, "Reconozco que hay un 12 por ciento de posibilidades de que no sobrevivir a esta misión, pero considero que el valor del objetivo merece el riesgo ”).

Si los tomadores de decisiones en los niveles táctico, operativo o estratégico no conocen o no están dispuestos a pagar estos costos éticos, entonces la construcción de la elección asistida por máquinas colapsará. O colapsará porque las máquinas no pueden ayudar a la elección humana sin concesiones explícitas, o porque los responsables de la toma de decisiones y sus instituciones se verán comprometidos éticamente al permitir que las máquinas oculten las concesiones implícitas en sus modelos de valor. Tampoco son resultados aceptables. Más bien, como institución, las fuerzas armadas deben adoptar la transparencia necesaria que conlleva la responsabilidad de emitir juicios enumerados sobre la vida y la muerte. Paradójicamente, documentar la tolerancia al riesgo y la asignación de valores puede servir para aumentar la autonomía de los subordinados durante el conflicto. Una ventaja importante de modelar formalmente las compensaciones de valor de un tomador de decisiones es que permite a los subordinados, y potencialmente incluso a las máquinas autónomas, tomar medidas en ausencia del tomador de decisiones. Este proceso de decisión asistido por máquina permite una ejecución descentralizada a escala que refleja los valores del líder mejor que incluso las reglas de enfrentamiento más cuidadosamente elaboradas o la intención del comandante. Siempre que las compensaciones se puedan vincular a un tomador de decisiones, entonces la responsabilidad ética recae en ese tomador de decisiones.

Mantener los valores preeminentes

El Integrador Numérico Electrónico y la Computadora, ahora un artefacto de la historia, fue el "alto secreto" que el New York Times reveló en 1946. Aunque importante como máquina por derecho propio, el verdadero significado de la computadora radica en su simbolismo. Representaba la capacidad de la tecnología para adelantarse a los responsables de la toma de decisiones y, en ocasiones, llevarlos a donde no querían ir.

Los militares deben avanzar con la inversión en aprendizaje automático, pero con un ojo atento a la primacía de los valores de los comandantes. Si el ejército de los EE. UU. desea seguir el ritmo de China y Rusia en este tema, no puede permitirse retrasar el desarrollo de máquinas diseñadas para ejecutar los componentes complicados pero inobjetables de la toma de decisiones: identificar alternativas, resultados y probabilidades. Del mismo modo, si desea mantener su posición moral en esta carrera de armamentos algorítmica, debe asegurarse de que las compensaciones de valor sigan siendo responsabilidad de los comandantes. La educación para el desarrollo profesional de las fuerzas armadas de EE. UU. también debe comenzar a capacitar a los tomadores de decisiones sobre cómo mantener de manera más efectiva la responsabilidad por los componentes sencillos pero molestos de los juicios de valor en conflicto.

Nos alienta el debate continuo y las duras discusiones sobre cómo aprovechar mejor el increíble avance en inteligencia artificial, aprendizaje automático, visión por computadora y tecnologías similares para liberar el sistema de armas más valioso de las fuerzas armadas, los hombres y mujeres que sirven en uniforme. Los militares deben tomar medidas ahora para garantizar que esas personas, y sus valores, sigan siendo los actores clave en la guerra.