Desmintiendo la teoría de la carrera armamentista de la Inteligencia Artificla (IA)
Paul Scharre || Texas National Security ReviewNo hay carrera de armamentos de IA. Sin embargo, la competencia militar en IA todavía presenta ciertos riesgos. Estos incluyen la pérdida del control humano y la aceleración de la guerra, así como el riesgo de que las percepciones de una carrera armamentista hagan que los competidores tomen atajos en las pruebas, lo que lleva al despliegue de sistemas de IA inseguros.
En 2015, un grupo de destacados investigadores de inteligencia artificial y robótica firmó una carta abierta advirtiendo sobre los peligros de las armas autónomas. “La pregunta clave para la humanidad hoy”, escribieron, “es si comenzar una carrera armamentista global de IA o evitar que comience. Si cualquier potencia militar importante sigue adelante con el desarrollo de armas de IA, una carrera de armamentos global es virtualmente inevitable ”. 1 Hoy en día, muchas naciones están trabajando para aplicar la IA para obtener ventajas militares, y el término“ carrera de armamentos de IA ”se ha convertido en un eslogan utilizado por ambos críticos y defensores de la militarización de la IA. En 2018, el entonces subsecretario de Defensa Michael Griffin, pidiendo a Estados Unidos que invierta más en inteligencia artificial, declaró: "Puede que haya una carrera armamentista de inteligencia artificial, pero todavía no estamos en ella". Will Roper, entonces director de adquisiciones de la Fuerza Aérea de EE. UU., advirtió sobre los riesgos de quedarse atrás en una "carrera de armamentos digitales con China". 3
La llamada carrera de armamentos de la IA se ha convertido en una característica común en los titulares de las noticias, 4 pero el encuadre de la carrera de armamentos no se ajusta a la realidad. Si bien las naciones compiten claramente para desarrollar y adoptar tecnología de inteligencia artificial para uso militar, el carácter de esa competencia no se ajusta a la definición tradicional de carrera armamentista. Sin embargo, la competencia de IA militar presenta riesgos. La adopción generalizada de la IA militar podría hacer que la guerra evolucione de una manera que conduzca a un menor control humano y a que la guerra se vuelva más rápida, más violenta y más desafiante en términos de poder gestionar la escalada y poner fin a una guerra. Además, las percepciones de una "carrera" para desplegar sistemas de IA antes que los competidores podrían hacer que las naciones reduzcan las pruebas, lo que lleva al despliegue de sistemas de IA inseguros que están en riesgo de accidentes que podrían causar una escalada o destrucción involuntaria. Incluso si los temores de una "carrera armamentista de IA" son exagerados, la competencia de IA militar conlleva riesgos reales a los que las naciones deberían asistir. Hay pasos concretos que las naciones pueden tomar para mitigar algunos de estos peligros.
La competencia actual de IA militar no es una "carrera armamentista"
Como ha escrito Heather Roff, el encuadre de la carrera armamentista “tergiversa la competencia que se desarrolla entre países”. 5 Para empezar, la IA no es un arma. La IA es una tecnología habilitadora de uso general con una gran variedad de aplicaciones. No es como un misil o un tanque. Es más como la electricidad, el motor de combustión interna o las redes de computadoras.6 Las tecnologías de propósito general como la IA tienen aplicaciones en una variedad de industrias. El cofundador de la revista Wired, Kevin Kelly, ha argumentado que “dará vida a los objetos inertes, como lo hizo la electricidad hace más de un siglo. Todo lo que antes electrificamos ahora lo conoceremos ”7.Es muy posible que las naciones estén en una carrera tecnológica para adoptar la IA en una variedad de industrias. La IA ayudará a mejorar la productividad económica y, por extensión, el poder económico y militar. Durante la revolución industrial, los primeros en adoptar la tecnología industrial aumentaron significativamente su poder nacional. De 1830 a 1890, Gran Bretaña y Alemania, que fueron ambos industrializadores tempranos, más que duplicaron su producto nacional bruto per cápita, mientras que Rusia, que estaba rezagada en la industrialización, aumentó su producto nacional bruto per cápita en un mero 7 por ciento durante ese período de 60 años .8 Estas ventajas tecnológicas dieron lugar a un aumento del poder económico y militar, sobre todo para Europa en relación con el resto del mundo. En 1790, Europa (colectivamente), China e India (incluyendo lo que ahora es Pakistán y Bangladesh) tenían aproximadamente la misma participación en la producción manufacturera global, con Europa e India cada una con aproximadamente una cuarta parte de la producción manufacturera global y China con aproximadamente una. -tercera. Todos tenían niveles aproximadamente equivalentes de industrialización per cápita en ese momento. Pero la revolución industrial disparó la productividad económica europea. Para 1900, Europa controlaba colectivamente el 62 por ciento de la producción manufacturera mundial, mientras que China tenía solo el seis por ciento e India menos del dos por ciento. Estas ventajas económicas se tradujeron en poder militar. En 1914, los europeos ocuparon o controlaron más del 80 por ciento de la superficie terrestre del mundo.9
Es probable que estar a la vanguardia en la adopción de IA genere importantes ventajas a nivel nacional. Aunque la IA puede aumentar las capacidades militares, las ventajas más importantes a largo plazo pueden provenir de aplicaciones de IA no militares en la sociedad. Los beneficios a largo plazo de la IA podrían incluir una mayor productividad, mejores resultados de atención médica, crecimiento económico y otros indicadores de bienestar nacional. Incrementar la productividad es especialmente significativo porque tiene un efecto compuesto sobre el crecimiento económico. A largo plazo, el progreso tecnológico es el principal motor del crecimiento económico.10
La escala del gasto militar en IA, al menos en la actualidad, no es lo suficientemente grande como para merecer el título de "carrera armamentista".
Por supuesto, la IA también se puede utilizar para armas. Los militares de todo el mundo están trabajando activamente para adoptar la IA para mejorar sus capacidades militares. Sin embargo, la militarización de la IA no se ajusta, en la actualidad, a la definición tradicional de carrera armamentista, a pesar de la urgencia retórica de muchos líderes nacionales. Michael D. Wallace, en su artículo de 1979 "Arms Races and Escalation", definió una carrera armamentista como "que implica tasas anormales simultáneas de crecimiento en los desembolsos militares de dos o más naciones" como resultado de "la presión competitiva de los militares mismos, y no de fuerzas internas exógenas a esta rivalidad ". Wallace afirmó además que el concepto de carrera armamentista solo se aplicaba “entre naciones cuyas políticas exteriores y de defensa son muy interdependientes” y que tienen capacidades “aproximadamente comparables ”.11 La IA está siendo adoptada por muchos países de todo el mundo.12 Podría decirse que al menos algunos de las díadas, como Estados Unidos y China, cumplen la definición de Wallace en términos de ser naciones con capacidades "aproximadamente comparables", encerradas en la competencia, "cuyas políticas exterior y de defensa son muy interdependientes". Sin embargo, la IA no pasa la prueba de la carrera armamentista en el área crítica del gasto.
Wallace distinguió las carreras armamentistas del comportamiento normal de los estados para mejorar sus fuerzas militares. Un estado que adopta una nueva tecnología y moderniza sus fuerzas militares no está automáticamente en una carrera armamentista, según la definición de Wallace, incluso si la modernización tiene como objetivo competir con otro país. El factor decisivo para calificar como carrera armamentista, según Wallace, es la tasa de crecimiento del gasto en defensa. Wallace caracterizó las carreras armamentistas como resultado de tasas de crecimiento anormalmente elevadas en el gasto en defensa, más allá del promedio histórico de crecimiento anual del 4 al 5 por ciento (en dólares reales). En una carrera de armamentos, las tasas de crecimiento anual están por encima del 10 por ciento o incluso tan altas como del 20 al 25 por ciento.13 Otros académicos definen las carreras de armamentos usando diferentes umbrales cuantitativos, y algunas definiciones carecen de umbrales cuantitativos claros en absoluto, pero la existencia de aumentos rápidos en El gasto en defensa o las fuerzas militares por encima de los niveles normales es un criterio común en la literatura académica sobre carreras armamentistas.14
Las carreras de armamentos dan como resultado situaciones en las que dos o más países están atrapados en un gasto de defensa en espiral, acaparando cada vez más partes del tesoro nacional, a menudo con poca o ninguna ganancia neta en ventaja relativa sobre el otro. Los ejemplos históricos clásicos incluyen la carrera armamentista naval anglo-alemana antes de la Primera Guerra Mundial y la carrera armamentista nuclear entre Estados Unidos y la Unión Soviética durante la Guerra Fría. El gasto en IA militar de hoy claramente no cumple con estos criterios de tasas de crecimiento anormalmente grandes en el gasto de defensa. El gasto en defensa de la IA es difícil de calcular debido a la naturaleza de propósito general de la tecnología de IA. A diferencia de los barcos o los misiles balísticos, los sistemas de IA no se pueden contar fácilmente. Sin embargo, incluso estimaciones burdas del gasto en defensa muestran que las inversiones en inteligencia artificial militar no son lo suficientemente grandes como para constituir una carrera armamentista. Una estimación independiente realizada por el Gobierno de Bloomberg sobre el gasto de defensa de EE. UU. En IA identificó $ 5 mil millones en investigación y desarrollo relacionados con la IA en el año fiscal 2020, o aproximadamente el 0,7 por ciento del presupuesto del Departamento de Defensa de más de $ 700 mil millones.15 La escala del gasto militar en IA, en al menos en la actualidad, no es lo suficientemente grande como para merecer el título de "carrera armamentista". (Agregar el gasto del sector privado, que constituye la mayor parte de la inversión en IA, daría lugar a cifras más grandes, pero desmentiría aún más la afirmación de una carrera de "armamentos", ya que la mayor parte de la inversión en IA del sector privado no está en armas).
Competencia de IA y el dilema de seguridad
Incluso si el gasto en IA militar no se eleva al nivel de una "carrera armamentista", muchas naciones, sin embargo, están involucradas en una competencia de seguridad en la adopción de IA militar, una competencia que presenta riesgos. La situación en la que se encuentran los estados con respecto a la competencia de la IA se describe con mucha más precisión como un dilema de seguridad, 16 una dinámica competitiva más generalizada entre estados que la "carrera armamentista" definida de manera más estricta. En su artículo de 1978, "Cooperación bajo el dilema de la seguridad", Robert Jervis definió el dilema de la seguridad de la siguiente manera: "[M] Cualquiera de los medios por los que un estado intenta aumentar su seguridad disminuye la seguridad de los demás". 17 Como Charles Glaser ha señalado, no es obvio a partir de esta definición por qué sería intrínsecamente malo que un aumento en la seguridad de un estado se produzca a expensas de la seguridad de otro.18 De hecho, disminuir la seguridad de otros estados podría tener efectos beneficiosos para mejorar la disuasión y reducir los riesgos de agresión o lograr un equilibrio de poder favorable en una región, lo que podría a una mayor influencia política. El problema viene en los efectos de segundo y tercer orden que podrían desarrollarse cuando otro estado reacciona ante la reducción de su seguridad. Las respuestas podrían incluir un contrapeso con un efecto neto de ningún cambio en la seguridad (o empeoramiento de la seguridad). Glaser sostiene que hay algunas situaciones en las que la competencia en seguridad es una estrategia racional que debe perseguir un estado, incluso si los competidores se armarán en respuesta. En otras situaciones, armar puede ser una estrategia subóptima para un estado, que estaría mejor servido con moderación o persiguiendo el control de armas19.La competencia en seguridad incluso podría dejar a ambos estados peor que antes. Esto puede ocurrir durante una carrera armamentista tradicional si las naciones gastan grandes sumas de dinero en un intento fallido de obtener una ventaja sobre las otras, con el resultado de que ambas naciones desvían fondos de gastos no relacionados con la defensa. Si el resultado de una competencia de seguridad es el mismo equilibrio militar relativo que antes, es posible que el equilibrio de poder no haya cambiado de manera significativa, pero ambas naciones podrían enfrentar una disminución del bienestar económico y social en casa en comparación con si hubieran evitado una competencia de seguridad. Sin embargo, incluso en ausencia de esta disyuntiva de “armas contra mantequilla”, hay otras formas en las que la competencia por la seguridad puede conducir a un resultado negativo neto para ambos estados.
Una forma en que esto podría ocurrir es si la innovación militar y el desarrollo de nuevas capacidades alteran el carácter de la guerra de una manera más dañina, más destructiva, menos estable o menos deseable que antes. En su artículo de 1997, “El dilema de seguridad revisado”, Glaser dio el ejemplo de las capacidades militares que cambiaron la guerra a un régimen más dominante en el ataque.20 Hay otras formas en las que la guerra también podría evolucionar en una dirección netamente negativa. Por ejemplo, en la Primera Guerra Mundial, el interés de Alemania en desarrollar y desplegar armas químicas se estimuló en parte debido a los temores sobre el desarrollo de Francia en el gas venenoso.21 El resultado fue la introducción de un arma que aumentó el sufrimiento de los combatientes en ambos lados, sin entregar un ventaja militar significativa para cualquiera. Lo mismo podría ocurrir con la IA: podría alterar el carácter de la guerra de una manera que sería netamente negativa para todos los participantes.
Un ritmo de guerra acelerado
Una posibilidad de cómo la IA podría alterar la guerra de una manera que dejaría a todos los estados en peor situación sería si acelerara el ritmo de la guerra más allá del punto de control humano, haciendo que la guerra sea más rápida, más violenta y menos controlable. Hay ventajas en agregar inteligencia a las máquinas, pero dadas las limitaciones de los sistemas de IA actuales, el modelo óptimo para lograr la toma de decisiones de la más alta calidad sería una arquitectura conjunta hombre-máquina que combine la toma de decisiones humana y mecánica. Sin embargo, una forma en que las máquinas superan a los humanos es en velocidad. Es posible imaginar una dinámica competitiva en la que los países se sientan obligados a automatizar cantidades cada vez mayores de sus operaciones militares para mantenerse al día con los adversarios. El entonces subsecretario de Defensa, Robert O. Work resumió el dilema cuando preguntó: “Si nuestros competidores van a Terminators y todavía estamos operando donde las máquinas ayudan a los humanos y resulta que los Terminators pueden tomar decisiones más rápido, incluso si son malos, ¿cómo responderíamos? ”22 Este es un clásico dilema de seguridad. La búsqueda de un estado de una mayor automatización y tiempos de reacción más rápidos socava la seguridad de otros estados y los lleva a buscar de manera similar más automatización solo para mantenerse al día.Si los estados caen víctimas de esta trampa, podría llevar a que todos los estados sean menos seguros, ya que la búsqueda de una mayor automatización no sería simplemente una evolución en armas y contramedidas que simplemente conduciría a la creación de nuevas armas en el futuro. En algún momento, la guerra podría cambiar a un régimen cualitativamente diferente en el que los humanos tienen menos control sobre la fuerza letal a medida que las decisiones se vuelven más automatizadas y el ritmo acelerado de las operaciones empuja a los humanos “fuera del circuito” de la toma de decisiones. Algunos académicos chinos han planteado la hipótesis de una "singularidad" en el campo de batalla, en la que el ritmo del combate eclipsa la toma de decisiones humana.23 Los académicos estadounidenses han utilizado el término "hiperguerra" para referirse a un escenario similar.24 En algunas áreas limitadas hoy, como la defensa localizada inmediata de barcos, bases y vehículos contra ataques con cohetes y misiles, expandir esta zona de control de máquinas a áreas de guerra más amplias sería un avance significativo. Un menor control humano sobre la guerra podría conducir a guerras que son menos controlables y que se intensifican más rápidamente o más ampliamente de lo que los humanos pretenden. De manera similar, limitar la escalada o terminar los conflictos podría ser más desafiante si el ritmo de las operaciones en el campo de batalla excede la toma de decisiones humana. Los líderes políticos tendrían un problema de comando y control en el que sus fuerzas militares están operando "dentro" (es decir, más rápido que) el ciclo de decisión sus propias fuerzas armadas. El efecto neto del deseo bastante racional de que las naciones ganen una ventaja en la velocidad podría conducir a un resultado peor para todos. Sin embargo, la dinámica competitiva podría impulsar ese resultado.
La búsqueda de un estado de una mayor automatización y tiempos de reacción más rápidos socava la seguridad de otros estados y los lleva a buscar de manera similar más automatización solo para mantenerse al día.Los mercados financieros proporcionan un ejemplo de esta dinámica en un entorno competitivo no militar. La automatización introducida en los mercados financieros, especialmente las operaciones de alta frecuencia en las que las operaciones se ejecutan a velocidades sobrehumanas en milisegundos, ha contribuido a la inestabilidad de las condiciones del mercado que pueden provocar "caídas repentinas", en las que los precios cambian rápida y drásticamente.25 Reguladores financieros han respondido empleando "disyuntores" que detienen automáticamente la negociación durante un período de tiempo predeterminado si el precio se mueve demasiado rápido.26 Los mercados financieros tienen el beneficio de un regulador que puede obligar a los competidores a adoptar medidas de cooperación para abordar resultados subóptimos. En condiciones de anarquía en el entorno de seguridad internacional, dicha cooperación tendría que provenir de los propios estados.
La dinámica de una competencia de velocidad es como una carrera de armamentos, si ampliamos la definición de carrera de armamentos para que esté más en línea con los ejemplos biológicos de coevolución competitiva. Los biólogos a menudo usan la metáfora de una carrera armamentista para explicar "una escalada descontrolada e inestable" de adaptación y contraadaptación que puede ocurrir en los animales.27 Esto puede ocurrir entre especies, como depredadores y presas, o dentro de especies, como machos en evolución. en competencia por las hembras. Las carreras de armamentos biológicos pueden manifestarse de diversas formas, como las competencias entre depredadores y presas con respecto al camuflaje frente a la detección y la armadura frente a las garras, así como la velocidad, las habilidades cognitivas, el veneno, el engaño u otros atributos que pueden aumentar las posibilidades. de supervivencia.28 Esta definición biológica más amplia de una carrera de armamentos está más en línea con el potencial de una creciente "carrera de armamentos en la velocidad" entre las naciones que conduce a una mayor automatización en la guerra. Si bien este concepto no cumple con la definición tradicional de carrera de armamentos en la literatura de estudios de seguridad, es un concepto útil para describir el potencial de una coevolución en la velocidad que no conduce a una ventaja relativa neta y, de hecho, puede dejar a ambos lados en peor situación.
Carrera hacia abajo en seguridad
Un riesgo relacionado de una dinámica de "carrera" entre competidores podría provenir de una aceleración, no del ritmo de las operaciones en el campo de batalla, sino del proceso de desplegar nuevos sistemas de IA. Los sistemas de inteligencia artificial de hoy tienen una serie de problemas de seguridad y protección que pueden hacerlos frágiles, poco confiables e inseguros.29 Debido a que el aprendizaje automático en particular puede crear nuevas formas en las que los sistemas pueden fallar, los militares enfrentan nuevos desafíos al adoptar sistemas de inteligencia artificial.30 Los militares lo harán. tienen que adoptar nuevos métodos para probar, evaluar, verificar y validar los sistemas de inteligencia artificial (también conocidos como TEVV) .31 Tales preocupaciones relacionadas con la autonomía son bien conocidas en la comunidad de defensa de EE. UU., 32 aunque en la actualidad no se han resuelto de manera satisfactoria. la licenciatura. El aprendizaje automático presenta desafíos adicionales con respecto a las pruebas, la evaluación, la verificación y la validación. Una prisa por desplegar sistemas de IA antes de que se prueben por completo podría resultar en una "carrera hacia el fondo" en seguridad, con los militares desplegando sistemas de IA propensos a accidentes.Existen fuertes imperativos burocráticos e institucionales para que los ejércitos utilicen sistemas de campo que sean robustos y seguros. De hecho, diseñar sistemas según los estándares de especificaciones militares a menudo significa hacerlos más robustos para una gama más amplia de condiciones ambientales y choques que los sistemas comerciales comparables, incluso a expensas de otros aspectos del rendimiento, como el tamaño, el peso o la facilidad de uso. Sin embargo, la IA presenta desafíos novedosos para lograr la solidez necesaria para operar en los entornos complejos, peligrosos y adversarios que a menudo caracterizan las operaciones militares.
Ciertos métodos de IA actuales, como el aprendizaje profundo, siguen siendo relativamente inmaduros con importantes desafíos de confiabilidad. Un informe del Departamento de Defensa de 2017 del grupo asesor científico JASON explicó que las redes neuronales profundas
son inmaduros en lo que respecta a las "enfermedades", incluida la confiabilidad, la capacidad de mantenimiento, la responsabilidad, la validación y verificación, la capacidad de depuración, la capacidad de evolución, la fragilidad, la capacidad de ataque, etc. … Además, no está claro que el paradigma de IA existente sea inmediatamente susceptible de cualquier tipo de validación y verificación de ingeniería de software. Este es un problema serio, y es un obstáculo potencial para el uso de estos modernos sistemas de IA por parte del Departamento de Defensa (Departamento de Defensa), especialmente cuando se considera la responsabilidad y la responsabilidad del uso de IA en sistemas letales.33
La estrategia de inteligencia artificial de 2018 del Departamento de Defensa exige la construcción de sistemas de inteligencia artificial que sean "resistentes, robustos, confiables y seguros" .34 Sin embargo, el estado actual de la tecnología hace que el logro de su objetivo es particularmente difícil para los sistemas de inteligencia artificial que incorporan el aprendizaje profundo, un subcampo de la inteligencia artificial que ha experimentado un crecimiento y una atención significativos en los últimos años. Si bien hay una investigación activa en curso para mejorar la seguridad y la protección de la inteligencia artificial, los militares tendrán que adaptarse a la tecnología tal como está actualmente, al menos por el momento. Un proceso ideal sería que los militares se involucren en la experimentación, la creación de prototipos y el desarrollo de conceptos, pero también someter los sistemas de IA a una TEVV rigurosa en condiciones operativas realistas antes del despliegue. Tomar atajos en las pruebas y evaluaciones y desplegar un sistema antes de que esté completamente probado podría provocar accidentes que, en algunos entornos, podrían socavar la estabilidad internacional.
Al evaluar las nuevas tecnologías, los militares pueden aceptar relativamente el riesgo de accidentes, lo que puede llevarlos a tolerar el despliegue de sistemas que tienen problemas de confiabilidad. Al construir y desplegar nuevas capacidades, los militares deben sopesar la posibilidad de que ocurra un accidente con otras preocupaciones, como renunciar a capacidades militares valiosas. El entorno operativo militar está plagado de riesgos, tanto en el entrenamiento como en las operaciones del mundo real. Las instituciones militares equilibran la gestión de este riesgo con otros factores, como la necesidad de formación, el desarrollo de nuevas capacidades o el cumplimiento de la misión. Las instituciones militares ven las víctimas de accidentes de entrenamiento o la prueba de nuevas capacidades como una parte trágica pero inevitable del negocio de prepararse para la guerra. Los militares esperan un alto rendimiento de sus fuerzas, a menudo mientras realizan tareas peligrosas, pero los militares ni exigen ni esperan operaciones sin accidentes en la mayoría de los entornos.35 De 2006 a 2020, más de 5.000 militares estadounidenses murieron en accidentes no relacionados con la guerra. la mayoría de los cuales ocurrieron en los Estados Unidos. Los accidentes en general representaron casi el 32 por ciento de las muertes de miembros del servicio de EE. UU. Durante este período, e incluso representaron una parte significativa de las muertes de miembros del servicio en Irak (19 por ciento) y Afganistán (16 por ciento) .36 Estas tasas de accidentes no son inusuales para las fuerzas armadas de EE. UU. . Este es el negocio habitual. Los accidentes llaman la atención de altos funcionarios militares y civiles cuando se produce una serie de accidentes en un período corto de tiempo, como una serie de choques de aeronaves, 37 colisiones de barcos, 38 o accidentes de entrenamiento39. Sin embargo, como un informe sobre accidentes navales de Las notas de 1945 a 1988, “los accidentes navales en tiempos de paz son una realidad” 40. Lo mismo ocurre con las operaciones militares aéreas y terrestres. Los ejércitos de otras naciones pueden hacer un trabajo aún peor en la gestión del riesgo cuando se trata de accidentes que el ejército de los EE. UU. Por ejemplo, la comunidad submarina soviética / rusa tiene una tasa de accidentes mucho más alta que la comunidad submarina estadounidense.41
Las nuevas tecnologías, en particular, presentan un mayor riesgo de accidentes, sin embargo, los militares pueden seguir adelante con el deseo de desarrollar y desplegar lo que perciben como una capacidad valiosa. Por ejemplo, la aeronave de rotor basculante V-22 Osprey sufrió cuatro accidentes durante el desarrollo, matando a 30 militares estadounidenses en total, sin embargo, el Departamento de Defensa continuó el desarrollo.42 El gerente del programa V-22 citó la prisa por desarrollar la tecnología como un factor en los accidentes. , afirmando: “Cumplir con una fecha límite de financiamiento fue más importante que asegurarnos de haber hecho todas las pruebas que pudimos”. 43 En particular, tomar atajos en las pruebas parece haber sido un factor en al menos un accidente fatal. Según una investigación de la Oficina de Responsabilidad del Gobierno sobre el programa V-22, las "presiones de programación" llevaron al programa a realizar solo 33 de las 103 pruebas planificadas de un fenómeno aerodinámico llamado "estado de anillo de vórtice" 44, un fenómeno que más tarde provocó una crisis en abril de 2000. accidente que mató a 19 miembros del servicio.45
En ausencia de una dinámica competitiva, los militares pueden manejar los desafíos de desplegar sistemas de IA seguros en un grado más o menos satisfactorio, aunque con cierto riesgo de que ocurra un accidente. Sin embargo, debido al deseo de desplegar capacidades de IA antes que sus competidores, los ejércitos pueden estar más dispuestos a aceptar el riesgo de lo que estarían de otra manera y a desplegar sistemas que son propensos a contratiempos.46 Dinámicas competitivas similares pueden haber jugado un papel en los accidentes con uno mismo. -conducir automóviles y tecnología de piloto automático de aerolíneas comerciales, mientras las empresas se apresuraron a ganarle a otras en el mercado.47 Estas dinámicas, aunque no son una carrera armamentista, podrían llevar a los militares a participar en una “carrera hacia el fondo” en materia de seguridad. Este riesgo podría volverse particularmente agudo en tiempos de guerra.
Las nuevas tecnologías, en particular, presentan un mayor riesgo de accidentes, sin embargo, los militares pueden seguir adelante con el deseo de desarrollar y desplegar lo que perciben como una capacidad valiosa.
La gestión de estos riesgos es un desafío porque evaluarlos puede resultar difícil, especialmente cuando se trata de nuevas tecnologías. Las tasas de accidentes pueden ser bien conocidas para las tecnologías maduras, pero se desconocen para las tecnologías aún en desarrollo. En el caso del desarrollo V-22 Osprey, para examen por ejemplo, no es que el Departamento de Defensa supiera que desarrollarlo conduciría a múltiples accidentes y 30 muertes, pero decidió que lograr la capacidad valió la pena el costo. Los ingenieros, probadores y gerentes de programas están volando en la oscuridad cuando se trata de nuevas tecnologías; después de todo, ese es el objetivo de probar nuevos sistemas. La preocupación no es solo que las organizaciones puedan tomar riesgos medidos para desplegar nuevas capacidades, sino también que los imperativos institucionales y burocráticos pueden llevar a las organizaciones a distorsionar sus propias percepciones de riesgo, contribuyendo aún más a los accidentes. Este fenómeno sociológico se ha citado como causa de la explosión del transbordador espacial Challenger de 1986, por ejemplo.48
El hecho de que los ejércitos puedan correr riesgos si se mueven demasiado rápido en la adopción de nuevas tecnologías va en contra de la caricatura común de la cultura militar como conservadora, rígida y resistente a la innovación. Si bien esta caricatura no es del todo justa (los ejércitos innovan incluso en tiempos de paz49), la falta de retroalimentación directa y observacional sobre el desempeño en un entorno competitivo realista, similar a la dinámica del mercado para las empresas comerciales, puede significar que los ejércitos a menudo tardan en adaptarse a las circunstancias cambiantes. . Una variedad de factores pueden afectar la adopción militar de nuevas tecnologías, 50 y las tasas de adopción pueden variar considerablemente según la tecnología, el estado y la comunidad militar. A través de una gama de tecnologías contemporáneas, los ejércitos van por detrás del sector privado. Por ejemplo, los ejércitos de hoy en día están detrás del sector privado en la adopción de tecnología de la información, tecnologías de optimización del desempeño humano y mejores prácticas para el personal. Con una cantidad cada vez mayor de innovación tecnológica que se produce fuera del sector de defensa, es probable que este retraso continúe.51 Sin embargo, el factor de riesgo clave para los sistemas de inteligencia artificial militares no es el momento en que los ejércitos comienzan el proceso de adopción, sino la toma de atajos. en seguridad para acelerar el despliegue de nuevas capacidades de IA.
La adopción de tecnología es un proceso de múltiples etapas, que involucra investigación y desarrollo, experimentación, creación de prototipos, maduración de tecnología, producción, pruebas y campo. Es posible que los ejércitos se muevan lentamente en una etapa y rápidamente (o mediante atajos) en otras. Si bien hay muchas áreas en las que la adopción de inteligencia artificial, autonomía, robótica y vehículos deshabitados por parte de las fuerzas armadas de EE. UU. Se está moviendo lentamente debido a una variedad de obstáculos burocráticos, también es posible que los Estados Unidos apresuren partes del proceso de adopción y terminen con tecnología inmadura en producción o incluso en el campo. Esta dinámica mixta, de avanzar lentamente en algunos aspectos del desarrollo tecnológico y tomar atajos en otros, ha estado presente en otros programas de defensa. El avión de combate F-35 entró en producción antes del primer vuelo de prueba, una decisión que el principal funcionario de adquisiciones del Departamento de Defensa, Frank Kendall, caracterizó más tarde como "negligencia en las adquisiciones" .52 Sin embargo, todo el programa de adquisiciones tomó 25 años desde su concepción inicial. hasta su primer despliegue operativo.53 El F-35 todavía no está en plena producción, 28 años después de su concepción inicial.54 El programa F-35 se movió demasiado rápido en algunas áreas, introduciendo riesgos innecesarios, incluso cuando estaba en general estorbado por el laborioso ritmo típico de los principales programas de adquisición de defensa. La lenta burocracia de los militares, por lo tanto, no es una defensa contra las pruebas de mala calidad y el despliegue prematuro.
Evitando los riesgos nocivos de la competencia de seguridad de IA
¿Qué pueden hacer los estados para evitar una carrera a la baja en materia de seguridad o una aceleración del ritmo de la guerra más allá del control humano? En ambos casos, existen incentivos compensatorios que empujan contra estas tendencias. Los militares desean sistemas confiables en el campo de batalla y un control efectivo sobre sus propias fuerzas. Hay varias acciones que los estados pueden tomar para fortalecer estos incentivos a fin de garantizar sistemas de IA robustos, seguros y controlables en sus propias instituciones, así como en las de otros países.Primero, los estados deben invertir en procesos internos adecuados para probar, evaluar, verificar y validar los sistemas de IA, a fin de garantizar que los sistemas que están implementando sean robustos y seguros.55 Los estados deben fortalecer de manera similar sus procesos internos: doctrina, capacitación, sistema diseño y pruebas, interfaces hombre-máquina, etc., para mantener un control humano efectivo sobre las operaciones de combate.
En segundo lugar, los estados deben tomar medidas específicas para alentar a otros estados a hacer lo mismo a fin de mitigar los incentivos perversos para reducir las pruebas o ceder el control humano a las máquinas donde de otro modo no sería preferible. Tales acciones podrían incluir medidas voluntarias de transparencia sobre los procesos de TEVV, aunque sin duda habrá detalles técnicos que los estados no están dispuestos a compartir. Los Estados también podrían comunicar la importancia de la seguridad y confiabilidad de la IA y de mantener el control humano sobre las operaciones de combate, tanto públicamente como en canales diplomáticos internacionales como el Convento.sobre ciertas armas convencionales.57 Por ejemplo, en 2020 el Departamento de Defensa de EE. UU. publicó un conjunto de principios éticos para la IA.58 Las señales costosas, como invertir en investigación de seguridad de IA o procesos e infraestructura de TEVV, pueden ser incluso más efectivas para demostrar a otras naciones que un estado valora desplegar sistemas de IA seguros que operen bajo un control humano efectivo. Los Estados deben evitar mensajes que puedan incentivar a otros Estados a tomar atajos en estos procesos, como las afirmaciones de una "carrera armamentista de IA".
Por último, los estados deben explorar oportunidades para tomar medidas de cooperación que puedan mitigar estos riesgos. Lograr que los adversarios cooperen es intrínsecamente desafiante, pero los estados han logrado en el pasado regular la conducción de la guerra de diversas formas para mitigar el daño mutuo. Las declaraciones conjuntas, los códigos de conducta o las medidas de fomento de la confianza pueden ayudar a reducir los mayores peligros de la competencia de la IA y alentar a los estados a adoptar la IA de manera responsable.59
Estados Unidos ha hecho más hasta la fecha que cualquier otra nación para promover las normas que rodean el uso responsable de la IA, aunque el Departamento de Defensa podría ser más deliberado en su enfoque para abordar los riesgos de la competencia de la IA militar. Los líderes de defensa de EE. UU. Se han centrado principalmente en implementar y demostrar aplicaciones de inteligencia artificial en un esfuerzo por demostrar el valor de la inteligencia artificial en las operaciones militares. Esto es comprensible. El Departamento de Defensa tiene muchos desafíos prácticos para desplegar sistemas de IA incluso en aplicaciones de riesgo relativamente bajo, incluidos problemas con los datos, la infraestructura informática, la contratación y la financiación.60 Sin embargo, puede y debe hacer más para garantizar que, mientras compite en AI, lo hace de una manera que no genera riesgos innecesarios ni socava la estabilidad internacional.
Las señales costosas, como invertir en investigación de seguridad de IA o procesos e infraestructura de TEVV, pueden ser incluso más efectivas para demostrar a otras naciones que un estado valora desplegar sistemas de IA seguros que operen bajo un control humano efectivo.El paso más importante que los líderes de defensa podrían tomar a corto plazo para mitigar los riesgos derivados de la competencia de la IA sería implementar los procesos internos necesarios para garantizar una VETE adecuada de los sistemas de IA. Una evaluación independiente ordenada por el Congreso en 2019 de los esfuerzos de inteligencia artificial del Departamento de Defensa realizada por la Corporación RAND encontró que los procesos actuales de TEVV no estaban "ni cerca de garantizar el rendimiento y la seguridad de las aplicaciones de inteligencia artificial, particularmente en lo que respecta a los sistemas críticos para la seguridad", y emitió recomendaciones para abordar esta brecha.61 De manera similar, un estudio independiente de 2020 dirigido por Michèle Flournoy y Avril Haines identificó una serie de pasos procesables que el departamento podría tomar para mejorar su IA TEVV.62 La Comisión Nacional de Seguridad en IA también concluyó que “la TEVV del legado tradicional sistemas no es suficiente "para proporcionar una garantía adecuada para los sistemas de IA, y que" se necesitará un tipo completamente nuevo de TEVV ".63 El informe emitió una serie de recomendaciones para mejorar la IA TEVV y establecer una" confianza justificada en los sistemas de IA "64.
El Departamento de Defensa debería adoptar las recomendaciones de estos informes para mejorar AI TEVV, un paso que no solo reforzaría la seguridad de sus sistemas de inteligencia artificial, sino también su efectividad. Además de aumentar los recursos y llamar la atención de los altos directivos, la mejora de la TEVV requerirá cambiar la forma en que los líderes superiores del Departamento de Defensa piensan sobre la construcción de sistemas de IA robustos, confiables y efectivos. A veces, los líderes de la defensa de alto nivel han caracterizado la seguridad y la ética como un obstáculo con el que Estados Unidos tiene que lidiar y que sus adversarios no lo hacen.65 Si bien es indudable que Rusia y China están menos preocupados por la ética, la seguridad o el derecho internacional que el Estados Unidos, garantizar que los sistemas de inteligencia artificial militares operen de manera efectiva y de una manera que sea consistente con la intención humana es una fortaleza a largo plazo, incluso si se necesitan procesos de TEVV más rigurosos a corto plazo para lograr ese objetivo.
Otro elemento para mitigar los riesgos de la competencia de la IA militar es con respecto a cómo los estados caracterizan a la IA. Los mensajes de EE. UU. Han sido consistentes y firmes sobre la necesidad de un uso responsable, legal, ético y seguro de la IA.66 Sin embargo, en sus mensajes, los formuladores de políticas de EE. UU. Se han abstenido con frecuencia de resaltar los riesgos de la competencia de IA militar, como los descritos en Este artículo. A veces, han enfatizado un deseo de velocidad que podría alimentar las preocupaciones del dilema de seguridad sobre una carrera hacia el campo que podría socavar la seguridad. En su artículo de 2020 Wired, Will Roper escribió: “Nuestra nación debe despertar rápido. Lo único peor que temer a la IA en sí es temer no tenerla ”67. Si bien pidió usar la IA“ de manera segura y eficaz ”, su énfasis primordial fue que el Departamento de Defensa se moviera más rápido.68
Es bastante comprensible que los legisladores estadounidenses que trabajan para acelerar la adopción de la inteligencia artificial en una burocracia esclerótica y de movimiento lento puedan estar reacios para retratar la tecnología como inmadura, no preparada o poco confiable. Además, los legisladores estadounidenses pueden temer que resaltar los riesgos de la IA militar podría contribuir a que los ingenieros de IA se nieguen a trabajar con los militares, incluso si esos temores son infundados.69 Sin embargo, al igual que otras tecnologías emergentes, como las redes informáticas, se abrieron nuevos desafíos estratégicos en En la forma de operaciones cibernéticas, los analistas de defensa deberían comenzar a pensar ahora en las formas en que la IA puede complicar la estabilidad internacional. Un reconocimiento directo de los riesgos de la competencia de IA militar es el primer paso hacia una estrategia de competir inteligentemente mientras se abordan esos riesgos. Reconocer los riesgos de la competencia de la IA militar no significa que Estados Unidos deba abstenerse de adoptar la IA más que reconocer los riesgos de estabilidad de competir en el espacio, el ciberespacio o las armas nucleares requiere un desarme unilateral en esas esferas. La respuesta de Estados Unidos a estos riesgos no debería ser abstenerse de la competencia de IA, sino más bien moldear el carácter de la competencia para que los estados, como mínimo, sean conscientes de estos riesgos.
La Comisión de Seguridad Nacional sobre IA ha demostrado cómo podría ser un enfoque de este tipo en la práctica. El informe de más de 700 páginas de la comisión emitió amplias recomendaciones para mejorar la competitividad de EE. UU. En IA y adopción militar, pero también dedicó un capítulo completo a "Sistemas de armas autónomos y riesgos asociados con la guerra habilitada por IA" .70 Con respecto a las preocupaciones de seguridad, el informe admitido:
Es probable que Rusia y China coloquen sistemas habilitados por IA que se han sometido a TEVV menos rigurosos que los sistemas estadounidenses comparables y pueden ser inseguros o poco confiables ... Estados Unidos debería ... destacar cómo la implementación de sistemas inseguros podría arriesgarse a una escalada inadvertida del conflicto [y] enfatizar la necesidad de realizar una TEVV.71 rigurosa
La comisión emitió una serie de recomendaciones para mitigar los riesgos de la competencia de IA, incluida la mejora de los procesos de TEVV del Departamento de Defensa y el trabajo con aliados para desarrollar "estándares internacionales de práctica para el desarrollo, prueba y uso de sistemas de armas autónomos y habilitados para IA" para reducir el riesgo de accidentes.72
Recientemente, el Departamento de Defensa ha tomado medidas positivas para enfatizar la seguridad de la IA y mejorar los procesos de TEVV. En mayo de 2021, la subsecretaria de Defensa Kathleen Hicks emitió un memorando sobre la implementación de la "IA responsable". El memorando lanzó una serie de estructuras burocráticas internas, que incluyen "establecer un marco de prueba y evaluación y verificación y validación que integra monitoreo en tiempo real, métricas de confianza de algoritmos y comentarios de los usuarios para garantizar capacidades de inteligencia artificial confiables y confiables" .73 Además, en público comentarios Hicks enfatizó la importancia de la “seguridad” de la IA. 74 Estos son pasos importantes y valiosos hacia el establecimiento de los procesos burocráticos necesarios para garantizar que los sistemas de IA militares de EE. UU. sean robustos y confiables, además de establecer un tono constructivo públicamente. Estados Unidos ha estado activo en la promulgación de normas sobre el uso responsable de la IA militar. Un enfoque deliberado para reconocer y mitigar los riesgos de la competencia de la IA no tiene por qué producirse a expensas de la adopción de la IA para mejorar la eficacia militar.
Idealmente, una evaluación franca de los riesgos de la competencia de la IA y la transparencia de los EE. UU. sobre las medidas que está tomando para mitigar estos riesgos abriría la puerta a medidas de cooperación entre los competidores. Puede haber una variedad de medidas de fomento de la confianza que los estados podrían adoptar para reducir los riesgos de la competencia de la IA.75 Ya se están llevando a cabo diálogos de “Vía II” entre expertos académicos para comprender mejor estos riesgos y posibles medidas de cooperación. Los futuros diálogos directos de gobierno a gobierno podrían explorar si existe la oportunidad de un terreno común. Las medidas de cooperación para reducir el riesgo dependerán de que otros estados como Rusia y China se comprometan de buena fe. Sin embargo, no hay garantía de que lo hagan. Lo que Estados Unidos puede hacer es mejorar sus propios procesos internos para AI TEVV y garantizar la responsabilidad humana. Estados Unidos también debería articular públicamente por qué sería beneficioso para otros estados cooperar para evitar algunos de estos riesgos mutuos. Incluso cuando Estados Unidos adopte la inteligencia artificial para mejorar su defensa nacional, debería tomar medidas, e incentivar a otros a que lo hagan también, para garantizar que los sistemas militares de inteligencia artificial sean seguros y que la guerra permanezca bajo un control humano efectivo.
