Varios académicos e expertos en políticas propuxeron que o International Science Council -coa súa pluralidade de membros das ciencias sociais e naturais- estableza un proceso para producir e manter un marco/lista de verificación anotado dos riscos, beneficios, ameazas e oportunidades. asociadas con tecnoloxías dixitais en rápido movemento, incluída, pero non limitada a, a IA. O propósito da lista de verificación sería informar a todas as partes interesadas, incluídos os gobernos, os negociadores comerciais, os reguladores, a sociedade civil e a industria, dos posibles escenarios futuros, e establecería como poderían considerar as oportunidades, beneficios, riscos e outras cuestións.
O ISC ten o pracer de presentar este documento de debate sobre a avaliación das tecnoloxías dixitais e relacionadas en rápido desenvolvemento. A intelixencia artificial, a bioloxía sintética e as tecnoloxías cuánticas son excelentes exemplos de innovación, informada pola ciencia, emerxendo a un ritmo sen precedentes. Pode ser un reto anticipar sistemáticamente non só as súas aplicacións, senón tamén as súas implicacións.
Avaliar os aspectos sociais da IA xerativa, como os grandes modelos lingüísticos, que previsiblemente representan a maior parte deste documento de discusión, é unha ponte necesaria dentro do discurso actual, ás veces impulsado polo pánico, outras non o suficientemente profundo no pensamento, e os cursos necesarios de acción que podemos tomar. O ISC está convencido de que é necesario un marco analítico entre a aceptación social destas novas tecnoloxías e a súa posible regulación para facilitar as discusións de múltiples partes interesadas que son necesarias para tomar decisións informadas e responsables sobre como optimizar os beneficios sociais desta tecnoloxía en rápida emerxencia.
O ISC está aberto ás reaccións da nosa comunidade a través deste documento de debate co fin de avaliar a mellor forma de seguir formando parte e contribuíndo ao debate sobre a tecnoloxía.
Salvatore Aricò, CEO
Un documento de discusión ISC
Un marco para avaliar tecnoloxías dixitais e relacionadas en rápido desenvolvemento: intelixencia artificial, grandes modelos lingüísticos e máis aló
Este documento de debate proporciona o esquema dun marco inicial para informar as múltiples discusións globais e nacionais que teñen lugar relacionadas coa IA.
Descarga o informeNovo! Le a versión de 2024 para os responsables políticos cun marco descargable para a súa organización.
Unha guía para os responsables políticos: avaliación de tecnoloxías en rápido desenvolvemento, incluíndo IA, grandes modelos lingüísticos e máis alá
Este documento de debate proporciona o esquema dun marco inicial para informar as múltiples discusións globais e nacionais que teñen lugar relacionadas coa IA.
Contidos
introdución
As tecnoloxías emerxentes rapidamente presentan problemas desafiantes no que se refire á súa gobernanza e á súa potencial regulación. As políticas e os debates públicos sobre a intelixencia artificial (IA) e o seu uso fixeron que estes temas se centren de forma aguda. Aínda que a UNESCO, a OCDE e outros promulgaron principios amplos para a IA, e hai discusións incipientes sobre a regulación global ou xurisdicional da tecnoloxía, hai unha brecha ontolóxica entre o desenvolvemento de principios de alto nivel e a súa incorporación á normativa, políticas, enfoques de gobernanza e administración. Aquí é onde a comunidade científica non gobernamental podería ter un papel particular.
Varios académicos e expertos en políticas propuxeron que o International Science Council (ISC) -coa súa pluralidade de membros das ciencias sociais e naturais- estableza un proceso para producir e manter un marco/lista de verificación anotado dos riscos, beneficios, ameazas e oportunidades asociadas ás tecnoloxías dixitais que se moven rapidamente, incluída, pero non limitada a, a IA. O propósito da lista de verificación sería informar a todas as partes interesadas, incluídos os gobernos, os negociadores comerciais, os reguladores, a sociedade civil e a industria, dos posibles escenarios futuros, e establecería como poderían considerar as oportunidades, os beneficios, os riscos e outras cuestións.
Os resultados non actuarían como un órgano de avaliación, senón como un marco analítico adaptativo e en evolución que podería sustentar calquera avaliación e procesos normativos que poidan desenvolver as partes interesadas, incluídos os gobernos e o sistema multilateral. Calquera marco analítico debería desenvolverse idealmente independentemente das reivindicacións gobernamentais e da industria, dados os seus intereses comprensibles. Tamén debe ser o máximo pluralista nas súas perspectivas, abarcando así todos os aspectos da tecnoloxía e as súas implicacións.
Este documento de debate proporciona o esquema dun marco inicial para informar as múltiples discusións globais e nacionais que teñen lugar relacionadas coa IA.
Antecedentes: por que un marco analítico?
A rápida aparición dunha tecnoloxía coa complexidade e as implicacións da intelixencia artificial está impulsando moitas afirmacións de grandes beneficios. Non obstante, tamén provoca medos a riscos significativos, desde o nivel individual ata o xeoestratéxico. Gran parte da discusión adoita ter lugar nos extremos extremos do espectro de opinións, e é necesario un enfoque máis pragmático. A tecnoloxía da intelixencia artificial seguirá evolucionando e a historia mostra que practicamente todas as tecnoloxías teñen usos beneficiosos e prexudiciais. A pregunta é, polo tanto: como podemos conseguir resultados beneficiosos con esta tecnoloxía, reducindo ao mesmo tempo o risco de consecuencias prexudiciais, algunhas das cales poderían ser de magnitude existencial?
O futuro é sempre incerto, pero hai suficientes voces creíbles e expertas sobre a IA e a IA xerativa para fomentar un enfoque relativamente precautorio. Ademais, é necesario un enfoque de sistemas, porque a IA é unha clase de tecnoloxías con amplo uso e aplicación por varios tipos de usuarios. Isto significa que hai que ter en conta o contexto completo ao considerar as implicacións da IA para os individuos, a vida social, a vida cívica, a vida social e no contexto global.
A diferenza da maioría das tecnoloxías pasadas, as tecnoloxías dixitais e relacionadas teñen un período de tempo moi curto desde o seu desenvolvemento ata o lanzamento, en gran parte impulsado polos intereses das produtoras ou axencias. A IA está moi extendida; algunhas propiedades só poden aparecer despois do lanzamento, e a tecnoloxía pode ter aplicacións tanto malévolas como benévolas. As dimensións de valores importantes influirán na forma en que se percibe calquera uso. Ademais, pode haber intereses xeoestratéxicos en xogo.
Ata a data, a regulación dunha tecnoloxía virtual foi vista en gran medida a través da lente dos "principios" e do cumprimento voluntario. Máis recentemente, con todo, a discusión volveuse a cuestións de gobernanza nacional e multilateral, incluíndo o uso de ferramentas normativas e outras políticas. As afirmacións a favor ou en contra da IA adoitan ser hiperbólicas e, dada a natureza da tecnoloxía, difíciles de avaliar. Establecer un sistema de regulación tecnolóxico global ou nacional eficaz será un reto, e serán necesarias múltiples capas de toma de decisións informadas sobre o risco ao longo da cadea, desde o inventor ao produtor, ao usuario, ao goberno e ao sistema multilateral.
Aínda que os principios de alto nivel foron promulgados pola UNESCO, a OCDE e a Comisión Europea, entre outros, e están en curso varias discusións de alto nivel sobre cuestións de regulación potencial, existe unha gran brecha ontolóxica entre tales principios e un marco de goberno ou regulación. Cal é a taxonomía de consideracións que un regulador podería ter que considerar? Non sería prudente un encadramento estreito, dadas as amplas implicacións destas tecnoloxías. Este potencial foi obxecto de moitos comentarios, tanto positivos como negativos.
O desenvolvemento dun marco analítico
O ISC é a principal ONG global que integra as ciencias naturais e sociais. O seu alcance global e disciplinario significa que está ben situado para xerar asesoramento independente e globalmente relevante para informar as complexas eleccións por diante, especialmente porque as voces actuais neste ámbito son en gran parte da industria ou das principais potencias tecnolóxicas. Tras unha extensa discusión durante os últimos meses, incluíndo a consideración dun proceso de avaliación non gobernamental, o ISC concluíu que a súa contribución máis útil sería producir e manter un marco analítico adaptativo que poida ser usado como base para o discurso e a toma de todas as partes interesadas, incluso durante calquera proceso de avaliación formal que xurda.
Este marco tomaría a forma dunha lista de verificación global que podería ser utilizada tanto por institucións gobernamentais como por institucións non gobernamentais. O marco identifica e explora o potencial dunha tecnoloxía como a IA e os seus derivados a través dunha lente ampla que abarca o benestar humano e social, así como factores externos, como a economía, a política, o medio ambiente e a seguridade. Algúns aspectos da lista de verificación poden ser máis relevantes que outros, dependendo do contexto, pero é máis probable tomar mellores decisións se se consideran todos os dominios. Este é o valor inherente dun enfoque de lista de verificación.
O marco proposto deriva de traballos e pensamentos anteriores, incluído o informe de benestar dixital da Rede Internacional de Asesoramento Científico Gubernamental (INGSA).1 e o Marco de clasificación da IA da OCDE2 presentar a totalidade das oportunidades, riscos e impactos potenciais da IA. Estes produtos anteriores foron máis restrinxidos na súa intención dado o seu tempo e contexto, é necesario un marco global que presente toda a gama de problemas tanto a curto como a longo prazo.
Aínda que se desenvolveu para a consideración da IA, este marco analítico podería aplicarse a calquera tecnoloxía que emerxe rapidamente. As cuestións agrúpanse amplamente nas seguintes categorías para un posterior exame:
Inclúese unha lista de consideracións para cada unha das categorías anteriores xunto coas súas respectivas oportunidades e consecuencias. Algúns son relevantes para casos ou aplicacións específicas de IA, mentres que outros son xenéricos e independentes da plataforma ou do uso. Ningunha consideración incluída aquí debe ser tratada como unha prioridade e, como tal, todas deben ser examinadas.
Como se podería utilizar este marco?
Este marco podería utilizarse das seguintes formas, entre outras:
A seguinte táboa é unha configuración inicial das dimensións dun marco analítico. Dependendo da tecnoloxía e do seu uso, algúns compoñentes serán máis relevantes que outros. Os exemplos ofrécense para ilustrar por que cada dominio pode importar; no contexto, o marco requiriría unha expansión contextualmente relevante. Tamén é importante distinguir entre os desenvolvementos da plataforma e os problemas xenéricos que poden xurdir durante aplicacións específicas.
Dimensións a ter en conta á hora de avaliar unha nova tecnoloxía
| Esbozo inicial das dimensións que poderían ter que ser consideradas á hora de avaliar unha nova tecnoloxía | ||
| Dimensións do impacto | Criterios | Exemplos de como isto pode reflectirse na análise |
| Individual / propio | Competencia de IA dos usuarios | Que tan competentes e conscientes das propiedades do sistema son os usuarios probables que interactuarán co sistema? Como se lles proporcionará a información e as advertencias pertinentes do usuario? |
| Persoas interesadas afectadas | Quen son os principais interesados que se verán afectados polo sistema (é dicir, persoas, comunidades, traballadores vulnerables, sectoriais, nenos, responsables políticos, profesionais)? | |
| Opcionalidade | Os usuarios teñen a opción de desactivar o sistema? deberían darlles oportunidades para desafiar ou corrixir a saída? | |
| Riscos para os dereitos humanos e os valores democráticos | Podería o sistema impactar (e en que dirección) nos dereitos humanos, incluíndo, entre outros, a privacidade, a liberdade de expresión, a equidade, o risco de discriminación, etc.? | |
| Efectos potenciais sobre o benestar das persoas | Podería o sistema afectar (e en que dirección) o benestar do usuario individual (é dicir, a calidade do traballo, a educación, as interaccións sociais, a saúde mental, a identidade, o medio ambiente)? | |
| Potencial de desprazamento laboral humano | Existe potencial para que o sistema automatice tarefas ou funcións que estaban a ser executadas por humanos? En caso afirmativo, cales son as consecuencias posteriores? | |
| Potencial de manipulación da identidade, dos valores ou do coñecemento | O sistema está deseñado ou potencialmente capaz de manipular a identidade do usuario ou os valores establecidos, ou difundir desinformación? Existe o potencial de afirmacións de pericia falsas ou non verificables? | |
| Medidas de autoestima | Hai presión para retratar un eu idealizado? Podería a automatización substituír a sensación de realización persoal? Hai presión para competir co sistema no lugar de traballo? Faise máis difícil protexer a reputación individual contra a desinformación? | |
| privacidade | Existen responsabilidades difusas para salvagardar a privacidade e hai algunha suposición sobre como se utilizan os datos persoais? | |
| Autonomía | Podería o sistema afectar á autonomía humana xerando unha dependencia excesiva da tecnoloxía por parte dos usuarios finais? | |
| Desenvolvemento humano | Hai un impacto na adquisición de habilidades clave para o desenvolvemento humano, como funcións executivas, habilidades interpersoais, cambios no tempo de atención que afectan a aprendizaxe, desenvolvemento da personalidade, problemas de saúde mental, etc.? | |
| Asistencia sanitaria persoal | Existen reclamacións de solucións de atención sanitaria personalizadas? En caso afirmativo, están validados segundo os estándares regulamentarios? | |
| Mental health | Existe o risco de aumentar a ansiedade, a soidade ou outros problemas de saúde mental, ou pode a tecnoloxía mitigar tales impactos? | |
| Evolución humana | Podería a tecnoloxía levar a cambios na evolución humana? | |
| Dimensións do impacto | Criterios | descrición |
| Sociedade/vida social | Valores sociais | O sistema cambia fundamentalmente a natureza da sociedade ou permite a normalización de ideas antes consideradas antisociais, ou incumpre os valores sociais da cultura na que se está aplicando? |
| Interacción social | Hai algún efecto no contacto humano significativo, incluídas as relacións emocionais? | |
| Equidade | É probable que a aplicación/tecnoloxía reduza ou mellore as desigualdades (é dicir, económicas, sociais, educativas, xeográficas)? | |
| Saúde da poboación | Existe potencial para o sistema para avanzar ou socavar as intencións de saúde da poboación? | |
| Expresión cultural | É probable ou máis difícil abordar un aumento da apropiación cultural ou da discriminación? A dependencia do sistema para a toma de decisións pode excluír ou marxinar sectores da sociedade? | |
| Educación pública | Hai algún efecto nos roles do profesorado ou nas institucións educativas? O sistema fai fincapé ou reduce a desigualdade entre o alumnado e a fenda dixital? Está avanzado ou minado o valor intrínseco do coñecemento ou da comprensión crítica? | |
| Realidades distorsionadas | Os métodos que usamos para discernir o que é verdade aínda son aplicables? Está comprometida a percepción da realidade? | |
| Contexto económico (comercio) | Sector industrial | En que sector industrial está implantado o sistema (é dicir, finanzas, agricultura, sanidade, educación, defensa)? |
| Modelo de negocio | En que función empresarial se emprega o sistema e en que funcións? Onde se utiliza o sistema (privado, público, sen ánimo de lucro)? | |
| Impacto nas actividades críticas | A interrupción da función ou actividade do sistema afectaría aos servizos esenciais ou ás infraestruturas críticas? | |
| Alento de despregamento | Como se implanta o sistema (de forma estreita dentro dunha organización fronte ao xeneralizado a nivel nacional/internacional)? | |
| Madurez técnica (TRL) | Que tan maduro está tecnicamente o sistema? | |
| Soberanía tecnolóxica | A tecnoloxía impulsa unha maior concentración da soberanía tecnolóxica? | |
| Redistribución da renda e pancas fiscais nacionais | Poderíanse comprometer os papeis fundamentais do estado soberano (é dicir, os bancos de reserva)? ¿Avanzarase ou reducirase a capacidade do Estado para satisfacer as expectativas e as implicacións dos cidadáns (é dicir, sociais, económicas, políticas)? | |
| Dimensións do impacto | Criterios | descrición |
| Vida cívica | Gobernanza e servizo público | Os mecanismos de goberno e os sistemas de goberno global poderían verse afectados positiva ou negativamente? |
| Medios informativos | É probable que o discurso público se polarize máis ou menos e se afiance a nivel poboacional? Haberá un efecto nos niveis de confianza nos medios? A ética do xornalismo convencional e os estándares de integridade veranse aínda máis afectados? | |
| Estado de dereito | Haberá un efecto sobre a capacidade de identificar individuos ou organizacións para responsabilizarse (é dicir, que tipo de responsabilidade asignar a un algoritmo para os resultados adversos)? Crea isto unha perda de soberanía (é dicir, ambiental, fiscal, social, ética)? | |
| Política e cohesión social | Hai unha posibilidade de visións políticas máis arraigadas e menos oportunidades de construción de consenso? Existe a posibilidade de marxinar aínda máis os grupos? Son máis ou menos probables os estilos políticos adversarios? | |
| Contexto xeoestratéxico/ xeopolítico | Vixilancia de precisión | Os sistemas están adestrados en datos de comportamento e biolóxicos individuais e, de ser así, poderían utilizarse para explotar individuos ou grupos? |
| Colonización dixital | Son os actores estatais ou non estatais capaces de aproveitar sistemas e datos para comprender e controlar as poboacións e os ecosistemas doutros países, ou para socavar o control xurisdicional? | |
| Competencia xeopolítica | ¿Afecta o sistema a competencia entre as nacións e as plataformas tecnolóxicas para o acceso a datos individuais e colectivos con fins económicos ou estratéxicos? | |
| Comercio e acordos comerciais | O sistema ten implicacións para os acordos comerciais internacionais? | |
| Cambio de poderes globais | ¿Está ameazado o status dos Estados-nación como actores xeopolíticos primarios do mundo? As empresas tecnolóxicas exercerán o poder antes reservado para os estados-nación e estase convertendo en actores soberanos independentes? | |
| Desinformación | É máis doado para os actores estatais e non estatais producir e difundir desinformación que incida na cohesión social, na confianza e na democracia? | |
| Ambiental | Consumo de enerxía e recursos (pegada de carbono) | O sistema e os requisitos aumentan o consumo de enerxía e recursos por riba das ganancias de eficiencia obtidas a través da aplicación? |
| Dimensións do impacto | Criterios | descrición |
| Datos e entrada | Detección e recollida | Os datos e as entradas son recollidos por humanos, sensores automatizados ou ambos? |
| Procedencia dos datos | No que respecta aos datos, son proporcionados, observados, sintéticos ou derivados? Existen proteccións de marca de auga para confirmar a procedencia? | |
| Carácter dinámico dos datos | Os datos son dinámicos, estáticos, actualízanse de cando en vez ou en tempo real? | |
| Dereitos | Os datos son propietarios, públicos ou persoais (é dicir, relacionados con persoas identificables)? | |
| Identificación dos datos persoais | Se son datos persoais, son anónimos ou pseudónimos? | |
| Estrutura dos datos | Os datos están estruturados, semiestruturados, complexos ou non? | |
| Formato dos datos | O formato dos datos e metadatos está estandarizado ou non? | |
| Escala dos datos | Cal é a escala do conxunto de datos? | |
| Adecuación e calidade dos datos | O conxunto de datos é adecuado para o propósito? O tamaño da mostra é o adecuado? É o suficientemente representativo e completo? Que ruidosos son os datos? É propenso a erros? | |
| modelo | Dispoñibilidade da información | Hai información dispoñible sobre o modelo do sistema? |
| Tipo de modelo de IA | O modelo é simbólico (regras xeradas por humanos), estatístico (utiliza datos) ou híbrido? | |
| Dereitos asociados ao modelo | O modelo é de código aberto ou propietario, xestionado por conta propia ou por terceiros? | |
| Modelos únicos ou múltiples | O sistema está composto por un modelo ou por varios modelos interconectados? | |
| Xerativo ou discriminatorio | O modelo é xerador, discriminatorio ou ambos? | |
| Edificio modelo | O sistema aprende baseándose en regras escritas por humanos, a partir de datos, a través da aprendizaxe supervisada ou a través da aprendizaxe de reforzo? | |
| Evolución do modelo (deriva da IA) | O modelo evoluciona e/ou adquire habilidades ao interactuar cos datos no campo? | |
| Aprendizaxe central ou federada | O modelo está adestrado de forma centralizada ou en varios servidores locais ou dispositivos "de borde"? | |
| Desenvolvemento e mantemento | O modelo é universal, personalizable ou adaptado aos datos do actor da IA? | |
| Determinista ou probabilístico | O modelo utilízase de forma determinista ou probabilística? | |
| Transparencia do modelo | Hai información dispoñible para os usuarios para permitirlles comprender os resultados e limitacións do modelo ou as restricións de uso? | |
| Limitación computacional | Existen limitacións computacionais no sistema? Podemos prever saltos de capacidade ou leis de escala? | |
| Dimensións do impacto | Criterios | descrición |
| Tarefa e saída | Tarefa(s) realizada(s) polo sistema | Que tarefas realiza o sistema (é dicir, recoñecemento, detección de eventos, predición)? |
| Combinando tarefas e accións | O sistema combina varias tarefas e accións (é dicir, sistemas de xeración de contidos, sistemas autónomos, sistemas de control)? | |
| Nivel de autonomía do sistema | Que autónomos son as accións do sistema e que papel xogan os humanos? | |
| Grao de implicación humana | Hai algunha implicación humana para supervisar a actividade xeral do sistema de IA e a capacidade de decidir cando e como usar o sistema en calquera situación? | |
| Aplicación básica | Pertence o sistema a unha área de aplicación básica como as tecnoloxías da linguaxe humana, a visión por ordenador, a automatización e/ou optimización ou a robótica? | |
| Avaliación | Existen estándares ou métodos dispoñibles para avaliar a saída do sistema ou tratar propiedades emerxentes imprevistas? | |
Chave a fontes dos descritores
texto claro:
Gluckman, P. e Allen, K. 2018. Comprender o benestar no contexto das rápidas transformacións dixitais e asociadas. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
Texto en negrita:
OCDE. 2022. Marco da OCDE para a Clasificación de sistemas de IA. Documentos de economía dixital da OCDE, n.o 323, Editorial OCDE, París. https://oecd.ai/en/classification
Texto itálico:
Novos descritores (de varias fontes)
Un camiño a seguir
Dependendo da resposta a este documento de discusión, o ISC formaría un grupo de traballo de expertos para desenvolver ou modificar o marco analítico anterior mediante o cal as partes interesadas poidan analizar de forma exhaustiva calquera desenvolvemento significativo das plataformas ou das dimensións de uso. O grupo de traballo sería disciplinaria, xeográfica e demográficamente diversa, con experiencia que abarca desde a avaliación da tecnoloxía ata as políticas públicas, desde o desenvolvemento humano ata a socioloxía e os estudos de futuros e tecnoloxía.
Para participar con este documento de debate, visite consello.ciencia/publicacións/marco-tecnoloxías-dixitais
Grazas
Moitas persoas foron consultadas na elaboración deste documento, que foi redactado por Sir Peter Gluckman, presidente do ISC e Hema Sridhar, exxefa científica do Ministerio de Defensa e agora investigadora sénior da Universidade de Auckland (Nova Zelandia).
En particular, agradecemos a Lord Martin Rees, antigo presidente da Royal Society e cofundador do Center for the Study of Existential Risks, da Universidade de Cambridge; o profesor Shivaji Sondhi, profesor de Física da Universidade de Oxford; o profesor K Vijay Raghavan, antigo conselleiro científico principal do Goberno da India; Amandeep Singh Gill, enviado do secretario xeral da ONU para a tecnoloxía; o doutor Seán Óh Éigeartaigh, director executivo do Centro para o Estudo dos Riscos Existenciais da Universidade de Cambridge; Amanda-June Brawner, asesora senior de políticas e Ian Wiggins, director de Asuntos Internacionais da Royal Society UK; o doutor Jerome Duberry, a doutora Marie-Laure Salles, directora do Instituto de posgrao de Xenebra; Chor Pharn Lee, Centro de Futuros Estratéxicos, Oficina do Primeiro Ministro, Singapur; Barend Mons e o doutor Simon Hodson, o Comité de Datos (CoDATA); a profesora Yuko Harayama, Xapón; o profesor Rémi Quirion, presidente do INGSA; a doutora Claire Craig, da Universidade de Oxford e antiga xefa de Prospección da Oficina de Ciencia do Goberno; e o profesor Yoshua Bengio, Consello Asesor Científico do Secretario Xeral da ONU e da Universidade de Montreal. O enfoque da lista de verificación foi xeralmente aprobado e subliñou a puntualidade de calquera acción do ISC.
Imaxe: adamichi en iStock
Ler máis sobre O traballo silencioso da transformación: ciencia e enxeñaría no salto decisivo cara a 2030 
Ler máis sobre Da ciencia á acción: aproveitar o coñecemento científico e as solucións para avanzar nun desenvolvemento sostible e resiliente 
Ler máis acerca de The Contextualization Déficit: Reframing Trust in Science for Multilateral Policy 