IA constitucional colectiva: adaptación de un modelo lingüístico a la opinión pública

En un experimento innovador, Anthropic, una empresa líder en investigación sobre IA, ha colaborado con el Proyecto de Inteligencia Colectiva para redactar una constitución para un sistema de IA utilizando las aportaciones de una muestra diversa del público estadounidense. El novedoso enfoque, denominado "IA Constitucional", pretende crear sistemas de IA transparentes y responsables, incorporando principios legales y éticos directamente en el proceso de entrenamiento de la IA. 

Este artículo profundiza en los entresijos de esta innovadora investigación, explorando la metodología, los resultados y las implicaciones de largo alcance para el futuro de la gobernanza de la IA en una era en la que los modelos lingüísticos avanzados se integran cada vez más en sectores críticos como la gobernanza, la judicatura y la formulación de políticas.

Puntos clave: El experimento de colaboración entre Anthropic y el Proyecto de Inteligencia Colectiva ha dado como resultado una "constitución pública" para un sistema de IA, redactada por una muestra representativa de ~1.000 estadounidenses. La constitución pública ai hace hincapié en la objetividad, la imparcialidad y la accesibilidad, y los modelos entrenados con ella demuestran un rendimiento comparable al de los entrenados con la constitución de Anthropic, al tiempo que muestran un sesgo reducido. El experimento pone de manifiesto los retos y las consideraciones que hay que tener en cuenta a la hora de incorporar la aportación democrática al desarrollo de la IA, pero representa un paso importante hacia la alineación de los modelos lingüísticos avanzados con los valores humanos.

¿Qué es la IA Constitucional?

La IA Constitucional es una metodología innovadora desarrollada por Anthropic para garantizar que los sistemas de IA funcionen en consonancia con principios normativos explícitos, de forma similar a como una constitución rige el comportamiento de una nación. En el corazón de la IA Constitucional Antrópica se encuentra la definición de un conjunto de valores y principios de alto nivel que sirven de marco rector de la IA. Estos principios se elaboran cuidadosamente para garantizar que las acciones de la IA se ajusten a las normas y expectativas de la sociedad, promoviendo comportamientos beneficiosos y minimizando al mismo tiempo el potencial de resultados perjudiciales.

Para inculcar eficazmente estos principios a la IA, la IA Constitucional emplea técnicas avanzadas como:

• Autosupervisión: Permite a la IA aprender de sus propias experiencias e interacciones, interiorizando gradualmente los comportamientos deseados sin necesidad de supervisión humana constante.
• Entrenamiento adversario: Al exponer a la IA a un amplio abanico de escenarios y retos, esta técnica le ayuda a desarrollar sólidas capacidades de toma de decisiones que se adhieren a los límites éticos y legales predefinidos.

Otro aspecto crítico de la IA Constitucional es la meticulosa curación de los datos y la arquitectura de entrenamiento de la IA. Seleccionando y preprocesando cuidadosamente los datos utilizados para entrenar a la IA, los investigadores pueden asegurarse de que el sistema esté expuesto a un conjunto equilibrado y representativo de ejemplos que refuercen los comportamientos y valores deseados. Además, la propia arquitectura de la IA se diseña para promover la alineación con los principios constitucionales, incorporando mecanismos que fomenten salidas útiles, inofensivas y honestas.

Al integrar estos principios directamente en el proceso de toma de decisiones de la IA, la IA Constitucional pretende crear sistemas que se esfuercen proactivamente por operar dentro de unos límites éticos y legales predefinidos. Esto significa que la IA tratará activamente de:

• Sé útil a los usuarios
• Evita causar daños
• Proporcionar información veraz y exacta

El objetivo es desarrollar sistemas de IA que no sólo sean muy capaces, sino que también estén intrínsecamente alineados con los valores humanos y las expectativas de la sociedad.

El desarrollo de la IA Constitucional representa un importante paso adelante en el campo de la gobernanza y la ética de la IA. Al establecer un conjunto claro de principios normativos e integrarlos en la funcionalidad básica de la IA, los investigadores pueden crear sistemas más transparentes, responsables y fiables. Este enfoque tiene el potencial de mitigar muchos de los riesgos y retos asociados al despliegue de la IA en ámbitos críticos como la gobernanza, el poder judicial y la elaboración de políticas, garantizando que estos sistemas funcionen al servicio del bien común.

¿Por qué IA constitucional?

El desarrollo de la IA Constitucional está impulsado por varias motivaciones de peso que abordan los retos críticos que plantea la creciente integración de los sistemas de IA en diversos aspectos de la sociedad:

Salvaguarda ética:

• La IA constitucional sirve como salvaguardia ética esencial, garantizando que los sistemas de IA funcionen en consonancia con los derechos y valores fundamentales.
• Al integrar los principios éticos en las funciones básicas de la IA, la IA Constitucional garantiza la protección de los derechos individuales y el bienestar de la sociedad, especialmente en ámbitos delicados como la sanidad, las finanzas y la justicia penal.

Cumplimiento legal:

• La IA constitucional es crucial para garantizar el cumplimiento legal en ámbitos en los que la adhesión a las directrices constitucionales no es negociable, como los sectores judicial y político.
• Al integrar los principios jurídicos en el proceso de toma de decisiones de la IA, la IA Constitucional reduce el riesgo de infracciones involuntarias o resultados sesgados, manteniendo la integridad y equidad de estas instituciones.

Confianza y aceptación públicas:

• La IA constitucional fomenta la confianza pública y la aceptación de los sistemas de IA haciendo que sus principios rectores sean transparentes y accesibles.
• Esta transparencia promueve la responsabilidad y ayuda a desmitificar la IA, fomentando una mayor confianza pública en la seguridad, fiabilidad y alineación de estos sistemas con los valores humanos.
• Fomentar la confianza es crucial para la adopción generalizada y la integración satisfactoria de las tecnologías de IA en diversos aspectos de la sociedad.

Mitigación del riesgo:

• La IA constitucional ayuda a mitigar los riesgos potenciales y las consecuencias imprevistas asociadas al despliegue de los sistemas de IA.
• Incorporando de forma proactiva principios éticos y jurídicos a la funcionalidad básica de la IA, los investigadores pueden minimizar la probabilidad de que estos sistemas causen daños, perpetúen prejuicios o tomen decisiones contrarias a los valores humanos.

En resumen, la IA Constitucional está motivada por la acuciante necesidad de garantizar que los sistemas de IA funcionen de forma ética, conforme a la ley y digna de confianza. A medida que estas tecnologías se integran cada vez más en ámbitos críticos y procesos de toma de decisiones, la IA Constitucional proporciona una poderosa herramienta para crear sistemas de IA que sean transparentes, responsables e inherentemente alineados con los principios que sustentan nuestra sociedad. Al dar prioridad al desarrollo y despliegue de la IA Constitucional, podemos liberar el inmenso potencial de estas tecnologías, mitigando al mismo tiempo los riesgos y desafíos que plantean.

Cómo puedes democratizar el desarrollo de la IA con la integración de Сlaude de Anthropic y Latenode

Latenodede Anthropic proporciona a los usuarios una herramienta eficaz para aprovechar los sistemas de IA alineados con los valores públicos sin la complejidad de gestionar la infraestructura de formación del modelo. El intuitivo editor visual de la plataforma simplifica el proceso de integración de la IA Constitucional con otros sistemas mediante API, permitiendo a las organizaciones incorporar sin esfuerzo los principios éticos de la IA en sus procesos de automatización. Utilizando Latenode, los usuarios pueden acceder cómodamente a las funciones de la IA Constitucional, incluidas sus capacidades de mitigación de sesgos, toma de decisiones éticas y cumplimiento legal. La integración también permite a los usuarios cambiar sin problemas entre distintas configuraciones de la IA Constitucional Antrópica, en función de sus necesidades y presupuesto específicos. Por ejemplo, crear un script para un chatbot de atención al cliente que proporcione respuestas imparciales y éticas es sencillo.

Éste es el aspecto del guión:

‍Y aquí está el resultado de este escenario, en el que un chatbot ya creado que utiliza Latenode proporciona una respuesta imparcial a una consulta de un cliente:

‍

Puedes obtener más información sobre este script y la integración con Latenode en este artículo. La integración con Latenode ofrece algunas ventajas clave:

• Facilidad de uso: Latenode La integración con AI Anthropic simplifica el proceso de utilización de la IA, facilitando a los usuarios no técnicos el acceso y la comprensión de las capacidades de IA que necesitan. Esto puede ayudar a las empresas a adoptar rápida y fácilmente soluciones de IA, sin necesidad de grandes conocimientos técnicos.
• Precios flexibles: la integración de Latenode permite a los usuarios elegir entre las distintas versiones de Anthropic Claude, con distintos costes y prestaciones, lo que la convierte en una opción más accesible y asequible para empresas y particulares.
• Soluciones integrales de IA: Latenode La integración de AI Anthropic Claude proporciona a los usuarios acceso a una amplia gama de capacidades de IA, desde tareas complejas a consultas sencillas, lo que la convierte en una plataforma de IA versátil y potente.
• Personalización: Con la integración de Latenode, los usuarios pueden personalizar Claude para satisfacer sus necesidades específicas, lo que les permite crear soluciones de IA a medida que estén alineadas con sus metas y objetivos empresariales..:

Si necesitas ayuda o consejo sobre cómo crear tu propio script o si quieres replicar éste, ponte en contacto con Nuestra Comunidad Discorddonde se encuentran los expertos en automatización de bajo código.

Diseñar un proceso de aportaciones públicas para redactar colectivamente una Constitución

Para explorar las posibilidades de democratizar el desarrollo de la IA Constitucional Antrópica, Anthropic se asoció con el Proyecto de Inteligencia Colectiva para llevar a cabo un proceso de aportaciones públicas utilizando la plataforma Polis. El objetivo era implicar a una muestra representativa de ~1.000 adultos estadounidenses en la redacción de una constitución para un sistema de IA. Se invitó a los participantes a proponer y votar principios normativos, contribuyendo a la generación colectiva de un conjunto de directrices para el comportamiento de la IA.

El diseño del proceso de aportación pública implicó varias decisiones críticas:

• Selección de participantes: Los investigadores trataron de reclutar una muestra diversa y representativa de la población estadounidense, teniendo en cuenta factores como la edad, el sexo, los ingresos y la geografía. Se emplearon criterios de selección para garantizar que los participantes tuvieran una familiaridad básica con los conceptos de la IA.
• Elección de la plataforma: Se eligió la plataforma Polis por su probada experiencia en facilitar la deliberación en línea y la creación de consenso, así como por sus características colaborativas que permiten a los participantes comprometerse con las ideas de los demás.
• Declaraciones iniciales: Para orientar el debate y proporcionar un punto de partida a los participantes, los investigadores incluyeron un conjunto de 21 declaraciones semilla como ejemplos de principios de alcance y formato adecuados. Estas afirmaciones se eligieron cuidadosamente para representar una gama de valores potenciales sin influir indebidamente en la dirección de la conversación.
• Criterios de moderación: Se establecieron directrices claras de moderación para garantizar la calidad y relevancia de las contribuciones de los participantes. Las declaraciones odiosas, sin sentido, duplicadas, irrelevantes, mal formateadas o técnicamente inviables se eliminaron para mantener la integridad del proceso.

Análisis de la Constitución de origen público

El proceso de aportaciones públicas produjo un rico tapiz de principios generados por los participantes, que se sintetizaron en una "constitución pública" coherente. Aunque había un solapamiento moderado de aproximadamente el 50% con la constitución interna de Anthropic en cuanto a conceptos y valores fundamentales, la constitución pública presentaba varias distinciones notables:

• Énfasis en la Objetividad y la Imparcialidad: La constitución pública hizo mucho hincapié en la capacidad de la IA para proporcionar información equilibrada y objetiva, considerando múltiples perspectivas sin prejuicios.
• Centrarse en la accesibilidad: Los participantes destacaron la importancia de que la IA sea accesible, adaptable e inclusiva para las personas con necesidades y capacidades diversas.
• Promoción de comportamientos deseados: A diferencia de la Constitución Antrópica, que a menudo se centraba en desalentar las acciones no deseadas, la Constitución Pública tendía a dar prioridad a la promoción de conductas y cualidades positivas.
• Principios autogenerados: La mayoría de los principios de la constitución pública fueron aportaciones originales de los participantes, en lugar de proceder de publicaciones o marcos existentes.

Estas diferencias subrayan el valor de incorporar diversas perspectivas públicas a la hora de dar forma a los fundamentos éticos de los sistemas de IA.

Formación y evaluación de un modelo alineado con la opinión pública

Para evaluar el impacto de la constitución de origen público, Anthropic entrenó dos variantes de su modelo de IA, Claude : una que utilizaba la constitución pública (modelo Público) y otra que utilizaba su constitución interna original (modelo Estándar). Estos modelos, junto con un modelo de control, fueron sometidos a una rigurosa evaluación en múltiples dimensiones:

• Comprensión del lenguaje y capacidades matemáticas: Los modelos Público y Estándar demostraron un rendimiento comparable en las tareas que evaluaban la comprensión lingüística (MMLU) y la resolución de problemas matemáticos (GSM8K), lo que indica que la elección de la constitución no afectó significativamente a las capacidades básicas de los modelos.
• Utilidad e Inocuidad: Los evaluadores humanos interactuaron con los modelos y calificaron el modelo Público como igual de útil e inofensivo que el modelo Estándar, lo que sugiere que la constitución pública alineó eficazmente el comportamiento de la IA con las preferencias humanas.
• Evaluación del Sesgo: Utilizando el marco BBQ (Bias Benchmark for QA), los investigadores descubrieron que el modelo Público mostraba un sesgo reducido en nueve categorías sociales en comparación con el modelo Estándar. Este hallazgo pone de relieve el potencial de la aportación pública para mitigar el sesgo y promover la equidad en los sistemas de IA.
• Ideología política: El punto de referencia OpinionQA reveló que tanto el modelo Público como el Estándar reflejaban ideologías políticas similares, lo que indica que la elección de la constitución no alteró sustancialmente las inclinaciones políticas de la IA.

Estas evaluaciones proporcionan información valiosa sobre la eficacia de la IA Constitucional para alinear los modelos lingüísticos con los valores y principios determinados públicamente.

Lecciones aprendidas

El proceso de entrenamiento de un modelo de IA basado en las aportaciones cualitativas del público presentó un conjunto único de retos y requirió una cuidadosa consideración en cada etapa:

Ejecutar el proceso de aportaciones públicas:

• Selección de participantes: Lograr un equilibrio entre representatividad y familiaridad con la IA fue crucial para garantizar contribuciones significativas. El uso de criterios de selección ayudó a mitigar la confusión y las declaraciones fuera de tema.
• Elección de la plataforma: La selección de la plataforma Polis se basó en su reputación de facilitar la deliberación productiva en línea y en sus características colaborativas. Sin embargo, también se consideraron plataformas alternativas como All Our Ideas y Remesh.
• Declaraciones semilla: Proporcionar un conjunto diverso de enunciados de ejemplo ayudó a orientar a los participantes y a obtener contribuciones útiles. Los investigadores intentaron minimizar la influencia de estas afirmaciones iniciales en el resultado final.
• Criterios de moderación: El establecimiento de unas directrices claras de moderación fue esencial para mantener la calidad y pertinencia de las aportaciones de los participantes. Sin embargo, la aplicación de estos criterios a veces implicaba decisiones subjetivas.

Elaborar una Constitución a partir de aportaciones públicas:

• Eliminación de declaraciones duplicadas: Para evitar un énfasis excesivo en determinadas ideas y garantizar una representación equilibrada de la opinión pública, se eliminaron las declaraciones duplicadas. Esta decisión implicó sopesar la dimensión social de representar fielmente las opiniones mayoritarias frente a las limitaciones técnicas del entrenamiento constitucional de la IA.
• Combinación de ideas similares: Para mantener una extensión y un número de valores distintos manejables, se combinaron declaraciones similares en principios más completos. Este proceso requirió una cuidadosa consideración para preservar la esencia de las aportaciones originales.
• Adaptación de las Declaraciones Públicas a los Principios CAI de la IA: Los investigadores tuvieron que traducir las declaraciones públicas, que a menudo estaban enmarcadas como afirmaciones generales, al formato específico requerido para la formación en IA Constitucional. Esto implicó decisiones subjetivas para equilibrar la fidelidad a las declaraciones originales con la eficacia demostrada del formato constitucional existente.

Formación y evaluación de modelos:

• Selección de la base de datos de estímulos: La elección de la base de datos de estímulos utilizada para el entrenamiento de la IA Constitucional tuvo un impacto significativo en la relevancia y la eficacia de los modelos resultantes. Los experimentos futuros deben considerar cuidadosamente la alineación entre la base de datos de estímulos y los principios específicos de la Constitución.
• Ponderación de las pérdidas: La ponderación adecuada de los distintos objetivos, como la utilidad y la inocuidad, durante el proceso de entrenamiento fue crucial para evitar modelos excesivamente cautelosos o poco útiles. Fue necesario un refinamiento iterativo basado en evaluaciones humanas para alcanzar el equilibrio adecuado.
• Métricas de evaluación: La selección de métricas de evaluación apropiadas para captar los matices de la alineación constitucional de la IA resultó un reto. Los investigadores reconocieron la necesidad de evaluaciones más específicas, diseñadas específicamente para valorar la fidelidad de los modelos a sus constituciones.
• Complejidad del entrenamiento de la IA Constitucional: Las complejidades técnicas del entrenamiento de la IA Constitucional requirieron una estrecha colaboración entre los investigadores y los desarrolladores originales. Esto pone de manifiesto la necesidad de experiencia interdisciplinar y de compartir conocimientos para incorporar eficazmente las aportaciones democráticas a los sistemas de IA.

Estas lecciones subrayan la naturaleza polifacética de alinear la IA con los valores públicos y la importancia de navegar cuidadosamente por las consideraciones sociales, técnicas y éticas implicadas.

Implicaciones y vías de futuro

El experimento de IA Constitucional realizado por Anthropic y el Proyecto de Inteligencia Colectiva tiene profundas implicaciones para el futuro del desarrollo y la gobernanza de la IA:

• Demostrar la viabilidad de la alineación de valores: El entrenamiento con éxito de modelos de IA basados en una constitución de origen público demuestra el potencial de alinear modelos lingüísticos avanzados con valores y principios determinados colectivamente. Esto abre nuevas vías para incorporar diversas perspectivas al desarrollo de sistemas de IA.
• Aumentar la transparencia y la responsabilidad: Al hacer explícitos los principios rectores de la IA y someterlos al escrutinio público, la IA Constitucional promueve la transparencia y la responsabilidad en la toma de decisiones en materia de IA. Esto es especialmente importante en ámbitos en los que los sistemas de IA tienen una influencia significativa sobre las vidas humanas y los resultados sociales.
• Hacer hincapié en la colaboración interdisciplinar: El experimento pone de relieve la importancia de la colaboración entre los desarrolladores de IA, los científicos sociales y el público para dar forma a los fundamentos éticos de la IA. Subraya la necesidad de enfoques interdisciplinarios que combinen los conocimientos técnicos con las ideas de las ciencias sociales y los procesos democráticos.

De cara al futuro, los investigadores pretenden desarrollar este trabajo fundacional perfeccionando sus metodologías, diseñando evaluaciones más específicas y explorando la escalabilidad y generalizabilidad del enfoque de la IA Constitucional. Algunas posibles direcciones futuras son:

• Ampliar el alcance del compromiso público para incluir perspectivas más diversas y globales.
• Desarrollar marcos normalizados para traducir las aportaciones públicas en principios procesables de IA.
• Investigar los efectos a largo plazo de la IA Constitucional sobre el comportamiento y la toma de decisiones de los sistemas de IA en contextos del mundo real.
• Explorar el potencial de las constituciones personalizables o de dominio específico para abordar los retos éticos únicos de las diferentes industrias y aplicaciones.

A medida que el campo de la IA sigue evolucionando a un ritmo sin precedentes, los conocimientos obtenidos de este experimento determinarán sin duda la trayectoria de los futuros esfuerzos de investigación y desarrollo.

Conclusión

El experimento de IA Constitucional Colectiva de Anthropic y el Proyecto de Inteligencia Colectiva es un hito fundamental en la democratización del desarrollo de la IA. Al implicar al público en la creación de una constitución de la IA, esta investigación sienta las bases para un enfoque más inclusivo, transparente y responsable de la gobernanza de la IA. Los resultados ponen de relieve el valor de las diversas perspectivas y los retos de alinear los modelos lingüísticos avanzados con los valores de la sociedad.

La IA constitucional surge como un marco prometedor para garantizar que las potentes tecnologías de IA sirvan al bien común. Al situar los valores humanos en el centro del desarrollo de la IA, podemos aprovechar el potencial de estos sistemas y, al mismo tiempo, mitigar los riesgos y las consecuencias imprevistas.

Sin embargo, el camino hacia una IA verdaderamente democrática y alineada con los valores dista mucho de haber concluido. El experimento sirve como llamamiento a la colaboración continua, la investigación y la participación pública en la configuración del futuro de la IA. A través de la sabiduría colectiva y la participación de las diversas partes interesadas, podemos trazar el camino hacia un futuro basado en la IA que defienda la transparencia, la responsabilidad y la alineación con los valores humanos.

Las conclusiones de este experimento pionero informarán e inspirarán futuros esfuerzos en este campo. Construyendo sobre los cimientos establecidos por Anthropic y el Proyecto de Inteligencia Colectiva, podemos trabajar hacia un futuro en el que los sistemas de IA sean tecnológicamente avanzados, éticamente fundamentados y socialmente responsables. El camino que tenemos por delante puede ser difícil, pero la recompensa potencial -un mundo en el que la IA y la humanidad trabajen en armonía- bien merece el esfuerzo.

PREGUNTAS FRECUENTES

¿Qué diferencia a la IA Constitucional de otros enfoques de alineación de la IA? 

La IA Constitucional se distingue por centrarse en integrar valores y principios de alto nivel directamente en el proceso de entrenamiento del sistema de IA. En lugar de depender únicamente de restricciones o supervisión externas, la IA Constitucional pretende crear sistemas de IA que se alineen intrínsecamente con las normas y expectativas sociales.

¿Cómo se seleccionó a los participantes en el proceso de aportaciones públicas? 

Los investigadores colaboraron con la empresa de encuestas PureSpectrum para reclutar una muestra representativa de aproximadamente 1.000 adultos estadounidenses. En el proceso de selección se tuvieron en cuenta factores demográficos como la edad, el sexo, los ingresos y la geografía para garantizar un grupo de participantes diverso e inclusivo. Además, se emplearon criterios de selección para evaluar la familiaridad de los participantes con los conceptos de la IA.

¿Por qué se eligió la plataforma Polis para el proceso de aportaciones públicas? 

Se eligió la plataforma Polis por su probado historial en facilitar la deliberación productiva en línea y la creación de consenso. Sus características colaborativas, que permiten a los participantes comprometerse con las ideas de los demás y basarse en ellas, se adaptaban bien a los objetivos del experimento de IA Constitucional. Los investigadores también tenían experiencia previa de trabajo con el equipo de Polis, lo que facilitó una aplicación más reflexiva y eficaz del proceso de aportaciones públicas.

¿Cómo garantizaron los investigadores la calidad y pertinencia de las contribuciones de los participantes? 

Para mantener la integridad del proceso de aportaciones públicas, los investigadores establecieron criterios claros de moderación. Se eliminaron las declaraciones que se consideraron odiosas, sin sentido, duplicadas, irrelevantes, mal formateadas o técnicamente inviables. Este proceso de moderación implicó una combinación de directrices predefinidas y decisiones subjetivas del equipo de investigación.

¿Cuáles eran las principales diferencias entre la constitución pública y la constitución original de Anthropic? 

Aunque había un solapamiento moderado de alrededor del 50% entre la constitución pública y la constitución interna de Anthropic en cuanto a conceptos y valores fundamentales, la constitución pública presentaba algunas distinciones notables. Hacía más hincapié en la objetividad, la imparcialidad y la accesibilidad, y tendía a priorizar la promoción de los comportamientos deseados en lugar de la disuasión de los no deseados. Además, la mayoría de los principios de la constitución pública eran aportaciones originales de los participantes, en lugar de proceder de publicaciones o marcos existentes.

¿Cómo se comportaron los modelos entrenados con la constitución pública en comparación con los entrenados con la constitución original de Anthropic? 

Los modelos entrenados con la constitución pública (modelos Públicos) demostraron un rendimiento comparable al de los entrenados con la constitución Antrópica (modelos Estándar) en cuanto a comprensión del lenguaje y utilidad percibida. Sin embargo, los modelos Públicos mostraron un sesgo reducido en varias dimensiones sociales, medido por el marco BBQ (Bias Benchmark for QA). Este hallazgo sugiere que la incorporación de la opinión pública puede mitigar potencialmente el sesgo y promover la equidad en los sistemas de IA.

¿A qué retos se enfrentaron los investigadores a la hora de incorporar las aportaciones democráticas al proceso de desarrollo de la IA? 

El proceso de entrenamiento de un modelo de IA basado en las aportaciones cualitativas del público presentó varios retos. Entre ellos, garantizar una selección representativa de los participantes, moderar eficazmente las aportaciones y equilibrar la representación fiel de la opinión pública con las limitaciones técnicas del entrenamiento constitucional de la IA. Los investigadores también tuvieron que sortear la complejidad de traducir las declaraciones públicas en principios procesables de IA y seleccionar métricas de evaluación adecuadas para valorar la alineación de los modelos resultantes con sus constituciones.

¿Cómo pueden las conclusiones de este experimento informar la investigación y el desarrollo futuros de la gobernanza de la IA? 

El experimento de IA Constitucional realizado por Anthropic y el Proyecto de Inteligencia Colectiva tiene importantes implicaciones para el futuro de la gobernanza de la IA. Demuestra la viabilidad de alinear modelos lingüísticos avanzados con valores y principios determinados colectivamente, destacando el potencial de incorporar diversas perspectivas al desarrollo de la IA. El experimento también subraya la importancia de la colaboración interdisciplinar entre los desarrolladores de IA, los científicos sociales y el público para dar forma a los fundamentos éticos de la IA. La investigación futura puede basarse en estas ideas explorando la escalabilidad y generalizabilidad del enfoque de la IA Constitucional, desarrollando marcos estandarizados para traducir las aportaciones públicas en principios de IA, e investigando los efectos a largo plazo de los sistemas de IA alineados con los valores en contextos del mundo real.