El conjunto de datos de IA tiene valores humanos puntos ciegos: nueva investigación

Mis colegas y yo Perdue ha destacado un desequilibrio importante en los valores humanos integrados en el sistema de IA en la universidad. Los sistemas estaban orientados principalmente a los valores de información y utilidad y estaban menos para el enjuiciamiento, el bienestar y los valores civiles.

Muchos sistemas de IA tienen enormes colecciones de otras formas de datos utilizados para entrenar imágenes, textos y modelos en el corazón. Si bien estos conjuntos de datos están cautelosamente curados, no es raro que a veces sean materiales inmorales o prohibidos.

Para garantizar que los sistemas de IA no usen materiales dañinos al responder a los usuarios, los investigadores introdujeron un método Aprenda el refuerzoLos investigadores utilizan conjuntos de datos altamente curados de preferencias humanas para dar forma al comportamiento del sistema de IA para ser útil y honesto.

En nuestro estudio, Revisamos Tres conjuntos de datos de capacitación de código abierto es utilizado por compañías estadounidenses de IA. Creamos una clasificación de los valores humanos a través de una revisión de la literatura a partir del estudio de la filosofía moral, la teoría del valor y la ciencia, la tecnología y la sociedad. El precio es bienestar y paz; solicitud de datos; Justicia, derechos humanos y derechos de los animales; Deberes y responsabilidad; Conocimiento y conocimiento; Ciudadanía y tolerancia; Y simpatía y ayuda. Utilizamos una taxonomía para anotar un conjunto de datos manualmente y luego utilizamos anotación para entrenar el modelo de idioma AI.

Nuestro modelo nos permitió investigar el conjunto de datos de las compañías de IA. Descubrimos que estos conjuntos de datos incluían muchos ejemplos que capacitan al sistema de IA para que sea útil y honesto cuando el usuario "¿Cómo reservar un vuelo?" El conjunto de datos tenía ejemplos muy limitados de formas de responder preguntas sobre simpatía, justicia y temas relacionados con los derechos humanos. En general, el conocimiento, el conocimiento y la información fueron los dos valores más comunes, mientras que la justicia, los derechos humanos y los derechos de los animales fueron los valores comunes más bajos.

Por que importa

El conjunto de datos utilizado para capacitar a la IA puede ser implicaciones importantes para el desequilibrio de los valores humanos de cómo los sistemas de IA interactúan con las personas y alcanzan problemas sociales complejos. Como AI se integra en más áreas como Ley, Cuidado de la salud Y Redes socialesEs importante que estos sistemas reflejen un espectro equilibrado de valores colectivos para satisfacer moralmente las necesidades de las personas.

Esta investigación también llega en un momento importante para el gobierno y los responsables políticos a medida que la sociedad lucha con preguntas sobre el régimen y la moral de la IA. Comprender los valores integrados en el sistema de IA es importante para garantizar que sirvan a los mejores intereses de la humanidad.

Qué otra investigación se está haciendo

Muchos investigadores están trabajando para alinear el sistema de IA con los valores humanos. Comienzo del refuerzo de aprendizaje de la respuesta humana Fue innovador Porque proporcionó una forma de guiar el comportamiento de la IA para ser útil y la verdad.

La mutación genital femenina es una causa importante de la muerte para las niñas donde se practica

Varias compañías están desarrollando tecnología para prevenir un comportamiento dañino en el sistema de IA. Sin embargo, nuestro grupo era nuestro grupo que ofrecía una forma sistemática de analizar y comprender qué valores realmente se estaban integrando en estos sistemas a través de estos conjuntos de datos.

Que pasará después

Al observar los valores vistos en estos sistemas, nuestro objetivo es ayudar a las empresas de IA a hacer conjuntos de datos más equilibrados que reflejen mejor los valores de las comunidades a las que sirven. Las empresas pueden usar nuestra tecnología para descubrir dónde no son buenas y luego mejorar la diversidad de sus datos de capacitación de IA.

Las empresas que estudiamos ya no pueden usar versiones de su conjunto de datos, pero aún pueden beneficiarse de nuestro proceso para garantizar que sus sistemas se alineen con los valores y normas sociales.

Este artículo ha sido reinstalado Conversación Bajo una licencia Creative Commons. leer el Artículo original,