Enfoque de OpenAI hacia la seguridad en la inteligencia artificial.

OpenAI's approach to AI safety.

¿Qué pasará con los enfoques de seguridad en los sistemas de IA después de que el CEO de OpenAI, Sam Altman, testificara sobre las preocupaciones en torno a la nueva tecnología?

Tal vez hayas visto o no los videos del CEO de OpenAI, Sam Altman, en el comité del Senado de EE. UU. el martes 16. Si no lo has hecho, Sam Altman instó a los legisladores estadounidenses a regular la inteligencia artificial (IA). El CEO testificó sobre las preocupaciones y posibles peligros de la nueva tecnología.

Desde el lanzamiento de ChatGPT, el mercado se ha inundado con grandes modelos de lenguaje, junto con otros modelos de IA. En los últimos meses, ha habido varias conversaciones gubernamentales sobre la regulación de la IA y su seguridad para la sociedad. La UE ha estado impulsando su Ley de IA, y otros continentes están siguiendo su ejemplo.

• Acelere el ciclo de vida del desarrollo del chatbot de Amazon Lex con Test Workbench.
• Después de Amazon, una ambición por acelerar la fabricación estadounidense.
• Preguntas y respuestas Gabriela Sá Pessoa sobre la política brasileña, los derechos humanos en la Amazonía y la inteligencia artificial

Sam Altman siempre ha abordado los problemas éticos y las preocupaciones en torno al uso de la IA y ha abogado por una mayor regulación. Hizo una declaración diciendo:

“Creo que si esta tecnología sale mal, puede salir bastante mal… queremos ser vocales al respecto. Queremos trabajar con el gobierno para evitar que eso suceda”.

Compromiso de Seguridad de OpenAI

OpenAI ha mantenido su compromiso de mantener la IA segura y beneficiosa. Han entendido que sus herramientas, como ChatGPT, han mejorado la productividad, la creatividad y la experiencia laboral en general para muchos. Sin embargo, la seguridad sigue siendo una de sus principales prioridades.

¿Cómo está asegurando OpenAI que sus modelos de IA sean seguros?

Pruebas rigurosas

Antes de que se lance cualquier sistema de IA, OpenAI se somete a pruebas rigurosas, con la ayuda de expertos externos, y continúa encontrando formas de mejorar el sistema. Utilizan técnicas como el aprendizaje por refuerzo con retroalimentación humana para mejorar el comportamiento del modelo, lo que les permite construir mejores sistemas de seguridad y monitoreo.

OpenAI pasó más de 6 meses asegurándose de que su último modelo, GPT-4, fuera seguro antes de lanzarlo al público.

Uso en el mundo real

No hay mejor prueba que ponerlo en uso en el mundo real. Es bueno y necesario crear un nuevo sistema en el laboratorio e intentar prevenir todos los riesgos posibles. Pero no podrás controlar estos riesgos en el laboratorio, tendrás que dejarlo salir al público para su uso en el mundo real.

Desafortunadamente, con los sistemas de IA, no podrás limitar ni siquiera predecir cómo el público lo usará, ya sea para su beneficio o para abusar de él. OpenAI lanza sistemas de IA con varias salvaguardas, y una vez que amplían el grupo de personas que pueden acceder a su sistema de IA, aseguran mejoras continuas.

La API disponible para los desarrolladores también ha permitido a OpenAI monitorear las acciones sobre posibles abusos y utilizar esto para construir mitigaciones. OpenAI cree que la sociedad debería tener una gran influencia en cómo la IA continúa desarrollándose.

Protección de los niños

Uno de los principales focos en torno a la seguridad de la IA para OpenAI es proteger a los niños. Actualmente están investigando opciones de verificación donde sus usuarios deben tener más de 18 años o ser mayores de 13 años con el consentimiento de los padres. Han declarado que no permiten que su tecnología se use para generar cualquier forma de contenido odioso, violento o para adultos.

También han implementado más herramientas y métodos para proteger a los niños. Por ejemplo, cuando los usuarios intentan cargar conocido material de abuso sexual infantil en sus herramientas de imagen, OpenAI ha implementado Thorn’s Safer para detectarlo, revisarlo e informarlo al Centro Nacional para Menores Desaparecidos y Explotados.

Para asegurarse de que los niños se beneficien de herramientas como ChatGPT, OpenAI se ha asociado con Khan Academy y ha construido un asistente impulsado por IA que actúa como tutor virtual para estudiantes y asistente de aula para profesores.

Privacidad

Los grandes modelos de lenguaje han sido entrenados con una variedad de fuentes disponibles públicamente, en las que algunas personas creen que hay preocupaciones de privacidad. OpenAI ha declarado que:

“No usamos datos para vender nuestros servicios, publicidad o crear perfiles de personas; usamos datos para hacer que nuestros modelos sean más útiles para las personas”.

Su objetivo es que herramientas como ChatGPT aprendan sobre el mundo, no sobre individuos privados. Para garantizar esto, donde sea posible, OpenAI elimina la información personal del conjunto de datos de entrenamiento y ajusta sus modelos para rechazar cualquier forma de solicitud sobre la información personal de las personas. También responde solicitando a los individuos que eliminen su información personal del sistema de OpenAI.

Precisión

La retroalimentación de los usuarios en herramientas como ChatGPT ha permitido a OpenAI identificar salidas que se consideran incorrectas y utilizarlas como fuente principal de datos. Mejorar la precisión factual es una prioridad en su lista, con GPT-4 siendo un 40% más propenso a producir contenido factual que GPT-3.5.

Conclusión

Con OpenAI explicando su enfoque en cuanto a la seguridad de la IA junto con el CEO Sam Altman abordando los posibles problemas con los sistemas de IA y exhortando al gobierno a establecer regulaciones, esto es un comienzo para resolver las preocupaciones de seguridad de la IA.

Esto requerirá más tiempo, recursos y aprendizaje de los modelos más capaces del mercado. OpenAI esperó más de 6 meses para implementar GPT-4, sin embargo, han afirmado que para garantizar la seguridad puede llevar más tiempo.

¿Qué crees que sucederá a partir de ahora?

Si desea ver la audiencia de Sam Altman de OpenAI del martes 16, puede hacerlo aquí: ChatGPT Chief Sam Altman Testifies Before Congress on AI .

Nisha Arya es una científica de datos, escritora técnica independiente y gerente de comunidad en Zepes. Le interesa especialmente proporcionar orientación profesional o tutoriales y conocimientos teóricos en torno a la ciencia de datos. También desea explorar las diferentes formas en que la inteligencia artificial puede beneficiar la longevidad de la vida humana. Una aprendiz ávida, buscando ampliar sus conocimientos técnicos y habilidades de escritura, mientras ayuda a guiar a otros.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!