¿Qué tan arriesgado es tu proyecto de LLM de código abierto? Una nueva investigación explica los factores de riesgo asociados con los LLM de código abierto.

Investigación sobre riesgos en proyectos de LLM de código abierto.

Los Modelos de Lenguaje Grandes (LLMs) y la Inteligencia Artificial Generativa, como los motores GPT, han estado creando grandes olas en el dominio de la IA recientemente, y hay una gran expectación en el mercado, tanto entre individuos minoristas como en corporaciones, por aprovechar esta nueva ola tecnológica. Sin embargo, a medida que esta tecnología está tomando rápidamente múltiples casos de uso en el mercado, debemos prestar más atención a los aspectos de seguridad y prestar atención con mayor detalle al riesgo asociado con su uso, especialmente en los LLM de código abierto.

En una investigación reciente realizada por Rezilion, una reconocida plataforma automatizada de seguridad en la cadena de suministro de software, los expertos han investigado este problema exacto, y los hallazgos nos sorprenderán. Consideraron todos los proyectos que cumplen con estos criterios:

1. Los proyectos deben haber sido creados hace ocho meses o menos (aproximadamente de noviembre de 2022 a junio de 2023, en el momento de la publicación de este documento)
2. Los proyectos están relacionados con los temas: LLM, ChatGPT, Open-AI, GPT-3.5 o GPT-4
3. Los proyectos deben tener al menos 3,000 estrellas en GitHub.

Estos criterios han asegurado que todos los proyectos importantes estén incluidos en la investigación.

• AI Ayuda al Gobierno en Prohibir las Conexiones Móviles Falsas
• OpenAI presenta Super Alignment Abriendo el camino para una IA segura y alineada
• Conoce a KITE Un marco de inteligencia artificial para la manipulación semántica utilizando puntos clave como representación para el enlace visual y la inferencia precisa de acciones.

Para articular su investigación, han utilizado un marco llamado OpenSSF Scorecard. Scorecard es una herramienta SAST creada por la Open Source Security Foundation (OSSF). Su objetivo es evaluar la seguridad de los proyectos de código abierto y ayudar a mejorarlos. La evaluación se basa en diferentes datos sobre el repositorio, como el número de vulnerabilidades, con qué frecuencia se mantiene, si contiene archivos binarios y muchos más.

El propósito de todas las verificaciones juntas es garantizar el cumplimiento de las mejores prácticas de seguridad y los estándares de la industria. Cada verificación tiene un nivel de riesgo asociado. El nivel de riesgo representa el riesgo estimado asociado con no cumplir una práctica recomendada específica y agrega peso a la puntuación en consecuencia.

Actualmente, hay 18 verificaciones que se pueden dividir en tres temas: prácticas de seguridad holísticas, evaluación de riesgos del código fuente y evaluación de riesgos del proceso de compilación. El OpenSSF Scorecard asigna una puntuación ordinal entre 0 y 10 y una puntuación de nivel de riesgo para cada verificación.

Resulta que casi todos estos LLM (de código abierto) y proyectos se enfrentan a importantes preocupaciones de seguridad, que los expertos han categorizado de la siguiente manera:

1. Riesgo de límite de confianza

Riesgos como sandboxing inadecuado, ejecución de código no autorizada, vulnerabilidades SSRF, controles de acceso insuficientes e incluso inyecciones de comandos fallan bajo el concepto general de límites de confianza.

Cualquiera puede inyectar cualquier comando nlp malicioso, que puede cruzar múltiples canales y afectar gravemente toda la cadena de software.

Uno de los ejemplos populares es la vulnerabilidad CVE-2023-29374 en LangChain (el tercer gpt de código abierto más popular)

2. Riesgo de gestión de datos

La fuga de datos y la manipulación de datos de entrenamiento entran en la categoría de riesgos de gestión de datos. Estos riesgos se refieren a cualquier sistema de aprendizaje automático y no se limitan solo a los Modelos de Lenguaje Grandes.

La manipulación de datos de entrenamiento se refiere a manipular deliberadamente los datos de entrenamiento o los procedimientos de ajuste fino de un LLM por parte de un atacante para introducir vulnerabilidades, puertas traseras o sesgos que puedan socavar la seguridad, efectividad o comportamiento ético del modelo. Este acto malicioso tiene como objetivo comprometer la integridad y confiabilidad del LLM al inyectar información engañosa o dañina durante el proceso de entrenamiento.

3. Riesgo inherente del modelo

Estas preocupaciones de seguridad ocurren debido a la limitación del modelo de IA subyacente: alineación de IA insuficiente y dependencia excesiva del contenido generado por LLM.

4. Mejores prácticas básicas de seguridad

Consiste en problemas como manejo incorrecto de errores o controles de acceso insuficientes que caen bajo las mejores prácticas de seguridad en general. No son exclusivos de los modelos de aprendizaje automático en general y no específicamente de los LLM.

El hecho sorprendente y preocupante es la puntuación de seguridad que todos estos modelos han recibido. La puntuación promedio entre los proyectos verificados fue de solo 4.6 de 10, la edad promedio fue de 3.77 meses y el número promedio de estrellas fue de 15,909. Los proyectos que ganan popularidad comparativamente rápido están mucho más en riesgo que aquellos construidos durante un largo período.

La empresa no solo ha resaltado los problemas de seguridad con los que estos proyectos están lidiando en este momento, sino que también ha sugerido de manera exhaustiva los pasos en su investigación que se pueden tomar para mitigar estos riesgos y hacerlos más seguros a largo plazo.

En conclusión, la empresa ha resaltado la necesidad de administrar y asegurar adecuadamente los protocolos de seguridad, ha resaltado los puntos débiles específicos en cuanto a seguridad, y ha sugerido cambios que se pueden hacer para erradicar dichos riesgos. Al realizar evaluaciones de riesgos exhaustivas y tomar medidas de seguridad sólidas, las organizaciones pueden aprovechar el poder de los LLM de código abierto mientras protegen la información confidencial y mantienen un entorno seguro.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!