La Promesa y el Peligro de la IA Generativa para la Ciberseguridad

IA Generativa en Ciberseguridad Promesa y Peligro

Una reciente mesa redonda en Black Hat 2023, AI Generativa: ¿Amiga o enemiga de la seguridad?, proporcionó información sobre cómo los modelos de AI generativa como ChatGPT podrían afectar a los equipos de seguridad. Kelly Jackson, Editora en Jefe de Dark Reading, moderó la mesa redonda con líderes en ciberseguridad Josh Zelonis de Palo Alto Networks, Fred Kwong de DeVry University y el analista Curt Franklin de Omdia. La rápida aparición de la AI generativa presenta tanto oportunidades como riesgos para los profesionales de la seguridad.

Por un lado, los modelos generativos pueden ayudar a automatizar tareas repetitivas y hacer que los analistas de seguridad sean más eficientes. Como explicó Zelonis, la AI es esencial para responder a gran escala a medida que los entornos se vuelven más complejos. Kwong destacó los beneficios para la investigación de amenazas y la educación: la AI puede resumir rápidamente grandes cantidades de datos para acelerar el desarrollo de habilidades. Franklin advirtió que la AI con “experiencia en dominios” enfocada estrechamente es más realista que la inteligencia general en la actualidad.

La generación de consultas y reportes en lenguaje natural se citó como una aplicación clave. Esto podría ayudar a los analistas a formular preguntas de manera consistente para obtener respuestas confiables. Pero como señaló Franklin, se necesitarán habilidades de ingeniería de consultas para construir playbooks de consultas de AI efectivos. Kwong también señaló el potencial de automatización para tareas mundanas de SOC como recopilar registros de actividades básicas.

Los panelistas coincidieron en que la AI generativa podría amplificar las capacidades humanas pero no reemplazar por completo a los equipos de seguridad. Kwong enfatizó la importancia de educar a los empleados sobre el uso apropiado y ético de la AI. Las organizaciones necesitarán políticas y gobernanza para la AI, al igual que cualquier otra capacidad tecnológica.

• Este boletín de IA es todo lo que necesitas #65
• Desvelando el conocimiento en la era de los datos
• DevSecOps Integrando la seguridad en tu flujo de trabajo de DevOps

En cuanto a los riesgos, el panel destacó la mayor sofisticación de las campañas de ingeniería social y phishing. Ahora los atacantes pueden generar contenido de spear phishing altamente convincente adaptado a los objetivos. Kwong señaló que los ciberdelincuentes están creando audio sintético de voces clonadas a partir de grabaciones públicas para lanzar estafas de vishing.

Zelonis explicó que los modelos generativos proporcionan a los atacantes más municiones, pero los fundamentos de seguridad como la confianza cero siguen siendo esenciales. También existen riesgos potenciales de amenazas internas que utilizan la AI como arma o abusan del acceso a datos de entrenamiento sensibles. Kwong recomendó que los equipos de seguridad pregunten a los proveedores cómo se utiliza los datos de los clientes para el entrenamiento de modelos de AI.

Otros desafíos incluyen la “exageración frente a la realidad” de la AI en los productos de seguridad. Como señaló Zelonis, las organizaciones deben evaluar cuándo es demasiado pronto para adoptar versus agregar valor estratégico. La transparencia y ética de las ofertas comerciales de AI también requieren escrutinio.

En general, el panel dejó claro que la AI está aquí para quedarse y los equipos de seguridad deben aceptarla. Con una sólida gobernanza de datos, supervisión de entrenamiento y enfoque en casos de uso centrados en el humano, la AI generativa puede mejorar la detección de amenazas y la productividad de los analistas. Pero los riesgos como el suplantación de voz y los deep fakes requieren educación continua. Las políticas de seguridad de AI necesitan una adaptación continua. Si bien no es una solución mágica, la adopción reflexiva de la AI puede dar dividendos. Sin embargo, la tecnología también trae nuevas amenazas que los líderes de seguridad deben anticipar.

Conclusiones Clave

Aquí están las conclusiones clave de la discusión de seguridad sobre AI generativa:

• La AI generativa puede automatizar tareas repetitivas de los analistas, haciendo que los equipos de seguridad sean más eficientes y receptivos.
• La generación de lenguaje natural para consultas y reportes es una aplicación prometedora a corto plazo si se implementa de manera reflexiva.
• Sin embargo, la AI no es una solución mágica: mejora las capacidades humanas pero no reemplaza a los expertos en seguridad.
• La gobernanza sólida de datos, la supervisión de entrenamiento y las políticas son cruciales al implementar herramientas de AI.
• La educación sobre el uso ético de la AI es fundamental, al igual que la transparencia por parte de los proveedores.
• La ingeniería social utilizando contenido y voces sintetizadas plantea una amenaza emergente de AI generativa.
• Las organizaciones deben evaluar la exageración frente a la realidad al adoptar productos de seguridad de AI e integrar solo las capacidades que aporten valor estratégico.
• Los fundamentos como la confianza cero y la capacitación en seguridad siguen siendo esenciales a pesar de los avances en AI.
• Los riesgos como las amenazas internas y el abuso de datos de entrenamiento requieren controles de mitigación para los sistemas de AI.
• La AI generativa ofrece ventajas y nuevas amenazas: un enfoque medido y reflexivo es clave para maximizar los beneficios y minimizar los riesgos.

En resumen, el panel destacó la promesa de la AI generativa para la seguridad, pero enfatizó que la adopción responsable, la educación y la implementación inteligente serán fundamentales para obtener valor y evitar problemas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!