IA generativa en la mira la batalla de los CISOs por la ciberseguridad

IA generativa en el punto de mira la batalla de los CISOs por la ciberseguridad

ChatGPT y los modelos de lenguaje grandes (LLM) son los primeros signos de cómo la IA generativa dará forma a muchos procesos empresariales. Los líderes de seguridad y gestión de riesgos, específicamente los CISO y sus equipos, deben asegurar cómo su organización construye y consume IA generativa y navegar por sus impactos en la ciberseguridad. El nivel de exageración, escala y velocidad de adopción de la IA generativa (GenAI) ha aumentado la conciencia de los usuarios finales sobre los LLM, lo que ha llevado a usos descontrolados de las aplicaciones de LLM. También ha abierto las compuertas a experimentos empresariales y una ola de startups basadas en IA que prometen propuestas de valor únicas a través de nuevas aplicaciones de LLM y GenAI. Muchos equipos de proyectos empresariales y de TI ya han lanzado iniciativas de GenAI o las iniciarán pronto.

En este artículo, exploramos cómo GenAI afecta a los CISO y sus estrategias en este panorama en evolución.

Las empresas adoptarán la IA generativa para reinventar productos, servicios y excelencia operativa futuros, independientemente de la seguridad.

Impactos clave de GenAI en los CISO

Los CISO y los equipos de seguridad deben prepararse para los impactos de la IA generativa en cuatro áreas diferentes.

• IA y software de código abierto ¿Separados al nacer?
• Mejorando los Modelos de Lenguaje con Indicaciones Analógicas para Mejorar el Razonamiento
• Cómo construir tu primer agente de IA con LangChain y OpenAI GPT.

1. Consumo

• Gestionar y supervisar cómo la organización “consume” GenAI: ChatGPT fue el primer ejemplo; los asistentes de GenAI incrustados en aplicaciones existentes serán los siguientes. Estas aplicaciones tienen requisitos de seguridad únicos que no son cumplidos por los controles de seguridad heredados.
• El consumo de aplicaciones de GenAI, como los modelos de lenguaje grandes (LLMs), a través de experimentos empresariales y la adopción ad hoc no gestionada por parte de los empleados, crea nuevas superficies de ataque y riesgos para la privacidad individual, los datos sensibles y la propiedad intelectual (IP) de la organización.

2. Construcción

• Asegurar las iniciativas empresariales para “construir” aplicaciones de GenAI: las aplicaciones de IA tienen una superficie de ataque ampliada y plantean nuevos riesgos potenciales que requieren ajustes en las prácticas de seguridad de las aplicaciones existentes.
• Muchas empresas se apresuran a aprovechar su IP y desarrollar sus propias aplicaciones de GenAI, lo que crea nuevos requisitos para la seguridad de las aplicaciones de IA.

3. Defensa con

• Ciberseguridad generativa con IA: recibir el mandato de aprovechar las oportunidades de GenAI para mejorar la seguridad y la gestión de riesgos, optimizar los recursos, defenderse contra técnicas de ataque emergentes o incluso reducir costos.
• Una proliferación de anuncios de GenAI excesivamente optimistas en los mercados de seguridad y gestión de riesgos aún podría impulsar mejoras prometedoras en la productividad y precisión para los equipos de seguridad, pero también llevar a desperdicios y decepciones.
• Invertir en el desarrollo de técnicas de IA defensiva

4. Atacados por

• GenAI: adaptarse a los actores maliciosos que evolucionan sus técnicas o incluso aprovechan nuevos vectores de ataque gracias al desarrollo de herramientas y técnicas de GenAI.
• Los atacantes utilizarán GenAI. Han comenzado con la creación de contenido aparentemente auténtico, señuelos de phishing e impersonación de humanos a gran escala. La incertidumbre sobre cuán exitosamente pueden aprovechar GenAI para ataques más sofisticados requerirá hojas de ruta de ciberseguridad más flexibles.

Recomendaciones para CISO

Para abordar los diversos impactos de la IA generativa en los programas de seguridad de sus organizaciones, los directores de seguridad de la información (CISO) y sus equipos deben:

Para 2027, la IA generativa contribuirá a una reducción del 30% en las tasas de falsos positivos en pruebas de seguridad de aplicaciones y detección de amenazas, al refinar los resultados de otras técnicas para categorizar eventos benignos de maliciosos.

Hasta 2025, los ataques que aprovechen GenAI obligarán a las organizaciones conscientes de la seguridad a reducir los umbrales para detectar actividades sospechosas, generando más alertas falsas y, por lo tanto, requiriendo una respuesta humana más abundante, no menos.

1. Invertir en el desarrollo de técnicas de IA defensiva

• Inteligencia de amenazas interactiva: Acceso a documentación técnica, inteligencia de amenazas del proveedor de seguridad o crowdsourcing (utilizando varios métodos por separado o en combinación, incluyendo ingeniería de prompts, generación mejorada por recuperación y consulta de un modelo LLM utilizando una API).
• Puntuación y perfil de riesgo adaptativos
• Automatización de ingeniería de seguridad: Generar código de automatización de seguridad y libretos a pedido, aprovechando la conversación del prompt.
• BAS
• Pruebas de penetración impulsadas por GenAI

2. Aprovechar a los Asistentes de Desarrollo de Aplicaciones Seguras

Las herramientas de generación de código (por ejemplo, GitHub Copilot, Open AI Codex, Amazon CodeWhisperer) están incorporando características de seguridad, y las herramientas de seguridad de aplicaciones ya están aprovechando las aplicaciones LLM. Algunos ejemplos de casos de uso para estos asistentes de código seguro incluyen:

Equipos de Seguridad de Aplicaciones

• Detección de vulnerabilidades: Destaca problemas en fragmentos de código ingresados en los mensajes o realizando un escaneo del código fuente.
• Reducción de falsos positivos: Utilizado como una capa de confirmación para otras técnicas de análisis de código, la función analiza la alerta y el código relacionado e indica en lenguaje conversacional por qué podría ser un falso positivo.
• Asistente de auto-remediación: Sugiere actualizaciones en el código para solucionar las vulnerabilidades identificadas como parte del resumen de hallazgos que se genera.

Cree procesos de reentrenamiento y actualización de DevSecOPS para incluir Pruebas de Penetración basadas en BAS y GenAI.

Equipos de Ingeniería de Software/Desarrollo de Aplicaciones

• Generación de código: Crea scripts/código a partir de la entrada de los desarrolladores, incluidos comentarios o instrucciones en lenguaje natural, o actúa como una herramienta avanzada de completado de código. Algunas herramientas también pueden indicar si el código generado se asemeja a un proyecto de código abierto o pueden ayudar a validar que el código (generado o escrito por humanos) cumple con las prácticas de seguridad estándar de la industria.
• Creación de pruebas unitarias: Sugiere una serie de pruebas para una función enviada para asegurarse de que su comportamiento sea el esperado y sea resistente a entradas maliciosas.
• Documentación de código: Genera explicaciones de lo que hace un fragmento de código o el impacto de un cambio de código.

Aunque los casos de uso son fáciles de identificar, todavía es muy temprano para obtener mediciones cualitativas relevantes de estos asistentes.

3. GenAI en Operaciones de Seguridad y Conjunto de Herramientas de Operación de Seguridad

• Priorizar la participación de recursos de seguridad para casos de uso con impactos financieros y de marca directos, como la automatización de código, la generación de contenido para clientes y los equipos orientados al cliente, como los centros de soporte.
• Evaluar productos de seguridad de terceros para controles no relacionados con IA (como IAM, gobernanza de datos y funciones SSE) y seguridad específica de IA (como monitoreo, control y gestión de entradas LLM).
• Prepararse para evaluar productos emergentes que permiten personalización de prompts sin código.
• Probar productos emergentes que inspeccionen y revisen las salidas en busca de información potencialmente errónea, alucinaciones, errores factuales, sesgos, violaciones de derechos de autor y otra información ilegítima o no deseada que pueda generar la tecnología, lo que podría llevar a resultados no deseados o perjudiciales. En su lugar, implementar un proceso de revisión manual provisional.
• Implementar progresivamente acciones automatizadas solo con métricas de seguimiento de precisión preestablecidas. Asegurarse de que cualquier acción automatizada pueda revertirse rápidamente y fácilmente.
• Incluir requisitos de transparencia del modelo LLM al evaluar aplicaciones de terceros. En primer lugar, las herramientas no incluyen la visibilidad necesaria de las acciones de los usuarios.
• Considerar las ventajas de seguridad del alojamiento privado de LLM más pequeños o específicos de dominio, pero trabajar con los equipos de infraestructura y aplicaciones para evaluar los desafíos infraestructurales y operativos.
• Iniciar experimentos de “inteligencia artificial generativa en ciberseguridad”, comenzando con asistentes de chat para centros de operaciones de seguridad (SOC) y seguridad de aplicaciones. Las utilidades de GenAI se han incorporado a varias herramientas de operaciones de seguridad de proveedores como Microsoft, Google, Sentinel One y CrowdStrike. Estas utilidades tienen el potencial de mejorar la productividad y las habilidades del administrador promedio, así como mejorar los resultados y la comunicación de seguridad.
• La primera ola de implementación de GenAI dentro de las herramientas SOC (por ejemplo, Microsoft Security CoPilot) consta de prompts conversacionales que reemplazan las características de búsqueda basadas en consultas existentes y sirven como interfaz para los usuarios. Esta nueva interfaz reduce los requisitos de habilidades para usar la herramienta, acorta la curva de aprendizaje y permite que más usuarios se beneficien de las herramientas. Estas características de GenAI se incorporarán cada vez más a las herramientas de seguridad existentes para mejorar la capacidad y la productividad del operador. Las primeras implementaciones de estos prompts admiten análisis de amenazas y flujos de trabajo de búsqueda de amenazas:
• Enriquecimiento de alertas: Agrega automáticamente información contextual a una alerta, incluyendo inteligencia de amenazas o categorización en marcos conocidos.
• Explicación de la puntuación de alerta/riesgo: Refina los mecanismos de puntuación existentes para identificar falsos positivos o contribuir a un motor de puntuación de riesgo existente.
• Resumen de superficie de ataque/amenaza: Agrupa múltiples alertas e información de telemetría disponible para resumir el contenido según el caso de uso del lector objetivo.
• Asistentes de mitigación: Sugiere cambios en los controles de seguridad y nuevas reglas de detección o mejoradas.
• Documentación: Desarrolla, gestiona y mantiene documentación cohesiva de políticas de seguridad y mejores prácticas.

Los chatbots de operaciones de seguridad facilitan la obtención de información de las herramientas SOC. Sin embargo, todavía se necesitan analistas experimentados para evaluar la calidad de los resultados, detectar posibles alucinaciones y tomar las medidas apropiadas de acuerdo con los requisitos de la organización.

Nota: La mayoría de estas herramientas se encuentran en sus primeros días (tanto desde el punto de vista de capacidad como de precio); parecen prometedoras, ¡pero ten cuidado! – La novedad puede residir principalmente en la interactividad, que tiene su valor, pero las capacidades de búsqueda y análisis ya están disponibles.

4. Desarrollar un marco de IA responsable y confiable (RTAF)

5. Adoptar un enfoque integrado para la gestión de riesgos y seguridad (RSM)

6. Redefinir y fortalecer los flujos de trabajo de gobernanza

• Trabajar con contrapartes organizativas interesadas en la GenAI, como los departamentos legales y de cumplimiento y las líneas de negocio, para formular políticas de usuario, capacitación y orientación. Esto ayudará a minimizar los usos no autorizados de GenAI y reducir los riesgos de violación de privacidad y derechos de autor.
• Implementar el uso de RTAF y RSM al desarrollar nuevas aplicaciones de primera parte o al consumir nuevas aplicaciones de terceros que utilizan LLMs y GenAI.
• Crear una política corporativa que enumere claramente las reglas de gobernanza, incluya todos los flujos de trabajo necesarios y aproveche la clasificación de datos existente para restringir los usos de datos sensibles en solicitudes y aplicaciones de terceros.
• Definir flujos de trabajo para inventariar, aprobar y administrar los consumos de GenAI. Incluir “IA generativa como función” en una actualización de software de productos existentes.
• Clasificar los casos de uso con el mayor impacto potencial en los negocios e identificar los equipos más propensos a iniciar un proyecto rápidamente.
• Definir nuevos requisitos de gestión de riesgos de proveedores para aquellos que utilizan GenAI.
• Obtener y verificar las garantías de gobernanza y protección de datos de los proveedores de hospedaje, de modo que la información empresarial confidencial transmitida a su modelo de lenguaje grande (LLM), por ejemplo, en forma de indicaciones almacenadas, no se vea comprometida. Estas garantías se obtienen a través de acuerdos de licencia contractuales, ya que no existen herramientas de verificación de confidencialidad que se ejecuten en entornos de hospedaje.
• Reforzar los métodos de evaluación de la exposición a amenazas impredecibles y medir los cambios en la eficacia de los controles, ya que no se puede prever si y cómo los actores malintencionados pueden utilizar GenAI.
• Formular políticas de usuario, capacitación y orientación para minimizar los usos no autorizados de GenAI, y los riesgos de privacidad y violación de derechos de autor.
• Planificar las evaluaciones de impacto necesarias exigidas por las regulaciones de privacidad e inteligencia artificial, como el Reglamento General de Protección de Datos (RGPD) de la UE y la próxima Ley de Inteligencia Artificial.

Desafíos clave y recomendaciones al adoptar la IA generativa de ciberseguridad

• La IA generativa de ciberseguridad afectará a los equipos de seguridad y gestión de riesgos, pero los líderes de seguridad también deben prepararse para el impacto “externo/indirecto” de GenAI en los programas de seguridad, como el análisis asistido de RFP, la anotación de código y otras generaciones de contenido y automatizaciones que afectan al cumplimiento, Recursos Humanos y muchos otros equipos.
• Privacidad y dependencias de terceros: A medida que los proveedores se apresuran a lanzar características, muchos de ellos aprovechan un LLM de terceros, utilizando una API para interactuar con un proveedor de GenAI o utilizando bibliotecas o modelos de terceros directamente. Esta nueva dependencia puede generar problemas de privacidad y desafíos de gestión de riesgos de terceros.
• Productividad a corto plazo del personal: ¿La enriquecimiento de las alertas reducirá la fatiga de diagnóstico o empeorará mucho al agregar contenido generado? El personal junior podría fatigarse solo por la cantidad de datos, ya que no pueden determinar si tiene sentido.
• Costos: Muchas de las nuevas características y productos de IA generativa de ciberseguridad están actualmente en versión beta privada o de vista previa. Hay poca información sobre el impacto que tendrán estas características en los precios de las soluciones de seguridad. Los modelos comerciales generalmente tienen un precio basado en el volumen de tokens utilizados y es probable que los proveedores de seguridad hagan que sus clientes los paguen. También es costoso capacitar y desarrollar un modelo. El costo de usar GenAI podría ser mucho mayor que el costo de otras técnicas para abordar el mismo caso de uso.
• Calidad: En la mayoría de las primeras implementaciones de aplicaciones generativas de IA de ciberseguridad, las organizaciones apuntarán a una mejora de habilidades “suficientemente buena” y básica. En la mayoría de mis pruebas/evaluaciones de experimentación de los resultados del asistente de código seguro, la calidad da resultados mixtos (50-60% de éxito). Las características de inteligencia de amenazas (TI) y puntuación de alertas pueden estar sesgadas por el conjunto de entrenamiento del modelo o verse afectadas por alucinaciones (salidas inexactas fabricadas).
• Regresión a la media versus estado del arte: Para casos de uso especializados, como la respuesta a incidentes contra ataques avanzados, es posible que la calidad de los resultados emitidos por GenAI no alcance los estándares de los equipos más experimentados. Esto se debe a que sus resultados provienen en parte de conjuntos de datos de entrenamiento obtenidos de prácticas de madurez inferior.

Riesgos del Uso no Autorizado de Aplicaciones LLM

• Exposición de datos sensibles: Las reglas sobre lo que los proveedores hacen con los datos enviados en el aviso varían según el proveedor. Las empresas no tienen forma de verificar si sus datos de aviso se mantienen privados, según las afirmaciones del proveedor. Deben confiar en los acuerdos de licencia del proveedor para hacer cumplir la confidencialidad de los datos.
• Violaciones potenciales de derechos de autor / propiedad intelectual: La responsabilidad por la violación de derechos de autor que proviene de las salidas generadas (basadas en datos de entrenamiento que las organizaciones no pueden identificar) recae en los usuarios y empresas que las utilizan. También puede haber reglas de uso para la salida generada.
• Respuestas parciales, incompletas o incorrectas: ¡El riesgo de “alucinaciones de IA” (respuestas fabricadas) es real! Adivina qué, las respuestas también pueden ser incorrectas (por ejemplo, prácticamente, técnicamente, sintaxis, etc.) debido a la dependencia de conjuntos de datos de entrenamiento sesgados, fragmentados u obsoletos.
• Violaciones de la política de entrada y salida de contenido de LLM: Las empresas pueden controlar las entradas de aviso utilizando controles de seguridad heredados, pero necesitan otra capa de controles para asegurarse de que el aviso elaborado cumpla con sus pautas de política, por ejemplo, en torno a la transmisión de preguntas que violen pautas éticas predefinidas. También se debe monitorear y controlar la salida de LLM para que también cumpla con las políticas de la empresa, por ejemplo, en torno a contenido dañino específico de un dominio. Los controles de seguridad heredados no proporcionan este tipo de monitoreo de contenido específico de política de dominio.
• Daño a la marca / reputación: Más allá de la torpeza de “regenerate response” o “como modelo de lenguaje de IA” que se encuentra en el contenido dirigido al cliente, es probable que los clientes de su organización esperen cierto nivel de transparencia.

Cuatro Patrones de Consumo de Aplicaciones GenAI

1. Aplicaciones o agentes de terceros: Como las versiones basadas en la web o para dispositivos móviles de ChatGPT (listas para usar).

2. IA generativa integrada en aplicaciones empresariales: Las organizaciones pueden utilizar directamente aplicaciones comerciales que incluyen capacidades de GenAI incorporadas. Un ejemplo de esto sería el uso de una aplicación de software establecida (consulte los patrones de diseño de IA para modelos de lenguaje grandes) que ahora incluye LLM (como Microsoft 365 Copilot o capacidades de generación de imágenes como Adobe Firefly).

3. Integrar las API del modelo en aplicaciones personalizadas: Las empresas pueden construir sus propias aplicaciones, integrando GenAI a través de las API del modelo base. La mayoría de los modelos de GenAI de código cerrado, como GPT-3, GPT-4 y PaLM, están disponibles para implementación a través de API en la nube. Este enfoque se puede refinar aún más mediante la ingeniería de aviso, lo cual podría incluir plantillas, ejemplos o los propios datos de la organización, para informar mejor la salida de LLM. Un ejemplo sería buscar en una base de datos de documentos privados para encontrar datos relevantes para agregar al aviso del modelo base, aumentando su respuesta con esta información adicional relevante y similar.

4. Extender GenAI a través de la afinación: La afinación toma un LLM y lo entrena aún más en un conjunto de datos más pequeño para un caso de uso específico. Por ejemplo, un banco podría afinar un modelo base con sus propios términos y políticas, conocimiento sobre los clientes y exposición al riesgo, y mejorar su rendimiento en casos de uso específicos. Los enfoques de ingeniería de aviso están limitados por la ventana de contexto de los modelos, mientras que la afinación permite incorporar un corpus de datos más grande.

La integración de modelos de terceros y la afinación difuminan las líneas entre el consumo y la creación de su propia aplicación GenAI.

No todos los LLM se pueden afinar.

El código personalizado para integrar o alojar modelos de terceros requiere que los equipos de seguridad amplíen sus controles más allá de los requeridos para el consumo de servicios, aplicaciones o agentes de IA de terceros, agregando las superficies de ataque del ciclo de vida de la infraestructura y las aplicaciones internas.

Siete tácticas para obtener un mejor control del consumo de GenAI

La capacidad de prevenir el uso no autorizado es limitada, especialmente porque los empleados pueden acceder a aplicaciones GenAI y LLM comerciales o de código abierto desde dispositivos no administrados. Los líderes de seguridad deben reconocer que bloquear dominios y aplicaciones conocidos no es una opción sostenible ni integral. También provocará “bypasses” por parte de los usuarios, donde los empleados compartirían datos corporativos con dispositivos personales no monitoreados para obtener acceso a las herramientas. Muchas organizaciones ya han pasado de bloquear a una página de “aprobación” con un enlace a la política de la organización y un formulario para enviar una solicitud de acceso. Las organizaciones pueden aprovechar siete tácticas para obtener un mejor control del consumo de GenAI.

1. Desarrollar un marco de IA Responsable y Confiable (RTAF)

2. Tomar un enfoque integrado para la Gestión de Riesgos y Seguridad (RSM)

3. Definir una entidad y flujo de trabajo de gobernanza: El objetivo inmediato es establecer un inventario de todos los negocios y proyectos y definir casos de uso aceptables y requisitos de políticas. Las aplicaciones GenAI pueden requerir un flujo de trabajo de aprobación específico y un monitoreo continuo del uso, pero también declaraciones periódicas de los usuarios de que el uso real se ajusta a las intenciones predefinidas.

4. Monitorear y bloquear: Las organizaciones deben planificar bloquear el acceso a los dominios de OpenAI o aplicar algún nivel de prevención de pérdida de datos, aprovechando los controles de seguridad existentes o implementar soluciones de borde de servicio de seguridad (SSE) que puedan interceptar el tráfico web hacia aplicaciones conocidas.

5. Comunicación continua sobre políticas de uso aceptables a corto plazo: A menudo, se puede utilizar un documento de política de una o dos páginas para compartir el contacto interno para la aprobación, resaltar los riesgos de las aplicaciones, prohibir el uso de datos del cliente y solicitar documentación y trazabilidad de los resultados generados por estas aplicaciones.

6. Investigar y adoptar la Observabilidad para una ingeniería rápida e integraciones de API: Interceptar las entradas y salidas con una guía personalizada podría mejorar los resultados, pero también habilitar más controles de seguridad. Las organizaciones más grandes pueden investigar técnicas de mejora de guías, como Generación con Recuperación Aumentada (RAG).

7. Preferir opciones de alojamiento privado cuando estén disponibles, que ofrecen controles adicionales de seguridad y privacidad.

El Consumo de IA Generativa es una Nueva Superficie de Ataque

Como con cualquier innovación o tecnología emergente (por ejemplo, Metaverso, criptomoneda como dos ejemplos recientes), los actores maliciosos buscarán métodos creativos para explotar la inmadurez de las prácticas de seguridad y la conciencia de GenAI de formas novedosas.

El mayor riesgo de la IA generativa será su potencial para crear rápidamente contenido falso creíble para influir en la opinión popular y proporcionar contenido aparentemente legítimo para agregar una capa de autenticidad a las estafas.

Al asegurar el consumo de GenAI, los CISO y sus equipos deben anticipar los siguientes cambios en la superficie de ataque:

• Provocación adversaria: La aplicación de indicaciones directas e indirectas es una superficie de ataque prominente. Las nociones de “inyecciones de indicaciones” y “provocación adversaria” surgen como amenazas al consumir aplicaciones GenAI de terceros o al construir las propias. Las investigaciones preliminares muestran cómo aprovechar las indicaciones de la aplicación. Los equipos de seguridad deben considerar esta nueva interfaz como una posible superficie de ataque.

“La inyección de indicaciones” es una técnica de provocación adversaria. Describe la capacidad de insertar instrucciones ocultas o contexto en las interfaces de conversación o indicativas del sistema de la aplicación o en las generadas.

• IA generativa como señuelo: La popularidad de GenAI resultará en un uso significativo del tema como señuelo para atraer víctimas y como una nueva forma de fraude potencial. Espere aplicaciones, complementos de navegador, aplicaciones y sitios web falsificados de GenAI.
• Cadena de suministro digital: Los atacantes aprovecharán cualquier debilidad en los componentes de GenAI que se implementarán ampliamente como microservicios en aplicaciones empresariales populares. Estas subrutinas podrían verse afectadas por diversas técnicas de ataque de aprendizaje automático (ML), como manipulación de datos de entrenamiento y otros ataques para manipular la respuesta.
• Las regulaciones afectarán el consumo de la IA generativa: Las regulaciones futuras son una amenaza latente para las organizaciones que consumen (y construyen) aplicaciones de IA. A medida que las leyes puedan cambiar los requisitos para los proveedores, las organizaciones de industrias altamente reguladas o en regiones con leyes de privacidad más estrictas que también buscan activamente promulgar regulaciones de IA pueden tener que detener o revertir el consumo de aplicaciones LLM. El nivel de detalle puede variar según la sensibilidad del contenido. Las aplicaciones y servicios pueden incluir registro, pero las organizaciones pueden necesitar implementar su propio proceso para el contenido más sensible, como el código, las reglas y los scripts implementados en producción.

La IA Agrega una Nueva Superficie de Ataque a las Aplicaciones Existentes

Recomendaciones para la Seguridad y la Integridad de las Aplicaciones de IA

A un nivel alto, los aspectos de seguridad y confiabilidad de las aplicaciones de IA se pueden categorizar en cinco categorías:

1. Explicabilidad y monitoreo del modelo
2. Operaciones del modelo
3. Seguridad de la aplicación de IA
4. Privacidad
5. Base segura para la plataforma de aplicaciones de IA

La implementación de controles para aplicaciones de GenAI dependerá en gran medida de la implementación del modelo de IA. El alcance de los controles de seguridad dependerá del patrón de uso de la IA, por ejemplo, si una aplicación incluye:

• Adaptación a modelos de desarrollo híbridos, como el envoltorio de front-end (por ejemplo, ingeniería de prompts), el hospedaje privado de modelos de terceros y aplicaciones personalizadas de GenAI con diseño y ajuste de modelos internos.
• Tener en cuenta las opciones de seguridad de datos al entrenar y ajustar los modelos, especialmente el impacto potencial en la precisión o los costos adicionales. Esto debe sopesarse con los requisitos en las leyes modernas de privacidad, que a menudo incluyen la capacidad para que las personas soliciten a las organizaciones que eliminen sus datos.
• Capacitar a tus campeones de seguridad, campeones de ingeniería de software y campeones de DevOps en las prácticas de ‘Código GenAI seguro’.
• Actualizar la guía de Seguridad por Diseño y el Ciclo de Vida de Desarrollo de Software Seguro (SDLC seguro)
• Actualizar la guía de Seguridad por Defecto y Privacidad por Diseño
• Aplicar un Marco de Inteligencia Artificial Responsable y Confiable (RTAF) y un enfoque integrado de Gestión de Riesgos y Seguridad (IRSM).
• Aumentar las políticas de prueba para agregar requisitos de prueba contra indicaciones adversarias e inyecciones de prompts.
• Evaluar e implementar el conjunto de herramientas ‘Monitoreo de operaciones del modelo’.

La Promesa de una Defensa Totalmente Automatizada

El obstáculo principal para adoptar respuestas automatizadas no radica en las capacidades técnicas, sino en la responsabilidad de las personas involucradas. La opacidad que rodea el funcionamiento interno y las fuentes de datos de GenAI genera preocupación entre los líderes de seguridad acerca de automatizar directamente acciones basadas en los resultados de aplicaciones de IA generativas de ciberseguridad.

En los próximos 6-9 meses, muchos proveedores de seguridad introducirán características que explorarán las posibilidades de la IA compuesta, integrando múltiples modelos de IA y complementándolos con otras técnicas. Por ejemplo, un módulo de GenAI podría generar estrategias de remedio al detectar nuevos malware, y varios agentes autónomos ejecutarían estas acciones, que podrían implicar aislar el host afectado, eliminar correos electrónicos no abiertos o compartir indicadores de compromiso (IOC) con otras organizaciones. El atractivo de las acciones automatizadas para prevenir ataques, restringir el movimiento lateral o ajustar dinámicamente las políticas es una propuesta convincente para las empresas y los proveedores de tecnología, siempre y cuando demuestre ser efectiva.

Sin embargo, el desafío surge cuando se trata de explicar y documentar las respuestas automatizadas. Esta limitación, especialmente en operaciones críticas o al tratar con personal de primera línea, puede obstaculizar pero no detener completamente la automatización de respuesta. Los flujos de trabajo de aprobación obligatorios y una documentación exhaustiva serán esenciales hasta que la organización establezca suficiente confianza en el sistema para expandir gradualmente el grado de automatización. La explicabilidad efectiva incluso podría surgir como un factor distintivo para los proveedores de seguridad o un requisito legal en ciertas jurisdicciones.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!