Accenture crea una solución Knowledge Assist utilizando servicios de inteligencia artificial generativa en AWS

Accenture revoluciona con Knowledge Assist, utilizando servicios de inteligencia artificial generativa en AWS

Este artículo fue coescrito con Ilan Geller y Shuyu Yang de Accenture.

Hoy en día, las empresas enfrentan grandes desafíos cuando se trata de utilizar sus bases de información y conocimientos tanto para operaciones internas como externas. Con operaciones, procesos, políticas y requisitos de cumplimiento en constante evolución, puede resultar extremadamente difícil que los empleados y los clientes se mantengan actualizados. Al mismo tiempo, la naturaleza no estructurada de gran parte de este contenido hace que sea consumidor de tiempo encontrar respuestas utilizando la búsqueda tradicional.

Internamente, los empleados a menudo pueden pasar incontables horas buscando la información que necesitan para realizar sus trabajos, lo que conduce a la frustración y la reducción de la productividad. Y cuando no pueden encontrar respuestas, tienen que escalar problemas o tomar decisiones sin un contexto completo, lo que puede generar riesgos.

Externamente, los clientes también pueden encontrar frustrante localizar la información que están buscando. Aunque las bases de conocimiento empresarial han mejorado la experiencia del cliente con el tiempo, aún pueden ser engorrosas y difíciles de usar. Ya sea buscando respuestas a preguntas relacionadas con un producto o necesitando información sobre horarios y ubicaciones de operación, una mala experiencia puede generar frustración o, peor aún, la pérdida de un cliente.

• Crear una tubería de MLOps de principio a fin para la inspección de calidad visual en el borde – Parte 2
• Ajuste fino rápido y rentable de LLaMA 2 con AWS Trainium
• Ajustando los LLM en los mensajes de Slack

En ambos casos, a medida que la gestión del conocimiento se vuelve más compleja, la inteligencia artificial generativa presenta una oportunidad revolucionaria para que las empresas conecten a las personas con la información que necesitan para desempeñarse e innovar. Con la estrategia adecuada, estas soluciones inteligentes pueden transformar la forma en que se captura, organiza y utiliza el conocimiento en una organización.

Para ayudar a abordar este desafío, Accenture colaboró con AWS para construir una solución innovadora de inteligencia artificial generativa llamada Knowledge Assist. Mediante el uso de los servicios de inteligencia artificial generativa de AWS, el equipo ha desarrollado un sistema que puede procesar y comprender grandes cantidades de contenido empresarial no estructurado.

En lugar de las búsquedas tradicionales por palabras clave, los usuarios ahora pueden hacer preguntas y obtener respuestas precisas en una interfaz sencilla y conversacional. La inteligencia artificial generativa comprende el contexto y las relaciones dentro de la base de conocimiento para ofrecer respuestas personalizadas y precisas. A medida que recibe más consultas, el sistema mejora continuamente su procesamiento del lenguaje a través de algoritmos de aprendizaje automático (ML).

Desde el lanzamiento de este marco de asistencia de inteligencia artificial, las empresas han visto mejoras drásticas en la retención de conocimiento y la productividad de los empleados. Al proporcionar acceso rápido y preciso a la información y permitir a los empleados atenderse a sí mismos, esta solución reduce el tiempo de capacitación para nuevos empleados en más del 50% y disminuye las escalaciones hasta en un 40%.

Con el poder de la inteligencia artificial generativa, las empresas pueden transformar la forma en que se captura, organiza y comparte el conocimiento en la organización. Al desbloquear sus bases de conocimiento existentes, las empresas pueden aumentar la productividad de los empleados y la satisfacción del cliente. Como demuestra la colaboración de Accenture con AWS, el futuro de la gestión del conocimiento empresarial radica en sistemas impulsados por IA que evolucionan a través de interacciones entre humanos y máquinas.

Accenture está trabajando con AWS para ayudar a los clientes a implementar Amazon Bedrock, utilizar los modelos fundamentales más avanzados como Amazon Titan y desplegar tecnologías líderes en la industria como Amazon SageMaker JumpStart y Amazon Inferentia junto con otros servicios de AWS de ML.

Este artículo brinda una visión general de una solución generativa de IA de extremo a extremo desarrollada por Accenture para un caso de uso de producción utilizando Amazon Bedrock y otros servicios de AWS.

Descripción general de la solución

Un cliente importante del sector de la salud pública atiende a millones de ciudadanos todos los días, y estos demandan fácil acceso a información actualizada en un panorama de salud en constante cambio. Accenture ha integrado esta funcionalidad de inteligencia artificial generativa en un bot de preguntas frecuentes existente, lo que permite que el chatbot brinde respuestas a una amplia gama de preguntas de los usuarios. Al aumentar la capacidad de los ciudadanos para acceder a información pertinente de manera autoservicio, se ahorra tiempo y dinero al departamento, reduciendo la necesidad de interacción con agentes de centros de llamadas. Las principales características de la solución incluyen:

• Enfoque híbrido de intención: utiliza intenciones generativas y preentrenadas
• Compatibilidad multilingüe: conversa en inglés y español
• Análisis conversacional: informa sobre las necesidades de los usuarios, el sentimiento y las inquietudes
• Conversaciones naturales: mantiene el contexto con un procesamiento de lenguaje natural similar al humano (NLP)
• Citas transparentes: guía a los usuarios hacia la información fuente

La solución de inteligencia artificial generativa de Accenture ofrece las siguientes ventajas sobre los marcos de chatbot existentes o tradicionales:

• Genera respuestas precisas, relevantes y de apariencia natural rápidamente a consultas de los usuarios
• Recuerda el contexto y responde a preguntas de seguimiento
• Maneja consultas y genera respuestas en múltiples idiomas (como inglés y español)
• Aprende y mejora continuamente las respuestas en función de los comentarios de los usuarios
• Se integra fácilmente con su plataforma web existente
• Procesa un vasto repositorio de base de conocimientos empresariales
• Responde de manera similar a un ser humano
• La evolución del conocimiento está disponible de forma continua con un esfuerzo mínimo o nulo
• Utiliza un modelo de pago por uso sin costos iniciales

El flujo de trabajo de alto nivel de esta solución involucra los siguientes pasos:

1. Los usuarios crean una integración simple con plataformas web existentes.
2. Los datos se ingieren en la plataforma como una carga por lotes en el día 0 y luego se realizan cargas incrementales a partir del día 1.
3. Las consultas de los usuarios se procesan en tiempo real y el sistema se dimensiona según sea necesario para satisfacer la demanda del usuario.
4. Las conversaciones se guardan en las bases de datos de la aplicación (Amazon Dynamo DB) para admitir conversaciones de múltiples rondas.
5. Se invoca el modelo de la fundación Anthropic Claude a través de Amazon Bedrock, que se utiliza para generar respuestas de consulta basadas en el contenido más relevante.
6. El modelo de la fundación Anthropic Claude se utiliza para traducir consultas, así como respuestas, del inglés a otros idiomas deseados para admitir conversaciones en varios idiomas.
7. Se invoca el modelo de fundación Amazon Titan a través de Amazon Bedrock para generar incrustaciones vectoriales.
8. La relevancia del contenido se determina mediante la similitud de las incrustaciones de contenido sin procesar y la incrustación de consulta del usuario utilizando las incrustaciones de la base de datos vectorial Pinecone.
9. El contexto junto con la pregunta del usuario se agrega para crear una indicación que se proporciona como entrada al modelo Anthropic Claude. La respuesta generada se proporciona al usuario a través de la plataforma web.

El siguiente diagrama ilustra la arquitectura de la solución.

El flujo de la arquitectura se puede entender en dos partes:

• Carga de datos sin conexión a Amazon Kendra
• Flujo en línea del usuario final

En las siguientes secciones, discutiremos diferentes aspectos de la solución y su desarrollo con más detalle.

Selección del modelo

El proceso de selección del modelo incluyó pruebas de regresión de varios modelos disponibles en Amazon Bedrock, que incluyeron AI21 Labs, Cohere, Anthropic y los modelos de la fundación Amazon. Verificamos los casos de uso admitidos, los atributos del modelo, el número máximo de tokens, el costo, la precisión, el rendimiento y los idiomas. Basándonos en esto, seleccionamos Claude-2 como el más adecuado para este caso de uso.

Fuente de datos

Creamos un índice de Amazon Kendra y agregamos una fuente de datos utilizando conectores de rastreador web con una URL raíz y una profundidad de directorio de dos niveles. Se ingresaron varias páginas web en el índice de Amazon Kendra y se utilizaron como fuente de datos.

Proceso de solicitud y respuesta del chatbot GenAI

Los pasos en este proceso consisten en una interacción de extremo a extremo con una solicitud de Amazon Lex y una respuesta de un modelo de lenguaje grande (LLM):

1. El usuario envía la solicitud a la aplicación de front-end conversacional alojada en un cubo de Amazon Simple Storage Service (Amazon S3) a través de Amazon Route 53 y Amazon CloudFront.
2. Amazon Lex comprende la intención y dirige la solicitud al orquestador alojado en una función de AWS Lambda.
3. La función de orquestador Lambda realiza los siguientes pasos:
   1. La función interactúa con la base de datos de la aplicación, que se encuentra alojada en una base de datos administrada por DynamoDB. La base de datos almacena el ID de sesión y el ID de usuario para el historial de conversación.
   2. Se envía otra solicitud al índice de Amazon Kendra para obtener los cinco mejores resultados de búsqueda relevantes para construir el contexto relevante. Utilizando este contexto, se construye la indicación modificada requerida para el modelo LLM.
   3. Se establece la conexión entre Amazon Bedrock y el orquestador. Se envía una solicitud al modelo Claude-2 de Amazon Bedrock para obtener la respuesta del modelo LLM seleccionado.
4. Los datos se post-procesan a partir de la respuesta del LLM y se envía una respuesta al usuario.

Informes en línea

El proceso de informes en línea consta de los siguientes pasos:

1. Los usuarios finales interactúan con el chatbot a través de una capa frontal de CloudFront CDN.
2. Cada interacción de solicitud/respuesta es facilitada por el SDK de AWS y envía tráfico de red a Amazon Lex (el componente de procesamiento del lenguaje natural del bot).
3. Se registran metadatos sobre las combinaciones de solicitud/respuesta en Amazon CloudWatch.
4. El grupo de registro de CloudWatch está configurado con un filtro de suscripción que envía los registros a Amazon OpenSearch Service.
5. Una vez disponibles en OpenSearch Service, los registros se pueden utilizar para generar informes y paneles de control utilizando Kibana.

Conclusión

En esta publicación, mostramos cómo Accenture está utilizando los servicios generativos de inteligencia artificial de AWS para implementar un enfoque integral hacia la transformación digital. Identificamos las deficiencias en las plataformas tradicionales de respuesta a preguntas y mejoramos la inteligencia generativa dentro de su marco para obtener tiempos de respuesta más rápidos y mejorar continuamente el sistema al interactuar con los usuarios de todo el mundo. Comuníquese con el equipo del Centro de Excelencia de Accenture para profundizar en la solución e implementarla para sus clientes.

Esta plataforma Knowledge Assist se puede aplicar a diferentes industrias, incluyendo, pero no limitado a, ciencias de la salud, servicios financieros, manufactura y más. Esta plataforma proporciona respuestas naturales y humanas a preguntas utilizando conocimiento seguro. Esta plataforma permite eficiencia, productividad y acciones más precisas para sus usuarios.

El esfuerzo conjunto se basa en los 15 años de relación estratégica entre las compañías y utiliza los mismos mecanismos y aceleradores probados construidos por el Grupo Empresarial Accenture AWS (AABG).

Conéctese con el equipo de AABG en [email protected] para impulsar resultados comerciales al transformarse en una empresa de datos inteligente en AWS.

Para obtener más información sobre la inteligencia artificial generativa en AWS utilizando Amazon Bedrock o Amazon SageMaker, recomendamos los siguientes recursos:

• Inteligencia artificial generativa en AWS: Tecnología
• Comience con la inteligencia artificial generativa en AWS utilizando Amazon SageMaker JumpStart

También puede registrarse para recibir el boletín de noticias de inteligencia artificial generativa de AWS, que incluye recursos educativos, blogs y actualizaciones de servicios.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!