Cómo diseñar una búsqueda empresarial basada en IA en AWS

Diseño de búsqueda empresarial basada en IA en AWS

Encontrar la información adecuada en el momento adecuado es un diferenciador clave en las organizaciones modernas de hoy en día. Esto no solo ahorra mucho tiempo y esfuerzo, sino que también aumenta la satisfacción del cliente y la productividad de los empleados. Sin embargo, en la mayoría de las grandes organizaciones, todo el contenido y la información están dispersos y no están indexados y organizados adecuadamente. A menudo, los empleados y los clientes navegan por enlaces no relacionados durante horas cuando buscan información urgente (por ejemplo, información del producto, flujos de procesos o políticas, etc.) en el portal o intranet de la empresa. Los populares software de gestión de contenido (CMS) o wikis como Confluence o los repositorios de gestión de documentos como SharePoint carecen de las capacidades de búsqueda inteligente perfectas, lo que resulta en ineficiencia, ya que solo utilizan la búsqueda de texto parcial o completa basada en la coincidencia de palabras clave, ignorando el significado semántico de lo que el usuario está buscando.

Además, la búsqueda tradicional no entiende si la pregunta se está formulando en lenguaje natural. Trata todas las palabras como consultas de búsqueda e intenta hacer coincidir todos los documentos o contenidos en base a eso. Por ejemplo, si necesito encontrar en qué piso se encuentra el servicio de asistencia de TI en mi edificio de oficinas y simplemente busco “¿Dónde se encuentra el servicio de asistencia de TI?”, es posible que los software de CMS o Wiki que alimentan la intranet de la empresa muestren todos los enlaces o textos que coinciden con cada palabra de mi pregunta, incluyendo “TI”, “ayuda” y “ubicado”. Esto sería un desperdicio de productividad, tiempo y moral del empleado, ya que estaría pasando mucho tiempo identificando la información correcta.

Supongamos que hay un minorista de comercio electrónico en el campo de la ropa. Si alguien busca usando palabras en francés para una camisa negra usando “chemise noire”, es probable que la búsqueda de texto completo regular no encuentre nada si no se realiza una traducción de idioma en el sistema. Mostraría sin resultados a los usuarios y, efectivamente, habría una pérdida en el negocio.

Diseñando la Solución

Para superar el problema que enfrentan las organizaciones al utilizar servicios de coincidencia de palabras clave, Amazon lanzó el servicio sin servidor Amazon Kendra que utiliza el aprendizaje automático para comprender el contexto y la intención de la pregunta formulada por el usuario en lenguaje natural y, utilizando esto, descubrir el contenido o las respuestas correctas y responder al usuario en el mismo lenguaje natural.

• Cuánto tiempo deberías dedicar a la preparación de la entrevista de Ciencia de Datos
• Automatiza el crecimiento de tu cuenta de Twitter con ChatGPT y Zapier
• Cómo acelerar las consultas SQL utilizando índices [Edición Python]

Amazon Kendra viene con muchos conectores de datos para admitir una integración rápida con cualquier fuente de datos empresariales (Salesforce CRM, Sharepoint, Jira/Confluence o S3 buckets, servidor de archivos). Por lo tanto, es realmente fácil conectarse a cualquier repositorio de contenido.

Una vez que se ha realizado la integración de la fuente, en la consola de Amazon Kendra se puede crear el “índice”, que se sincronizará con el contenido incluso si este cambia con el tiempo. Este proceso de sincronización ayuda a Kendra a aprender y clasificar el contenido internamente utilizando el aprendizaje automático.

Una vez que se completa la indexación de Kendra y está lista para ser utilizada, la interfaz de usuario se puede personalizar o se puede acceder a través de la integración de API. El siguiente diseño representa el flujo:

Casos de Uso Empresariales

Hay múltiples casos de uso en los que se puede aprovechar la capacidad de búsqueda inteligente.

• Servicio de Asistencia Técnica / Centro de Contacto: Los agentes de servicio de asistencia técnica o centro de contacto dedican una cantidad significativa de tiempo a identificar los pasos correctos mientras ayudan a los clientes internos o externos a medida que la base de conocimientos crece. El uso de esta capacidad de búsqueda inteligente ayudaría a los agentes del centro de contacto a responder rápidamente las consultas de los clientes. Esto no solo reduciría el tiempo de llamada, sino que también aumentaría la satisfacción del cliente y el rendimiento de los agentes.
• Sistema de Recomendación: AWS Kendra también se puede utilizar para construir una plataforma de recomendación donde los clientes estarían más comprometidos en base al servicio de recomendación mediante la integración del sistema de preguntas frecuentes.
• Las aplicaciones o productos SAAS pueden aprovechar la búsqueda en la aplicación impulsada por ML para que los usuarios puedan encontrar rápidamente las respuestas relevantes que están buscando.
• Dado que la API de Kendra se puede integrar con bots de preguntas y respuestas, el costo o el tiempo de espera del centro de contacto será menor, ya que los usuarios podrán encontrar respuestas rápidamente utilizando los bots de autoservicio o el buscador de información sin agente.

Beneficios de utilizar AWS Kendra

• AWS Kendra le ayuda a lanzar e implementar rápidamente una experiencia de búsqueda unificada en toda su organización con diferentes fuentes de datos de múltiples contenidos estructurados y no estructurados. Dado que tiene casi todos los conectores de datos para ingestar datos de Salesforce, SharePoint, S3 buckets o bases de datos, el esfuerzo de desarrollo es mínimo.
• Kendra admite el uso de procesamiento de lenguaje natural (NLP) para obtener respuestas altamente precisas utilizando la técnica de aprendizaje automático (ML), pero eso no significa que tenga que tener experiencia en aprendizaje automático en la organización, pero aún así puede proporcionar capacidades similares a los usuarios.
• En Kendra, es posible utilizar los atributos de metadatos, el comportamiento del usuario y la frescura para ajustar los resultados de búsqueda.
• AWS Kendra admite la integración de preguntas frecuentes externas con el contenido ingresado en función de la clasificación de documentos y el aprendizaje automático, lo que involucra a los usuarios.

Demo

Los pasos básicos para diseñar una solución con Kendra son:

• Crear un índice
• Integrar la fuente de datos requerida utilizando los conectores de datos multi-canal disponibles en Kendra.
• Implementar y realizar pruebas utilizando la interfaz de usuario incorporada o utilizar la API REST para integrar su propia interfaz de usuario.

Amazon Kendra tiene múltiples conectores de datos para la base de datos de Amazon RDS, S3, Jira / Confluence, CRM de SalesForce, ServiceNow, Slack, Google Drive, Microsoft OneDrive y Microsoft SharePoint, y puede extraer y consumir datos de PDF, HTML o CSV, en casi cualquier formato popular. En las siguientes secciones, revisaremos en detalle cada paso.

1. Crear un índice

Inicie sesión en la consola de AWS y cambie la región al área admitida donde esté disponible AWS Kendra. Inicie AWS Kendra desde la barra de búsqueda. Haga clic en el Crear índice y complete los detalles, como se muestra en la captura de pantalla a continuación. Aquí puede optar por utilizar su propio nombre.

Dado que utilizaremos un par de documentos para experimentar, seleccioné “Edición para desarrolladores”.

Una vez que haga clic en el botón Crear, AWS provisionará una instancia de AWS Kendra con el índice creado.

2. Integrar la ingestión de datos

Antes de integrar el bucket de S3 como fuente de datos, primero debemos crear el bucket de S3. Una vez creado el bucket, podemos cargar algunos archivos PDF de su elección. Descargué 2 libros electrónicos de historia de Estados Unidos (Volumen 2 y 3) de Project Gutenburg, que subí al bucket.

Una vez que haya cargado todos los archivos, vaya a la pestaña Propiedades en el servicio de S3 para copiar el ARN.

Vaya al servicio de AWS Kendra y seleccione el índice que creamos anteriormente. Verá la opción “Agregar fuente de datos” para conectarse a la fuente de datos. Necesitamos utilizar el conector de Amazon S3 para conectarnos al bucket de S3.

Puede proporcionar cualquier nombre a la fuente de datos; para mayor simplicidad, estoy usando s3-pdf-docs.

Cree un nuevo rol de IAM para la fuente de datos.

Para la sección de sincronización, explore el bucket de S3 para sincronizar desde, y la frecuencia será a demanda.

Elija las opciones predeterminadas que vienen a continuación y haga clic en Agregar fuente de datos para iniciar el proceso de sincronización.

3. Sincronizar el proceso de ingestión desde la fuente

Una vez que la fuente de datos esté activa, debe iniciar el proceso de sincronización para cargar los datos de texto en formato PDF desde el bucket de S3 al índice de Kendra.

Una vez que se inicie el proceso de sincronización, se mostrará como estado En progreso en la sección de historial.

4. Validar la ingestión de datos

Cuando se complete el proceso de sincronización, se mostrará el recuento de documentos confirmando que se han agregado e indexado nuevos documentos.

Una vez que el documento se haya ingestado, haga clic en “Buscar contenido indexado” para validar la búsqueda.

5. Probar la Búsqueda Predeterminada de AWS Kendra en la Consola

Realicé una búsqueda utilizando la palabra clave (mostrada a continuación) y los resultados se obtuvieron de inmediato. No obtuvo los resultados correctamente, pero pudo extraer el extracto del documento también.

Kendra viene con muchas características incorporadas para que los resultados se puedan ajustar y expone una API y un SDK para conectarse y utilizar en otras interfaces de usuario.

Recuerde eliminar el índice cuando haya terminado de experimentar; de lo contrario, podría incurrir en costos en el futuro.

Conclusión

Como se muestra en la guía anterior, es muy fácil configurar una búsqueda empresarial personalizada basada en aprendizaje automático completo basada en datos y documentos empresariales propietarios, que no solo es escalable, sino que también proporciona características listas para usar para personalizar los resultados de acuerdo con los requisitos. Amazon Kendra proporciona una API para combinarla con cualquier aplicación de página única o bot de preguntas y respuestas, lo que brinda una mayor flexibilidad. La mejor característica es que Kendra viene con muchos conectores de datos, por lo que se puede integrar perfectamente con cualquier tipo de fuente de datos empresarial, y no es necesario realizar ningún esfuerzo adicional para construirlo.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!