Descubrimiento de productos impulsado por LLM Un salto más allá de la búsqueda híbrida

Descubrimiento de productos con LLM

En esta era de tecnología de vanguardia en constante evolución, el mundo está inmerso en la ola de LLM, generando nuevas ideas que revolucionan nuestra vida diaria. A medida que internet rebosa con una gran cantidad de soluciones y posibilidades especializadas, nos encontramos en el umbral de un paisaje digital transformador.

Esta serie de blogs se embarca en una exploración de la búsqueda de productos/contenidos, esforzándose no solo en ofrecer perspectivas valiosas, sino también en arrojar luz sobre las limitaciones prácticas dentro de este ámbito. Como se enfatiza a lo largo de la serie, el contexto juega un papel fundamental en este dominio, y nos hemos adentrado en la eficacia y mecánica tanto de los sistemas de búsqueda semántica como de búsqueda híbrida.

El contexto es el rey: el arte y la ciencia de la búsqueda de contenidos

— Explorando el poder de Transformers, GPT y motores de búsqueda híbridos para revolucionar la búsqueda de contenidos

VoAGI.com

Búsqueda híbrida: amalgamación de representaciones de vectores dispersos y densos para contenido activo…

— Uniendo el significado de los datos con los metadatos para aprovechar un contexto más profundo

VoAGI.com

• Introducción al Aprendizaje Estadístico, Edición en Python Libro gratuito
• Difusión estable de AI’s Stable Diffusion XL 1.0 un avance en la generación de imágenes de IA
• RT-2 Nuevo modelo traduce visión y lenguaje en acción

Además, la serie ha tocado brevemente la redefinición de la búsqueda de contenido y la búsqueda de productos a través de las potentes capacidades de LLM (Aprendizaje basado en modelos de lenguaje). En esta publicación en particular, nuestro enfoque estará en la búsqueda potenciada por LLM, específicamente orientada a la búsqueda activa/descubrimiento explícito para cerrar la brecha entre los paradigmas de búsqueda híbrida y búsqueda de LLM.

A estas alturas, debería quedar claro que el verdadero valor de LLM radica en su notable capacidad de generalización y su capacidad para aplicar conocimientos en un contexto más amplio, acercándonos a la consecución de resultados impresionantes a través de interacciones más naturales. El contexto sigue siendo un factor importante en el proceso de descubrimiento, abarcando no solo el micro-contexto semántico profundo del contenido, sino también el aspecto vital de desarrollar una conciencia del contexto de evolución del usuario con el tiempo.

De contenido a descubrimiento de conocimiento y de filtros de búsqueda a lenguaje natural: desencadenando…

Si has estado siguiendo mi serie de blogs desde “¡El contexto es el rey!” hasta “De palabras clave a…

VoAGI.com

A medida que profundizo en el tema, descubro varias contribuciones cruciales de LLM al ámbito del descubrimiento, especialmente en el contexto de la búsqueda activa:

Descubrimiento de contenido impulsado por el conocimiento utilizando LLM — Los LLM con la tubería RAG (Generación Aumentada de Recuperación) poseen la capacidad de aprovechar eficientemente el rico conocimiento subyacente presente en el repositorio de documentos. A través de esto, se puede hacer que el conocimiento relevante aparezca de manera efectiva junto con los documentos fuente. Este enfoque revolucionario de Descubrimiento de Contenido basado en el Conocimiento tiene una gran aplicabilidad en aplicaciones basadas en documentos como plataformas de aprendizaje como Coursera, Duo lingo y sistemas de gestión de contenido en línea como VoAGI, YouTube y WordPress. Además, extiende sus beneficios a aplicaciones empresariales como Sharepoint y Confluence, que hospedan repositorios de documentos empresariales esenciales.

Un ejemplo de escenario podría ser: Usuario: “¿Puedo llevar adelante todos mis días de vacaciones pendientes al próximo año?” Bot: “Sí, puedes llevar adelante hasta 10 días de vacaciones pendientes al próximo año. Consulta estos documentos para obtener más detalles: Política_de_vacaciones_de_la_organización_2023.pdf”

Al aprovechar el contexto micro-semántico inherente dentro del contenido, este enfoque abre nuevos horizontes para la recuperación de información mejorada y un descubrimiento de contenido más perspicaz.

Descubrimiento de productos/usuarios impulsado por metadatos con LLM — Ya sea en una plataforma de comercio electrónico con atributos de productos enriquecidos o en una aplicación de redes sociales con atributos significativos de perfiles de usuarios, la abundancia de metadatos puede mejorar significativamente la relevancia contextual dentro del espectro más amplio ofrecido por LLM. Esta convergencia de atributos de entidades con contenido se asemeja a las capacidades de un sistema de búsqueda híbrida, aprovechando el poder combinado de los contextos semánticos y textuales literales. Consulta mis publicaciones anteriores que exploran este aspecto.

Para satisfacer de manera efectiva la búsqueda híbrida con el contexto semántico aumentado en la consulta y los filtros de búsqueda, se vuelve esencial el uso de bases de datos vectoriales como Pinecone, Weaviate o Solr.

La integración de LLM puede elevar la experiencia de búsqueda a nuevas alturas, aprovechando las ventajas que aporta. Aquí hay algunas ideas que podrían manifestarse potencialmente:

a. Mejora de la representación semántica con LLM: Los modelos GPT ofrecen una comprensión contextual superior en comparación con BERT. Mientras que los modelos GPT, incluido GPT-3 de OpenAI, se basan en la arquitectura de transformers y predicen la siguiente palabra en una secuencia, BERT se enfoca en representaciones de palabras o frases de longitud fija sin contexto. Esta diferencia hace que los modelos GPT sean más coherentes y apropiados contextualmente para generar texto, considerando todo el contexto precedente para las predicciones.

b. Metadatos de productos extensos enriquecidos por LLM: Los modelos LLM demuestran una capacidad excepcional para generar descripciones de productos comprensivas y en lenguaje natural, que abarcan todos los metadatos relevantes. Por ejemplo:

Descripción de muestra en el índice de búsqueda para un producto de cocina: Presentamos el ToastMaster 3000: un tostador eficiente y elegante con tecnología avanzada de tostado, ranuras anchas y un potente elemento de calentamiento de 1200 vatios. Disponible en acero inoxidable clásico, el electrodoméstico de cocina perfecto con mantenimiento fácil. ¡Mejora tu rutina de desayuno hoy mismo!

Este enfoque es altamente ventajoso para mapear consultas de usuario, especialmente aquellas que son ambiguas o se expresan en inglés simple, sin valores aceptables específicos para filtrar. Al adoptar este enfoque y eliminar los engorrosos filtros de búsqueda avanzada, la experiencia de búsqueda se vuelve fluida y fácil de usar. Los usuarios pueden encontrar fácilmente exactamente lo que buscan, incluso en escenarios de búsqueda complejos e inciertos. El uso de la representación en lenguaje natural potencia una interacción fluida del usuario, facilitando el descubrimiento de productos y mejorando la satisfacción general del usuario.

c. Expansión de consultas con LLM: En efecto, los modelos LLM pueden desempeñar un papel fundamental en la generación de cadenas descriptivas que amplían la consulta del usuario. Cuando el objetivo es el descubrimiento de contenido, los modelos LLM pueden ir un paso más allá al extraer los intereses inherentes del usuario, los temas o las ideas conceptuales. Estas ideas extraídas pueden concatenarse a la consulta original del usuario, lo que conduce a una cobertura de búsqueda más completa y extensa.

La consulta original del usuario podría ser así:tostador pequeño de fácil limpieza y alta capacidadLa consulta mejorada con LLM podría verse así: Un tostador pequeño que requiere un mantenimiento mínimo y ofrece una alta capacidad de tostado para una preparación eficiente y conveniente del desayuno.

Al incorporar estos elementos adicionales, los modelos LLM facilitan una exploración más amplia de contenido relevante, garantizando que los usuarios reciban una variedad diversa de resultados que se alinean estrechamente con sus preferencias e intereses. Este enfoque mejora significativamente el proceso de descubrimiento de contenido, proporcionando a los usuarios una experiencia de búsqueda más personalizada y enriquecedora.

Reordenar los resultados de búsqueda con LLM: Efectivamente, existen proyectos activos donde se pueden emplear modelos LLM para generar clasificaciones de relevancia para los resultados de búsqueda obtenidos. Aprovechando la capacidad poderosa de los LLM para generalizar holisticamente las consultas de usuario en comparación con las descripciones de los resultados, estos proyectos buscan mejorar la precisión y la relevancia de los resultados de búsqueda. Al utilizar el conocimiento capturado por los modelos LLM, el proceso de clasificación se vuelve más informado y contextualmente consciente, lo que resulta en una lista más refinada de resultados relevantes adaptados a la intención del usuario.

Descubrimiento habilitado por una interfaz completamente natural con LLM: Esto puede considerarse como un gran salto para superar las limitaciones causadas por las cajas de búsqueda tradicionales, los filtros y los controles de paginación. Adoptando una interfaz de lenguaje natural, el enfoque “Habla con tus datos”, potenciado por los modelos LLM, toma el protagonismo. Aprovechando las increíbles capacidades generativas de los modelos LLM, el agente de búsqueda genera consultas para interactuar con las bases de datos y recuperar los resultados más relevantes, coincidiendo con las consultas de los usuarios y el contexto proporcionado durante la conversación. ¡Despídete de las limitaciones de las interfaces de búsqueda convencionales y da la bienvenida a una nueva era de exploración intuitiva y conversacional!

Ejemplo de descubrimiento basado en CUI podría verse así:Usuario: Estoy buscando un tostador para mi cocinaConsulta generada por el bot: product_category : electrodoméstico de cocina & product_type: tostador<resultados recuperados mostrados al usuario>Usuario: muéstrame solo el tamaño más pequeñoConsulta generada por el bot: product_category : electrodoméstico de cocina & product_type: tostador & tamaño_ranura:2<resultados coincidentes mostrados al usuario>Usuario: ¿espero que estos tengan una potencia baja?Consulta generada por el bot: product_category : electrodoméstico de cocina & product_type: tostador & tamaño_ranura:2 & capacidad_actual: 800 vatios<resultados coincidentes mostrados al usuario>

Nota: ¡Observa cómo el contexto de la consulta del usuario se va construyendo a través de la interacción!

Detalles de implementación para el descubrimiento de productos impulsado por LLM en la interfaz de usuario conversacional (CUI):

Habla con los datos en lenguaje natural:

Independientemente de si los datos se almacenan en una base de datos vectorial u otra base de datos estructurada, los LLM tienen la notable capacidad de generar consultas para ellos basadas en el contexto del lenguaje natural. La ventaja clave de este enfoque es la capacidad de expandir incrementalmente el contexto de la consulta durante una conversación. Al emplear una ingeniería de indicaciones simple con ejemplos de pocos disparos, se pueden generar consultas de alta calidad que pueden recuperar automáticamente resultados relevantes de la base de datos.

Además, al incorporar la conversación histórica como una memoria de la indicación, se permite la síntesis de consultas exhaustivas, que abarcan todo el contexto de la consulta aumentado por la consulta del usuario y los filtros expresados para ajustar el conjunto de resultados. Este proceso de generación de consultas flexible y dinámico facilita una interacción más intuitiva y conversacional con los datos, desbloqueando un nuevo nivel de comprensión y relevancia contextual.

Veamos los pasos detallados involucrados en la implementación:

1. Preprocesamiento de datos: Generar un resumen completo del producto en texto natural, que abarque todos los metadatos. El uso de LLM para este paso también es imperativo, dada su dominancia comprobada.
2. Generación de incrustaciones semánticas impulsadas por el modelo GPT. Generar una representación vectorial densa para los datos del producto (descripción) y el resumen generado automáticamente (como se ve en el paso #1). Las opciones favoritas entre los desarrolladores son el uso del punto final de incrustación de texto de OpenAI (text-embedding-ada-002) o el uso de Sentence transformer (all-MiniLM-L6-v2) de Huggingface.
3. Indexación de las incrustaciones semánticas generadas (del paso anterior) en una base de datos vectorial de elección como Pinecone, ChromaDb, Apache Solr, etc. Esto también debe considerar metadatos como la categoría del producto, el género, la localidad, las calificaciones, etc., asociados con el vector del documento.
4. Construcción de un sintetizador de consultas que acepte la entrada en lenguaje natural del usuario y produzca las consultas de la tienda de vectores según lo guiado por la indicación (que contiene el esquema y algunos ejemplos de plantillas de pocos disparos) y la memoria contextual. Además, también se pueden agregar temas extraídos de la consulta del usuario para inferir su intención.
5. Reevaluación de la consulta: Las consultas generadas pueden validarse nuevamente en busca de posibles errores, así como ejecutarse a través de la autocorrección al tener otro LLM dedicado a esta etapa.
6. Recuperar los resultados de la base de datos vectorial, coincidiendo con las consultas generadas y prevalidadas por LLM.
7. Presentar los resultados al usuario y, al mismo tiempo, agregar las entradas y comentarios adicionales del usuario a la memoria de la conversación.

Y repetir los pasos del 4 al 7 a medida que avanza la interacción.

Conservar las entradas del usuario, incluidas las consultas, los filtros y los comentarios, dentro de la memoria es de suma importancia para ampliar el contexto de la sesión del usuario. A medida que el usuario interactúa con los resultados de búsqueda y refina sus consultas, el valioso contexto a largo plazo almacenado en la memoria permite adaptar las respuestas a los requisitos en evolución de manera más efectiva.

De hecho, aunque el concepto puede parecer sencillo, puedo asegurarte que la experiencia práctica con este enfoque implica una curva de aprendizaje significativa. A pesar de los resultados impresionantes y prometedores, mi experiencia personal ha revelado ciertos desafíos e imperfecciones. Permíteme compartir mis observaciones, detallando los pros y los contras de este enfoque para proporcionar una comprensión más completa de su practicidad y posibles inconvenientes.

Ventajas de la búsqueda conversacional impulsada por LLM:

1. La principal ventaja de la búsqueda impulsada por LLM radica en su excepcional capacidad para comprender profundamente la intención del usuario a través del contexto inherente. Esta comprensión va más allá de interpretar meramente los requisitos descriptivos del usuario; se extiende a entrelazar eficientemente estos requisitos con diversos contextos de productos, que abarcan datos no estructurados, semi-estructurados y estructurados. La versatilidad y el poder contextual de los LLM los convierten en una herramienta indispensable para desbloquear el verdadero potencial de la exploración de datos y enriquecer la experiencia de búsqueda del usuario.
2. La interacción del usuario se realiza completamente en un formato natural, lo que elimina la molestia de lidiar con menús, filtros y desplazamiento paginado. La expectativa/contexto de la consulta del usuario se construye con el tiempo a lo largo de múltiples turnos de conversación y los comentarios proporcionados por el usuario en la CUI. De esta manera, el usuario no tiene que ingresar palabras clave y filtros repetidamente (lo que a menudo lleva a frustraciones); más bien, el agente de búsqueda LLM puede encargarse de desarrollar la comprensión contextual a lo largo de las interacciones en curso.
3. La búsqueda impulsada por LLM exhibe flexibilidad para adaptarse a los requisitos de búsqueda en evolución, ya sea debido a actualizaciones del esquema del producto o a cambios relacionados con la experiencia de usuario. La CUI permite un proceso de descubrimiento fluido y dinámico y, lo que es más importante, la responsabilidad de las actualizaciones recae principalmente en el modelo LLM empleado por el agente de búsqueda.

¿Y hay alguna advertencia con este enfoque?

1. Escalabilidad y sobrecarga de mantenimiento: Exponer el esquema como parte de la indicación puede llevar a la fuga de tokens debido a la longitud de contexto limitada manejada por los LLM.
2. Sobrecarga de mantenimiento: Las actualizaciones continuas de las indicaciones para mantenerlas sincronizadas con el esquema en evolución es otra tarea inevitable. Para mitigar estos problemas, se pueden explorar estrategias alternativas para manejar el esquema y la gestión de indicaciones, asegurando una experiencia de búsqueda con LLM más fluida y robusta.
3. Calidad de la consulta con esquema complejo: La calidad de la consulta generada es más eficiente cuando los datos se distribuyen en un número limitado de tablas / colecciones. Si bien es fácil convertir el esquema para desnormalizar la estructura y tener todos los elementos como parte de una o menos tablas / colecciones, las actualizaciones continuas de las bases de datos vectoriales aún no son eficientes en rendimiento. El mantenimiento continuo de los elementos de datos transaccionales (como precio, disponibilidad, etc.) seguirá siendo ineficaz en las bases de datos vectoriales.
4. Inexactitudes en la consulta: A pesar de las instrucciones explícitas en la indicación y los ejemplos detallados en las plantillas, las consultas producidas por LLM aún no están libres de errores. Dado que las consultas erróneas conducen a resultados desfavorables en la interacción con la base de datos, es muy importante volver a verificar las consultas generadas por LLM. Reevaluar con indicaciones de cadena de pensamiento (CoT) y corregir automáticamente las consultas generadas mediante otra llamada a LLM es un enfoque alternativo que se puede considerar. SelfQueryRetriever de Langchain es un método que emplea este enfoque.
5. Aumento de la latencia: Los LLM son modelos de lenguaje grandes y complejos, y sus extensos cálculos requieren un tiempo de procesamiento significativo, lo que conduce a un aumento de la latencia. Debido al tamaño del modelo, las limitaciones de tokens y las restricciones de recursos, a menudo se producen retrasos en la recuperación de los resultados obvios.
6. Riesgos para la privacidad de los datos: Es imperativo evaluar la elección de los servicios de LLM teniendo en cuenta las preocupaciones de seguridad de datos. Si bien el uso de servicios de LLM listos para usar parece ser más confiable, el riesgo potencial de exposición de información confidencial y violaciones de datos se convierte en una preocupación creciente. Alojar LLM de código abierto en una Nube Virtual Privada (VPC) puede ser una medida efectiva para cumplir con los requisitos de privacidad y seguridad de datos.
7. Aumento de costos: Ya sea optando por LLM como servicio de pago o alojando LLM personalizados en su propia infraestructura, es crucial reconocer su naturaleza intensiva en recursos, que impacta directamente en los costos.

Debido a estos desafíos, he estado ajustando constantemente el diseño de la solución para crear una interfaz de texto a base de datos que se acerque a la perfección. De hecho, este es un momento oportuno para desatar la creatividad y explorar las vastas posibilidades de LLM.

Hay una idea que he evaluado, que elimina la necesidad de mantener metadatos categóricos y arriesga los resultados a la calidad de las consultas generadas por LLM —

Convertir todo el conjunto de atributos del producto en descripciones comprensivas en lenguaje natural, específicamente para fines de búsqueda, y tratar las consultas de búsqueda como recuperación de documentos puramente no estructurada es una opción convincente a considerar. Este enfoque puede simplificar el proceso de búsqueda y ofrecer interacciones más intuitivas para los usuarios, lo que conduce a una mayor capacidad de descubrimiento y satisfacción del usuario. Otra alternativa, aunque desafiante, es desarrollar modelos LLM finamente ajustados e independientes para cada señal contextual.

El enfoque anterior no solo elimina la dependencia de las consultas para recuperar datos del producto, sino que también ofrece una mejor generalización de estos atributos categóricos en un contexto mundial con el poder de LLM. Un enfoque posible para este mecanismo (como también he citado en mi publicación anterior) podría emplear un resumen del producto generado por LLM en la base de datos de búsqueda. Y esto puede verse así:

“Presentamos nuestra colección de encantadoras faldas de fiesta azules diseñadas específicamente para adolescentes de 13 años. Elaboradas con cuidado y atención al detalle, estas faldas son el epítome del estilo y la sofisticación juvenil. El vibrante tinte azul añade un toque de vitalidad a cualquier conjunto, lo que las hace ideales para ocasiones especiales, celebraciones o simplemente para vestirse para un divertido día fuera. Con su ajuste cómodo y su silueta favorecedora, estas faldas harán que tu joven fashionista se sienta segura y lista para brillar. Permítele mostrar su sentido único de estilo con estas encantadoras faldas de fiesta azules.”

¡El usuario final que consulta ‘faldas de adolescente azul marino para cumpleaños’ no solo puede obtener el producto anterior, sino también todos los artículos relevantes que coincidan con una intención similar!

En medio de esta emocionante revolución de la IA generativa, lograr un equilibrio entre la creatividad y una evaluación del ratio ganancia-dolor pragmática se vuelve fundamental. Al adoptar un enfoque equilibrado, las empresas pueden aprovechar el vasto potencial de los LLM y tomar decisiones informadas que allanen el camino hacia soluciones exitosas y rentables.

A medida que me sumerjo en los múltiples aspectos del descubrimiento de productos, exploro y genero ideas innovadoras para aprovechar las capacidades de LLM; espero con ansias tener sus perspectivas o argumentos en contra, ya que enriquece nuestra comprensión y fomenta una exploración más completa de este emocionante campo. ¡Manténganse atentos y suscríbanse para obtener más ideas y enfoques cautivadores en mis próximas publicaciones!

We will continue to update Zepes; if you have any questions or suggestions, please contact us!