¿Estás utilizando la Generación Aumentada con Recuperación (RAG) para Biomedicina? Conoce a MedCPT Un Modelo Transformador Pre-entrenado Contrastivo para la Recuperación de Información Biomédica sin Necesidad de Datos de Entrenamiento

¿Usas RAG en Biomedicina? Descubre a MedCPT, un modelo contrastivo pre-entrenado revolucionario para la recuperación de información biomédica sin requerir datos de entrenamiento

Los modelos de Recuperación de Información (IR, por sus siglas en inglés) tienen la capacidad de ordenar y clasificar documentos en función de las consultas de los usuarios, facilitando un acceso eficiente y efectivo a la información. Una de las aplicaciones más emocionantes del IR se encuentra en el campo de la biomedicina, donde se puede utilizar para buscar literatura científica relevante y ayudar a los profesionales médicos a tomar decisiones basadas en la evidencia.

Sin embargo, dado que la mayoría de los sistemas de IR existentes en este campo se basan en palabras clave, pueden pasar por alto artículos relevantes que no comparten las palabras clave exactas. Además, los modelos densos basados en recuperadores se entrenan en conjuntos de datos generales que no pueden funcionar bien en tareas específicas del dominio. Además, también hay escasez de conjuntos de datos específicos del dominio, lo que limita el desarrollo de modelos generalizables.

Para abordar estos problemas, los autores de este artículo han presentado MedCPT, un modelo de IR que se ha entrenado con 255 millones de pares de consultas-artículos de registros de búsqueda anónimos de PubMed. Los modelos tradicionales de IR tienen una discrepancia entre los módulos de recuperador y reclasificador, lo que afecta su rendimiento. MedCPT, por otro lado, es el primer modelo de IR que integra estos dos componentes utilizando aprendizaje contrastivo. Esto garantiza que el proceso de reordenación se ajuste más de cerca a las características de los artículos recuperados, haciéndolo más efectivo.

• Investigadores de China proponen iTransformer Repensando la arquitectura Transformer para una mejora en la previsión de series temporales
• Álgebra Lineal 4 Ecuaciones Matriciales
• Generando más perspectivas de calidad por mes

Como se mencionó anteriormente, MedCPT consta de un recuperador de primera etapa y un reordenador de segunda etapa. Esta arquitectura de bi-codificador es escalable ya que los documentos se pueden codificar sin conexión y solo la consulta del usuario necesita codificarse al momento de la inferencia. El modelo de recuperador utiliza una búsqueda del vecino más cercano para identificar las partes de los documentos que son más similares a la consulta codificada. El reordenador, que es un codificador cruzado, perfecciona aún más la clasificación de los principales artículos devueltos por el recuperador y genera la clasificación final de los artículos.

Aunque el reordenador es computacionalmente costoso, la arquitectura completa de MedCPT es eficiente, ya que solo se requiere una codificación y una búsqueda del vecino más cercano antes del proceso de reordenación. MedCPT se evaluó en una amplia gama de tareas de IR biomédico sin información previa. A continuación se presentan los resultados:

• MedCPT logró un rendimiento de recuperación de documentos de vanguardia en tres de las cinco tareas biomédicas en el conjunto de pruebas BEIR. Superó a modelos mucho más grandes como GTR-XXL de Google (4.8B) y cpt-text-XL de OpenAI (175B).
• El codificador de artículos de MedCPT supera a otros modelos como SPECTER y SciNCL cuando se evalúa en la tarea de similitud de artículos RELISH. Además, también logra un rendimiento de vanguardia en la tarea de predicción de MeSH en SciDocs.
• El codificador de consultas de MedCPT pudo codificar de manera efectiva oraciones biomédicas y clínicas.

En conclusión, MedCPT es el primer modelo de recuperación de información que integra un par de módulos recuperador y reordenador. Esta arquitectura proporciona un equilibrio entre eficiencia y rendimiento, y MedCPT logra un rendimiento de vanguardia en numerosas tareas biomédicas y supera muchos modelos más grandes. El modelo tiene el potencial de ser aplicado a diversas aplicaciones biomédicas como recomendación de artículos relacionados, recuperación de frases similares, búsqueda de documentos relevantes, etc., lo que lo convierte en un activo indispensable tanto para el descubrimiento de conocimiento biomédico como para el soporte en la toma de decisiones clínicas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!