Investigadores de la Universidad de Manchester presentan MentalLLaMA la primera serie LLM de código abierto para el análisis legible de salud mental con capacidad de seguir instrucciones.

Presentación de MentalLLaMA la primera serie LLM de código abierto desarrollada por investigadores de la Universidad de Manchester para el análisis comprensible de la salud mental con capacidad de seguir instrucciones.

El trastorno de estrés postraumático (TEPT) y otros problemas de salud mental tienen un impacto en la salud pública a nivel mundial. Debido al estigma, muchas personas no buscan rápidamente asistencia psiquiátrica, lo que puede tener repercusiones catastróficas. Las redes sociales se han integrado en la vida diaria de las personas debido al avance de la tecnología en línea1. Los textos de las redes sociales son una gran fuente para el análisis de la salud mental y posiblemente para la intervención temprana, ya que muchas personas con probable trastornos de salud mental utilizan sitios como Twitter y Reddit para expresar emociones negativas y el estrés. Sin embargo, el volumen de mensajes en las redes sociales está en constante aumento, lo que hace que el análisis manual de publicaciones sea inviable. Como resultado, numerosos estudios utilizan enfoques de procesamiento de lenguaje natural (NLP, por sus siglas en inglés) para analizar automáticamente las redes sociales en búsqueda de indicadores de salud mental.

Los enfoques anteriores de procesamiento de lenguaje natural (NLP) para la salud mental generalmente modelaban el análisis de las redes sociales en términos de problemas de clasificación de texto, donde los modelos de lenguaje pre-entrenados (PLMs, por sus siglas en inglés) específicos del dominio lograban un rendimiento líder en el campo. Uno de sus principales inconvenientes es que estos algoritmos proporcionan predicciones de manera opaca y con poca interpretabilidad, lo que reduce considerablemente su fiabilidad en el uso real. Estudios recientes evaluaron la efectividad de los nuevos modelos de lenguaje grandes (LLMs, por sus siglas en inglés), incluyendo ChatGPT2 y LLaMA, en la identificación de diversos trastornos de salud mental y proporcionaron justificaciones detalladas para sus decisiones utilizando enfoques de “Chain-of-Thought” (CoT, por sus siglas en inglés). También llevaron a cabo extensas pruebas humanas para demostrar que ChatGPT puede proporcionar explicaciones para sus clasificaciones correctas que son comparables a las proporcionadas por los seres humanos, lo que demuestra su potencial para mejorar la comprensibilidad del análisis de la salud mental. 

Sin embargo, en la actualidad, ChatGPT no logra igualar el rendimiento de los algoritmos supervisados más avanzados en un entorno de aprendizaje “zero-shot” o “few-shot”, lo que limita su aplicación en situaciones del mundo real. Un método práctico es alinear los LLMs base con el dominio objetivo mediante su ajuste fino en una cantidad limitada de datos. El desarrollo de LLMs para el análisis comprensible de la salud mental se enfrenta a dos obstáculos principales. En primer lugar, es necesario contar con buenos datos de entrenamiento para optimizar los LLMs. Aunque existen varios conjuntos de datos para investigar la salud mental en las redes sociales que contienen extractos breves de contenido casual, todavía se carece de datos de código abierto que ofrezcan justificaciones exhaustivas y confiables de los resultados de detección. El delicado tema de estudio y el alto costo de las explicaciones escritas por especialistas en la materia son las principales causas de esto.

• Desequilibrio de clases y sobre muestreo una introducción formal
• 10 Mejores Generadores de Covers de Canciones AI
• Desequilibrio de Clases Explorando Técnicas de Submuestreo

En segundo lugar, solo se han puesto a disposición del público en general unos pocos LLMs de código abierto para análisis comprensible de la salud mental. Sin embargo, el impulso o ajuste fino de LLMs de código cerrado como ChatGPT puede ser costoso3. Es necesario mejorar el crecimiento de la comunidad de investigación relevante debido al alto costo y la falta de recursos. Se creó el primer conjunto de datos de Instrucción de Salud Mental Interpretable (IMHI, por sus siglas en inglés) multi-tarea y de múltiples fuentes con 105K muestras de datos para permitir la ajuste y la evaluación de la instrucción de LLM para cerrar estas brechas. En primer lugar, se recopilaron datos de entrenamiento de 10 fuentes existentes, que abarcaban 8 tareas, como tareas de detección de salud mental binaria, tareas de detección de salud mental de múltiples clases, tareas de detección de causas/factores de salud mental y tareas de detección de factores de riesgo y bienestar mental.

La figura 1 muestra algunos ejemplos del desempeño de MentalLLaMA en diversas tareas, incluido el análisis de salud mental. También resume los datos de entrenamiento y los modelos subyacentes de MentalLLaMA.

Se incluyen en los datos recopilados publicaciones de redes sociales y las etiquetas que las acompañan. En segundo lugar, los clientes reciben una justificación detallada de cada etiqueta con anotaciones. Se utilizan preguntas escritas por expertos para la tarea de aprendizaje con poca información y las etiquetas recopiladas para inspirar a ChatGPT y obtener explicaciones de sus respuestas, tomando como inspiración el éxito del aprendizaje mediante autoinstrucción. También se realizan evaluaciones automáticas de todos los datos adquiridos para garantizar la calidad de las explicaciones. Durante estas evaluaciones, se evalúa la precisión de las predicciones, la correspondencia entre las etiquetas y las explicaciones, y la calidad general de las explicaciones. Además, con una estrategia de anotación bien elaborada por parte de expertos en la materia, también se realizan evaluaciones humanas para algunos de los datos recopilados. 

En tercer lugar, utilizan un enfoque basado en reglas para convertir todas las publicaciones de redes sociales, etiquetas y explicaciones recopiladas en pares de consultas y respuestas basados en instrucciones. Estos se utilizan luego para crear los datos de entrenamiento y la referencia de evaluación del conjunto de datos de IMHI. Investigadores de la Universidad de Manchester presentan MentalLLaMA, la primera serie de LLM de código abierto para el análisis interpretable de salud mental con capacidad de seguimiento de instrucciones, basado en el conjunto de datos de IMHI. Los modelos fundamentales de LLaMA2 sirven como base para entrenar los modelos de MentalLLaMA. Específicamente ajustan los modelos MentalLLaMA-7B, MentalLLaMA-chat-7B y MentalLLaMA-chat-13B. La Figura 1 muestra algunas instancias de las excelentes capacidades de MentalLLaMA.

Además, evalúan minuciosamente el desempeño de los modelos de MentalLLaMA frente al estándar de evaluación de IMHI. Evalúan la precisión predictiva de MentalLLaMA contrastando sus resultados de clasificación con técnicas discriminatorias de vanguardia y otros modelos generativos de lenguaje. Según los hallazgos, MentalLLaMA-chat-13B se desempeña con mayor precisión o al mismo nivel que los niveles más avanzados en siete de cada diez conjuntos de pruebas. También evalúan la calidad de las explicaciones generadas. Los resultados demuestran que la adaptación de instrucciones, el aprendizaje de refuerzo a partir de retroalimentación humana (RLHF) y el aumento del tamaño del modelo mejoran la calidad de creación de explicaciones.

Crearon el primer conjunto de datos para el ajuste de instrucciones multitarea y multiorigen para el análisis interpretable de salud mental en las redes sociales: el conjunto de datos de Instrucciones de Salud Mental Interpretable (IMHI) con 105K muestras. • Sugerimos MentalLLaMA, el primer modelo de lenguaje grande que sigue instrucciones y es capaz de realizar análisis interpretables de salud mental y está disponible como código abierto. MentalLLaMA puede utilizar datos de redes sociales para realizar análisis de salud mental y puede generar justificaciones convincentes para sus conclusiones. • Presentamos el primer estándar completo de evaluación para el análisis comprensible de salud mental, que incluye 19K muestras de prueba, 8 tareas y 10 conjuntos de pruebas. En este referente, comparamos MentalLLaMA con las técnicas actualmente utilizadas. Los resultados y el análisis muestran que MentalLLaMA es superior, y el trabajo futuro se enfocará en mejorar los LLM para un análisis comprensible de salud mental.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!