Investigadores de la Universidad de Pennsylvania han desarrollado un marco de aprendizaje automático para evaluar la eficacia de las características de inteligencia artificial basadas en la visión mediante la realización de una serie de pruebas en

Investigadores de la Universidad de Pennsylvania revolucionan el campo de la inteligencia artificial con su marco de aprendizaje automático para evaluar la efectividad de las características de visión basadas en IA a través de rigurosas pruebas en

El modelo GPT-Vision ha captado la atención de todos. La gente está emocionada por su capacidad para comprender y generar contenido relacionado con texto e imágenes. Sin embargo, existe un desafío: no sabemos exactamente en qué es bueno GPT-Vision y dónde se queda corto. Esta falta de comprensión puede ser arriesgada, especialmente si se utiliza el modelo en áreas críticas donde los errores podrían tener consecuencias graves.

Tradicionalmente, los investigadores evalúan los modelos de IA como GPT-Vision recolectando una gran cantidad de datos y utilizando métricas automáticas para la medición. Sin embargo, los investigadores han introducido un enfoque alternativo: un análisis basado en ejemplos. En lugar de analizar grandes cantidades de datos, el enfoque se centra en un número reducido de ejemplos específicos. Este enfoque se considera científicamente riguroso y ha demostrado ser efectivo en otros campos.

Para abordar el desafío de comprender las capacidades de GPT-Vision, un equipo de investigadores de la Universidad de Pennsylvania ha propuesto un método formalizado de IA inspirado en las ciencias sociales y la interacción humano-computadora. Este método basado en el aprendizaje automático proporciona un marco estructurado para evaluar el rendimiento del modelo, enfatizando una comprensión profunda de su funcionalidad en el mundo real.

• Inteligencia Artificial generativa geoespacial con Amazon Bedrock y Amazon Location Service
• Cómo Amazon Search M5 ahorró un 30% en el costo de capacitación de LLM utilizando AWS Trainium
• Construye soluciones IDP bien estructuradas con una lente personalizada – Parte 3 Confiabilidad

El método de evaluación propuesto involucra cinco etapas: recolección de datos, revisión de datos, exploración de temas, desarrollo de temas y aplicación de temas. Basándose en la teoría fundamentada y el análisis temático, técnicas establecidas en las ciencias sociales, este método está diseñado para ofrecer conocimientos profundos incluso con un tamaño de muestra relativamente pequeño.

Para ilustrar la efectividad de este proceso de evaluación, los investigadores lo aplicaron a una tarea específica: generar texto alternativo para figuras científicas. El texto alternativo es crucial para transmitir el contenido de la imagen a personas con discapacidades visuales. El análisis revela que aunque GPT-Vision muestra capacidades impresionantes, tiende a depender en exceso de la información textual, es sensible a la redacción de la solicitud y tiene dificultades para comprender las relaciones espaciales.

En conclusión, los investigadores enfatizan que este análisis cualitativo basado en ejemplos no solo identifica limitaciones en GPT-Vision, sino que también muestra un enfoque reflexivo para comprender y evaluar nuevos modelos de IA. El objetivo es prevenir el mal uso potencial de estos modelos, especialmente en situaciones donde los errores podrían tener consecuencias graves.

El artículo Investigadores de la Universidad de Pennsylvania han desarrollado un marco de aprendizaje automático para evaluar la eficacia de las características de IA basadas en la visión al realizar una serie de pruebas en ChatGPT-Vision de OpenAI apareció primero en MarkTechPost.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!