Potenciando la fiabilidad del aprendizaje automático Cómo la atipicidad mejora el rendimiento del modelo y la cuantificación de la incertidumbre

Mejorando la confiabilidad del aprendizaje automático Cómo la atipicidad aumenta el rendimiento del modelo y cuantifica la incertidumbre

Un objeto se considera típico si se asemeja a otros elementos de su categoría. Por ejemplo, un pingüino es un ave inusual, mientras que una paloma y un gorrión son aves normales. Varios estudios de ciencias cognitivas sugieren que la tipicidad es esencial para el conocimiento de categorías. Los seres humanos, por ejemplo, han demostrado aprender, recordar y relacionarse con objetos comunes de manera más rápida. De manera similar, la heurística de representatividad se refiere a la tendencia de las personas a basar sus juicios en la frecuencia con la que ocurre un evento. Si bien este sesgo cognitivo ayuda a tomar decisiones rápidas, puede resultar en evaluaciones inexactas de la incertidumbre. Por ejemplo, uno puede sobreestimar la probabilidad de eventos normales o subestimar el grado de incertidumbre en juicios sobre eventos inusuales. 

Aunque medir el grado de incertidumbre en los juicios humanos presenta desafíos, los métodos de aprendizaje automático ofrecen seguridad en sus predicciones. Sin embargo, la confianza por sí sola no siempre es suficiente para determinar la confiabilidad de una predicción. Una predicción con baja confianza, por ejemplo, puede ser el resultado de una incertidumbre claramente establecida o de una muestra poco representada en la distribución de entrenamiento. De manera similar, un pronóstico con alta confianza puede ser preciso o estar descalibrado. Su sugerencia clave es que, para comprender la cobertura de la distribución de entrenamiento o la capacidad predictiva de las predicciones, los modelos deben medir tanto la atipicidad como la confianza. Sin embargo, muchas aplicaciones de aprendizaje automático utilizan modelos pre-entrenados que no proporcionan ninguna medida de atipicidad. En cambio, solo ofrecen niveles de confianza. 

El equipo de investigación de la Universidad de Stanford y la Universidad de Rutgers examina la relación entre el grado de atipicidad (rareza) de una muestra o clase y la precisión de las predicciones de un modelo. Aquí están sus contribuciones:

• EE.UU. acuerda sobre reglas históricas de Inteligencia Artificial
• Enfoque de computación cuántica utiliza moléculas individuales como bits cuánticos por primera vez
• Gafas de realidad virtual para ratones crean escenarios inmersivos para la investigación cerebral

1. Reconocer la calidad de la predicción: A través de esta investigación, el equipo demuestra que con atipicidad básica, los estimadores pueden evaluar qué tan bien la probabilidad proyectada de un modelo coincide con las probabilidades reales de ciertos eventos. Incluso la regresión logística y las redes neuronales pueden tener calibraciones incorrectas desde el principio. Aquí, la atipicidad puede proporcionar información sobre cuándo la confianza en un modelo es confiable. A través de pruebas rigurosas y estudios teóricos, el equipo de investigación muestra que la atipicidad conduce a predicciones de baja calidad. En particular, el equipo de investigación demostró que se hacen predicciones con mayor sobeconfianza y peor precisión para entradas atípicas y muestras de clases atípicas. 

2. Aumentar la precisión y la calibración: A través de técnicas de calibración modificando un modelo probabilístico, se mitigan las descalibraciones. El equipo de investigación demostró que los modelos requieren correcciones diversas basadas en entradas y clases inusuales y que la atipicidad juega un papel importante en la recalibración. En base a estos hallazgos, el equipo de investigación sugiere una técnica sencilla llamada Recalibración con Conciencia de Atipicidad. Su técnica de recalibración es fácil de implementar y tiene en cuenta la atipicidad de las entradas y clases. El equipo de investigación demostró que agregar atipicidad a las técnicas de recalibración mejora la precisión de las predicciones y la cuantificación de la incertidumbre. Además, el equipo de investigación demostró que la conciencia de la atipicidad puede mejorar el rendimiento en varios subgrupos de tono de piel sin requerir el acceso a anotaciones grupales en un estudio de caso que categoriza lesiones cutáneas. 

3. Aumentar las matrices de predicción: Los conjuntos de predicciones con alta probabilidad de inclusión de la etiqueta son otra forma de evaluar la incertidumbre. Aquí, el equipo de investigación examina la atipicidad de los enfoques actuales y demuestra que las muestras de baja confianza o atípicas pueden hacer que los conjuntos de predicción no funcionen correctamente. El equipo de investigación ilustra la posibilidad de mejorar los conjuntos de predicción mediante el uso de la atipicidad. 

En general, el equipo de investigación sugiere que la atipicidad debe tenerse en cuenta en los modelos, y demuestran que los estimadores de atipicidad que son fáciles de usar pueden ser muy valiosos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!