Curso gratuito de MIT TinyML y cómputo eficiente de aprendizaje profundo

Curso Gratuito de MIT TinyML y Eficiencia en el Cómputo de Aprendizaje Profundo

 

Introducción

 

En el mundo tecnológico de hoy en día, estamos rodeados de maravillas impresionantes impulsadas por IA: asistentes de voz que responden nuestras preguntas, cámaras inteligentes que identifican rostros y autos autónomos que navegan por las carreteras. ¡Son como los superhéroes de nuestra era digital! Sin embargo, hacer que estas maravillas tecnológicas funcionen sin problemas en nuestros dispositivos cotidianos es más difícil de lo que parece. Estos superhéroes de la IA tienen una necesidad especial: una gran potencia informática y recursos de memoria. Es como tratar de meter una biblioteca entera en una mochila pequeña. ¿Y sabes qué? La mayoría de nuestros dispositivos regulares como teléfonos, smartwatches, etc. no tienen suficiente “poder cerebral” para manejar a estos superhéroes de la IA. Esto plantea un problema importante en la implementación generalizada de la tecnología de IA.

Por lo tanto, es crucial mejorar la eficiencia de estos modelos de IA grandes para que sean accesibles. Este curso: “TinyML y Cómputo Eficiente de Deep Learning“ del laboratorio MIT HAN aborda este obstáculo central. Presenta métodos para optimizar modelos de IA, asegurando su viabilidad en escenarios del mundo real. Veamos detenidamente lo que ofrece:

• Entendiendo el linaje de datos Desde la fuente hasta el destino
• DESCUBRA ‘DRESS’ Un modelo de lenguaje de visión amplia (LVLM, por sus siglas en inglés) que se alinea e interactúa con los humanos a través de comentarios en lenguaje natural
• Volviendo la primavera AI y OpenAI GPT útiles con RAG en tus propios documentos

 

Resumen del curso

 

Estructura del curso:

 

Duración: Otoño 2023

Horario: Martes/Jueves 3:35-5:00 pm Hora del Este

Instructor: Profesor Song Han

Asistentes de enseñanza: Han Cai y Ji Lin

Dado que este es un curso en curso, puedes ver la transmisión en vivo en este enlace.

 

Enfoque del curso:

 

Fundamentos teóricos: Comienza con conceptos fundamentales del Deep Learning, luego avanza hacia métodos sofisticados para un cómputo de IA eficiente.

Experiencia práctica: Proporciona experiencia práctica al permitir a los estudiantes implementar y trabajar con modelos de lenguaje grandes como LLaMA 2 en sus laptops.

 

Módulos del curso

 

1. Inferencia eficiente

 

Este módulo se enfoca principalmente en mejorar la eficiencia de los procesos de inferencia de IA. Explora técnicas como la poda, la dispersión y la cuantización con el objetivo de hacer que las operaciones de inferencia sean más rápidas y eficientes en recursos. Los temas principales tratados incluyen:

• Poda y dispersión (Parte I y II): Exploración de métodos para reducir el tamaño de los modelos eliminando partes innecesarias sin comprometer el rendimiento.
• Cuantización (Parte I y II): Técnicas para representar datos y modelos utilizando menos bits, ahorrando memoria y recursos computacionales.
• Búsqueda de arquitectura neuronal (Parte I y II): Estas conferencias exploran técnicas automatizadas para descubrir las mejores arquitecturas de redes neuronales para tareas específicas. Demuestran usos prácticos en diversas áreas como NLP, GAN, análisis de nubes de puntos y estimación de postura.
• Destilación de conocimiento: Esta sesión se centra en la destilación de conocimiento, un proceso en el que se entrena a un modelo compacto para imitar el comportamiento de un modelo más grande y complejo. Su objetivo es transferir conocimiento de un modelo a otro.
• MCUNet: TinyML en microcontroladores: Esta conferencia presenta MCUNet, que se centra en implementar modelos de TinyML en microcontroladores, permitiendo que la IA se ejecute de manera eficiente en dispositivos de baja potencia. Cubre la esencia de TinyML, sus desafíos, la creación de redes neuronales compactas y sus diversas aplicaciones.
• TinyEngine y Procesamiento Paralelo: Esta parte discute TinyEngine, explorando métodos para implementación eficiente y estrategias de procesamiento paralelo como la optimización de bucles, multihilo y disposición de memoria para modelos de IA en dispositivos limitados.

 

2. Optimización Específica del Dominio

 

En el segmento de Optimización Específica del Dominio, el curso cubre varios temas avanzados enfocados en optimizar modelos de IA para dominios específicos:

• Transformer y LLM (Parte I y II): Se adentra en los conceptos básicos de Transformer, sus variantes de diseño y aborda temas avanzados relacionados con algoritmos de inferencia eficientes para LLMs. También explora sistemas de inferencia eficientes y métodos de ajuste fino para LLMs.
• Vision Transformer: Esta sección introduce los conceptos básicos de Vision Transformer, estrategias eficientes de ViT y diversas técnicas de aceleración. También explora métodos de aprendizaje auto-supervisado y Modelos de Lenguaje de Gran Tamaño (LLMs) multimodales para mejorar las capacidades de IA en tareas relacionadas con la visión.
• GAN, Video y Nube de Puntos: Esta clase se enfoca en mejorar las Redes Generativas Antagónicas (GANs) explorando técnicas eficientes de compresión de GANs (usando NAS+destilación), GAN AnyCost para costos dinámicos y Augmentación Diferenciable para un entrenamiento de GAN eficiente en el uso de datos. Estos enfoques tienen como objetivo optimizar modelos para GANs, reconocimiento de video y análisis de nube de puntos.
• Modelo de Difusión: Esta clase ofrece información sobre la estructura, entrenamiento, optimización específica del dominio y estrategias de muestreo rápido de Modelos de Difusión.

 

3. Entrenamiento Eficiente

 

El entrenamiento eficiente se refiere a la aplicación de metodologías para optimizar el proceso de entrenamiento de modelos de aprendizaje automático. Este capítulo cubre las siguientes áreas clave:

• Entrenamiento Distribuido (Parte I y II): Explora estrategias para distribuir el entrenamiento en múltiples dispositivos o sistemas. Proporciona estrategias para superar los cuellos de botella de ancho de banda y latencia, optimizar el consumo de memoria e implementar métodos de paralelización eficientes para mejorar la eficiencia de entrenamiento de modelos de aprendizaje automático a gran escala en entornos informáticos distribuidos.
• Entrenamiento en Dispositivo y Aprendizaje por Transferencia: Esta sesión se enfoca principalmente en entrenar modelos directamente en dispositivos periféricos, manejar limitaciones de memoria y emplear métodos de aprendizaje por transferencia para adaptarse de manera eficiente a nuevos dominios.
• Ajuste Fino Eficiente e Ingeniería de Instrucciones: Esta sección se enfoca en refinar Modelos de Lenguaje de Gran Tamaño (LLMs) mediante técnicas eficientes de ajuste fino como BitFit, Adapter y Prompt-Tuning. Además, destaca el concepto de Ingeniería de Instrucciones e ilustra cómo puede mejorar el rendimiento y la adaptabilidad del modelo.

 

4. Temas Avanzados

 

Este módulo cubre temas sobre un campo emergente de Aprendizaje Automático Cuántico. Si bien las conferencias detalladas para este segmento aún no están disponibles, los temas planificados para su cobertura incluyen:

• Conceptos básicos de la Computación Cuántica
• Aprendizaje Automático Cuántico
• Aprendizaje Automático Cuántico Robusto al Ruido

Estos temas proporcionarán una comprensión fundamental de los principios cuánticos en la computación y explorarán cómo se aplican estos principios para mejorar los métodos de aprendizaje automático al tiempo que se abordan los desafíos planteados por el ruido en los sistemas cuánticos.

Si estás interesado/a en profundizar en este curso, consulta la lista de reproducción a continuación:

 

Conclusiones

 

Este curso ha recibido comentarios fantásticos, especialmente de entusiastas y profesionales de IA. Aunque el curso está en curso y tiene previsto concluir en diciembre de 2023, ¡recomiendo encarecidamente unirse! Si estás tomando este curso o tienes la intención de hacerlo, comparte tus experiencias. ¡Hablemos y aprendamos juntos sobre TinyML y cómo hacer que la IA sea más inteligente en dispositivos pequeños. Tu aporte e ideas serían valiosos!

[Kanwal Mehreen](https://www.linkedin.com/in/kanwal-mehreen1/) es una desarrolladora de software aspirante con un gran interés en la ciencia de datos y las aplicaciones de IA en medicina. Kanwal fue seleccionada como Google Generation Scholar 2022 para la región de APAC. A Kanwal le encanta compartir conocimientos técnicos escribiendo artículos sobre temas de tendencia y está apasionada por mejorar la representación de las mujeres en la industria tecnológica.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!