Este boletín de IA es todo lo que necesitas #65

Boletín de IA #65

Lo que sucedió esta semana en IA por Louie

Esta semana en IA, tuvimos avances en la regulación de IA desde el Capitolio: líderes tecnológicos como Elon Musk y Mark Zuckerberg se unieron a más de 60 senadores para conversar sobre IA, ¿y adivina qué? Todos están de acuerdo: ya es hora de establecer algunas reglas básicas. Incluso Elon Musk dijo que la reunión “podría pasar a la historia como muy importante para el futuro de la civilización”. Es posible que las ruedas del gobierno no giren muy rápido en esto, pero la conversación se está intensificando en cuanto a la necesidad de que el Tío Sam intervenga con regulaciones.

En un emocionante desarrollo esta semana, OpenAI y Google están supuestamente cabeza a cabeza en una carrera para lanzar la próxima generación de LLMs, conocidos como modelos multimodales. Estos sistemas de IA tienen la capacidad única de procesar tanto texto como imágenes de manera perfecta, prometiendo revolucionar desde el diseño web hasta el análisis de datos. Mientras que Google ya ha presentado su próximo modelo multimodal Gemini a algunos terceros, OpenAI no se queda atrás y tiene como objetivo superar a Google en el lanzamiento público con capacidades multimodales. Estamos emocionados de experimentar con modelos multimodales potentes a medida que estén disponibles y esperamos que esto genere una nueva ola de capacidades y aplicaciones en el panorama de la IA.

– Louie Peters – Cofundador y CEO de Towards AI

Towards X FlowGPT: Hackathon de Prompts

• Desvelando el conocimiento en la era de los datos
• DevSecOps Integrando la seguridad en tu flujo de trabajo de DevOps
• Evolución en tu código Parte 2 Cómo resolver un problema de asignación de personal utilizando algoritmos genéticos

Estamos emocionados de anunciar nuestra colaboración con FlowGPT, que organiza un Hackathon de Prompts del 15 de septiembre al 14 de octubre. Únete a su comunidad de Discord y explora el hackathon de prompts.

¡Ofrecen recompensas de más de $15,000 en efectivo y este evento cuenta con el patrocinio de Google! Además, FlowGPT organizará algunos eventos emocionantes relacionados con IA/NLP este mes y el próximo.

También estamos colaborando con FlowGPT para organizar uno de nuestros talleres de la comunidad de Discord Learn AI Together, donde Ruiqi Zhong compartirá conocimientos sobre la alineación de IA. Regístrate en el evento y obtén más información.

Noticias más destacadas

1. Stable Audio

La startup con sede en Londres Stability AI, conocida por su modelo de IA Stable Diffusion, ha presentado Stable Audio, un modelo de IA capaz de generar música comercial de alta calidad con un mayor control sobre el audio sintetizado.

2. Google cerca de lanzar el software de IA Gemini, según informes de The Information

Google está cerca de lanzar su software de IA conversacional llamado Gemini. Es un modelo de lenguaje avanzado destinado a competir con el modelo GPT-4 de OpenAI. Actualmente se encuentra en fase de pruebas iniciales y ofrece una variedad de funcionalidades, como chatbots, resúmenes de texto y asistencia para la escritura de código.

3. Microsoft lanza Prompt Flow

Microsoft ha presentado Prompt Flow, un conjunto de desarrollo para aplicaciones basadas en LLM. Ofrece una variedad de funcionalidades, como crear flujos ejecutables, depurar e iterar flujos, evaluar la calidad y el rendimiento del flujo con conjuntos de datos más grandes, integrar pruebas y evaluaciones en sistemas CI/CD y desplegar fácilmente flujos en plataformas de servicio seleccionadas o bases de código de aplicaciones.

4. IBM lanza MoE LLMs

IBM ha lanzado recientemente MoE LLMs, incluyendo modelos con 4B y 8B parámetros. Estos modelos ofrecen una eficiencia computacional comparable a los modelos densos con menos parámetros. Han sido entrenados con un gran conjunto de datos y utilizan la arquitectura ModuleFormer.

5. Ganador del Premio Pulitzer y otros demandan a OpenAI

El novelista estadounidense ganador del Premio Pulitzer, Michael Chabon, y varios otros escritores han presentado una demanda colectiva acusando a OpenAI de infracción de derechos de autor, alegando que incluyó su trabajo en los conjuntos de datos utilizados para entrenar los modelos detrás de ChatGPT. OpenAI argumenta que sus modelos de aprendizaje de lenguaje están protegidos por el “uso legítimo”, lo que ha generado debates sobre IA y derecho de autor en el campo.

Cinco lecturas/videos de 5 minutos para seguir aprendiendo

1. Entrenamiento de LLM: RLHF y sus alternativas.

Este artículo desglosa RLHF de manera paso a paso para brindar una referencia para comprender su idea central y su importancia. Presenta cinco enfoques diferentes con sus respectivos documentos de investigación, como Constitutional AI, The Wisdom of Hindsight, Direct Preference Optimization y más.

2. Nuevos datos sobre el uso de IA muestran quién está utilizando IA y revelan una población de “superusuarios”.

Salesforce ha lanzado Generative AI Snapshot Research: “The AI Divide”, que es una encuesta a más de 4,000 personas en Estados Unidos, Reino Unido, Australia e India. La encuesta indica que casi la mitad de la población lo utiliza, con un tercio usándolo a diario. Las generaciones más jóvenes, especialmente la Generación Z y los Millennials, son los “super usuarios” de la IA generativa.

3. Resumen de los esquemas de cuantización nativamente compatibles en 🤗 Transformers.

Los esquemas de cuantización en Transformers, como BitsandBytes y Auto-GPTQ, ofrecen métodos para ejecutar modelos grandes en dispositivos más pequeños. Este artículo tiene como objetivo proporcionar una descripción clara de los pros y los contras de cada esquema de cuantización soportado en transformers para ayudarte a decidir cuál debes elegir.

4. Por qué el código abierto de IA ganará.

Es probable que el código abierto tenga un impacto más significativo en el futuro de los LLM y los modelos de imágenes de lo que el público en general cree. Este artículo presenta los argumentos actuales en contra del código abierto y sus limitaciones, y se adentra en su futuro e importancia.

5. Validación de las salidas del modelo de lenguaje grande. Los LLM son poderosos pero pueden producir resultados inconsistentes.

La validación de las salidas es esencial para aplicaciones confiables y precisas. Este artículo discute la validación de las salidas de los LLM y proporciona ejemplos de cómo implementarlo usando un paquete de código abierto llamado Guardrails AI.

Artículos y Repositorios

1. De Sparse a Dense: Resumen GPT-4 con la técnica de Encadenamiento de Densidad

Un estudio reciente presentó la técnica de “Encadenamiento de Densidad” (CoD), que genera resúmenes densos utilizando GPT-4. Al agregar iterativamente entidades importantes sin aumentar la longitud, los resúmenes abstractos resultantes superaron a los resúmenes de prompts estándar en términos de calidad abstractiva y reducción del sesgo inicial.

2. Modelos de Lenguaje Grande para la Optimización del Compilador

Este artículo presenta un modelo transformador de 7 mil millones de parámetros entrenado desde cero para optimizar el ensamblador LLVM para el tamaño del código. El modelo supera a los baselines y muestra capacidades excepcionales de razonamiento del código, lo que resulta en una reducción del 3% en el recuento de instrucciones. Genera código compilable el 91% del tiempo y emula perfectamente la salida del compilador el 70% del tiempo.

3. Cuando Menos es Más: Investigando la Podadura de Datos para el Pre-entrenamiento de LLMs a Escala

En este trabajo, los investigadores adoptan una visión más amplia y exploran estimaciones escalables de la calidad de los datos que se pueden utilizar para medir sistemáticamente la calidad de los datos de pre-entrenamiento. Descubrieron que la perplejidad es un método más efectivo que las técnicas de puntuación complejas para podar los datos de pre-entrenamiento para los modelos de lenguaje.

4. NExT-GPT: LLM Multimodal de Cualquier a Cualquier

NExT-GPT es un sistema LLM multimodal de cualquier a cualquier de propósito general. Puede procesar y generar contenido en varias modalidades como texto, imágenes, videos y audio. Logra esto utilizando codificadores y decodificadores ya entrenados, con un ajuste mínimo de parámetros requerido.

5. Resumen de Texto Clínico: La Adaptación de Modelos de Lenguaje Grande Puede Superar a los Expertos Humanos

Este trabajo emplea métodos de adaptación de dominio en ocho LLMs, que cubren seis conjuntos de datos y cuatro tareas de resumen distintas: informes de radiología, preguntas de pacientes, notas de progreso y diálogo médico-paciente. Esta investigación es la primera en demostrar que los LLMs superan a los humanos en múltiples tareas de resumen clínico.

¿Disfrutaste de estos artículos y resúmenes de noticias? ¡Recibe un resumen diario en tu correo electrónico!

¡La sección de la comunidad Learn AI Together!

Podcast semanal de IA

En el episodio de esta semana del podcast “What’s AI”, Louis Bouchard entrevista a Petar Veličković, científico investigador de DeepMind. Discuten su formación académica y su trayectoria desde la programación competitiva hasta el aprendizaje automático. Petar también comparte ideas sobre el valor de un doctorado, enfatizando su papel como un boleto de entrada a la investigación y la oportunidad que brinda para construir conexiones y adaptabilidad. Destaca el panorama en evolución de la investigación en IA, donde los antecedentes diversos y las contribuciones son esenciales. En general, la entrevista ofrece perspectivas valiosas sobre la academia, la industria y la importancia de la curiosidad para impulsar una investigación impactante. ¡Escucha el episodio completo en Spotify o Apple podcasts!

Próximos eventos de la comunidad

La comunidad Learn AI Together organiza seminarios web semanales de IA para ayudar a la comunidad a aprender de expertos de la industria, hacer preguntas y obtener una comprensión más profunda de las últimas investigaciones en IA. Únete a nosotros de forma gratuita, en sesiones de video interactivas en vivo en Discord semanales asistiendo a nuestros próximos eventos.

1. Explicando la Alineación de la IA

En el seminario web, Ruiqi Zhong dará una charla sobre la Alineación de la IA, alojada en el servidor como parte de la serie de eventos del Prompt Hackathon. Obtenga más información sobre Ruiqi y la alineación de la IA antes de la charla en su publicación “Explicando la Alineación de la IA como un NLPer y por qué estoy trabajando en ello”.

¡Únete al evento aquí!

Fecha y hora: 28 de septiembre de 2023, 12:00 pm EST

Agregue nuestro calendario de Google para ver todos nuestros eventos de IA gratuitos.

¡Meme de la semana!

Meme compartido por rucha8062

Publicación destacada de la comunidad de Discord

Penguin está trabajando en un sitio web que tiene como objetivo facilitar el descubrimiento de artículos de investigación recientes en IA, ML, NLP, Visión por Computadora y Robótica. Este sitio web es un recurso valioso para entusiastas y profesionales de la IA que desean mantenerse actualizados sobre las últimas investigaciones en el campo. ¡Échale un vistazo aquí y apoya a un miembro de la comunidad! Comparte tus comentarios y únete a la conversación.

¡Encuesta de IA de la semana!

Únete a la discusión en Discord.

Sección TAI Curada

Artículo de la semana

Principales documentos importantes de Visión por Computadora para la semana del 4/9 al 10/9 por Youssef Hosni

Este artículo proporcionará una descripción general completa de los documentos más significativos publicados en la primera semana de septiembre de 2023, destacando las últimas investigaciones y avances en visión por computadora. Ya sea que seas investigador, practicante o entusiasta, este artículo brindará información valiosa sobre las técnicas y herramientas de vanguardia en visión por computadora.

Nuestros artículos imprescindibles

Hacia el Aprendizaje Profundo en 3D: Redes Neuronales Artificiales con Python por Florent Poux, Ph.D.

PyTorch LSTM: Formas de entrada, estado oculto, estado de la celda y salida por Sujeeth Kumaravel

Recorrido por la Red de Atención a Grafos (GAT) con Implementación Visualizada por David Winer

Si estás interesado en publicar con Towards AI, consulta nuestras pautas y regístrate. Publicaremos tu trabajo en nuestra red si cumple con nuestras políticas editoriales y estándares.

Ofertas de trabajo

Ingeniero senior de algoritmos de aprendizaje profundo en NVIDIA (Santa Clara, CA, EE. UU.)

Ingeniero de software senior: backend de Python en Teramind (Remoto)

Ingeniero principal de aprendizaje profundo NLP en H1 (Remoto)

Investigador senior de aprendizaje automático en Casetext (Remoto)

Gerente de éxito de aprendizaje automático en Snorkel AI (Remoto)

Ingeniero de software en Sonera (Berkeley, CA, EE. UU.)

¿Interesado en compartir una oportunidad laboral aquí? Contacta a [email protected].

Si te estás preparando para tu próxima entrevista de aprendizaje automático, no dudes en consultar nuestro sitio web líder en preparación de entrevistas, confetti!

We will continue to update Zepes; if you have any questions or suggestions, please contact us!