Este boletín de inteligencia artificial es todo lo que necesitas #61

Boletín IA #61, todo lo que necesitas

Lo que sucedió esta semana en IA por Louie

En los últimos meses hemos seguido viendo avances en los modelos de lenguaje de gran escala (LLM) y una introducción gradual de técnicas novedosas, pero aún no hemos visto una competencia que apunte directamente a desplazar a GPT-4 como el modelo más avanzado (y que requiere más recursos de entrenamiento). Google consolidó sus esfuerzos en IA al fusionar Google Brain y DeepMind a principios de este año y también ha estado escalando rápidamente sus recursos de entrenamiento. Es probable que su modelo Gemini sea el primer gran lanzamiento de este nuevo esfuerzo conjunto. Google ha estado generando gradualmente anticipación para Gemini revelando información a través de entrevistas y comunicados de prensa controlados. Es probable que la compañía esté preparando a Gemini para que sirva como su respuesta a GPT-4, con la ambición de superar a este último en ciertas capacidades.

Con el lanzamiento ahora supuestamente programado para “este otoño”, estamos emocionados de ver qué nuevas innovaciones y capacidades traerá Gemini y cómo se comparará con GPT-4. El esfuerzo está siendo liderado por Oriol Vinyals y Koray Kavukcuoglu, junto con Jeff Dean, quien supervisa a cientos de empleados en el desarrollo de Gemini. Hemos escuchado varias cosas sobre el modelo, tanto a través de citas directas de la gerencia como a través de filtraciones en los medios. “Gemini combina las fortalezas presentes en sistemas tipo AlphaGo con las excepcionales capacidades de lenguaje inherentes a los modelos grandes”, – Demis Hassabis. También sabemos que el modelo comenzó a entrenarse en algún momento antes de mayo; “Ya estamos trabajando en Gemini, nuestro próximo modelo creado desde cero para ser multimodal, altamente eficiente en integraciones de herramientas y API, y construido para permitir futuras innovaciones, como la memoria y la planificación. Gemini todavía está en entrenamiento, pero ya muestra capacidades multimodales nunca antes vistas en modelos anteriores.” – Blog del CEO de Google, 23 de mayo. Se espera que el modelo sea multimodal con capacidades completas de generación de imágenes como Midjourney. También hemos escuchado que Google está siendo cuidadoso con su conjunto de entrenamiento y que podría haber integrado datos de video y audio de YouTube en Gemini.

La rivalidad en curso entre Google y OpenAI es emocionante de presenciar, y será intrigante observar cómo se desarrollan estos avances en el futuro y en particular qué técnicas de AlphaGo Deepmind se están integrando en los LLM. ¡Parece que estamos listos para ver aún más emocionante evolución en los LLM este año!

– Louie Peters – Cofundador y CEO de Towards AI

• Presentando IDEFICS una reproducción abierta de un modelo de lenguaje visual de última generación.
• Tus instrucciones personalizadas para Copiar y Pegar ChatGPT aquí mismo
• Bibliotecas de Aprendizaje Automático para Cualquier Proyecto

Este número te es presentado gracias a OVHcloud:

OVHcloud ofrece GPUs a precios imbatibles para satisfacer tus necesidades de IA. Esto incluye una selección de instancias en la nube de NVIDIA con descuentos de hasta el 60% sobre los precios regulares, hasta agotar existencias. Diseñado para acelerar el procesamiento de datos con la garantía de reversibilidad completa de los datos y la flexibilidad de recursos, el portafolio de IA de OVHcloud también cuenta con servidores bare metal y soluciones de ML de código abierto como AI Notebooks, AI Training y AI Deploy, todos beneficiándose de la tecnología de enfriamiento por agua de OVHcloud para lograr el menor consumo de energía.

Noticias más destacadas

1. El próximo gran lanzamiento de IA de Meta será supuestamente un bot generador de código

El próximo lanzamiento de IA de Meta será supuestamente una máquina de codificación. Este nuevo modelo, llamado “Code Llama”, será de código abierto y estará disponible de forma gratuita en línea. Podría ser lanzado tan pronto como la próxima semana. Esto es consistente con la estrategia de la compañía hasta ahora de lanzar software de IA ampliamente disponible que facilita el desarrollo de nuevos modelos de IA personalizables.

2. Moderación de contenido de OpenAI

OpenAI propuso la utilización de GPT-4 para el desarrollo de políticas de contenido y la facilitación de decisiones de moderación de contenido en plataformas digitales. Este enfoque tiene como objetivo aliviar a los humanos de la carga involucrada, permitiendo así una etiquetado más uniforme del contenido y acelerando los ciclos de retroalimentación.

3. Microsoft planea un servicio de IA con Databricks que podría perjudicar a OpenAI

La reciente oferta de Azure+Databricks de Microsoft proporciona a los usuarios de Databricks la capacidad de utilizar cualquier modelo de IA, incluidos los LLM de código abierto, para entrenar sus datos en la plataforma Azure. Esto podría llevar potencialmente a una disminución en el número de empresas que adquieren licencias para modelos de OpenAI para cumplir casos de uso similares.

4. Los principales expertos en IA de Google planean establecer su propio estudio de desarrollo en Japón

Los principales expertos en IA de Google, cuya investigación contribuyó al desarrollo de bots de IA como ChatGPT de OpenAI, Google Bard, Stability AI, Midjourney y Dall-E, tienen la intención de establecer sus propios estudios de desarrollo de IA independientes. Sakana AI está liderando los esfuerzos para crear su modelo generativo de IA propietario, es decir, software que puede crear texto, imágenes, código y más.

5. La IA sesgada necesita ayuda humana para evitar acciones climáticas perjudiciales, según investigadores

Según un nuevo estudio realizado por investigadores de la Universidad de Cambridge, el sesgo en la recopilación de datos en los que dependen los programas informáticos de IA puede limitar la utilidad de los científicos del clima para predecir escenarios futuros y guiar la acción global. El estudio concluye que la tecnología guiada por humanos sigue siendo fundamental en el desarrollo de IA socialmente responsable.

Cinco lecturas/videos de 5 minutos para seguir aprendiendo

1. Lista de lectura del LLM Anti-Hype

Navegar por la actual exageración de la IA puede ser desafiante, lo que dificulta discernir lo que es verdaderamente sustancial. Esta compilación comprende una cuidadosa selección de documentos fundamentales, preguntas abiertas interesantes y una guía para obtener una comprensión más profunda del campo.

2. Por qué (probablemente) no necesitas afinar un LLM

Este artículo profundiza en las razones por las que afinar puede no ser esencial para tu aplicación. Se adentra en una explicación exhaustiva de lo que implica afinar y explora alternativas potenciales. El contenido está dirigido a aquellos que se centran en construir aplicaciones de LLM.

3. Retos abiertos en la investigación de LLM

El rápido crecimiento de la IA ha dado lugar a nuevas direcciones de investigación. Este artículo reúne los desafíos actuales dentro de la investigación de LLM, como la multimodalidad, alternativas a las GPUs, arquitecturas innovadoras y más.

4. AI2 Dolma: Corpus abierto de 3 billones de tokens para el preentrenamiento del modelo de lenguaje

AI2 Dolma es un conjunto de datos de 3 billones de tokens extraídos de una variedad diversa de fuentes que incluyen contenido web, publicaciones académicas, repositorios de código, libros y materiales enciclopédicos. Su objetivo principal es proporcionar a los investigadores los medios para investigar el impacto de los datos a gran escala. Se puede descargar fácilmente desde el HuggingFace Hub.

5. Consejos para escribir artículos de PLN

Este artículo comparte cómo construir un proceso estandarizado para escribir artículos de PLN. Presenta componentes esenciales que incluyen la estructuración del contenido, la precisión del lenguaje, revisiones bibliográficas exhaustivas, citas precisas y más. Si bien algunos consejos están adaptados a la investigación de PLN, los principios expuestos aquí se pueden aplicar de manera efectiva en diferentes áreas.

Artículos y repositorios

1. Alineación automática con retrotraducción de instrucciones

Este artículo presenta un método escalable para construir un modelo de lenguaje de alta calidad para seguir instrucciones, etiquetando automáticamente texto escrito por humanos con instrucciones correspondientes. Comienza con un modelo de lenguaje afinado en una pequeña cantidad de datos iniciales y un corpus web dado.

2. Neuralangelo: Reconstrucción neural de superficies de alta fidelidad

Este artículo presenta Neuralangelo, que combina la potencia de representación de las cuadrículas hash tridimensionales de múltiple resolución con el renderizado neural de superficies. Los dos ingredientes clave que permiten este enfoque son los gradientes numéricos para calcular derivadas de orden superior y la optimización de grueso a fino en las cuadrículas hash.

3. Filtrado colaborativo consistente mediante descomposición tensorial

Este trabajo desarrolló Sliced Anti-symmetric Decomposition (SAD), un nuevo modelo para el filtrado colaborativo basado en retroalimentación implícita. SAD produce las preferencias personalizadas más consistentes al tiempo que mantiene un alto nivel de precisión en las recomendaciones personalizadas.

4. Generación guiada eficiente para modelos de lenguaje grandes

Este artículo muestra cómo el problema de la generación de texto neuronal se puede reformular de manera constructiva en términos de transiciones entre los estados de una máquina de estados finitos. Guía la generación de texto con expresiones regulares y gramáticas libres de contexto, permitiendo la construcción de un índice sobre el vocabulario de un modelo de lenguaje.

5. neuml/txtai

Txtai es una base de datos de incrustaciones de código abierto todo en uno para búsqueda semántica, orquestación de LLM y flujos de trabajo de modelos de lenguaje. Se puede configurar en minutos, se ejecuta localmente, tiene un bajo impacto y funciona con micromodelos de hasta modelos de lenguaje grandes.

¿Disfrutaste de estos artículos y resúmenes de noticias? ¡Recibe un resumen diario en tu bandeja de entrada!

¡La sección de la comunidad Learn AI Together!

¡Meme de la semana!

Meme compartido por rucha8062

Publicación destacada de la comunidad en Discord

Marcklingen ha presentado recientemente “langfuse”, una herramienta de observabilidad y análisis de código abierto diseñada para aplicaciones de LLM (Large Language Model). Esta herramienta permite a los usuarios acelerar el proceso de desarrollo de sus aplicaciones al proporcionar una perspectiva detallada de trazas de ejecución precisas, que abarcan aspectos como calidad, coste y latencia. Actualmente, Langfuse Analytics se encuentra en una fase alfa cerrada, durante la cual el equipo principal colabora con un grupo de usuarios para construir la plataforma de análisis más beneficiosa para las aplicaciones de LLM. Échale un vistazo en GitHub y apoya a un miembro de la comunidad. Comparte tus comentarios y preguntas en el hilo aquí.

Sección seleccionada de TAI

Artículo de la semana

Cómo construí un sistema de recomendación de videos utilizando modelos de lenguaje y una base de datos vectorial por Zoumana Keita

En este artículo, aprenderás cómo aprovechar modelos de lenguaje grandes, herramientas de análisis de texto y voz de última generación, y bases de datos vectoriales para construir una solución de recomendación de audio de principio a fin. Esta solución sugerirá los mejores videos basados en los intereses de los usuarios.

Nuestros artículos imprescindibles

El nuevo modelo de texto a imagen de Metas – CM3leon Paper explicado por Boris Meinardus

Usa LangChain para extraer un diccionario del texto por Eugenia Anello

¿Ocupado? Esta es tu guía rápida para abrir la caja negra de los modelos de difusión por Paul Iusztin

Si quieres publicar en Towards AI, revisa nuestras pautas y regístrate. Publicaremos tu trabajo en nuestra red si cumple con nuestras políticas editoriales y estándares.

Ofertas de trabajo

Redactor Senior (Software Tecnológico) @Future Publishing (Londres, Reino Unido)

Ingeniero de Software Junior (React.js) — OP01114 @Dev.Pro (Remoto)

Arquitecto de Soluciones (Desarrollo de Software) @Uni Systems (Varsovia, Polonia)

Ingeniero de Software @Mention Me (Remoto)

Ingeniero de Software, Full Stack @Basetwo (Remoto)

Ingeniero de Datos Senior @Hertility Health (Remoto)

Ingeniero de Inteligencia Artificial @Plain Concepts (Remoto)

¿Interesado en compartir una oportunidad laboral aquí? Contacta a [email protected].

Si te estás preparando para tu próxima entrevista de aprendizaje automático, no dudes en visitar nuestro sitio web líder en preparación de entrevistas, confetti!

We will continue to update Zepes; if you have any questions or suggestions, please contact us!