Organizando la IA generativa 5 lecciones aprendidas de los equipos de ciencia de datos

Lecciones aprendidas al organizar la IA generativa en equipos de ciencia de datos

Los LLMs tienen un gran potencial, pero generar un valor sostenible requerirá más que un equipo de élite

¡Lo lograste!

Después de que el liderazgo ejecutivo prometió vagamente a los interesados que las nuevas características de Gen AI se incorporarían en toda la organización, tu equipo de élite se apresuró a producir un MVP que cumple con los requisitos. Integrar esa API de OpenAI en tu aplicación no fue tan difícil e incluso podría resultar útil.

Pero ahora, ¿qué sucede? Los equipos de élite no pueden correr a toda velocidad para siempre. Cada miembro tiene otro rol dentro de la organización que una vez más requerirá la mayoría de su tiempo y enfoque.

Por no mencionar que hay una razón para los procesos y estructuras típicos que se ignoraron y se aceleraron para este proyecto. Resulta que son bastante críticos para garantizar la adaptación del producto, la transición de desarrollo a operaciones y la optimización de costos (entre otras cosas).

• Apoyando la sostenibilidad, la salud digital y el futuro del trabajo
• Cómo ayudar a los estudiantes de secundaria a prepararse para el auge de la inteligencia artificial
• Increíble nueva función de Inpainting a mitad de camino (Región variable)

Considerándolo bien, ahora que el proyecto está completo, realmente no hay ninguna infraestructura de plataforma que pueda ayudar a escalar la próxima ronda de modelos LLM u otras características de productos Gen AI.

Parece que es hora de empezar a pensar en cómo estructurar y apoyar un equipo de Gen AI dentro de tu organización de datos. Y por más fácil que parezca el proceso en esas elegantes demostraciones de productos, hay signos de aguas turbulentas por delante:

• A menos que seas una de las pocas empresas tecnológicas gigantes, la ciencia de datos y la experiencia en Gen AI son bien escasas. En este punto, nadie realmente tiene una experiencia significativa. Es nuevo para todos.
• El negocio sabe que quiere Gen AI, pero aún no sabe por qué. La tecnología es emocionante, pero los casos de uso específicos son difusos. Nadie tiene mucha experiencia en el mantenimiento de una implementación.
• El ecosistema ha surgido de la noche a la mañana, pero las tecnologías de soporte y las mejores prácticas aún no han madurado. Los riesgos son generalmente imprevistos y la incertidumbre es alta.

Si esto suena familiar, es porque lo es. Los equipos de ciencia de datos han enfrentado todos estos problemas con sus algoritmos y aplicaciones de aprendizaje automático en los últimos cinco años o más.

Fue una experiencia dolorosa. En 2020, Gartner informó que solo el 53% de los proyectos de aprendizaje automático pasaron de ser prototipos a producción, y eso es en organizaciones con algún nivel de experiencia en IA. Para las empresas que aún están trabajando para desarrollar una cultura basada en datos, es probable que ese número sea mucho mayor, con estimaciones de tasas de fracaso que llegan casi al 90%.

Como alguien que lideró equipos de datos en el New York Times y enfrentó muchos de estos desafíos, puedo atestiguar la importancia de la estructura organizativa, los procesos y las plataformas para el éxito de estas iniciativas.

También he hablado con cientos de líderes de datos en una amplia variedad de tamaños e industrias de empresas que han expresado un conjunto común de lecciones aprendidas. Estas mejores prácticas, obtenidas a través del esfuerzo y el sacrificio de los equipos de ciencia de datos, deberían ser prioritarias para cada líder de datos que piense en su estrategia y estructura de Gen AI a largo plazo.

Lección 1: Comprender los compromisos estructurales y la curva de madurez

Así como no puedes despertar sin entrenamiento y salir a correr un maratón, tu organización no puede crear una estructura organizativa de Gen AI que se parezca a los principales equipos de datos hasta que haya fortalecido sus músculos operativos.

Uno de los errores más comunes que he visto en este sentido es extender demasiado tu grupo de talentos en un apuro por descentralizar e integrar en toda la empresa (quizás dentro de una malla de datos). Si bien obtienes una mejor comprensión y proximidad al negocio, la creación de valor sostenible es difícil.

Puede haber éxitos aislados, pero estos suelen estar vinculados y depender del talento de uno o dos autodidactas. El talento en ciencia de datos es escaso, y el talento senior en ciencia de datos que puede identificar, priorizar, comunicar y ejecutar de manera independiente proyectos de alto valor es aún más raro.

Cuando esos individuos talentosos se van, el conocimiento institucional, la base de código y el impulso del proyecto a menudo se van con ellos. Los miembros supervivientes de su equipo se ven obligados a asumir el papel de arqueólogos, tratando de discernir el propósito y significado de los artefactos dejados por estos proyectos abandonados. La mayoría de las veces, comenzando casi desde cero.

El modelo de consultoría ha sido a menudo un enfoque más exitoso para equipos más pequeños de ciencia de datos y aprendizaje automático. Esto consolida una masa crítica de talento que puede dirigirse a los proyectos de mayor prioridad. El posible inconveniente a mitigar es que se desea evitar que el centro de excelencia se convierta en un laboratorio que produce modelos de oro que a un profesor le encantarían, pero que no están alineados con el desafío empresarial en cuestión.

A medida que un equipo crece y avanza en la curva de madurez, las estructuras organizativas ligeramente diferentes se vuelven más apropiadas. El modelo “especializado” generalmente se enfocará en recursos de ciencia de datos y aprendizaje automático en un par de problemas de alto valor, con equipos desplegados dentro del dominio empresarial relevante.

La expresión más común de esto ocurre cuando el aprendizaje automático es una parte fundamental del producto (tal vez personalización o detección de fraudes) y la asociación con el equipo de producto o ingeniería es más importante que la asociación con el equipo central de datos. A menudo, el equipo central de datos tiene su propia inversión en ciencia de datos, en gran medida independiente de los equipos especializados.

Este modelo puede tener éxito, pero también crea ineficiencias y compartimentos estancos. Por ejemplo, tanto los equipos centrales como los especializados generalmente tendrán plataformas personalizadas con pocos servicios compartidos. Los datos de eventos en tiempo real dentro del dominio del producto podrían beneficiarse de enriquecerse con los datos personalizados recopilados por el equipo centralizado, pero esa conexión podría nunca hacerse.

Otra estructura organizativa en una etapa posterior podría describirse como el modelo “plataforma”. Los modelos integrados y especializados pueden sufrir por falta de visibilidad y cohesión entre los dominios empresariales, tratando cada problema de ciencia de datos con su propia solución de pila completa, a pesar de las similitudes inherentes en el tipo de problemas que se resuelven en diferentes dominios.

La solución es crear una separación deliberada de los dominios o verticales empresariales, para no ajustar en exceso su modelo operativo, como se haría con otros equipos horizontales de plataforma.

Un beneficio importante de tratar el aprendizaje automático como una búsqueda de plataforma es la capacidad de invertir en una infraestructura de plataforma compartida una vez que se haya demostrado el valor de cada aplicación de aprendizaje automático, ya que reduce los recursos y el costo de implementar y mantener nuevas aplicaciones. Esta inversión inicialmente debe ser pequeña en comparación con la inversión en equipos aplicados, lo que les permite operar de manera relativamente independiente y perseguir los objetivos a largo plazo de sus socios comerciales.

En este modelo de plataforma, podría crearse un equipo GenAI como uno de los equipos aplicados, con el mandato y los recursos de ingeniería para adaptar su pila según sea necesario para ofrecer valor, al tiempo que coordina con otros equipos de plataforma para reutilizar la infraestructura y los estándares que brindarán valor sostenido para la organización. Recomiendo encarecidamente este modelo en lugar de tratar de extender Gen AI a muchos equipos. La masa crítica importa.

Lección 2: Organizarse por caso de uso, no por función empresarial

Recientemente, tuve una conversación con un líder de datos en una empresa de medios que fue la inspiración para esta publicación. Me dijeron que sus equipos de ciencia de datos estaban organizados por dominio (propiedades de medios en este caso).

Los equipos de ciencia de datos estaban trabajando en los mismos tipos de proyectos dentro de cada dominio, en este caso, algoritmos de recomendación de artículos. Sin duda, cada dominio se beneficia del enfoque dedicado en sus problemas específicos y cada equipo de ciencia de datos se beneficia de la proximidad a sus respectivos socios comerciales y editoriales. Pero esto ayudó a resaltar algunas desventajas de esta estructura organizativa; la implementación ineficiente del talento y la falta de infraestructura compartida a pesar de que muchos equipos resuelven los mismos tipos de problemas de clasificación de contenido.

En el New York Times, encontramos efectivo organizar nuestros equipos de ciencia de datos en torno a problemas comunes. Una vez que el modelo había sido probado en un dominio, generalmente era más eficiente ajustarlo y modificarlo para las entradas y limitaciones únicas de otro dominio en lugar de tener dos equipos creando dos modelos en paralelo. Tiene sentido desde una perspectiva lógica también, siempre lleva más tiempo construir el prototipo que el producto posterior.

Gen AI debería considerarse de la misma manera. Tener un equipo enfocado en un caso de uso de alto valor apropiado para la tecnología, tal vez sugerencias personalizadas de asientos para un mercado de eventos, o localización de idiomas para un sitio de medios, y luego aplicar esa solución a otros dominios donde tenga sentido.

Lección 3: Enfocarse en el valor a largo plazo y los problemas difíciles

“Largo plazo” tiene un significado único en el mundo de la tecnología y los datos, donde la vida útil promedio de un director de datos es aproximadamente la misma que un frasco de mantequilla de maní.

¿El objetivo seguirá siendo un problema cuando llegue el momento de la fiesta de cierre del proyecto? ¿Seguirá siendo una necesidad dentro de cinco años, durante los cuales el nuevo modelo puede iterarse y encontrar un valor adicional?

La realidad es que, suponiendo que no estés utilizando un modelo prefabricado, las iniciativas de aprendizaje automático e inteligencia artificial generativa pueden ser costosas (aunque los modelos de lenguaje grandes se están estandarizando rápidamente). Desarrollar un modelo bien entrenado y gobernado para adaptarse a un caso de uso puede llevar meses, o en algunos casos, incluso años.

El beneficio en comparación con otras alternativas debería valer la pena. Por ejemplo, un modelo de aprendizaje automático diseñado para optimizar el gasto en anuncios de Facebook puede sonar atractivo hasta que te das cuenta de que esto se hace de forma nativa dentro de la plataforma de anuncios.

Dicho esto, centrarse en el valor a largo plazo no significa crear una hoja de ruta con el primer lanzamiento programado para 2025.

Lección 4: Asociar los equipos de IA con un patrocinador empresarial

Entonces, ¿cómo puedes asegurarte de que tus equipos de ciencia de datos e IA generativa se centren en problemas empresariales que importan? Asócialos con un patrocinador empresarial.

Encontrar aplicaciones innovadoras para nuevas tecnologías es poco probable que sea un viaje lineal y se deben esperar desvíos. Una asociación sólida con un patrocinador empresarial actúa como una brújula que garantiza que el equipo nunca se aleje demasiado del valor empresarial mientras explora la frontera. También he encontrado que amplía la perspectiva del equipo más allá del horizonte a problemas que afectan a diferentes equipos.

Un buen patrocinador empresarial también mantendrá al equipo bien abastecido durante su viaje, desbloqueando recursos y ayudando a navegar cualquier terreno difícil relacionado con procesos internos o políticas. Parte de esta navegación probablemente requerirá alinear las hojas de ruta entre equipos para ofrecer una experiencia coherente en el backend y frontend.

Dado que estas iniciativas probablemente abarcarán trimestres, la participación ejecutiva también es fundamental para garantizar que estos proyectos no sean cancelados prematuramente.

Lección 5: Comprender los requisitos previos de la plataforma de datos

Construir la máquina que construye la máquina siempre es más difícil que producir el producto final. Eso es cierto ya sea que se trate de una fábrica que produce un automóvil o una plataforma de datos utilizada para desarrollar y poner en producción modelos de lenguaje grandes.

Los líderes empresariales siempre tendrán el objetivo empresarial en mente y frecuentemente pasarán por alto las inversiones en la plataforma de datos necesarias para llegar allí. No están siendo maliciosos, solo confían en ti, el experto en datos, para que les digas lo que se requiere.

Por ejemplo, los equipos de aprendizaje automático han invertido en la construcción o compra de repositorios de características y soluciones de MLops. Sin mencionar la inversión fundamental en entornos de datos en la nube, calidad de datos y los adornos circundantes.

Para las iniciativas de IA generativa, gran parte de la arquitectura de la plataforma de datos y la canalización de datos seguirán siendo las mismas (y si aún no has invertido en la pila de datos moderna, ese es el punto de partida). No se puede tener un proyecto de IA generativa sin datos de calidad descubribles. Sin embargo, habrá algunas soluciones adicionales específicas para la ingeniería de modelos de lenguaje grandes, como el alojamiento de modelos, la memoria caché, los marcos de agentes de IA y muchos otros que aún no se han inventado.

Aprender del pasado o repetirlo

No hay duda de que la IA generativa es una tecnología disruptiva y aprender a aprovecharla a gran escala creará un nuevo corpus de lecciones dolorosas aprendidas. Sin embargo, no es necesario comenzar desde cero. Estructura tus equipos de ciencia de datos y IA generativa para tener éxito a largo plazo.

Este artículo fue coescrito con Michael Segner.

Sígueme en VoAGI para obtener más historias sobre liderazgo de datos, aplicaciones de ciencia de datos y temas relacionados. Suscríbete para recibir mis historias en tu bandeja de entrada.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!