Nuevas Fronteras en la IA Generativa – Lejos de la Nube

Explorando nuevos límites en la IA Generativa - Alejados de la Nube

Al principio, estaba Internet, que cambió nuestras vidas para siempre: la forma en que nos comunicamos, compramos, realizamos negocios. Y luego, por razones de latencia, privacidad y eficiencia de costes, Internet se trasladó al extremo de la red, dando lugar al “Internet de las cosas”.

Ahora tenemos inteligencia artificial, la cual facilita todo lo que hacemos en Internet, haciéndolo más sencillo, personalizado e inteligente. Sin embargo, se necesitan servidores grandes y una alta capacidad de cómputo para utilizarla, por lo que está confinada en la nube. Pero las mismas motivaciones -latencia, privacidad, eficiencia de costes- han llevado a empresas como Hailo a desarrollar tecnologías que permiten la IA en el borde de la red.

Sin duda, la próxima gran cosa es la IA generativa. La IA generativa presenta un enorme potencial en diversas industrias. Puede utilizarse para agilizar el trabajo y aumentar la eficiencia de diversos creadores, como abogados, redactores de contenido, diseñadores gráficos, músicos, entre otros. Puede ayudar a descubrir nuevos fármacos terapéuticos o asistir en procedimientos médicos. La IA generativa puede mejorar la automatización industrial, desarrollar nuevo código de software y mejorar la seguridad del transporte a través de la síntesis automatizada de video, audio, imágenes y mucho más.

Sin embargo, la IA generativa tal como existe hoy en día está limitada por la tecnología que la habilita. Esto se debe a que la IA generativa se produce en la nube, en grandes centros de datos con procesadores informáticos costosos y consumidores de energía, alejados de los usuarios reales. Cuando alguien emite un comando a una herramienta de IA generativa como ChatGPT o alguna nueva solución de videoconferencias basada en IA, la solicitud se transmite a través de Internet a la nube, donde es procesada por servidores antes de que los resultados sean devueltos a través de la red.

• Integrando ChatGPT con ReactJS Una Guía Completa
• Guía de un ingeniero de Microsoft para la innovación y el liderazgo en Inteligencia Artificial
• Meet mPLUG-Owl2 un modelo de base multilingüe multimodal que transforma los modelos de lenguaje multilingües multimodales (MLLM) mediante la colaboración de modalidades.

A medida que las empresas desarrollan nuevas aplicaciones de IA generativa y las implementan en diferentes tipos de dispositivos, como cámaras de video y sistemas de seguridad, robots industriales y personales, computadoras portátiles e incluso automóviles, la nube se convierte en un cuello de botella en términos de ancho de banda, coste y conectividad.

Además, para aplicaciones como asistencia al conductor, software de ordenador personal, videoconferencias y seguridad, mover constantemente datos a través de una red puede suponer un riesgo para la privacidad.

La solución consiste en permitir que estos dispositivos procesen la IA generativa en el borde de la red. De hecho, la IA generativa basada en el borde puede beneficiar a muchas aplicaciones emergentes.

La IA generativa en auge

Consideremos que en junio, Mercedes-Benz dijo que introduciría ChatGPT en sus coches. En un Mercedes con ChatGPT, por ejemplo, el conductor podría pedir al coche -sin usar las manos- una receta de cena basada en los ingredientes que ya tiene en casa. Es decir, si el coche está conectado a Internet. En un garaje o una ubicación remota, todo está por ver.

En los últimos años, las videoconferencias se han convertido en algo natural para la mayoría de nosotros. Ya las empresas de software están integrando formas de IA en las soluciones de videoconferencia. Tal vez sea para optimizar la calidad de audio y video sobre la marcha, o para “colocar” a las personas en el mismo espacio virtual. Ahora, las videoconferencias impulsadas por IA generativa pueden crear automáticamente actas de reuniones o buscar información relevante en tiempo real a medida que se discuten diferentes temas.

Sin embargo, si un coche inteligente, un sistema de videoconferencias o cualquier otro dispositivo en el borde de la red no puede acceder a la nube, entonces la experiencia de la IA generativa no puede ocurrir. Pero ¿y si no tuvieran que depender de ella? Parece una tarea desalentadora considerando el enorme procesamiento de la IA en la nube, pero ahora se está volviendo posible.

La IA generativa en el borde de la red

Ya existen herramientas de IA generativa, por ejemplo, que pueden crear automáticamente presentaciones de PowerPoint ricas y atractivas. Pero el usuario necesita que el sistema funcione desde cualquier lugar, incluso sin conexión a Internet.

De manera similar, ya estamos viendo una nueva clase de asistentes “copiloto” basados en IA generativa que cambiarán fundamentalmente la forma en que interactuamos con nuestros dispositivos informáticos al automatizar muchas tareas rutinarias, como crear informes o visualizar datos. Imagina abrir un portátil, que la cámara reconociera quién eres y generara automáticamente un plan de acción para el día/semana/mes basado en las herramientas que más utilizas, como Outlook, Teams, Slack, Trello, etc. Pero para mantener la privacidad de tus datos y ofrecer una buena experiencia al usuario, debes tener la opción de ejecutar la IA generativa localmente.

Además de enfrentar los desafíos de las conexiones poco confiables y la privacidad de los datos, la IA en el borde de la red puede ayudar a reducir las demandas de ancho de banda y mejorar el rendimiento de las aplicaciones. Por ejemplo, si una aplicación de IA generativa está creando contenido rico en datos, como un espacio de conferencias virtual, a través de la nube, el proceso podría retrasarse según la disponibilidad (y el coste) del ancho de banda. Y ciertos tipos de aplicaciones de IA generativa, como la seguridad, la robótica o la atención sanitaria, requieren respuestas de alto rendimiento y baja latencia que las conexiones en la nube no pueden manejar.

En la seguridad de video, la capacidad de volver a identificar a las personas mientras se mueven entre muchas cámaras, algunas ubicadas donde las redes no pueden alcanzar, requiere modelos de datos y procesamiento de IA en las propias cámaras. En este caso, la IA generativa se puede aplicar a descripciones automatizadas de lo que las cámaras ven a través de consultas simples como “Encuentra al niño de 8 años con la camiseta roja y la gorra de béisbol”.

Eso es la IA generativa en el borde.

Desarrollos en la IA en el borde

Mediante la adopción de una nueva clase de procesadores de IA y el desarrollo de modelos de datos más eficientes, aunque no menos potentes, de IA generativa, los dispositivos de borde se pueden diseñar para funcionar de manera inteligente donde la conectividad en la nube es imposible o no deseable.

Por supuesto, el procesamiento en la nube seguirá siendo un componente crítico de la IA generativa. Por ejemplo, el entrenamiento de los modelos de IA se mantendrá en la nube. Pero el acto de aplicar las entradas del usuario a esos modelos, llamado inferencia, puede – y en muchos casos debería – suceder en el borde.

La industria ya está desarrollando modelos de IA más eficientes y pequeños que se pueden cargar en dispositivos de borde. Empresas como Hailo fabrican procesadores de IA diseñados específicamente para el procesamiento de redes neuronales. Estos procesadores no solo manejan los modelos de IA de manera increíblemente rápida, sino que también lo hacen con menos energía, lo que los hace eficientes desde el punto de vista energético y adecuados para una variedad de dispositivos de borde, desde teléfonos inteligentes hasta cámaras.

El procesamiento de la IA generativa en el borde también puede equilibrar de manera efectiva las crecientes cargas de trabajo, permitir que las aplicaciones se escalen de manera más estable, aliviar los centros de datos en la nube de costosos procesamientos y ayudarles a reducir su huella de carbono.

La IA generativa está lista para cambiar la computación nuevamente. En el futuro, la LLM en tu computadora portátil puede actualizarse automáticamente de la misma manera que tu sistema operativo lo hace hoy, y funcionar de manera similar. Pero para llegar allí, necesitaremos habilitar el procesamiento de IA generativa en el borde de la red. El resultado promete ser un mayor rendimiento, eficiencia energética, privacidad y seguridad. Todo lo cual conduce a aplicaciones de IA que cambian el mundo tanto como la IA generativa misma.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!