Cómo construir una aplicación de asistente de inteligencia artificial de Google Meet en 10 minutos con Unbody y Appsmith

Cómo crear una aplicación de asistente de Inteligencia Artificial de Google Meet en 10 minutos con Unbody y Appsmith

La comunicación efectiva y la gestión eficiente de las reuniones son clave para el éxito de un equipo en el lugar de trabajo moderno. Reconociendo esto, desarrollaremos una aplicación de asistente de reuniones con IA para transformar las grabaciones de Google Meet en notas de reuniones generadas automáticamente con los puntos clave y las acciones a tomar. Esta publicación de blog está diseñada para todos los creadores, desde desarrolladores hasta no programadores, que estén interesados en la intersección de la IA y las herramientas de productividad. Es particularmente útil para aquellos con poca experiencia en desarrollo de IA y que desean construir aplicaciones de IA utilizando herramientas simples de desarrollo con poco código como Unbody y Appsmith.

Introducción a la aplicación AI-Powered Meetings Assistant

Imagínese una aplicación que conecte su Google Drive, donde se guardan todas las grabaciones de video de Google Meet, y que capture automáticamente las transcripciones de audio de las reuniones y genere notas de reuniones con los puntos clave y las acciones a tomar en tiempo real. Puede participar plenamente en la conversación durante la reunión sin tener que tomar notas usted solo. Si llega tarde o no puede asistir a la reunión, la aplicación aun así tomará notas. La aplicación puede hacer que las reuniones virtuales sean más productivas, incluyendo a líderes de equipos, gerentes de proyectos, desarrolladores y cualquier persona que utilice regularmente Google Meet puede beneficiarse al usarla.

Por supuesto, existen muchas soluciones existentes en el mercado como Otter.ai o Fathom. Pero en caso de que desee construir su propia herramienta y personalizar la salida de la misma, entonces estamos en la misma página. Para desarrollar esta aplicación, utilizaremos Unbody para convertir las transcripciones de video de entrada en contenido inteligente/generativo y Appsmith para facilitar el diseño y la construcción de la interfaz de usuario de nuestra aplicación sin codificación extensa en el front-end. Veamos el papel de cada uno en la aplicación.

Unbody es el cerebro

Unbody está en el corazón de nuestra herramienta, brindando conocimiento a través de la transformación de audio en transcripciones y creando resúmenes de asistentes de IA y entrega de conocimiento a través de la API de GraphQL. Utilizando la transformación avanzada habilitada por IA de Unbody y el análisis de contenido, nuestro proyecto identifica y extrae de manera mágica los elementos de acción de los audios de las reuniones de cualquier tipo. Los convierte en contenido estructurado asegurando que no se pierda información crítica.

• Medidas de ciberseguridad para prevenir la contaminación de datos
• 6 Consejos Probados para Hacer Que Tu Aplicación de Aprendizaje Automático Destaque
• Hacia la IA General el papel de LLMs y Modelos Fundamentales en la Revolución del Aprendizaje de por Vida

Unbody también puede agregar y sincronizar varios tipos de archivos, como documentos de texto, PDF, hojas de cálculo, imágenes y videos. Por ejemplo, se pueden sincronizar continuamente un archivo PDF en Google Drive, una imagen compartida en un canal de Slack o archivos de video en una carpeta local con Unbody. Obtenga más información sobre Unbody en el artículo “Todo el auge de la IA en un solo punto final, un artículo de una línea de código” de Amir Houieh.

Appsmith es nuestro front-end

Appsmith es una plataforma de bajo código de código abierto diseñada para ayudar a los desarrolladores a construir herramientas internas de manera rápida y eficiente. Sirve como el front-end de nuestra aplicación, proporcionando un panel personalizable e interactivo para ver resúmenes de reuniones y elementos de acción. Appsmith se conecta al GraphQL expuesto por Unbody como fuente de datos y obtiene y muestra datos en widgets.

Siga este enlace de demostración con un solo clic para ver la aplicación en funcionamiento en Appsmith Cloud.

Cómo funciona

Todo lo que necesita hacer es:

1. Habilitar la grabación de video durante sus sesiones de Google Meet y las grabaciones se cargarán automáticamente en la carpeta Mis grabaciones > Meet en su Google Drive.
2. Conectar Google Drive como una fuente de contenido a Unbody. Unbody obtendrá los últimos cambios en su drive cada vez que se detecte un cambio. El motor con IA de Unbody procesa el contenido e indexa. Por ejemplo, utilizamos Unbody para extraer puntos clave y decisiones de la transcripción de video.
3. Recuperar el resultado de la API de contenido de Unbody utilizando GraphQL. Escriba consultas personalizadas de GraphQL para obtener un resumen de la reunión y identificar elementos de acción específicos. El punto final de GraphQL actúa como una interfaz de datos entre las grabaciones de video en Google Drive y el panel de control de Appsmith.
4. Acceder al panel de control de Appsmith para ver el resumen de la reunión y los elementos de acción. El panel de control proporciona una visión general en tiempo real de todas las tareas en curso y los plazos. La siguiente imagen ilustra el panel de control con datos de ejemplo:

Informe generado por la Asistente de IA en el panel de control de Appsmith

Mira el siguiente GIF para comprender todo el proceso:

Cómo Configurar y Ejecutar el Proyecto

El código fuente del proyecto para la interfaz de usuario de Appsmith con consultas de muestra de GraphQL ya ha sido implementado y puedes ver el repositorio de GitHub. Para configurar la API de contenido de Unbody, conectarla a tu propia Google Drive y ejecutar la interfaz de usuario, debes seguir esta guía.

Requisitos Previos

1. Utilizas Google Meet y cumples los requisitos para grabar una reunión en video.
2. Tienes una cuenta de Unbody. Crea una cuenta nueva de forma gratuita si no la tienes.
3. Tienes una cuenta de Appsmith.
4. Hiciste un fork del repositorio de GitHub (enlazado en el párrafo anterior).

Paso 1: Activar la Grabación de Video en Google Meet

Una vez que estés en la reunión, comienza a grabar un video y la transcripción en tu sesión de Google Meet.

Una vez que la grabación se detenga o la reunión termine, se guardará automáticamente en tu Google Drive en una carpeta etiquetada como “Grabaciones de la reunión”.

La grabación de video se guarda automáticamente en Google Drive

Paso 2: Configurar el Proyecto de Unbody

1. Accede a tu Panel de Control de Unbody y comienza por crear un nuevo proyecto. Primero, es posible que desees configurar los motores y características de IA.

Configuración de características de Unbody

Unbody utiliza una tecnología avanzada de IA conocida como modelos de lenguaje grandes (LLMs) para interpretar la entrada de texto. Estos modelos vienen en varios tipos y configuraciones, y Unbody ofrece una amplia selección. Vamos a utilizar dos características: vectorizador de texto y búsqueda generativa.

El vectorizador de texto transforma la transcripción de tus videos de Google Meet en un formato comprensible por la IA. Para la elección del modelo para vectorizar transcripciones, recomiendo utilizar la opción de código abierto y gratuita Contextionary.

Aquí hay un poco más de información técnica sobre el Vectorizador de Texto:

Es un algoritmo que crea una representación vectorial de las transcripciones. La representación vectorial son solo números de punto flotante como 5.5, 0.25 y -1.2. La distancia entre dos vectores mide su relación. Las distancias pequeñas sugieren una alta relación y las distancias grandes sugieren una baja relación. Unbody también indexa las representaciones vectoriales para una búsqueda fácil. Piensa en ello como organizar libros en una biblioteca para que sea fácil encontrarlos.

Después de que Unbody haya indexado los datos, ofrecerá varios motores de búsqueda generativa –actualmente solo los de OpenAI (ChatGPT)– para habilitar acciones generativas sobre tus materiales de texto. GPT es muy bueno para entender y utilizar el lenguaje de una manera similar a los humanos. El motor nos ayuda a resumir lo que se discutió en la reunión e identificar cualquier tarea o ‘elemento de acción’ que deba realizarse. Es como tener un asistente que escucha tus reuniones y luego te dice los puntos clave y qué debe hacerse a continuación. Unbody también admitirá otros motores generativos en el futuro, ofreciéndote más opciones para elegir.

2. Conéctate a Google Drive y Google Calendar (opcional si también necesitas incluir los detalles de eventos en la aplicación).

Unbody crea un nuevo proyecto con fuentes de datos

Después de conectar con éxito las fuentes de datos, deberías ver Google Drive y Google Calendar en la lista de fuentes:

Google Drive y Calendar son fuentes de datos seleccionadas para Unbody

Paso 4: Escribir Consultas de GraphQL

Unbody tiene un amigable panel de consulta GraphQL, puedes abrir la pestaña de GraphQL y probar las consultas existentes en el repositorio que extrae elementos de acción o obtiene detalles de reservas de eventos de Google Calendar o crear tus propias consultas.

Escribiendo consultas personalizadas en el playground de Unbody GraphQL

Paso 5: Configuración del frontend con Appsmith

A continuación, lleva la aplicación existente de Appsmith desde el repositorio de GitHub. La importas a un nuevo espacio de trabajo en tu cuenta de Appsmith. Sigue los pasos indicados en Importar desde el repositorio en el sitio web de Appsmith.

También puedes instalar Appsmith usando Docker en tu máquina local además de usar una versión en la nube.

Una vez que la importación esté completa, verás el lienzo similar a este:

Ejemplo de lienzo de Appsmith para crear aplicaciones de interfaz de usuario

Puedes utilizar la interfaz de arrastrar y soltar para personalizar el tablero de instrumentos. Modifica o agrega widgets como tablas, cuadros de texto y botones según sea necesario. Ten en cuenta que Appsmith no exporta ninguna configuración secreta o valores de encabezado utilizados para conectar una fuente de datos como Unbody API_KEY y PROJECT_ID. Necesitas encontrar tu clave de API personal y ID de proyecto generados en el panel de control de Unbody y configurarlos manualmente en los encabezados de la fuente de datos similar a esto:

Conecta Unbody como una fuente de datos en Appsmith

Como puedes ver, el proyecto configura una fuente de datos en Appsmith para conectarse a tu servidor GraphQL de Unbody. Utilízalo para obtener resúmenes de reuniones y mostrarlos en el tablero de instrumentos. Otras consultas de API, páginas de interfaz de usuario y widgets se crean automáticamente después de la importación.

Registra consultas de Unbody GraphQL para Appsmith

Puedes ejecutar la aplicación haciendo clic en el botón Previsualización en la parte superior derecha de la pantalla y finalmente, verás el tablero de instrumentos con todos los datos.

Conclusión

Ahora tienes una aplicación completamente funcional que puede transformar las grabaciones de video de Google Meet en resúmenes y tareas accionables. La aplicación de informes de reuniones con IA es un buen ejemplo de cómo convertir cualquier contenido en una base de conocimiento inteligible y consultable. Utilizaste un enfoque de RAG (Generación con Recuperación Aumentada) para ofrecer una plataforma de interacción de contenido intuitiva y potente a través de un único punto final de GraphQL. Además, con la interfaz de arrastrar y soltar de Appsmith de desarrollo rápido, se redujo significativamente el tiempo y esfuerzo que normalmente se requiere para una tarea de pila completa como esta. Para obtener funcionalidades más avanzadas, tanto Unbody como Appsmith permiten el uso de JavaScript y TypeScript, brindando a los desarrolladores la flexibilidad para escribir lógica personalizada.

Próximos pasos

Esta guía de configuración proporciona un marco básico que puedes ampliar y personalizar según tus requisitos específicos. En la aplicación, habrás notado que hay otra página no terminada llamada *Preguntar notas de reunión.* Aplica el conocimiento que aprendiste en este artículo e implementa una nueva consulta GraphQL utilizando la función de Generación de Q&A, llevando los datos al widget de texto de salida. Los usuarios pueden buscar información específica de las reuniones en la barra de búsqueda.

Contenido recomendado

• Cómo construir un pipeline de transmisión de datos para aplicaciones generativas de IA empresarial en tiempo real

We will continue to update Zepes; if you have any questions or suggestions, please contact us!