Desarrollar un ChatGPT específico de la empresa es un tercio tecnología y dos tercios mejoras en los procesos.

Cómo el desarrollo de un ChatGPT específico de la empresa implica tecnología en un tercio y mejoras en los procesos en dos tercios.

Una visión práctica de los procesos, roles y complejidades involucrados en el desarrollo de un asistente virtual basado en GPT

A lo largo de 2023, hemos estado desarrollando un asistente virtual basado en el modelo GPT para los empleados de Enefit (una de las compañías de energía más grandes de los países bálticos). En el primer artículo (léelo aquí), hice una revisión general del problema, el proceso de desarrollo y los resultados iniciales. En este artículo, profundizaré en la importancia de los desafíos no relacionados con la tecnología en el desarrollo de un asistente virtual.

Introducción

A principios de 2023, quedó claro que se había producido un avance en la tecnología de los modelos de lenguaje grandes. A diferencia de los chatbots de la última década que a menudo decepcionaban a los usuarios desde la segunda o tercera pregunta, ChatGPT se destacó por ser preciso, versátil y realmente útil. La decisión de OpenAI y Microsoft de ofrecer acceso programático a sus modelos GPT, a través de un servicio de API abierta, creó la oportunidad de implementar casos de uso específicos de la compañía.

Abordamos el proyecto del asistente virtual de Enefit sabiendo que la tecnología base estaba lista, el interés interno era alto y el desafío de desarrollo de software, aunque novedoso y complejo, era alcanzable con buenos especialistas.

En las etapas iniciales del desarrollo, esta narrativa resultó ser correcta: casi el 80% de las actividades del proyecto consistieron en tareas de desarrollo de software, y el 20% fueron actividades no relacionadas con la tecnología. A medida que avanzaba el proyecto, estas proporciones cambiaron drásticamente, lo que llevó a la necesidad de procesos y roles completamente nuevos.

• Ajuste de hiperparámetros Redes Neuronales 101
• Investigadores de la Universidad de Washington y la Universidad Duke presentan Punica un sistema de inteligencia artificial para servir múltiples modelos de LoRA en un clúster compartido de GPU.
• Paralelizando Python en Spark Opciones de concurrencia con Pandas

Gobierno de datos/información 2.0

Un asistente virtual solo puede proporcionar información específica de la compañía tan precisa como lo permitan los documentos subyacentes. En otras palabras, si los documentos fundamentales contienen información incorrecta, mal estructurada o desactualizada, el asistente virtual no podrá proporcionar respuestas mucho mejores. Esto se conoce comúnmente como el principio GIGO (basura entra, basura sale), que establece límites fundamentales a las capacidades de la inteligencia artificial.

Por lo tanto, una parte importante de la construcción de un asistente virtual es asegurar la calidad de los datos/información. Esto incluye:

• Asignar un responsable a cada documento/grupo de información que sea responsable de la precisión de la información.
• Acordar un mecanismo de retroalimentación que permita a los usuarios del asistente virtual informar respuestas incorrectas o desinformación.
• Establecer un proceso de gestión de retroalimentación para garantizar que los comentarios de los usuarios lleguen al responsable de la información y se actúen en consecuencia.

Esencialmente, esto significa que todas las partes están involucradas en la gestión de datos: los usuarios que brindan retroalimentación continua y los propietarios de datos responsables de responder a esa retroalimentación.

Los propietarios de documentos también pueden contribuir a mejorar cómo el asistente virtual encuentra la información bajo su responsabilidad mediante el enriquecimiento de secciones de documentos con palabras clave, probando la precisión del asistente virtual, reestructurando el contenido cuando sea necesario, probando, mejorando, probando, mejorando, … En esencia, los propietarios de información deben considerar al asistente virtual como un colega con el que necesitan colaborar.

Para concluir esta sección, mencionaré el nuevo Copilot de Microsoft. En este momento, todas las miradas están puestas en el lanzamiento de Copilot. La mayoría de los entusiastas de la tecnología han visto los videos de demostración y esperan que sea un producto plug-and-play que proporcione respuestas precisas a preguntas relacionadas con la empresa. Sin embargo, esta expectativa probablemente llevará a la decepción, ya que incluso Copilot no es inmune al principio GIGO.

Si miramos más allá de los videos de marketing de Copilot, encontramos una extensa documentación sobre los requisitos de gestión de documentos. En resumen, Microsoft espera que (lee más):

• Se eliminarán todos los documentos desactualizados.
• Todos los documentos deben contener información precisa y relevante.
• Las empresas deben establecer un nuevo proceso de gobierno de datos para garantizar lo anterior.
• Los documentos deben enriquecerse con palabras clave para mejorar la búsqueda.

Estos son requisitos exigentes, especialmente cuando se trata de documentos almacenados en computadoras de empleados.

Quiero dejar en claro que considero a Copilot una nueva tecnología fantástica. Sin embargo, es crucial enfatizar que ninguna tecnología de asistente virtual puede implementarse con éxito sin un proceso de gobierno de datos.

Guiando al Asistente Virtual

Los modelos de lenguaje pre-entrenados grandes (por ejemplo, GPT, Llama) son máquinas lógicas robóticas. Esto significa que si queremos que cumplan un papel específico (por ejemplo, asistente ejecutivo, asistente de contratos, experto legal), necesitamos guiarlos y proporcionar ejemplos de estilo.

Dirigir al asistente virtual significa darle al modelo de lenguaje tanto la pregunta del usuario como una guía de respuesta. Por ejemplo, “Eres un asistente virtual de Enefit que conoce las políticas y reglas de la empresa. Si no puedes encontrar la respuesta en la información disponible, di que no lo sabes…”

Con este tipo de orientación, podemos instruir al asistente virtual sobre cómo comportarse, dictar el formato que debe utilizar para responder y resaltar lo que debe evitar.

Sin embargo, una guía general a menudo es insuficiente. Por ejemplo, una empresa puede querer que el asistente virtual siga un estilo específico (formal, amigable, etc.). En estos casos, se pueden proporcionar ejemplos de estilo, que son básicamente pares de pregunta y respuesta. Como los modelos de lenguaje están entrenados para continuar el texto existente, el asistente virtual intenta responder preguntas de usuarios de manera similar a los ejemplos de estilo proporcionados.

Crear guías de respuesta y ejemplos de estilo, probar diferentes versiones y refinarlos constituye la tercera parte importante del desarrollo del asistente virtual.

El papel de “Entrenador/Guía del Asistente Virtual” es completamente nuevo y solo puede ser desempeñado de manera efectiva por alguien con conocimientos en el ámbito para el cual se crea el asistente virtual. El desarrollo efectivo del asistente virtual requiere una estrecha colaboración entre desarrolladores de software, propietarios de información y el entrenador del asistente virtual, ya que la causa de cada respuesta “deficiente” puede radicar en diferentes especialistas.

Conclusión

Desarrollar un chatbot que funcione al 80% de eficiencia es fácil con las tecnologías actuales, pero crear un asistente virtual con una calidad del 95% es una tarea compleja.

A primera vista, uno podría pensar que el 80% es suficiente, entonces ¿por qué pasar por tantos problemas por los últimos 20 puntos porcentuales? En realidad, según la experiencia de la última década con los chatbots, sabemos que un chatbot que es preciso el 80% del tiempo no supera el “umbral de utilidad cognitiva” de los usuarios.

Este umbral de utilidad cognitiva es una referencia oculta que existe en todas nuestras mentes, pero no podemos definir exactamente dónde se encuentra este límite. Sin embargo, mediante el uso de tecnología, rápidamente entendemos si se ha cruzado este límite o no. Si la calidad de la tecnología cae por debajo de este umbral, abandonaremos por completo el uso de la tecnología dada.

En otras palabras, la diferencia entre el 80% y el 95% radica en el hecho de que en el primer caso, nadie comenzará a usar esta tecnología y en el segundo caso, se convierte en un asistente diario para muchos empleados.

¡La diferencia entre el 80% y el 95% de precisión radica en el hecho de que en el primer caso, nadie comenzará a usar esta tecnología y en el segundo caso, se convierte en un asistente diario para muchos empleados!

Para alcanzar este último 15-20%, es necesario implementar un sistema de gestión de datos que garantice la relevancia de la información fundamental, crear nuevos roles y procesos asociados con el desarrollo del asistente virtual, capacitar a todas las partes interesadas en la nueva tecnología y brindar apoyo a la implementación y adopción tanto a nivel estratégico como operativo. Por lo tanto, la tecnología solo constituye 1/3 del desarrollo del asistente virtual, mientras que los desafíos organizativos y relacionados con los procesos conforman el resto.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!