IA vs analistas de datos 6 principales limitaciones que impactan el futuro del análisis

IA vs analistas de datos Las 6 principales limitaciones que afectan el futuro del análisis

 

¿Qué tipo de análisis de datos puede hacer la IA?

 

Ya conocemos a ChatGPT como la herramienta de IA más versátil, con complementos que le permiten hacer prácticamente cualquier cosa. Puede generar código funcional en Python, R y muchos otros lenguajes, así como consultas complejas de SQL. Como puedes imaginar, combinar estas funcionalidades te permitiría utilizar la IA para prácticamente todas las partes de tu trabajo de análisis de datos.

• La urgente necesidad de habilidades de GenAI en la gestión de proyectos
• Investigadores de Meta y UNC-Chapel Hill introducen Branch-Solve-Merge un programa revolucionario que mejora el rendimiento de modelos de lenguaje grandes en tareas complejas de lenguaje.
• ZenML para Vehículos Eléctricos De los datos a las predicciones de eficiencia

  

Los casos de uso incluyen:

• Consulta
• Limpieza y otros procesamientos
• Visualización

Cuando se trata de trabajar con datos, herramientas especializadas como Julius AI (para archivos CSV) o BlazeSQL (para bases de datos SQL) están diseñadas específicamente para este propósito. A diferencia de ChatGPT, estas herramientas no requieren que subas/conectes y expliques tus datos cada vez que las abres.

ChatGPT funciona para un análisis rápido de un archivo CSV, pero la mayoría de las compañías almacenan datos en bases de datos SQL dentro de redes privadas. No obstante, estas herramientas especializadas pueden conectarse a estas bases de datos SQL seguras y responder tus preguntas mediante consultas a tu base de datos y visualización de los resultados.

 

¿Cómo podría la IA reemplazar a los analistas de datos?

 

El análisis de datos se trata de obtener información de los datos, y los analistas y científicos de datos son quienes poseen las habilidades técnicas para proporcionar a las partes interesadas la información que necesitan. Pero las cosas han cambiado, y ahora las herramientas de IA pueden completar con éxito algunas de las tareas que antes solo podían realizar los analistas y científicos de datos.

En teoría, un interesado en el negocio sin habilidades técnicas podría conectar sus datos a una herramienta de IA y hacer una solicitud como “Obtener los ingresos mensuales agrupados por producto, para los 3 principales productos del año”. La IA podría obtener los datos e incluso visualizarlos. El usuario solo necesitaría dedicar unos segundos para escribir la solicitud. Si hubieran consultado a un colega humano, es posible que no hubieran obtenido una respuesta en varios días, o incluso más.

  

Ver una imagen como esta puede ser sorprendente y preocupante para los analistas de datos, pero reemplazar a los analistas de datos y científicos de datos no es tan sencillo. Ejecutar simplemente una consulta de SQL y graficar el resultado es solo una parte de su trabajo, e incluso eso no siempre puede hacerse de manera confiable por la IA. Puede haber funcionado en la captura de pantalla anterior, pero ¿y si el resultado es incorrecto a pesar de que parece estar bien?

Suena como si fuera hora de hablar sobre algunas limitaciones de la IA para trabajar con datos.

 

Limitación n.º 1: Alucinaciones de la IA

 

La mayoría de las personas que han trabajado con ChatGPT y herramientas similares han escuchado el término “alucinación” en este contexto. Cuando les preguntas sobre algo que no saben, a veces simplemente inventan cosas.

La razón de estas alucinaciones es simple: los LLM son como algoritmos de autocompletado muy avanzados. Devuelven el mensaje siguiente más probable en una conversación, basándose en los datos en los que fueron entrenados. Gracias a conjuntos de datos de alta calidad y técnicas avanzadas de entrenamiento, este “autocompletado” funciona tan bien que estas herramientas pueden cumplir solicitudes complejas con resultados de alta calidad. Desafortunadamente, cuando se encuentran con situaciones para las que no fueron preparados en sus datos de entrenamiento, el mensaje siguiente más probable puede no tener mucho sentido.

¿Qué pasa si genera algún código que se ejecuta, pero el código devuelve datos incorrectos? El interesado empresarial que utiliza el Analista de Datos de IA puede no tener idea de que el resultado es incorrecto, pero no pueden ver el error porque no entienden el código.

Limitación #2: Información empresarial.

Por lo general, cuando un nuevo analista de datos comienza a trabajar en una empresa, tendrá que aprender el significado de algunas de las columnas y valores. Esto se debe a que el modelo de datos fue diseñado por la empresa. No se puede simplemente analizar datos sin entender de dónde provienen, porque el conocimiento común no es suficiente para entender la mayoría de las bases de datos.

Herramientas de IA como BlazeSQL te permiten incluir esta información para que la IA la utilice, pero se requerirá de un analista de datos o científico de datos para mantenerla actualizada.

Limitación #3: A veces, la IA simplemente se atasca. AKA “Puntos ciegos”

Es posible que hayas visto ejemplos de ChatGPT quedándose atascado en una pregunta muy básica. Estas preguntas suelen ser muy fáciles de responder, pero requieren que la IA razona de una manera en la que no es muy buena.

Podemos llamar a estos casos “puntos ciegos” y también existen al escribir código. Por ejemplo, un punto ciego común que la IA tiene al generar consultas SQL es el uso de subconsultas. Los modelos de IA a menudo generan consultas que intentan seleccionar una columna de una subconsulta, aunque esa columna no existe en la subconsulta.

WITH recent_orders AS (  SELECT    customer_id,    MAX(order_date) AS latest_order_date  FROM    orders  GROUP BY    customer_id)SELECT  customer_id,  product_id,  -- (Esta columna no está definida en la subconsulta)  latest_order_dateFROM  recent_orders

Incluso cuando se señala el error, a menudo vuelven a cometer el mismo error al intentarlo de nuevo.

Limitación #4: Los modelos de IA están demasiado de acuerdo

Los modelos de IA tienden a estar de acuerdo contigo, incluso cuando estás equivocado. Esto puede ser un gran problema cuando el modelo de IA se supone que desempeñe el papel de un experto, ya que un experto debería poder corregirte cuando estás equivocado.

Limitación #5: Longitud de entrada

Un ser humano puede pasar meses aprendiendo sobre un proyecto y la base de datos, recopilando mucha información importante. Por otro lado, un LLM (modelo de lenguaje natural) generalmente tiene un “límite de tokens”, lo que significa que solo puede manejar una cierta cantidad de entrada.

Esta longitud de entrada (AKA “límite de tokens”) a menudo es restrictiva cuando se trata de tareas complejas. ¿Cómo podrías condensar esos meses de aprendizaje en unas pocas páginas y ajustarlo en el modelo de IA?

Versión ampliamente disponible de GPT-4 está limitada a 12 páginas de entrada + salida. Ten en cuenta que un analista de datos asiste a horas de reuniones y lee documentación o informes. Toda la salida (código y explicación de GPT-4) debe restarse de las 12 páginas, ya que el límite incluye la salida, no solo la entrada.

Esto significa que un importante proyecto de análisis de datos que requiere mucho aprendizaje y exploración sencillamente no es factible.

Limitación #6: Habilidades sociales

Por último, pero definitivamente no menos importante, ChatGPT y otros chatbots de IA son… solo chatbots. La interacción humana y las habilidades sociales son una parte importante del trabajo en proyectos de datos. Ya sea ganar confianza, lidiar con la política de la oficina o interpretar comunicación no verbal. Estos elementos son cruciales para colaborar con éxito con los interesados y completar un proyecto.

 

¿Qué sigue?

 

Como puedes ver, la inteligencia artificial (IA) tiene varias limitaciones que le impiden ser un analista de datos completamente capaz. La lista anterior solo contiene algunas de las principales limitaciones, pero hay muchos otros desafíos importantes cuando se trata de reemplazar realmente a un experto en datos. En otras palabras, ¡no tienes que preocuparte por que la IA te reemplace!

Dicho esto, la IA ya está teniendo un impacto significativo en los analistas de datos y científicos de datos. Puede que no sea perfecta, pero ya está brindando un valor increíble.

 

Trabajar más rápido con IA

 

Escribir código, ya sea en Python, SQL o R, puede ser lento. Estas herramientas de IA pueden no ser 100% precisas, pero funcionan bien la mayor parte del tiempo. A menudo es 10 veces más rápido revisar rápidamente lo que generaron que hacer todo desde cero.

  

En los casos en los que la IA tiene dificultades o comete errores con frecuencia, puede ser más rápido hacerlo desde cero. En otros casos, el aumento masivo de la productividad vale el esfuerzo ocasional de depuración. Lo importante es experimentar con diferentes herramientas, conocer sus fortalezas y debilidades, e integrarlas en tu flujo de trabajo de acuerdo a ello.

 

¿Qué hay del futuro?

 

Las cosas están progresando extremadamente rápido, por lo que algunas de las limitaciones actuales no serán necesariamente un factor por mucho tiempo. Esto es especialmente cierto ahora que tantas personas están utilizando herramientas de IA, ya que aprenden de sus usuarios. Estas interacciones se utilizan para entrenar los modelos y hay millones de interacciones todos los días.

ChatGPT tiene la base de usuarios de crecimiento más rápido de todos los tiempos y aprende de esa base de usuarios.

  

Con competidores como Claude, Bard y otros uniéndose a la carrera, pronto veremos grandes mejoras.

Prepararse para estos cambios es simple, solo tienes que estar atento a nuevas herramientas y experimentar con ellas. De esa manera, conocerás sus fortalezas y debilidades y podrás asegurarte de aprovechar la última tecnología y adaptarte a medida que evoluciona.

En ese sentido, algunas herramientas que debes tener en cuenta son:

BlazeSQL (para bases de datos SQL)

ChatGPT Advanced Data Analysis (para archivos CSV y otros)

Pandas AI (agrega IA generativa a la biblioteca pandas)

[Justus Mulli](https://www.linkedin.com/in/justus-mulli-64551889) es un científico de datos y fundador, con experiencia en finanzas, atención médica y comercio electrónico. Utiliza su experiencia en ciencia de datos e IA para implementar soluciones disruptivas de IA en diversas industrias y profesiones.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!