Una introducción a la ingeniería de análisis

Una introducción al análisis de ingeniería

¿Quién es un Ingeniero de Análisis y qué se supone que debe hacer?

Tradicionalmente, los equipos de datos estaban formados por Ingenieros de Datos y Analistas de Datos.

Los Ingenieros de Datos son responsables de construir la infraestructura para soportar las operaciones de datos. Esto incluye la configuración de bases de datos y la implementación de procesos ETL que se utilizan para ingresar datos desde fuentes externas hacia un sistema de destino (posiblemente otra base de datos). Además, los Ingenieros de Datos suelen ser los encargados de asegurar la integridad, frescura y seguridad de los datos para que los Analistas puedan realizar consultas. Un conjunto típico de habilidades para un Ingeniero de Datos incluye Python (o Java), SQL, orquestación (usando herramientas como Apache Airflow) y modelado de datos.

Por otro lado, se espera que los Analistas de Datos construyan paneles de control e informes utilizando Excel o SQL para brindar información empresarial a usuarios y departamentos internos.

Transición de ETL a ELT

¿Para procesar datos y obtener información valiosa, primero necesitamos extraerlos, ¿verdad? 🤯

• Equilibrando la innovación y la sostenibilidad Desentrañando el impacto ambiental de la IA generativa
• Equilibrando la urgencia vs. la sostenibilidad como equipo de análisis
• Google Cloud se compromete a proteger a los clientes mediante indemnización de IA generativa

La ingestión de datos se realiza mediante procesos ETL (y más recientemente con ELT). Tanto los paradigmas ETL como ELT involucran tres pasos principales: Extracción, Transformación y Carga. Por ahora, ignoremos la secuencia de ejecución de estos pasos y centrémonos en lo que hace cada paso de forma independiente.

Extracción

Este paso se refiere al proceso de extraer datos de una fuente persistente. Esta fuente de datos podría ser una base de datos, un punto de conexión de API, un archivo o una cola de mensajes.

Transformación

En el paso de Transformación, se espera que el pipeline realice cambios en la estructura y/o formato de los datos para lograr un objetivo específico. Una transformación podría ser una modificación (por ejemplo, mapear “Estados Unidos” a “EE. UU.”), una selección de atributos, un cálculo numérico o una unión.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!