Mi experiencia con DevOps y DataOps

Mi fascinante experiencia con DevOps y DataOps

Cómo estos dos roles de datos son similares pero muy diferentes

Cuando comencé como ingeniero de datos, trabajé en un equipo centrado en DevOps. Aunque no era exactamente lo que quería hacer en mi primer rol, me enseñó mucho. Ahora, mirando hacia atrás, si no hubiera trabajado en ese tipo de rol en ese momento, probablemente no tendría la experiencia que tengo hoy como ingeniero de análisis.

Ahora, trabajando como ingeniero de análisis, me enfoco en algo llamado DataOps. Si bien esto puede sonar similar a DevOps, son muy diferentes. DevOps se centra en el software como producto, mientras que DataOps se centra en la producción de datos de alta calidad. ¡Para aquellos que se enfocan en DataOps, los datos son el producto!

Mientras trabajaba como ingeniero de datos de DevOps, apoyaba a los ingenieros de software haciendo cambios de código en nuestra aplicación web. Me centraba en probar los cambios en la interfaz de usuario después de cada implementación en lugar de analizar los detalles de los datos. Ni una vez revisé el número de filas en una tabla o si los valores de un campo estaban completos. En cambio, me aseguraba de que no se produjeran errores en el backend.

Como ingeniero de análisis, cada vez que hago un cambio de código o implemento algo en producción, debo centrarme en los metadatos, es decir, los datos sobre los datos. Esto implica escribir consultas de validación para garantizar que cosas como el recuento de filas, el recuento de columnas y la distribución de valores se vean igual que antes de implementar un cambio. ¡O, si quiero que se vean diferentes a como eran antes, reflejen esos cambios!

• Introducción a la regresión logística en PySpark
• Explicación intuitiva de los multiplicadores de Lagrange, las condiciones KKT y la dualidad
• 5 Visualizaciones con Python para Mostrar Cambios Simultáneos en Datos Geoespaciales

Aunque DevOps y DataOps suenan similares, cumplen dos propósitos diferentes. En este artículo profundizaremos en las diferencias, abordando el producto que buscan servir y las métricas de éxito variables.

¿Qué es DevOps?

DevOps implica la implementación y prueba de cambios de código de software. Cuando trabajé como ingeniero de DevOps, a menudo implicaba noches largas de implementación, probar cambios de código en muchos entornos diferentes y validar los cambios con los ingenieros de software que los realizaron.

Software como producto

We will continue to update Zepes; if you have any questions or suggestions, please contact us!