Buenos ingenieros, malos ingenieros y ingenieros malvados una anécdota para líderes de datos

Ingenieros sobresalientes, ingenieros mediocres y ingenieros maliciosos una anécdota imperdible para líderes de datos

Mi marco dorado para diferenciar a los buenos, los malos y los ingenieros malvados en todos los campos, incluidos los datos.

El ingeniero es capacita crear o construir algo utilizando principios científicos – Cambridge Dictionary.

Todos amamos a los buenos ingenieros, construyen puentes, carreteras, cohetes, aplicaciones y estructuras de datos fantásticas que hacen que nuestras vidas sean más fáciles y agradables todos los días.

Por la misma lógica, los malos ingenieros no mejorarán mucho nuestras vidas. Si los contratamos, diseñarán y construirán algo, pero nos costarán más tiempo, dinero y energía.

Pero ¿sabías también que fuera del espectro de los buenos y los malos, también existen los ingenieros malvados, cuya mentalidad no es construir, sino no construir.

• Run Local LLM Inference10x Más Rápido (244 TOK/s) PyTorch II
• Descubriendo LangChain Chatea con tus documentos, traductor de chatbot, chatea con Wikipedia, generador de datos sintéticos
• 6 Cuadernos prácticos LLM gratuitos para empezar con las solicitudes de LLM

Como ingeniero y alguien que ha trabajado con múltiples equipos de ingeniería, asumiendo los roles de propietario del producto y gerente de proyectos, la totalidad de mis experiencias me ha enseñado algo sobre los buenos, los malos y los ingenieros malvados. Amo a los buenos ingenieros, tengo empatía por los malos ingenieros y desprecio a los ingenieros malvados.

Al final de esta publicación, te contaré fundamentalmente cuáles son las diferencias entre estos tipos de ingenieros. Pero primero, dejemos que la historia se cuente desde una perspectiva más anecdótica.

Algunas observaciones generales sobre los ingenieros buenos, malos y malvados

Reflexionando sobre tus propias experiencias y conocimientos del mundo de la ingeniería, ¿cuáles crees que son los comportamientos comunes de los ingenieros buenos, malos y malvados?

A continuación, presento mis observaciones:

Ingenieros buenos:

• Reconocen los problemas
• Solucionan los problemas utilizando un enfoque sostenible
• También resuelven otros problemas relacionados con la causa raíz identificada

Ingenieros malos:

• Reconocen los problemas
• Resuelven el problema a corto plazo
• Crean más problemas al resolver el problema original

Ingenieros malvados:

• Fingen no ver los problemas

Analizando un ejemplo concreto

Permíteme facilitar la imaginación sobre estas tres personas arquetípicas de ingenieros describiendo un ejemplo concreto en el mundo de la ingeniería de datos.

Imaginemos a un ingeniero de datos construyendo un oleoducto, que copia un conjunto de tablas de datos en bruto de un almacén de datos transaccionales a un contenedor en la nube. Siguiendo la arquitectura del medallón, donde los datos pasan por las capas bronce, plata y oro, primero limpian los datos y los vuelcan en un conjunto de tablas de la capa bronce en el lago de datos designado. A continuación, normalizan la tabla en la capa plata, así como establecen relaciones entre ellas. Finalmente, juntan varias tablas en una vista y crean nuevas características para representar las métricas empresariales que se alimentarán en los paneles de Tableau.

Durante las pruebas de los paneles, se observa que faltan valores en una determinada columna en algunos registros. Los usuarios empresariales están preocupados ya que ven que más del 50% de los registros tienen datos faltantes para esa columna, pero también reconocen que los datos pueden ser incompletos en la fuente. Ahora, los ingenieros deberán investigar y resolver el problema.

Un buen ingeniero:

• Primero, saben muy bien cómo se transformó esa columna desde la capa bronce a oro a plata. En otras palabras, conocen el linaje exacto de los datos de la columna faltante.
• Identifican un registro de muestra con datos faltantes en la capa oro, pero que tiene datos en la fuente para esa columna. Si no pueden identificar ningún registro en toda la población, concluyen que los propios datos son incompletos.
• Si se identifica un registro válido con datos faltantes, entonces aplican manualmente la lógica de transformación en ese registro de muestra para determinar por qué los datos de esa columna no pasaron. Aquí hay 2 escenarios:
• Escenario 1: el registro de muestra contiene algunas características inesperadas, lo que hace que los valores de la columna sean excluidos de la capa oro. En resumen, esto es un problema de diseño. En este escenario, un buen ingeniero discutirá estas características inesperadas con el propietario del producto y determinará un plan de tratamiento para ellas. Podrán decidir seguramente ignorar este subconjunto de la población, ya que los datos con estas características no son relevantes para el objetivo empresarial; o pueden crear una lógica de transformación personalizada para ellos, con el fin de incluir los datos.
• Escenario 2: el valor de la columna pasa en la transformación manual, esto significa que su percepción del linaje inicial de datos es incorrecta. En resumen, esto es un problema de ejecución. El buen ingeniero volverá a verificar qué está haciendo el oleoducto de datos o cuál es el linaje de datos real. Luego repetirán el resto de los pasos.

Un mal ingeniero:

• Tiene una comprensión deficiente de la línea de datos.
• Identifica un registro de muestra con datos faltantes en la capa principal, pero tiene datos en la fuente para esa columna. Si no puede identificar ningún registro, declara que los propios datos están incompletos.
• Si se identifica un registro válido con datos faltantes, intenta aplicar una transformación lógica manual en un registro con datos faltantes para ver por qué la columna no se muestra.
• Llega a conclusiones incorrectas sobre por qué los valores de la columna no se muestran, principalmente porque su comprensión de la línea de datos y del pipeline general es incorrecta.
• Si su observación los lleva a una conclusión de Escenario 1 como se describe anteriormente (un problema de diseño), informarán al equipo que esto es un problema de calidad de datos y dejarán el asunto ahí. Asumen que el diseño es perfecto y que no hay nada que mejorar aquí.
• Un ingeniero más ético pero también más desastroso intentará encontrar un tratamiento personalizado para los registros afectados (es decir, modificar el diseño), sin embargo, empeoran las cosas ya que su percepción de la línea de datos es incorrecta desde el principio.
• Si su observación los lleva a una conclusión de Escenario 2 (un problema de ejecución), volverán y estudiarán la brecha entre el pipeline de datos implementado y diseñado, y es posible que realmente encuentren la solución correcta la próxima vez.

¿Qué hará un ingeniero malvado?

• Pueden o no conocer la línea de datos correcta, esto es irrelevante.
• Declararán que como los datos para la columna están incompletos desde la fuente (basándose en lo que el negocio les dijo), por supuesto, los datos estarán faltantes en el panel de control.
• Luego asumen que no hay ningún problema con el pipeline de datos, ya que los datos son inherentemente incompletos.
• Dejan el asunto ahí y se van a casa.

Las diferencias fundamentales entre buenos, malos e ingenieros malvados

Espero que mi ejemplo anterior te haya dado una representación más clara de los tres tipos de ingenieros. Sin embargo, el ejemplo solo puede ayudarte a largo plazo una vez que hayas comprendido las diferencias fundamentales entre buenos, malos e ingenieros malvados. Para diferenciar sistemáticamente entre los tres, es vital descubrir sus características esenciales:

Esto es lo que pienso al respecto:

• Un buen ingeniero posee 3 cualidades: conocimiento excepcional, compromiso con la verdad y compromiso con los resultados.
• Un mal ingeniero carece de conocimiento excepcional o compromiso con los resultados. Sin embargo, tienen un nivel de compromiso con la verdad.
• Un ingeniero malvado no tiene o tiene poco compromiso con la verdad. El resultado no les importa. Les importan otros aspectos (tal vez la apariencia de los resultados), o simplemente no les importa nada. Es raro que un ingeniero malvado tenga un conocimiento excepcional, pero si lo tienen, no es relevante de todos modos, ya que no les importa ni la verdad ni el resultado.

Algunos de ustedes pueden encontrar que no hay una distinción clara entre los ingenieros malos y malvados aquí. Normalmente, el mal a menudo causa daño, por lo que cabría esperar que un ingeniero malvado introduzca código malicioso con malas intenciones o que encubra sus errores pasados. Estoy de acuerdo con eso. Sin embargo, lo que me gustaría resaltar aquí es el límite que trazo entre malo y malvado:

No necesariamente se requiere una acción maliciosa para que el ingeniero sea malvado, una vez que el ingeniero comienza a ignorar la verdad frente a sus ojos (es decir, pretender no ver los problemas), cruzan al reino de lo malvado.

Y cuantas más hechos ignoren, más malvados se volverán.

Cómo identificar buenos, malos e ingenieros malvados

Así que la próxima vez que te encuentres con un ingeniero, busca indicadores de estas tres cualidades. No te sientas tan seguro si solo encuentras una lista de credenciales, certificaciones o décadas de experiencia; solo son indicadores de conocimiento excepcional.

El compromiso es un estado mental activo. Para encontrar indicadores de compromiso con la verdad o los resultados, se requiere una investigación cuidadosa de patrones de comportamiento históricos, un análisis continuo del proceso de pensamiento y observaciones de sus reacciones ante desafíos.

Negligir buscar indicadores de compromiso o verdad es descuidar tu propio éxito, y dejar que sea decidido por los ingenieros supuestamente ‘expertos’.

Al final, se trata de que tú seas responsable de tu propia decisión de contratación/sociedad. Si no quieres desperdiciar tu dinero, comienza a identificar a los ingenieros buenos, malos y malvados.

***

Hola, si estás leyendo esto, es probable que te importe la data. Crees que hay valores invaluables que se pueden extraer de los datos y estás ansioso por encontrar las mejores estrategias, prácticas de implementación y herramientas para extraer el máximo valor posible de los activos de datos de tu organización (o los tuyos propios).

Si eso es cierto, entonces echa un vistazo a mi boletín semanal: Data & Beyond Dispatch. Cada edición te brindará contenido informativo de la comunidad de datos, que está curado y resumido para ofrecerte perspectivas frescas, bien articuladas y prácticas sobre la misión, visión, estrategias y herramientas de líderes de datos verdaderamente efectivos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!