Hacia la Agnosticidad de Herramientas en Ciencia de Datos SQL Case When y Pandas Where

Agnosticidad de Herramientas en Ciencia de Datos SQL Case When y Pandas Where

Explicado con ejemplos

Tus datos de cliente están en una base de datos SQL. Se te asigna una tarea que implica recuperar datos de algunas tablas, realizar limpieza y manipulación de datos, y escribir los resultados en una tabla diferente.

Desafortunadamente, no sabes cómo hacer esas operaciones con SQL. ¡No te preocupes! Eres experto en usar Pandas para limpiar y manipular datos. Entonces, se te ocurre una solución, que es:

• Recuperar todos los datos de las tablas de SQL
• Descargar los datos como archivos CSV
• Leer los archivos CSV en DataFrames de Pandas
• Realizar las operaciones necesarias de limpieza y manipulación de datos
• Escribir los resultados en un archivo CSV diferente
• Subir los datos del archivo CSV a una tabla de SQL

¿Un buen plan, verdad?

Si realmente ejecutas este plan, estoy seguro de que tu gerente tendrá una conversación contigo, que puede ser agradable o desagradable dependiendo de la personalidad de tu gerente. En cualquier caso, no creo que ejecutes este plan increíblemente después de la conversación.

• Informe sobre gastos y tendencias de análisis de datos y ciencia de datos en la primera mitad de 2023
• Redes Neuronales y Aprendizaje Profundo Un Libro de Texto (2da Edición)
• Bard se estrena en Europa y Brasil en medio de preocupaciones sobre la privacidad y una competencia cada vez más intensa

Sé que generalmente hay muchas formas diferentes de hacer una tarea en la ciencia de datos. Siempre debes apuntar a la más eficiente porque normalmente trabajarás con conjuntos de datos muy grandes. Complicar las cosas más de lo necesario te cuesta dinero y tiempo extra.

“Soy experto en Pandas, así que haré todo con Pandas” no es una actitud deseada. Si tu tarea implica leer datos de tablas de SQL y escribir los resultados en tablas de SQL, lo mejor suele ser hacer los pasos intermedios utilizando SQL.

SQL no es solo un lenguaje de consulta. También se puede utilizar como una herramienta de análisis y manipulación de datos altamente eficiente.

Recuerdo haber escrito trabajos de SQL para realizar operaciones de preprocesamiento de datos muy complejas y funcionaron perfectamente.

La ciencia de datos sigue siendo un campo en evolución. Se introducen nuevas herramientas y conceptos en poco tiempo. No debes depender de una sola herramienta y siempre debes estar abierto a aprender nuevas.

Pandas vs SQL

We will continue to update Zepes; if you have any questions or suggestions, please contact us!