Orquesta Pipelines de Aprendizaje Automático con AWS Step Functions

Orquestando las tuberías de aprendizaje automático con AWS Step Functions

Ingeniería de datos avanzada y ML Ops con Infrastructure as Code

Este artículo explica cómo crear y orquestar pipelines de machine learning con AWS Step Functions y desplegarlos utilizando Infrastructure as Code. Este artículo es para ingenieros de datos y ML Ops que deseen desplegar y actualizar pipelines de ML utilizando plantillas de CloudFormation. Estas plantillas y el enlace al repositorio de GitHub se proporcionarán en este artículo.

Podemos utilizar AWS Step Functions para activar cualquier otro servicio, incluso servicios administrados de otros proveedores. Es una herramienta poderosa que nos permite orquestar el flujo de cómo los servicios de datos deben procesar y transformar los datos. Utilizaré AWS Glue y AWS Personalize como ejemplo para crear un pipeline de Machine Learning (ML) que se pueda programar en cualquier intervalo necesario y tenga un flujo como este:

Como ingeniero de datos, me encargaron diseñar un pipeline de datos que prepare los datos en el data lake y active el entrenamiento del modelo de machine learning.

Entonces pensé que entre otras herramientas que podría usar, como Airflow, etc., nunca había probado AWS Step Functions. Teniendo en cuenta que es un servicio nativo de AWS, decidí usarlo. La idea era entrenar el modelo de ML diariamente o bajo demanda utilizando AWS Step Functions. Eso garantizaría una configuración flexible para cualquier actualización de modelo necesaria en el momento que la necesite. Los beneficios de utilizar infrastructure as code para las plataformas de datos son indiscutibles y escribí sobre ello previamente aquí:

• Técnica de conjunto AdaBoost completamente explicada con ejemplo en Python
• Visualización de series temporales
• Notas sobre CLIP Conexión de texto e imágenes

Integración continua y despliegue para plataformas de datos

CI/CD para ingenieros de datos y ML Ops

towardsdatascience.com

Elegí utilizar AWS Personalize con fines de prueba. Este servicio se puede utilizar para brindar mejores recomendaciones de productos a los usuarios de mi aplicación. Parece que AWS Personalize es la elección correcta, ya que no tienes que preocuparte por el aprendizaje automático…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!