Закрыт

Proyecto en Snowflake y Apache Airflow

1. Cargar el siguiente set de datos en una base de datos en Snowflake (abrir una cuenta de prueba) [login to view URL]

2. Realizar creación de tablas físicas auxiliares, el archivo esta adjunto.

3. Crear un DAG usando Apache Airflow (Puede ser usando un servicio administrado Google Composer, AWS MWAA).

El objetivo del DAG es automatizar las tareas en el punto No. 2, es decir, crear nuevas tablas con otros nombres para realizar el proceso de manera automática cada 15 minutos.

Usa tu creatividad para generar nuevos datos y que tenga más sentido la automatización, usar MERGES, CREATES AND REPLACES y otras funciones de Snowflake.

Bonos:

- Tomar las tablas procesadas y usando Apache NiFi mandarlas a un bucket de S3 de AWS.

- Crear alertas para Slack usando Airflow.

Importante: Se debe entregar un documento donde se evidencie las acciones realizadas (capturas de pantalla, código, video). Puede enviar los códigos en archivos zip.

Навыки: Amazon Web Services, Linux, Python, Amazon S3

О клиенте:
( 2 отзыв(-а, -ов) ) Barranquilla, Colombia

ID проекта: #33689191

1 фрилансер в среднем готов выполнить эту работу за $10

mirzafarhad07

Greetings I can surely help you for Proyecto en Snowflake y Apache Airflow I am in the IT industry since more than a decade and serve so many clients for building and rebuilding websites, software and applications a Больше

$10 USD за 2 дней(-я)
(0 отзывов(-а))
0.0