Скоро - Практикум по Data Engineering: сквозной ETL на Spark + Postgres + Airflow + BI [Дмитрий Кузьмин]

[Blackbiz Bot]

Соберёшь полноценный DE-пайплайн на своём ноутбуке:
S3-lake → Spark → DWH → Airflow → BI
Один проект, который можно показать на собеседовании.

Для тех, кто сильный в SQL, но на собесах упирается в “где пайплайны, инкременты, оркестрация и качество”.


Программа:
0. Окружение: Docker-стенд, проверка сервисов

• поднимаем стенд docker compose up и проверяем сервисы (Spark UI, Airflow, Postgres, MinIO)
• учимся читать логи контейнеров и находить причину “не стартует”
• базовая...

Практикум по Data Engineering: сквозной ETL на Spark + Postgres + Airflow + BI [Дмитрий Кузьмин]

Этот курс появится в скором времени на форуме Blackbiz.top Воспользуйтесь поиском на форуме , возможно этот материал уже был опубликован ранее. ​