通過官方文檔和一些博客簡單的知道了Airflow的使用方式,但是請問一下大神,如果我的Python項目是很多個腳本代碼組成的,如何使用Airflow進行管理呢?我自己目前學習了解到的是,通過在管道中可以通過設置operators(任務)來執(zhí)行一些bash命令或者腳本以及可以調(diào)用Python的一些腳本自定義一些函數(shù)處理邏輯,但是具體在項目實踐開發(fā)的過程中該如何添加到Airflow進行管理呢?例如:用Python集成消息中間件,我訂閱了一個主題A,然后主題A發(fā)布了消息(一些數(shù)據(jù)),我接受到消息后,對它進行了數(shù)據(jù)清理,之后存入相應的數(shù)據(jù)庫。以上這個Python寫完之后,我如何用Airflow去管理這個腳本呢?剛開始學習使用airflow這個工具,望大神指導!
Airflow-工作流管理工具,急求!
想成為攻城師的筱筱
2019-02-18 17:07:06