首頁(yè) 猿問如何在 Apache...

如何在 Apache Airflow 中配置 DaskExecuter

Python

慕尼黑8549860 2021-07-02 16:59:02

我想配置 Dask 以在 Airflow 中分發(fā) DAG。我已經(jīng)閱讀了https://airflow.apache.org/howto/executor/use-dask.html和https://distributed.readthedocs.io/en/latest/，但我不明白它是如何工作的。我有兩臺(tái) Apache Aiflow 服務(wù)器，在哪里運(yùn)行 dask-shedulers 和 dask-workers，在第一臺(tái)服務(wù)器倒塌時(shí)，第二臺(tái)服務(wù)器一切都會(huì)自動(dòng)運(yùn)行？據(jù)我了解，Airflow 將任務(wù)放在 dask-sheduler 中。我不明白如何在兩臺(tái)服務(wù)器上與 dask-sheduler 交朋友。我不明白為什么需要 dask-workers 以及它的作用，我認(rèn)為這是某種不必要的組件。我不想使用 CeleryExecutor 并為 Celery 配置 RabbitMQ 或 Redis

查看完整描述

3 回答

白板的微信

TA貢獻(xiàn)1883條經(jīng)驗(yàn) 獲得超3個(gè)贊

您在一臺(tái)服務(wù)器上運(yùn)行調(diào)度程序，而不是兩臺(tái)。我在一臺(tái)機(jī)器上只有氣流調(diào)度程序和 dask 調(diào)度程序。在 dask 調(diào)度程序的氣流配置中，我有 localhost:8786。然后在其他機(jī)器上啟動(dòng) dask worker 并為其提供調(diào)度程序的 IP 地址和端口。通過氣流提交任務(wù)，如果你做對(duì)了，工作人員會(huì)接它。

反對(duì) 回復(fù) 2021-07-13