1. 分布式易擴展的可視化工作流任務(wù)調(diào)度平臺

Apache DolphinScheduler是一個分布式去中心化，易擴展的可視化DAG工作流任務(wù)調(diào)度平臺。致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用

2. 后端部署

參考

工作流任務(wù)調(diào)度系統(tǒng)：Apache DolphinSchedulerblog.csdn.net/github_39577257/article/details/102783298

2.1 基礎(chǔ)環(huán)境

Mysql (5.5+) : 必裝

JDK (1.8+) : 必裝

ZooKeeper(3.4.6+) ：必裝

Hadoop(2.6+) ：選裝， 如果需要使用到資源上傳功能，MapReduce任務(wù)提交則需要配置Hadoop(上傳的資源文件目前保存在Hdfs上)

Hive(1.2.1) : 選裝，hive任務(wù)提交需要安裝

Spark(1.x,2.x) : 選裝，Spark任務(wù)提交需要安裝

PostgreSQL(8.2.15+) : 選裝，PostgreSQL PostgreSQL存儲過程需要安裝

2.2 部署步驟

創(chuàng)建部署用戶

服務(wù)器下載解壓

ssh免密配置

數(shù)據(jù)庫初始化

執(zhí)行創(chuàng)建表和導(dǎo)入基礎(chǔ)數(shù)據(jù)腳本

執(zhí)行腳本一鍵部署

2.3 服務(wù)進(jìn)程的說明

由前面我們可以看到，后端服務(wù)正常啟動后，共有 5 個進(jìn)程：WorkerServer、ApiApplicationServer、MasterServer、AlertServer、LoggerServer。

3. 使用

快速入門

瀏覽器訪問http://192.168.33.6:8888，如下圖所示。

創(chuàng)建一個隊列。隊列管理 -> 創(chuàng)建隊列 -> 輸入名稱和隊列值 -> 提交

創(chuàng)建租戶。租戶管理 -> 創(chuàng)建租戶 -> 輸入租戶編碼、租戶名稱和隊列值 -> 提交。

建普通用戶。用戶管理 -> 創(chuàng)建用戶 -> 輸入用戶名稱、密碼、租戶名和郵箱，手機號選填 -> 提交。

4. 與 Azkaban 的對比

5. 總結(jié)

Apache DolphinScheduler是一個分布式、去中心化、易擴展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)

從上面的安裝可以看到這個調(diào)度系統(tǒng)集成了ZooKeeper，很好的實現(xiàn)了去中心化，每個角色的服務(wù)可以起多個，從znode上可以看到masters和workers的一些元信息都注冊在了上面，交由ZK去選舉，當(dāng)然它也是一個分布式的

如果某個服務(wù)掛了，ZooKeeper會在剩下的其它節(jié)點進(jìn)行選舉

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/