Apache DolphinScheduler(Incubator, 原 Easy Scheduler) 是一個可視化的分布式大數(shù)據(jù)工作流任務(wù)調(diào)度系統(tǒng)，DolphinScheduler?致力于 “可視化操作工作流 (任務(wù)) 之間的依賴關(guān)系，并可視化監(jiān)控整個數(shù)據(jù)處理過程”。DolphinScheduler 以有向無環(huán)圖 (DAG) 的方式將任務(wù)組裝起來，可實時監(jiān)控任務(wù)的運行狀態(tài)，同時支持重試、從指定節(jié)點恢復(fù)失敗、暫停及 Kill 任務(wù)等操作。

DolphinScheduler 的起源?- 需求決定

大數(shù)據(jù)任務(wù)調(diào)度需要解決以下痛點，市面上難以找到滿足需求的開源大數(shù)據(jù)調(diào)度，這是 DolphinScheduler 誕生的原因

DolphinScheduler 設(shè)計特點

?一個分布式易擴(kuò)展的可視化 DAG 工作流任務(wù)調(diào)度系統(tǒng)。致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用。 其

主要目標(biāo)如下

以 DAG 圖的方式將 Task 按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來，可實時可視化監(jiān)控任務(wù)的運行狀態(tài)

支持豐富的任務(wù)類型：Shell、MR、Spark、SQL (mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure 等

支持工作流定時調(diào)度、依賴調(diào)度、手動調(diào)度、手動暫停 / 停止 / 恢復(fù)，同時支持失敗重試 / 告警、從指定節(jié)點恢復(fù)失敗、Kill 任務(wù)等操作

支持工作流優(yōu)先級、任務(wù)優(yōu)先級及任務(wù)的故障轉(zhuǎn)移及任務(wù)超時告警 / 失敗

支持工作流全局參數(shù)及節(jié)點自定義參數(shù)設(shè)置

支持資源文件的在線上傳 / 下載，管理等，支持在線文件創(chuàng)建、編輯

支持任務(wù)日志在線查看及滾動、在線下載日志等

實現(xiàn)集群 HA，通過 Zookeeper 實現(xiàn) Master 集群和 Worker 集群去中心化

支持對?Master/Worker?cpu load，memory，cpu 在線查看

支持工作流運行歷史樹形 / 甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計、流程狀態(tài)統(tǒng)計

支持補數(shù)

支持多租戶

支持國際化

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/