
千數(shù)平臺提供統(tǒng)一、高效、安全的數(shù)據(jù)支撐服務(wù)
聲明:該文章來自(一飛開源)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。
千數(shù)平臺(qData)?是一款一站式開源數(shù)據(jù)中臺,覆蓋中臺基礎(chǔ)建設(shè)、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、監(jiān)控告警、數(shù)據(jù)服務(wù)與數(shù)據(jù)可視化等核心能力,致力于高效賦能數(shù)據(jù)前臺,為各類業(yè)務(wù)系統(tǒng)提供統(tǒng)一、高效、安全的數(shù)據(jù)支撐服務(wù)。
二、開源協(xié)議
使用Apache-2.0開源協(xié)議
三、界面展示
四、功能概述
?使用場景
場景 | 描述 |
多源數(shù)據(jù)整合 | 整合業(yè)務(wù)系統(tǒng)、IoT、第三方等數(shù)據(jù),實現(xiàn)統(tǒng)一采集、清洗與治理,構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)。 |
統(tǒng)一數(shù)據(jù)服務(wù) | 將治理數(shù)據(jù)通過 API 或數(shù)據(jù)集方式提供,支撐系統(tǒng)共享調(diào)用,提升復(fù)用效率。 |
決策分析支撐 | 提供統(tǒng)一數(shù)據(jù)視圖和分析能力,助力業(yè)務(wù)分析、報表生成及科學(xué)決策。 |
?優(yōu)勢
優(yōu)勢點 | 描述 |
統(tǒng)一標(biāo)準(zhǔn) | 建立統(tǒng)一的數(shù)據(jù)規(guī)范、模型和指標(biāo)體系,消除“數(shù)據(jù)孤島”,提升全局協(xié)同效率。 |
???敏捷支撐 | 快速響應(yīng)業(yè)務(wù)變化,按需提供數(shù)據(jù)服務(wù)和分析支持,加速業(yè)務(wù)創(chuàng)新。 |
安全可控 | 數(shù)據(jù)權(quán)限精細(xì)化管理,保障數(shù)據(jù)合規(guī)使用,支撐審計與監(jiān)管要求。 |
已有功能一覽
功能模塊 | 功能描述 | 狀態(tài) |
系統(tǒng)管理 | 包含系統(tǒng)配置、用戶與權(quán)限管理、運行監(jiān)控、日志管理、服務(wù)器資源監(jiān)控和工作空間管理,支持將任務(wù)拆分給不同項目組協(xié)作,適應(yīng)前店后廠的工作流程。 | 完成 |
數(shù)據(jù)標(biāo)準(zhǔn)管理 | 管理邏輯模型(表級,支持關(guān)聯(lián)數(shù)據(jù)元)和數(shù)據(jù)元模型(字段級,綁定規(guī)范、稽查與清洗),實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)規(guī)范和質(zhì)量管控。 | 完成 |
數(shù)據(jù)集成(ETL) | 支持?jǐn)?shù)據(jù)庫、文件、消息隊列等多種數(shù)據(jù)源接入,提供可視化ETL設(shè)計、多任務(wù)調(diào)度與監(jiān)控,支持?jǐn)?shù)據(jù)清洗規(guī)則應(yīng)用,包含運行日志和執(zhí)行配置管理。 | 完成 |
元數(shù)據(jù)管理 | 集中管理數(shù)據(jù)表、字段、稽查、清洗指標(biāo)等元信息,建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄,支撐數(shù)據(jù)查找、血緣分析和結(jié)構(gòu)維護。 | 完成 |
數(shù)據(jù)質(zhì)量管理 | 支持基于預(yù)置的稽查規(guī)則及數(shù)據(jù)清洗規(guī)則,實現(xiàn)對數(shù)據(jù)準(zhǔn)確性、一致性和完整性的自動校驗與修正。 | 完成 |
數(shù)據(jù)資產(chǎn)管理 | 通過目錄結(jié)構(gòu)對數(shù)據(jù)資產(chǎn)進行分級分類管理,支持全生命周期跟蹤與維護。 | 完成 |
統(tǒng)一標(biāo)簽管理 | 支持標(biāo)簽自動生成與多維度標(biāo)簽篩選,便于數(shù)據(jù)分類和精準(zhǔn)檢索。 | 完成 |
數(shù)據(jù)開發(fā) | 支持達夢8、MySQL、Oracle、人大金倉等主流數(shù)據(jù)庫任務(wù)開發(fā),包含調(diào)度配置和日志管理,基于數(shù)據(jù)倉庫,通過SQL及大數(shù)據(jù)腳本結(jié)合業(yè)務(wù)需求開發(fā)和加工業(yè)務(wù)數(shù)據(jù)。 | 完成 |
數(shù)據(jù)查詢 | 提供靈活且高效的交互式查詢工具,支持快速分析和挖掘結(jié)構(gòu)化數(shù)據(jù)。 | 完成 |
數(shù)據(jù)服務(wù)管理 | 將數(shù)據(jù)資產(chǎn)封裝為 API 服務(wù),支持外部 API 接口轉(zhuǎn)發(fā),包含 API 日志、數(shù)據(jù)脫敏、數(shù)據(jù)接口和服務(wù)接口管理及調(diào)用日志監(jiān)控。 | 完成 |
五、技術(shù)選型
? 技術(shù)棧
qData 平臺采用前后端分離架構(gòu),后端基于 Spring Boot,前端基于 Vue 3,整合常用中間件與數(shù)據(jù)工具,構(gòu)建一站式數(shù)據(jù)中臺解決方案。
? 后端技術(shù)棧
分類 | 技術(shù) | 描述 |
服務(wù)框架 | Spring Boot | 提供快速開發(fā)能力 |
權(quán)限控制 | Spring Security | 實現(xiàn)用戶權(quán)限認(rèn)證與控制 |
數(shù)據(jù)庫 | MySQL、PostgreSQL、達夢8、人大金倉 | 持久化存儲與配置管理 |
ORM 框架 | MyBatis-Plus | 簡化數(shù)據(jù)庫操作 |
緩存與并發(fā)控制 | Redis | 支持緩存、分布式鎖等 |
消息隊列 | RabbitMQ | 實現(xiàn)異步通信與解耦處理 |
?前端技術(shù)棧
分類 | 技術(shù) | 描述 |
框架 | Vue 3 | 現(xiàn)代化響應(yīng)式框架 |
組件庫 | Element UI | 常用 UI 組件支持 |
構(gòu)建工具 | Vite | 快速開發(fā)與構(gòu)建工具 |
?第三方依賴
分類 | 組件 / 工具 | 描述 |
數(shù)據(jù)倉庫 | Hive | 支持?jǐn)?shù)據(jù)建模、分區(qū)管理及元數(shù)據(jù)維護 |
計算引擎與數(shù)據(jù)集成 | Spark | 批流一體,支持 ETL 數(shù)據(jù)處理 |
大數(shù)據(jù)存儲 | Hive、HBase | 支持海量非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)存儲 |
作業(yè)調(diào)度與任務(wù)管理 | DolphinScheduler | 提供可視化任務(wù)編排、依賴管理及調(diào)度能力 |
? 部署要求
在部署 qData 之前,請確保以下環(huán)境和工具已正確安裝:
? 服務(wù)端環(huán)境要求(后端)
項目 | 推薦版本 | 說明 |
JDK | 1.8 或以上 | 建議使用 OpenJDK 8 或 11 |
Maven | 3.6+ | 項目構(gòu)建與依賴管理 |
達夢8 | 8.0 | 關(guān)系型數(shù)據(jù)庫(可切至MySQL) |
Redis | 5.0+ | 緩存與消息功能支持 |
RabbitMQ | 可選 | 用于任務(wù)調(diào)度、異步通信等功能。 |
操作系統(tǒng) | Windows / Linux / Mac | 通用環(huán)境均可運行 |
?前端環(huán)境要求(可選,若需本地構(gòu)建)
項目 | 推薦版本 | 說明 |
Node.js | 16+ | 構(gòu)建工具依賴 |
npm | 10+ | 包管理器 |
Vite | 最新版 | 腳手架工具 |
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/
- 1 堅守黨校初心 服務(wù)工作大局 7904599
- 2 微信新功能上線 網(wǎng)友:正好假期需要 7809278
- 3 62歲葉童首次跨界央視主持 7712732
- 4 “橫豎”都是世界第一 7617088
- 5 沈佳潤出場 小沈陽被抬走 7523994
- 6 吳艷妮12秒90奪冠 7428515
- 7 泰國男子騎摩托射擊邊防士兵被擊斃 7333783
- 8 孩子們在導(dǎo)彈發(fā)射井上“蹦蹦跳跳” 7233930
- 9 劉宇寧《新鴛鴦蝴蝶夢》帶著江湖氣 7138508
- 10 伊朗軍方:已準(zhǔn)備好應(yīng)對任何威脅 7045412