
Maxun幾分鐘內(nèi)將網(wǎng)頁數(shù)據(jù)轉(zhuǎn)換為api或者電子表格
聲明:該文章來自(大俠之運(yùn)維)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。
Maxun 是一個(gè)開源的無代碼網(wǎng)頁數(shù)據(jù)提取平臺(tái),旨在讓用戶能夠在幾分鐘內(nèi)將網(wǎng)站轉(zhuǎn)換為 API 和電子表格。
該項(xiàng)目的目標(biāo)是簡化網(wǎng)頁數(shù)據(jù)提取過程,使其變得更加高效和易于使用。以下是對(duì) Maxun 項(xiàng)目的詳細(xì)介紹,包括其特點(diǎn)和快速開始的方法。
項(xiàng)目簡介
Maxun 是一個(gè)開源的無代碼平臺(tái),用戶可以在短短兩分鐘內(nèi)訓(xùn)練一個(gè)機(jī)器人,并自動(dòng)抓取網(wǎng)頁數(shù)據(jù)。該平臺(tái)的設(shè)計(jì)初衷是讓網(wǎng)頁數(shù)據(jù)提取變得前所未有的簡單和高效。無論是需要從電商網(wǎng)站抓取產(chǎn)品信息,還是從新聞網(wǎng)站提取文章內(nèi)容,Maxun 都能輕松應(yīng)對(duì)。
項(xiàng)目特點(diǎn)
Maxun 擁有眾多強(qiáng)大的功能,使其在同類產(chǎn)品中脫穎而出。以下是一些主要特點(diǎn):
無代碼數(shù)據(jù)提取:用戶無需編寫任何代碼即可提取網(wǎng)頁數(shù)據(jù)。
處理分頁和滾動(dòng):Maxun 能夠處理無限滾動(dòng)和分頁的網(wǎng)站。
定時(shí)運(yùn)行機(jī)器人:用戶可以設(shè)置機(jī)器人在特定時(shí)間運(yùn)行,自動(dòng)提取數(shù)據(jù)。
將網(wǎng)站轉(zhuǎn)換為 API:Maxun 可以將網(wǎng)站數(shù)據(jù)轉(zhuǎn)換為 API,方便集成到其他應(yīng)用中。
將網(wǎng)站轉(zhuǎn)換為電子表格:用戶可以將提取的數(shù)據(jù)直接導(dǎo)出為電子表格。
適應(yīng)網(wǎng)站布局變化(即將推出):Maxun 將能夠自動(dòng)適應(yīng)網(wǎng)站布局的變化,確保數(shù)據(jù)提取的連續(xù)性。
支持登錄和雙因素認(rèn)證(即將推出):Maxun 將支持從需要登錄的網(wǎng)站提取數(shù)據(jù),并支持雙因素認(rèn)證。
集成:目前支持 Google Sheet 集成,未來將支持更多集成選項(xiàng)。
快速開始
要快速開始使用 Maxun,可以按照以下步驟進(jìn)行操作:
安裝
創(chuàng)建項(xiàng)目根文件夾(例如 'maxun')。 在項(xiàng)目根文件夾中創(chuàng)建一個(gè)名為?.env?的文件??梢詆ithub項(xiàng)目案例中查看示例?.env?文件,并將其內(nèi)容復(fù)制到你的?.env?文件中。
使用 Docker Compose 安裝
將?docker-compose.yml?文件復(fù)制粘貼到項(xiàng)目根文件夾中。 確保已在同一文件夾中設(shè)置?.env?文件。 在終端中運(yùn)行以下命令: docker-compose?up?-d
訪問前端界面:http://localhost:5173/,訪問后端界面:http://localhost:8080/。
不使用 Docker 安裝
確保系統(tǒng)已安裝 Node.js、PostgreSQL、MinIO 和 Redis。 運(yùn)行以下命令: git?clone?https://github.com/getmaxun/maxun cd?maxun npm?install cd?maxun-core npm?install cd?.. npx?playwright?install npx?playwright?install-deps cd?.. npm?run?start
訪問前端界面:http://localhost:5173/,訪問后端界面:http://localhost:8080/。
環(huán)境變量
在項(xiàng)目根文件夾中創(chuàng)建一個(gè)名為?.env?的文件,并根據(jù)需要設(shè)置以下環(huán)境變量:
BACKEND_PORT:后端運(yùn)行端口,默認(rèn)值:8080 FRONTEND_PORT:前端運(yùn)行端口,默認(rèn)值:5173 BACKEND_URL:后端運(yùn)行 URL,默認(rèn)值:http://localhost:8080 VITE_BACKEND_URL:前端連接后端的 URL,默認(rèn)值:http://localhost:8080 PUBLIC_URL:前端運(yùn)行 URL,默認(rèn)值:http://localhost:5173 VITE_PUBLIC_URL:后端連接前端的 URL,默認(rèn)值:http://localhost:5173 JWT_SECRET:用于簽署和驗(yàn)證 JSON Web Tokens (JWT) 的密鑰 DB_NAME:Postgres 數(shù)據(jù)庫名稱 DB_USER:Postgres 數(shù)據(jù)庫用戶名 DB_PASSWORD:Postgres 數(shù)據(jù)庫密碼 DB_HOST:Postgres 數(shù)據(jù)庫服務(wù)器地址 DB_PORT:Postgres 數(shù)據(jù)庫服務(wù)器端口 ENCRYPTION_KEY:用于加密敏感數(shù)據(jù)的密鑰 MINIO_ENDPOINT:MinIO 的端點(diǎn) URL MINIO_PORT:MinIO 服務(wù)端口 MINIO_CONSOLE_PORT:MinIO WebUI 服務(wù)端口 MINIO_ACCESS_KEY:MinIO 認(rèn)證訪問密鑰 GOOGLE_CLIENT_ID:Google OAuth 客戶端 ID GOOGLE_CLIENT_SECRET:Google OAuth 客戶端密鑰 GOOGLE_REDIRECT_URI:處理 Google OAuth 響應(yīng)的重定向 URI REDIS_HOST:Redis 服務(wù)器地址 REDIS_PORT:Redis 服務(wù)器端口 MAXUN_TELEMETRY:是否禁用遙測(cè)數(shù)據(jù)收集。
結(jié)論
Maxun 是一個(gè)功能強(qiáng)大且易于使用的無代碼網(wǎng)頁數(shù)據(jù)提取平臺(tái),適合各種數(shù)據(jù)提取需求。無論是個(gè)人項(xiàng)目還是企業(yè)級(jí)應(yīng)用,Maxun 都能提供高效、可靠的數(shù)據(jù)提取解決方案。通過簡單的安裝和配置,用戶可以快速開始使用 Maxun,享受自動(dòng)化數(shù)據(jù)提取帶來的便利。
網(wǎng)址 :github.com/getmaxun/maxun
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場(chǎng):https://www.ijiandao.com/
- 1 堅(jiān)守黨校初心 服務(wù)工作大局 7904599
- 2 微信新功能上線 網(wǎng)友:正好假期需要 7809278
- 3 62歲葉童首次跨界央視主持 7712732
- 4 “橫豎”都是世界第一 7617088
- 5 沈佳潤出場(chǎng) 小沈陽被抬走 7523994
- 6 吳艷妮12秒90奪冠 7428515
- 7 泰國男子騎摩托射擊邊防士兵被擊斃 7333783
- 8 孩子們?cè)趯?dǎo)彈發(fā)射井上“蹦蹦跳跳” 7233930
- 9 劉宇寧《新鴛鴦蝴蝶夢(mèng)》帶著江湖氣 7138508
- 10 伊朗軍方:已準(zhǔn)備好應(yīng)對(duì)任何威脅 7045412