
Maxun幾分鐘內(nèi)將網(wǎng)頁數(shù)據(jù)轉(zhuǎn)換為api或者電子表格
Maxun 是一個開源的無代碼網(wǎng)頁數(shù)據(jù)提取平臺,旨在讓用戶能夠在幾分鐘內(nèi)將網(wǎng)站轉(zhuǎn)換為 API 和電子表格。
該項目的目標是簡化網(wǎng)頁數(shù)據(jù)提取過程,使其變得更加高效和易于使用。以下是對 Maxun 項目的詳細介紹,包括其特點和快速開始的方法。
項目簡介
Maxun 是一個開源的無代碼平臺,用戶可以在短短兩分鐘內(nèi)訓(xùn)練一個機器人,并自動抓取網(wǎng)頁數(shù)據(jù)。該平臺的設(shè)計初衷是讓網(wǎng)頁數(shù)據(jù)提取變得前所未有的簡單和高效。無論是需要從電商網(wǎng)站抓取產(chǎn)品信息,還是從新聞網(wǎng)站提取文章內(nèi)容,Maxun 都能輕松應(yīng)對。
項目特點
Maxun 擁有眾多強大的功能,使其在同類產(chǎn)品中脫穎而出。以下是一些主要特點:
無代碼數(shù)據(jù)提取:用戶無需編寫任何代碼即可提取網(wǎng)頁數(shù)據(jù)。
處理分頁和滾動:Maxun 能夠處理無限滾動和分頁的網(wǎng)站。
定時運行機器人:用戶可以設(shè)置機器人在特定時間運行,自動提取數(shù)據(jù)。
將網(wǎng)站轉(zhuǎn)換為 API:Maxun 可以將網(wǎng)站數(shù)據(jù)轉(zhuǎn)換為 API,方便集成到其他應(yīng)用中。
將網(wǎng)站轉(zhuǎn)換為電子表格:用戶可以將提取的數(shù)據(jù)直接導(dǎo)出為電子表格。
適應(yīng)網(wǎng)站布局變化(即將推出):Maxun 將能夠自動適應(yīng)網(wǎng)站布局的變化,確保數(shù)據(jù)提取的連續(xù)性。
支持登錄和雙因素認證(即將推出):Maxun 將支持從需要登錄的網(wǎng)站提取數(shù)據(jù),并支持雙因素認證。
集成:目前支持 Google Sheet 集成,未來將支持更多集成選項。
快速開始
要快速開始使用 Maxun,可以按照以下步驟進行操作:
安裝
創(chuàng)建項目根文件夾(例如 'maxun')。 在項目根文件夾中創(chuàng)建一個名為?.env?的文件??梢詆ithub項目案例中查看示例?.env?文件,并將其內(nèi)容復(fù)制到你的?.env?文件中。
使用 Docker Compose 安裝
將?docker-compose.yml?文件復(fù)制粘貼到項目根文件夾中。 確保已在同一文件夾中設(shè)置?.env?文件。 在終端中運行以下命令: docker-compose?up?-d
訪問前端界面:http://localhost:5173/,訪問后端界面:http://localhost:8080/。
不使用 Docker 安裝
確保系統(tǒng)已安裝 Node.js、PostgreSQL、MinIO 和 Redis。 運行以下命令: git?clone?https://github.com/getmaxun/maxun cd?maxun npm?install cd?maxun-core npm?install cd?.. npx?playwright?install npx?playwright?install-deps cd?.. npm?run?start
訪問前端界面:http://localhost:5173/,訪問后端界面:http://localhost:8080/。
環(huán)境變量
在項目根文件夾中創(chuàng)建一個名為?.env?的文件,并根據(jù)需要設(shè)置以下環(huán)境變量:
BACKEND_PORT:后端運行端口,默認值:8080 FRONTEND_PORT:前端運行端口,默認值:5173 BACKEND_URL:后端運行 URL,默認值:http://localhost:8080 VITE_BACKEND_URL:前端連接后端的 URL,默認值:http://localhost:8080 PUBLIC_URL:前端運行 URL,默認值:http://localhost:5173 VITE_PUBLIC_URL:后端連接前端的 URL,默認值:http://localhost:5173 JWT_SECRET:用于簽署和驗證 JSON Web Tokens (JWT) 的密鑰 DB_NAME:Postgres 數(shù)據(jù)庫名稱 DB_USER:Postgres 數(shù)據(jù)庫用戶名 DB_PASSWORD:Postgres 數(shù)據(jù)庫密碼 DB_HOST:Postgres 數(shù)據(jù)庫服務(wù)器地址 DB_PORT:Postgres 數(shù)據(jù)庫服務(wù)器端口 ENCRYPTION_KEY:用于加密敏感數(shù)據(jù)的密鑰 MINIO_ENDPOINT:MinIO 的端點 URL MINIO_PORT:MinIO 服務(wù)端口 MINIO_CONSOLE_PORT:MinIO WebUI 服務(wù)端口 MINIO_ACCESS_KEY:MinIO 認證訪問密鑰 GOOGLE_CLIENT_ID:Google OAuth 客戶端 ID GOOGLE_CLIENT_SECRET:Google OAuth 客戶端密鑰 GOOGLE_REDIRECT_URI:處理 Google OAuth 響應(yīng)的重定向 URI REDIS_HOST:Redis 服務(wù)器地址 REDIS_PORT:Redis 服務(wù)器端口 MAXUN_TELEMETRY:是否禁用遙測數(shù)據(jù)收集。
結(jié)論
Maxun 是一個功能強大且易于使用的無代碼網(wǎng)頁數(shù)據(jù)提取平臺,適合各種數(shù)據(jù)提取需求。無論是個人項目還是企業(yè)級應(yīng)用,Maxun 都能提供高效、可靠的數(shù)據(jù)提取解決方案。通過簡單的安裝和配置,用戶可以快速開始使用 Maxun,享受自動化數(shù)據(jù)提取帶來的便利。
網(wǎng)址 :github.com/getmaxun/maxun
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/

隨時掌握互聯(lián)網(wǎng)精彩
- 1 “花兒為什么這樣紅” 7904672
- 2 70萬一針救命藥進醫(yī)保 7808429
- 3 用1分錢做“暗號”的食堂阿姨火了 7712492
- 4 去新疆的100個理由 7619069
- 5 霸總要沒了?廣電出手規(guī)范管理短劇 7522207
- 6 小熊電器回應(yīng)養(yǎng)生壺爆炸 7428314
- 7 老人用手機哄5歲孫子 致1000度近視 7327736
- 8 日本網(wǎng)友贊嘆福建艦:真的太帥了 7237035
- 9 中國今年出了三位A類影后 7141474
- 10 官方回應(yīng)“唐飛機直播時墜機身亡” 7046454