聲明：該文章由作者（skyheart）發(fā)表，轉(zhuǎn)載此文章須經(jīng)作者同意并請附上出處(0XUCN)及本頁鏈接。。

自動抓取抖音和小紅書創(chuàng)作者中心里的每條視頻的播放、完播、點擊、2s 跳出、播放時長、點贊、分享、評論、收藏、主頁訪問、粉絲增量等數(shù)據(jù)。

Github地址

https://github.com/cwjcw/xhs_douyin_content

創(chuàng)建項目參數(shù)文件夾和文件

? 新建project_config文件夾，在文件夾內(nèi)創(chuàng)建project.py文件，輸入以下內(nèi)容：import?os# 存放excel下載的路徑,請注意可以用你自己本地的路徑替換file_path =?r'E:\\'data_path = os.path.join(file_path,'data.xlsx')yesterday_data_path = os.path.join(file_path,'yesterday_data.xlsx')# 存放sql文件的路徑，這個是我自己存放sql文件的，可以忽略custom_count_sql =?r'G:\New Code\douyin_video\sql\douyin_customer.sql'# 字段映射關(guān)系（name到label），這個也是我自己用的，可以忽略video_content = { ? ?"_widget_1741257105163":?"賬號名稱", ? ?"_widget_1741257105165":?"賬號ID", ? ?"_widget_1740798082550":?"是否完整內(nèi)容", ? ?"_widget_1740798082567":?"完整內(nèi)容提供", ? ?"_widget_1740798082568":?"半成品內(nèi)容提供", ? ?"_widget_1740798082569":?"剪輯", ? ?"_widget_1740798082570":?"發(fā)布運營", ? ?"_widget_1740646149825":?"正片標題", ? ?"_widget_1740798082556":?"正片鏈接", ? ?"_widget_1740646149824":?"正片ID", ? ?"_widget_1740646149826":?"提交日期", ? ?"_widget_1741934971937":?"來源門店/部門", ? ?"_widget_1740655279753":?"正片說明", ? ?"_widget_1740655279752":?"正片封面", ? ?"_widget_1740656251325":?"數(shù)量"}

用法

爬蟲部分，在spiders文件夾中? 如果只是僅僅對抓取抖音和小紅書后臺內(nèi)容有興趣，直接運行spiders文件夾下的douyin.py和xhs.py即可。? 第一次需要掃碼登錄，登陸后回到代碼界面輸入回車，即可繼續(xù)。數(shù)據(jù)處理部分，在data_processing文件夾中? 可以先從后臺下載對應(yīng)的excel文件，清空標題以外的內(nèi)容，命名為yesterday_data.xlsx? 系統(tǒng)會自動下載data.xlsx,并在處理完后，自動將data.xlsx命名為yesterday_data.xlsx

?

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/