自動(dòng)抓取抖音和小紅書(shū)創(chuàng)作者中心里的每條視頻的播放、完播、點(diǎn)擊、2s 跳出、播放時(shí)長(zhǎng)、點(diǎn)贊、分享、評(píng)論、收藏、主頁(yè)訪問(wèn)、粉絲增量等數(shù)據(jù)。

Github地址

https://github.com/cwjcw/xhs_douyin_content

創(chuàng)建項(xiàng)目參數(shù)文件夾和文件

? 新建project_config文件夾，在文件夾內(nèi)創(chuàng)建project.py文件，輸入以下內(nèi)容：import?os# 存放excel下載的路徑,請(qǐng)注意可以用你自己本地的路徑替換file_path =?r'E:\\'data_path = os.path.join(file_path,'data.xlsx')yesterday_data_path = os.path.join(file_path,'yesterday_data.xlsx')# 存放sql文件的路徑，這個(gè)是我自己存放sql文件的，可以忽略custom_count_sql =?r'G:\New Code\douyin_video\sql\douyin_customer.sql'# 字段映射關(guān)系（name到label），這個(gè)也是我自己用的，可以忽略video_content = { ? ?"_widget_1741257105163":?"賬號(hào)名稱", ? ?"_widget_1741257105165":?"賬號(hào)ID", ? ?"_widget_1740798082550":?"是否完整內(nèi)容", ? ?"_widget_1740798082567":?"完整內(nèi)容提供", ? ?"_widget_1740798082568":?"半成品內(nèi)容提供", ? ?"_widget_1740798082569":?"剪輯", ? ?"_widget_1740798082570":?"發(fā)布運(yùn)營(yíng)", ? ?"_widget_1740646149825":?"正片標(biāo)題", ? ?"_widget_1740798082556":?"正片鏈接", ? ?"_widget_1740646149824":?"正片ID", ? ?"_widget_1740646149826":?"提交日期", ? ?"_widget_1741934971937":?"來(lái)源門(mén)店/部門(mén)", ? ?"_widget_1740655279753":?"正片說(shuō)明", ? ?"_widget_1740655279752":?"正片封面", ? ?"_widget_1740656251325":?"數(shù)量"}

用法

爬蟲(chóng)部分，在spiders文件夾中? 如果只是僅僅對(duì)抓取抖音和小紅書(shū)后臺(tái)內(nèi)容有興趣，直接運(yùn)行spiders文件夾下的douyin.py和xhs.py即可。? 第一次需要掃碼登錄，登陸后回到代碼界面輸入回車(chē)，即可繼續(xù)。數(shù)據(jù)處理部分，在data_processing文件夾中? 可以先從后臺(tái)下載對(duì)應(yīng)的excel文件，清空標(biāo)題以外的內(nèi)容，命名為yesterday_data.xlsx? 系統(tǒng)會(huì)自動(dòng)下載data.xlsx,并在處理完后，自動(dòng)將data.xlsx命名為yesterday_data.xlsx

?

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/