
基于python爬蟲模擬登陸豆瓣#爬蟲教程#
一、簡介
工具:Google chrome
python 爬蟲登陸方式一般有兩種:
第一種:使用post登陸,即需要輸入賬號密碼等選項(xiàng),
第二種:使用cookies登陸,即把已登陸好賬號的cookies拷貝到代碼中,
兩種方式各有優(yōu)缺,第一種可能再代碼運(yùn)行中會出現(xiàn)驗(yàn)證碼選項(xiàng),需要寫驗(yàn)證碼方面的代碼,
第二種較為方便。
二、獲取需要的數(shù)據(jù)
我們以豆瓣電影《戰(zhàn)狼2》為例,詳細(xì)介紹如何獲取這些數(shù)據(jù)
電影地址:
https://movie.douban.com/subject/26363254/
我們要爬取的是短評,打開短評頁:
地址:
https://movie.douban.com/subject/26363254/comments?sort=new_score&status=P
1、打開開發(fā)者模式:
按F12鍵,或者頁面右鍵點(diǎn)擊”檢查“,或者設(shè)置--開發(fā)者模式,三種方法都可以
打開后如圖:
2、在左側(cè)登陸豆瓣賬號,右側(cè)分別點(diǎn)擊 Network ,ALL, Name下面的login,如下圖:
獲取post數(shù)據(jù):
在login的Headers下面,F(xiàn)orm Data下面就是post登陸需要的數(shù)據(jù)
獲取cookie數(shù)據(jù):
在Name下面找到comments?sort=new_score&status=P(網(wǎng)址的后半截),右邊的headers找到cookie,
即我們要的cookie數(shù)據(jù),直接復(fù)制下來
同時(shí),login也有cookie,但是不知道這兩者的區(qū)別是什么,
參考:
https://blog.csdn.net/c091728/article/details/78347915
---------------------?
作者:bailixuance?
來源:CSDN?
原文:https://blog.csdn.net/bailixuance/article/details/84715924?
版權(quán)聲明:本文為博主原創(chuàng)文章,轉(zhuǎn)載請附上博文鏈接!
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/

隨時(shí)掌握互聯(lián)網(wǎng)精彩
- 1 傳統(tǒng)產(chǎn)業(yè)“綠”動“智”變 7904818
- 2 廣東氣象罕見提醒:做好巨災(zāi)防御準(zhǔn)備 7808735
- 3 “南天門計(jì)劃”有50萬字了 7712915
- 4 殲-20的首次靜態(tài)展示有何重要意義 7619095
- 5 女兒發(fā)現(xiàn)父親500多萬遺產(chǎn)用于保健 7521933
- 6 始祖鳥事件后 多戶外品牌集體表態(tài) 7425958
- 7 為阻止印籍員工返美 美國人組團(tuán)搶票 7329390
- 8 菲軍方宣布“紅色警戒”狀態(tài) 7234391
- 9 員工下班途中騎車倒地身亡算工傷嗎 7137300
- 10 大爺蹲點(diǎn)進(jìn)周杰倫演唱會賣水:5元1瓶 7045623