
基于python爬蟲模擬登陸豆瓣#爬蟲教程#
聲明:該文章由作者(ksbugs)發(fā)表,轉載此文章須經(jīng)作者同意并請附上出處(0XUCN)及本頁鏈接。。
一、簡介
工具:Google chrome
python 爬蟲登陸方式一般有兩種:
第一種:使用post登陸,即需要輸入賬號密碼等選項,
第二種:使用cookies登陸,即把已登陸好賬號的cookies拷貝到代碼中,
兩種方式各有優(yōu)缺,第一種可能再代碼運行中會出現(xiàn)驗證碼選項,需要寫驗證碼方面的代碼,
第二種較為方便。
二、獲取需要的數(shù)據(jù)
我們以豆瓣電影《戰(zhàn)狼2》為例,詳細介紹如何獲取這些數(shù)據(jù)
電影地址:
https://movie.douban.com/subject/26363254/
我們要爬取的是短評,打開短評頁:
地址:
https://movie.douban.com/subject/26363254/comments?sort=new_score&status=P
1、打開開發(fā)者模式:
按F12鍵,或者頁面右鍵點擊”檢查“,或者設置--開發(fā)者模式,三種方法都可以
打開后如圖:
2、在左側登陸豆瓣賬號,右側分別點擊 Network ,ALL, Name下面的login,如下圖:
獲取post數(shù)據(jù):
在login的Headers下面,F(xiàn)orm Data下面就是post登陸需要的數(shù)據(jù)
獲取cookie數(shù)據(jù):
在Name下面找到comments?sort=new_score&status=P(網(wǎng)址的后半截),右邊的headers找到cookie,
即我們要的cookie數(shù)據(jù),直接復制下來
同時,login也有cookie,但是不知道這兩者的區(qū)別是什么,
參考:
https://blog.csdn.net/c091728/article/details/78347915
---------------------?
作者:bailixuance?
來源:CSDN?
原文:https://blog.csdn.net/bailixuance/article/details/84715924?
版權聲明:本文為博主原創(chuàng)文章,轉載請附上博文鏈接!
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關注數(shù)據(jù)與安全,洞悉企業(yè)級服務市場:https://www.ijiandao.com/
- 1 像石榴籽一樣緊緊抱在一起 7904264
- 2 殲-35完成在福建艦上彈射起飛 7808596
- 3 深圳:建議準備至少3天的應急物資 7712963
- 4 唱著民歌迎豐收 7618648
- 5 日本“蘋果病”流行達歷史頂點 7520295
- 6 孩子的數(shù)學邏輯比運算結果重要 7424763
- 7 榴蓮降至15元一斤 7327766
- 8 背簍老人等公交被拒載 司機被開除 7238929
- 9 港珠澳大橋主橋將封閉 7140078
- 10 美團回應外賣功能癱瘓 7045259