在很多反向代理場景,或是爬蟲中我們都會使用腳本程序提取搜索結(jié)果而不是使用谷歌鏡像。但谷歌搜索(google)的反爬蟲及異常流量標(biāo)準(zhǔn)會給我們帶來很多麻煩,一旦出現(xiàn)驗證碼reCAPTCHA,就基本中斷了數(shù)據(jù)。今天體驗盒子介紹一個方法可以繞開谷歌搜索永遠(yuǎn)不出現(xiàn)驗證碼的方案。

繞開谷歌搜索驗證碼reCAPTCHA

Facebook 有一個調(diào)試工具。有趣的是,Google不會限制此調(diào)試程序發(fā)出的請求(列入白名單?),因此可以用來繞開Google搜索結(jié)果而不會被驗證碼阻止。由于涉及facebook,每個請求都必須向庫提供一個 facebook 會話?Cookie。 方案已經(jīng)有了,下面只要實現(xiàn)它就行了,這里分享一個現(xiàn)成的谷歌搜索結(jié)果提取腳本,并且就是基于該方法繞開驗證碼的。

goop

谷歌搜索腳本,基于Python,

安裝

pip?install?goop

或

git?clone?https://github.com/s0md3v/goop.git

from?goop?import?goop

page_1?=?goop.search('red?shoes',?'<your?facebook?cookie>')
page_2?=?goop.search('red_shoes',?'<your?facebook?cookie>',?page='1')
include_omitted_results?=?goop.search('red_shoes',?'<your?facebook?cookie>',?page='8',?full=True)

使用示例

返回的數(shù)據(jù)結(jié)構(gòu)

{
????"0":?{
????????"url":?"https://example.com",
????????"text":?"Example?webpage",
????????"summary":?"This?is?an?example?webpage?whose?aim?is?to?demonstrate?the?usage?of?..."
????},
????"1":?{
...

cli.py通過使用以下命令從終端執(zhí)行谷歌搜索來演示使用情況

python?cli.py?<query>?<number_of_pages>

至此,已經(jīng)完整走過一遍繞開谷歌搜索結(jié)果驗證碼的流程,你可以將該方法融入到任何項目中。 但也要注意,故意繞開谷歌搜索驗證碼及使用facebook調(diào)試方法進(jìn)行目的的操作都是不可取及不長久的。僅限用于概念驗證而非非法使用。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/