聲明：該文章來(lái)自（藍(lán)點(diǎn)網(wǎng)）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁(yè)加速服務(wù)。

網(wǎng)絡(luò)服務(wù)提供商 Cloudflare 日前推出 AI 爬蟲紅黑榜，通過(guò)四個(gè)維度對(duì)人工智能公司的爬蟲進(jìn)行驗(yàn)證、識(shí)別和統(tǒng)計(jì)，首批被評(píng)測(cè)的爬蟲包括 OpenAI、Google、Meta、Anthropic、xAI 和字節(jié)跳動(dòng)。

目前評(píng)價(jià)比較優(yōu)秀的只有 OpenAI 的 ChatGPT 系列爬蟲，而墊底的則是 xAI Grok 爬蟲和字節(jié)跳動(dòng)爬蟲，其中字節(jié)跳動(dòng)爬蟲因各種項(xiàng)目全部沒(méi)有達(dá)標(biāo)而排在末尾。

接下來(lái)這個(gè)紅黑榜網(wǎng)站還會(huì)記錄 RAG 和搜索引擎爬蟲并給出得分，后續(xù)也會(huì)陸續(xù)增加更多爬蟲的識(shí)別和評(píng)分，而網(wǎng)站則可以根據(jù)紅黑榜決定是否要通過(guò)更激進(jìn)的手段屏蔽這些爬蟲 (畢竟 robots.txt 已經(jīng)沒(méi)啥用)

點(diǎn)擊這里查看最新的紅黑榜排名：https://goodaibots.com/

四個(gè)維度如下：

爬蟲 IP 是否已驗(yàn)證：AI 公司是否已經(jīng)公布爬蟲的 IP 地址段，公布后有助于準(zhǔn)確識(shí)別避免其他爬蟲冒充

是否通過(guò) WebBotAuth 驗(yàn)證：WebBotAuth 是一種通過(guò)加密簽名驗(yàn)證爬蟲身份的協(xié)議，比通過(guò) IP 識(shí)別更準(zhǔn)確

爬蟲是否分離：分離爬蟲很重要，因?yàn)榫W(wǎng)站可以根據(jù)不同類型的爬蟲做出相應(yīng)處理，例如有爬蟲專門為了抓取數(shù)據(jù)就可以直接屏蔽，而有些爬蟲則為了搜索引擎使用可能可以提供流量，這種爬蟲可以被保留抓取。

是否遵守 robots.txt 協(xié)議：該協(xié)議用來(lái)指示爬蟲是否允許抓取以及允許抓取哪些路徑，這是個(gè)行業(yè)約定俗成的規(guī)范，部分爬蟲完全不遵守該協(xié)議

字節(jié)跳動(dòng)的爬蟲每天會(huì)在整個(gè)互聯(lián)網(wǎng)上抓取數(shù)據(jù)但卻不遵守 robots.txt 協(xié)議，字節(jié)跳動(dòng)也沒(méi)有公開(kāi) IP 地址段導(dǎo)致網(wǎng)站管理員無(wú)法判斷自稱 Bytespider 是否真的來(lái)自字節(jié)跳動(dòng)。

藍(lán)點(diǎn)網(wǎng)此前就因?yàn)樽止?jié)跳動(dòng)的爬蟲高頻次抓取內(nèi)容且不遵守 robots.txt 協(xié)議而不得不直接在服務(wù)器配置文件中阻斷 UA 包含任何 Bytespider 字符串的請(qǐng)求以減少服務(wù)器開(kāi)支。

不過(guò)除了字節(jié)跳動(dòng)外其他爬蟲也好不到哪去，例如 Anthropic 和 xAI Grok 的爬蟲可能也不遵守 robots.txt 協(xié)議，由于這些公司都沒(méi)有提供 IP 地址段可以用來(lái)驗(yàn)證爬蟲，所以 Cloudflare 無(wú)法判斷它們是否遵守 robots.txt 協(xié)議。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/