此前網(wǎng)絡服務提供商 Cloudflare 就透露將針對當前人工智能公司爬蟲未經(jīng)授權對網(wǎng)站的抓取行為提供新功能，允許網(wǎng)站 / 內(nèi)容出版社向人工智能公司收費來換取內(nèi)容抓取授權。

目前這個功能開始面向少數(shù)網(wǎng)站進行測試，有興趣的網(wǎng)站需要手動填寫申請表，通過后就可以開通該功能并配置是否禁止 AI 爬蟲抓取、是否收費以及可以抓取哪些內(nèi)容。

具體來說：

網(wǎng)站 / 內(nèi)容出版社可以選擇屏蔽所有 AI 爬蟲、允許特定爬蟲、收取爬蟲訪問費或提供免費訪問權限；

AI 公司可以申請按照抓爬次數(shù)的方式進行注冊、查看定價、付費或放棄抓取，通過這種方式獲取網(wǎng)站的優(yōu)質(zhì)內(nèi)容。

不過目前 Cloudflare 并未透露關于付費抓取的定價問題，不同網(wǎng)站的內(nèi)容價值不同因此定價可能也不同，所以后續(xù)有可能會允許網(wǎng)站自行設置不同的抓取價格，例如每篇內(nèi)容收費多少等。

使用此功能必須將網(wǎng)站托管在 Cloudflare 并開啟小云朵防護功能 (橙色的小云朵)，接下來所有訪問流量都由 Cloudflare 分發(fā)所以可以識別和控制不同的爬蟲，爬蟲數(shù)據(jù)庫則由 Cloudflare 提供。

當開啟付費抓取功能后，每次 AI 爬蟲發(fā)出抓爬請求時如果收到 HTTP 200 響應代碼則可以成功訪問，如果收到的響應代碼是 HTTP 402 Payment Required 則代表需要付費。

人工智能公司可以通過發(fā)出請求并返回的響應代碼來查看網(wǎng)站是否需要付費才能抓取，如果愿意付費則需要到 Cloudflare 注冊 AI 爬蟲付費抓取功能，開通后即可進行付費抓取。

Cloudflare 稱目前該公司已經(jīng)與幾家愿意付費的人工智能公司合作，這些公司已經(jīng)注冊付費抓取計劃，但前提是網(wǎng)站 / 內(nèi)容出版社設置的價格要被人工智能公司接受才行，如果設置的價格過高被拒絕則人工智能公司不會支付費用且停止抓取內(nèi)容。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關注數(shù)據(jù)與安全，洞悉企業(yè)級服務市場：https://www.ijiandao.com/