聲明：該文章來自（藍點網(wǎng)）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。

此前網(wǎng)絡(luò)服務(wù)提供商 Cloudflare 就透露將針對當前人工智能公司爬蟲未經(jīng)授權(quán)對網(wǎng)站的抓取行為提供新功能，允許網(wǎng)站 / 內(nèi)容出版社向人工智能公司收費來換取內(nèi)容抓取授權(quán)。

目前這個功能開始面向少數(shù)網(wǎng)站進行測試，有興趣的網(wǎng)站需要手動填寫申請表，通過后就可以開通該功能并配置是否禁止 AI 爬蟲抓取、是否收費以及可以抓取哪些內(nèi)容。

具體來說：

網(wǎng)站 / 內(nèi)容出版社可以選擇屏蔽所有 AI 爬蟲、允許特定爬蟲、收取爬蟲訪問費或提供免費訪問權(quán)限；

AI 公司可以申請按照抓爬次數(shù)的方式進行注冊、查看定價、付費或放棄抓取，通過這種方式獲取網(wǎng)站的優(yōu)質(zhì)內(nèi)容。

不過目前 Cloudflare 并未透露關(guān)于付費抓取的定價問題，不同網(wǎng)站的內(nèi)容價值不同因此定價可能也不同，所以后續(xù)有可能會允許網(wǎng)站自行設(shè)置不同的抓取價格，例如每篇內(nèi)容收費多少等。

使用此功能必須將網(wǎng)站托管在 Cloudflare 并開啟小云朵防護功能 (橙色的小云朵)，接下來所有訪問流量都由 Cloudflare 分發(fā)所以可以識別和控制不同的爬蟲，爬蟲數(shù)據(jù)庫則由 Cloudflare 提供。

當開啟付費抓取功能后，每次 AI 爬蟲發(fā)出抓爬請求時如果收到 HTTP 200 響應(yīng)代碼則可以成功訪問，如果收到的響應(yīng)代碼是 HTTP 402 Payment Required 則代表需要付費。

人工智能公司可以通過發(fā)出請求并返回的響應(yīng)代碼來查看網(wǎng)站是否需要付費才能抓取，如果愿意付費則需要到 Cloudflare 注冊 AI 爬蟲付費抓取功能，開通后即可進行付費抓取。

Cloudflare 稱目前該公司已經(jīng)與幾家愿意付費的人工智能公司合作，這些公司已經(jīng)注冊付費抓取計劃，但前提是網(wǎng)站 / 內(nèi)容出版社設(shè)置的價格要被人工智能公司接受才行，如果設(shè)置的價格過高被拒絕則人工智能公司不會支付費用且停止抓取內(nèi)容。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/