
Cloudflare 推出“防扒”網(wǎng)絡(luò)工具 一鍵屏蔽惡意AI模型爬蟲機器人
網(wǎng)絡(luò)服務(wù)商?Cloudflare?本周推出一系列防?AI 爬蟲的工具,包括可查看 AI 爬蟲具體活動的 AI Audit 和一鍵屏蔽所有 AI 爬蟲的 Block AI Scrapers and Crawlers。站長們可以部署相關(guān)服務(wù),從而防止自己網(wǎng)站的內(nèi)容被用于訓練?AI?的機器人爬蟲扒取。
IT之家注:爬蟲是一種自動化的程序,可以在互聯(lián)網(wǎng)上搜索和獲取信息,目前許多廠商使用相關(guān)爬蟲扒取各大網(wǎng)站信息用于訓練?AI?模型,相關(guān)爬蟲容易導致被扒網(wǎng)站產(chǎn)生大量異常流量,為此站長需支付高昂的網(wǎng)絡(luò)帶寬費用,同時也容易導致網(wǎng)站上大量原創(chuàng)?/?隱私內(nèi)容泄露。
Cloudflare?推出的相關(guān)工具主要利用簽名比對、啟發(fā)式算法、機器學習和行為分析技術(shù)來辨別爬蟲,用戶可以查看 AI 爬蟲的各種行為,包括爬蟲類型、訪問頻率和掃描內(nèi)容,站長還可以按照需要放行“善意的 AI?機器人”抓取信息(此類“善意的?AI?機器人”主要尋找網(wǎng)站的?robots.txt?來獲取信息,通常不會對網(wǎng)站本身產(chǎn)生異常流量,也不會將網(wǎng)頁所有數(shù)據(jù)直接用于全盤訓練模型)。
如果不確定如何處理這些 AI 爬蟲,站長們也可以使用 Block AI Scrapers and Crawlers 功能,一鍵屏蔽所有 AI 爬蟲。
互聯(lián)網(wǎng)為許多大語言模型(如?OpenAI?的?GPT?模型和谷歌的?Bard)提供了大部分的訓練數(shù)據(jù),如今許多廠商為了刷自家?AI?模型分數(shù),大肆通過網(wǎng)絡(luò)爬蟲“拿來式”地獲取訓練數(shù)據(jù),從而讓本應(yīng)你情我愿的行為變得“污名化”,各大網(wǎng)絡(luò)商直接推出此類禁用?AI?爬蟲的服務(wù)也在意料之中。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/

隨時掌握互聯(lián)網(wǎng)精彩
- 1 中美完全可以相互成就、共同繁榮 7904542
- 2 加沙已變“死城” 7808595
- 3 暴雨中臺下只剩1名觀眾 演員仍開演 7713223
- 4 近距離感受“大國重器” 7616117
- 5 美國大豆中國訂單量仍為零 7522558
- 6 試管嬰兒患腎病 父母要求醫(yī)院擔全責 7427441
- 7 女子婚后起訴父母返還18萬彩禮 7333211
- 8 網(wǎng)紅“戶晨風”多平臺賬號被封 7232168
- 9 金價飆升 有非法淘金人井下生活兩年 7142626
- 10 特朗普升級辦公室:肉眼可見全是黃金 7045409