知名互聯(lián)網(wǎng)論壇 Reddit 日前透露該公司發(fā)現(xiàn)人工智能公司通過互聯(lián)網(wǎng)檔案館 (Internet Archive) 的網(wǎng)站時(shí)光機(jī) (Wayback Machine) 抓取來自 Reddit 的數(shù)據(jù)，這種行為已經(jīng)違反 Reddit 使用條款。

Reddit 此前已經(jīng)阻止大多數(shù)搜索引擎爬蟲和人工智能爬蟲抓取數(shù)據(jù)，如果要抓取數(shù)據(jù)用于人工智能模型訓(xùn)練的話，則需要與 Reddit 簽署商業(yè)許可證并支付費(fèi)用后才能抓取。

例如谷歌就每年向 Reddit 論壇支付高達(dá) 6000 萬美元以獲得數(shù)據(jù)訪問權(quán)，谷歌可以通過抓取 Reddit 海量帖子和其他數(shù)據(jù)用于模型訓(xùn)練，對(duì)谷歌來說這仍然是個(gè)值得的交易。

而互聯(lián)網(wǎng)檔案館長期以來與 Reddit 合作索引帖子并將其快照到網(wǎng)站時(shí)光機(jī)中以便可以在未來查看，不想支付費(fèi)用的人工智能公司開始將爬蟲轉(zhuǎn)向互聯(lián)網(wǎng)檔案館，通過互聯(lián)網(wǎng)檔案館作為抓取 Reddit 的媒介。

發(fā)現(xiàn)這種情況后 Reddit 決定立即開始阻止互聯(lián)網(wǎng)檔案館對(duì)于大多數(shù)頁面的抓取和索引，網(wǎng)站時(shí)光機(jī)功能無法再抓取帖子詳情頁面、評(píng)論和個(gè)人資料，相反網(wǎng)站時(shí)光機(jī)只能有限的抓取 Reddit 首頁或者熱門帖子導(dǎo)航，也就是只能抓取標(biāo)題之類的內(nèi)容。

Reddit 首席執(zhí)行官稱從今天開始阻止互聯(lián)網(wǎng)檔案館的數(shù)據(jù)抓取，同時(shí)已經(jīng)提前聯(lián)系互聯(lián)網(wǎng)檔案館并在限制生效前告知他們?；ヂ?lián)網(wǎng)檔案館稱目前正在積極與 Reddit 就此事進(jìn)行溝通。

此前 Reddit 還起訴 Claude 開發(fā)商 Anthropic，Reddit 指控 Anthropic 未經(jīng)授權(quán)抓取內(nèi)容，即便 Reddit 聲明阻止其爬蟲抓取數(shù)據(jù)，Anthropic 也依然還會(huì)繼續(xù)抓取內(nèi)容并違反 Reddit 使用條款。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場：https://www.ijiandao.com/