
Reddit論壇將阻止互聯(lián)網(wǎng)檔案館抓取頁面 因?yàn)锳I公司從互聯(lián)網(wǎng)檔案館抓取數(shù)據(jù)
知名互聯(lián)網(wǎng)論壇 Reddit 日前透露該公司發(fā)現(xiàn)人工智能公司通過互聯(lián)網(wǎng)檔案館 (Internet Archive) 的網(wǎng)站時(shí)光機(jī) (Wayback Machine) 抓取來自 Reddit 的數(shù)據(jù),這種行為已經(jīng)違反 Reddit 使用條款。
Reddit 此前已經(jīng)阻止大多數(shù)搜索引擎爬蟲和人工智能爬蟲抓取數(shù)據(jù),如果要抓取數(shù)據(jù)用于人工智能模型訓(xùn)練的話,則需要與 Reddit 簽署商業(yè)許可證并支付費(fèi)用后才能抓取。
例如谷歌就每年向 Reddit 論壇支付高達(dá) 6000 萬美元以獲得數(shù)據(jù)訪問權(quán),谷歌可以通過抓取 Reddit 海量帖子和其他數(shù)據(jù)用于模型訓(xùn)練,對(duì)谷歌來說這仍然是個(gè)值得的交易。
而互聯(lián)網(wǎng)檔案館長期以來與 Reddit 合作索引帖子并將其快照到網(wǎng)站時(shí)光機(jī)中以便可以在未來查看,不想支付費(fèi)用的人工智能公司開始將爬蟲轉(zhuǎn)向互聯(lián)網(wǎng)檔案館,通過互聯(lián)網(wǎng)檔案館作為抓取 Reddit 的媒介。
發(fā)現(xiàn)這種情況后 Reddit 決定立即開始阻止互聯(lián)網(wǎng)檔案館對(duì)于大多數(shù)頁面的抓取和索引,網(wǎng)站時(shí)光機(jī)功能無法再抓取帖子詳情頁面、評(píng)論和個(gè)人資料,相反網(wǎng)站時(shí)光機(jī)只能有限的抓取 Reddit 首頁或者熱門帖子導(dǎo)航,也就是只能抓取標(biāo)題之類的內(nèi)容。
Reddit 首席執(zhí)行官稱從今天開始阻止互聯(lián)網(wǎng)檔案館的數(shù)據(jù)抓取,同時(shí)已經(jīng)提前聯(lián)系互聯(lián)網(wǎng)檔案館并在限制生效前告知他們?;ヂ?lián)網(wǎng)檔案館稱目前正在積極與 Reddit 就此事進(jìn)行溝通。
此前 Reddit 還起訴 Claude 開發(fā)商 Anthropic,Reddit 指控 Anthropic 未經(jīng)授權(quán)抓取內(nèi)容,即便 Reddit 聲明阻止其爬蟲抓取數(shù)據(jù),Anthropic 也依然還會(huì)繼續(xù)抓取內(nèi)容并違反 Reddit 使用條款。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場:https://www.ijiandao.com/

隨時(shí)掌握互聯(lián)網(wǎng)精彩
- 1 看總書記關(guān)心的清潔能源這樣發(fā)電 7904482
- 2 今年最強(qiáng)臺(tái)風(fēng)來襲 7809141
- 3 澳加英宣布承認(rèn)巴勒斯坦國 7714426
- 4 長春航空展這些“首次”不要錯(cuò)過 7618766
- 5 43歲二胎媽媽患阿爾茨海默病 7524076
- 6 iPhone 17橙色斜挎掛繩賣斷貨 7425707
- 7 女兒發(fā)現(xiàn)父親500多萬遺產(chǎn)用于保健 7331862
- 8 劉強(qiáng)東“10年1元年薪”之約到期 7232394
- 9 一代人有一代人的月餅 7137184
- 10 山姆上架太二酸菜魚預(yù)制菜 7039416