聲明：該文章來(lái)自（藍(lán)點(diǎn)網(wǎng)）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁(yè)加速服務(wù)。

維基百科附屬的媒體資源共享項(xiàng)目維基媒體目前正在被 AI 爬蟲(chóng)轟炸，維基媒體項(xiàng)目托管著 1.44 億張圖片、視頻和其他文件，這些寶貴的媒體文件被人工智能公司盯上用于訓(xùn)練 AI 模型。

這些 AI 爬蟲(chóng)數(shù)量非常多且抓取方式與正常人類(lèi)訪(fǎng)問(wèn)不同，這消耗了維基媒體大量昂貴的服務(wù)器帶寬，為了解決這些問(wèn)題維基媒體正在采取行動(dòng)，避免被 AI 爬蟲(chóng)持續(xù)性的消耗資源。

非人類(lèi)訪(fǎng)問(wèn)導(dǎo)致帶寬增加 50%：

維基媒體在博客中表示，自 2024 年 1 月以來(lái)用于下載多媒體內(nèi)容的帶寬增長(zhǎng) 50%，這些增長(zhǎng)并非來(lái)自人類(lèi)讀者，而是由自動(dòng)化程序造成的，這些自動(dòng)化程序也就是爬蟲(chóng)會(huì)抓取 Wikimedia Commons 圖像目錄中公開(kāi)許可的圖像，用來(lái)訓(xùn)練 AI 模型。

維基媒體的基礎(chǔ)設(shè)施旨在承受高關(guān)注事件期間人類(lèi)流量的突然激增，但抓取機(jī)器人產(chǎn)生的流量是前所未有的，并且?guī)?lái)了越來(lái)越大的風(fēng)險(xiǎn)和成本。

自 2024 年年初以來(lái)維基媒體的基本帶寬需求穩(wěn)步增長(zhǎng)并且沒(méi)有放緩的跡象，基線(xiàn)使用量的增加意味著當(dāng)流量激增時(shí)，維基媒體將沒(méi)有足夠的空間來(lái)應(yīng)對(duì)可能發(fā)生的異常事件：大量時(shí)間和資源用于應(yīng)對(duì)非人類(lèi)流量。

最昂貴的帶寬中有 65% 被爬蟲(chóng)消耗：

維基媒體通過(guò)全球數(shù)據(jù)中心網(wǎng)絡(luò)為用戶(hù)提供加速訪(fǎng)問(wèn)，當(dāng)某個(gè)內(nèi)容被多次訪(fǎng)問(wèn)時(shí)維基百科會(huì)將其緩存到離用戶(hù)最近的數(shù)據(jù)中心，如果某個(gè)內(nèi)容是冷門(mén)內(nèi)容訪(fǎng)問(wèn)次數(shù)不高則不會(huì)被緩存，當(dāng)被人類(lèi)訪(fǎng)問(wèn)時(shí)需要從核心數(shù)據(jù)中心拉取數(shù)據(jù)，同時(shí)將數(shù)據(jù)緩存在區(qū)域數(shù)據(jù)中心供該區(qū)域的其他用戶(hù)訪(fǎng)問(wèn)。

通常情況下人類(lèi)讀者傾向于關(guān)注特定的主題，這些主題通常還是相似的，而 AI 爬蟲(chóng)則傾向于批量讀取大量頁(yè)面并且包含大量不是那么受歡迎的頁(yè)面，這意味著機(jī)器人發(fā)出的請(qǐng)求更有可能被轉(zhuǎn)發(fā)到核心數(shù)據(jù)中心并從核心數(shù)據(jù)中心里拉取數(shù)據(jù)。

核心數(shù)據(jù)中心的帶寬是非常昂貴的，在進(jìn)行系統(tǒng)遷移時(shí)維基媒體團(tuán)隊(duì)注意到消耗核心數(shù)據(jù)中心帶寬的請(qǐng)求中有 65% 來(lái)自機(jī)器人，也就是人類(lèi)用戶(hù)的訪(fǎng)問(wèn)比例被擠占到只有 35%，爬蟲(chóng)帶來(lái)的高流量甚至?xí)绊懭祟?lèi)用戶(hù)的真實(shí)訪(fǎng)問(wèn)。

維基媒體在年度計(jì)劃草案中提到 WE5 負(fù)責(zé)任的使用基礎(chǔ)設(shè)施，維基媒體認(rèn)為他們的內(nèi)容是免費(fèi)的但基礎(chǔ)設(shè)施不是，現(xiàn)在必須采取行動(dòng)重新建立健康的平衡，避免 AI 爬蟲(chóng)消耗維基媒體項(xiàng)目、貢獻(xiàn)者和讀者所需的時(shí)間和資源。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/