聲明：該文章來自（藍(lán)點(diǎn)網(wǎng)）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。

此前維基百科關(guān)聯(lián)站點(diǎn)維基媒體發(fā)布消息稱由于被 AI 爬蟲轟炸，導(dǎo)致大量昂貴的服務(wù)器資源被 AI 爬蟲消耗，一方面維基媒體工程師疲于使用技術(shù)手段應(yīng)對(duì)這些爬蟲，另一方面也給維基媒體造成運(yùn)營(yíng)成本上的損失。

維基媒體是個(gè)托管圖片、視頻和其他文件的免費(fèi)站點(diǎn)，目前該網(wǎng)站托管的文件數(shù)量高達(dá) 1.44 億個(gè)，因此大量 AI 爬蟲瘋狂抓取維基媒體的內(nèi)容用來整理為數(shù)據(jù)集訓(xùn)練人工智能模型。

除了維基媒體外，維基百科內(nèi)容也被各種爬蟲瘋狂抓取，有鑒于技術(shù)手段已經(jīng)無法應(yīng)對(duì)這些 AI 爬蟲，現(xiàn)在維基百科主動(dòng)制作并發(fā)布針對(duì)訓(xùn)練 AI 模型且經(jīng)過優(yōu)化的數(shù)據(jù)集，這些數(shù)據(jù)集托管在谷歌旗下的數(shù)據(jù)科學(xué)社區(qū)平臺(tái) Kaggle 上，希望這些 AI 公司直接去谷歌下載數(shù)據(jù)集不要再對(duì)維基百科進(jìn)行抓取。

本次發(fā)布的數(shù)據(jù)集在設(shè)計(jì)時(shí)就充分考慮機(jī)器學(xué)習(xí)的工作流程，讓 AI 開發(fā)者能夠輕松訪問機(jī)器可讀的文章數(shù)據(jù)，以進(jìn)行建模、微調(diào)、基準(zhǔn)測(cè)試、對(duì)齊和分析，其中的數(shù)據(jù)內(nèi)容為已公開授權(quán)。

數(shù)據(jù)集時(shí)間截止至 2025 年 4 月 15 日，內(nèi)容包括研究摘要、簡(jiǎn)短描述、圖像連接、信息框數(shù)據(jù)和文章章節(jié)，但不包含參考文件或音頻文件等非書面元素，首次發(fā)布的數(shù)據(jù)集包含英語和法語版本。

維基百科認(rèn)為結(jié)構(gòu)良好的 JSON 格式維基百科內(nèi)容應(yīng)該比直接抓取或解析維基百科原始內(nèi)容更有吸引力，不過最終這能否解決維基百科面臨的 AI 爬蟲轟炸還有待觀察。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/