聲明：該文章來(lái)自（藍(lán)點(diǎn)網(wǎng)）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁(yè)加速服務(wù)。

目前人工智能模型普遍存在幻覺(jué)問(wèn)題，所謂幻覺(jué)就是模型偶爾會(huì)自信滿(mǎn)滿(mǎn)地輸出錯(cuò)誤信息，此前曾有報(bào)道稱(chēng)連研究人員都搞不清幻覺(jué)的根源，因?yàn)槟Ｐ驮谶\(yùn)行中屬于黑盒模式。

不過(guò) OpenAI 研究團(tuán)隊(duì)最新發(fā)布的論文已經(jīng)揭示這種幻覺(jué)的原因：產(chǎn)生幻覺(jué)的根本原因并非神秘故障，而是源于訓(xùn)練和評(píng)估機(jī)制的激勵(lì)偏差，這種激勵(lì)機(jī)制是產(chǎn)生幻覺(jué)的根本原因。

什么是人工智能模型的幻覺(jué)：

幻覺(jué)指的是人工智能模型生成看似合理但實(shí)際虛假的陳述，這種錯(cuò)誤可能出現(xiàn)在簡(jiǎn)單的問(wèn)題上，但 AI 模型卻以非常自信的語(yǔ)氣呈現(xiàn)導(dǎo)致用戶(hù)以為內(nèi)容是真實(shí)的。

對(duì)初級(jí)用戶(hù)來(lái)說(shuō)可以將幻覺(jué)想象成人類(lèi)在對(duì)話中的胡說(shuō)八道，模型像人類(lèi)那樣編造信息并且缺乏自我懷疑能力，OpenAI 稱(chēng)即便是最先進(jìn)的 GPT-5 模型也無(wú)法完全消除幻覺(jué)，盡管該模型在推理任務(wù)中的幻覺(jué)已經(jīng)明顯減少。

評(píng)估機(jī)制如何助長(zhǎng)幻覺(jué)：

論文的核心觀點(diǎn)是，幻覺(jué)持續(xù)存在的部分源于當(dāng)前評(píng)估方法的激勵(lì)失誤，這種評(píng)估類(lèi)似于考試評(píng)分系統(tǒng)，但該系統(tǒng)更鼓勵(lì)模型蒙答案而不是誠(chéng)實(shí)承認(rèn)未知。

以多選題考試為例：如果你不知道正確答案，瞎猜可能會(huì)碰巧正確并獲得分?jǐn)?shù)，但如果留空那肯定是零分的，所以 AI 模型的評(píng)估通常只計(jì)算準(zhǔn)確率也就是正確答案的比例，而忽略錯(cuò)誤率或棄權(quán)率 (模型選擇不說(shuō)或承認(rèn)不確定)。

這種激勵(lì)模式導(dǎo)致的結(jié)果是模型學(xué)會(huì)了在不確定的時(shí)候大膽猜測(cè)以提高整體分?jǐn)?shù)，而不是坦率承認(rèn)不會(huì)，正如各位向 AI 提問(wèn)時(shí)，AI 總會(huì)給出回答而不是說(shuō)自己不知道。

論文稱(chēng)在真實(shí)應(yīng)用中許多問(wèn)題因?yàn)樾畔⑷笔?、模型能力有限或者?wèn)題存在歧義導(dǎo)致模型無(wú)法給出 100% 正確的回答，因此單純追求準(zhǔn)確率的排行榜在無(wú)意中鼓勵(lì)了這種行為，導(dǎo)致先進(jìn)模型仍然會(huì)自信輸出錯(cuò)誤回答。

OpenAI 的核心價(jià)值觀包括謙遜，其模型規(guī)范明確規(guī)定寧可表示不確定或?qū)で蟪吻?，也不要提供可能錯(cuò)誤的回答，也就是：知之為知之，不知為不知，是知也。

如何改進(jìn)激勵(lì)模式解決幻覺(jué)：

研究團(tuán)隊(duì)提出一個(gè)簡(jiǎn)單卻有效的修復(fù)方案：調(diào)整評(píng)分規(guī)則并嚴(yán)厲懲罰自信錯(cuò)誤，同時(shí)為適當(dāng)?shù)牟粶?zhǔn)確性給與部分分?jǐn)?shù)，這類(lèi)似標(biāo)準(zhǔn)化考試的負(fù)分制：錯(cuò)誤扣分，留空不扣。

不過(guò)研究團(tuán)隊(duì)也強(qiáng)調(diào)僅添加少數(shù)考慮不確定性的新測(cè)試不足以解決問(wèn)題，主要基準(zhǔn)測(cè)試必須全面更新以避免獎(jiǎng)勵(lì)幸運(yùn)猜測(cè)，這樣才能推動(dòng)開(kāi)發(fā)者采用減少幻覺(jué)技術(shù)，包括現(xiàn)有方法和新研究。

只有主流評(píng)估測(cè)試轉(zhuǎn)向激勵(lì)謙遜，模型才會(huì)學(xué)會(huì)在不確定時(shí)閉嘴而不是自信滿(mǎn)滿(mǎn)的編造回答。

幻覺(jué)發(fā)生的根本原因：

為什么人工智能模型容易產(chǎn)生事實(shí)性幻覺(jué)卻很少出現(xiàn)拼寫(xiě)或語(yǔ)法錯(cuò)誤？論文從預(yù)訓(xùn)練過(guò)程入手進(jìn)行解釋。模型首先會(huì)通過(guò)下一個(gè)詞預(yù)測(cè)學(xué)習(xí)，在海量文本中預(yù)測(cè)下一個(gè)單詞，沒(méi)有明確的真假標(biāo)簽，只有流暢語(yǔ)言的正面示例。

預(yù)訓(xùn)練像是教孩子閱讀，只給正確句子看而不會(huì)標(biāo)注錯(cuò)誤，模型必須從模式中推斷分布，但事實(shí)例如某人生日往往是低頻的、隨機(jī)的、無(wú)法從模式預(yù)測(cè)。例如圖像識(shí)別模型可以輕易分類(lèi)貓和狗，但要預(yù)測(cè)寵物生日進(jìn)行隨機(jī)猜測(cè)那必然是錯(cuò)誤的。

拼寫(xiě)和括號(hào)匹配有著固定的規(guī)則，隨著模型規(guī)模擴(kuò)大而消失，但低頻事實(shí)例如名人生日缺乏模式，導(dǎo)致預(yù)訓(xùn)練后幻覺(jué)開(kāi)始萌芽，隨后階段例如微調(diào)本應(yīng)該修改錯(cuò)誤，但前文提到的評(píng)估激勵(lì)讓問(wèn)題延續(xù)，論文稱(chēng)這種統(tǒng)計(jì)機(jī)制決定哪些幻覺(jué)類(lèi)型會(huì)浮現(xiàn)，并非模型智能不足。

有趣的是小型模型有時(shí)候更容易避免幻覺(jué)，例如問(wèn)毛利語(yǔ)時(shí)，不知道毛利語(yǔ)的小型模型會(huì)直接說(shuō)不知道，而更大規(guī)模的模型需評(píng)估自信度、計(jì)算更復(fù)雜，更容易出現(xiàn)錯(cuò)誤的幻覺(jué)。

澄清誤解與未來(lái)展望：

論文也通過(guò)統(tǒng)計(jì)視角澄清常見(jiàn)的誤區(qū)：

誤區(qū) 1：提升準(zhǔn)確率就能消除幻覺(jué)，因?yàn)?100% 準(zhǔn)確模型不會(huì)出錯(cuò)。

事實(shí) 1：準(zhǔn)確率永遠(yuǎn)不可能達(dá)到 100%，因?yàn)橛行﹩?wèn)題本質(zhì)上不可回答例如信息缺失。

誤區(qū) 2：幻覺(jué)不可免。

事實(shí) 2：模型可以通過(guò)棄權(quán)來(lái)回避幻覺(jué)。

誤區(qū) 3：只有大型模型才能避免幻覺(jué)，需要更高的智能。

事實(shí) 3：小模型更容易校驗(yàn)自身的不確定性。

誤區(qū) 4：幻覺(jué)是神秘故障。

事實(shí) 4：幻覺(jué)源于可理解的統(tǒng)計(jì)機(jī)制和評(píng)估獎(jiǎng)勵(lì)。

誤區(qū) 5：只需要一個(gè)好幻覺(jué)評(píng)估系統(tǒng)即可。

事實(shí) 5：需要全面重構(gòu)當(dāng)前主流準(zhǔn)確率評(píng)估，以獎(jiǎng)勵(lì)不確定性。

OpenAI 表示，其最新模型的幻覺(jué)率已經(jīng)降低并繼續(xù)努力減少自信錯(cuò)誤，展望未來(lái)：這一研究有望推動(dòng)行業(yè)標(biāo)準(zhǔn)變革，讓 AI 更可靠、更謙遜，對(duì)用戶(hù)而言選擇支持不確定性表達(dá)的模型，也有助于提升交互體驗(yàn)。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/