
OpenAI開(kāi)啟調(diào)查:GPT-4o及4o-mini模型性能下降
據(jù)報(bào)道,OpenAI發(fā)布事故報(bào)告指出,當(dāng)前遭遇GPT-4o和4o-mini模型性能下降問(wèn)題,目前正在進(jìn)行調(diào)查,并將盡快發(fā)布最新消息。
近期,科研人員創(chuàng)新性地推出了一項(xiàng)名為L(zhǎng)ONGPROC的基準(zhǔn)測(cè)試工具,該工具專為評(píng)估模型在處理長(zhǎng)上下文中的復(fù)雜信息并生成相應(yīng)回復(fù)的能力而設(shè)計(jì)。
實(shí)驗(yàn)結(jié)果略顯意外:包括GPT-4o在內(nèi)的眾多頂尖模型,雖然在常規(guī)長(zhǎng)上下文回憶基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,但在應(yīng)對(duì)復(fù)雜的長(zhǎng)文本生成任務(wù)時(shí),仍暴露出顯著的改進(jìn)需求。
具體而言,盡管所有參測(cè)模型均宣稱其上下文窗口大小超過(guò)32K tokens,但實(shí)際情況卻大相徑庭。開(kāi)源模型在處理僅含2K tokens的任務(wù)時(shí)便顯露疲態(tài),而諸如GPT-4o等閉源模型,在應(yīng)對(duì)8K tokens任務(wù)時(shí)性能也明顯下滑。
以GPT-4o為例,在要求其生成詳細(xì)旅行規(guī)劃的任務(wù)中,即便提供了明確的時(shí)間節(jié)點(diǎn)和直飛航班信息,模型的輸出結(jié)果中仍出現(xiàn)了不存在的航班信息,即產(chǎn)生了“幻覺(jué)”現(xiàn)象。
實(shí)驗(yàn)進(jìn)一步揭示,即便是最前沿的模型,在生成連貫且冗長(zhǎng)的內(nèi)容方面仍存在較大提升空間。特別是在需要輸出8k tokens的任務(wù)中,即便是參數(shù)龐大的先進(jìn)模型也未能幸免于難,這或許預(yù)示著未來(lái)大型語(yǔ)言模型(LLM)研究的一個(gè)極具潛力的方向。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場(chǎng):https://www.ijiandao.com/

隨時(shí)掌握互聯(lián)網(wǎng)精彩
- 1 像石榴籽一樣緊緊抱在一起 7904281
- 2 殲-35完成在福建艦上彈射起飛 7809229
- 3 深圳:建議準(zhǔn)備至少3天的應(yīng)急物資 7713321
- 4 唱著民歌迎豐收 7617971
- 5 日本“蘋果病”流行達(dá)歷史頂點(diǎn) 7523333
- 6 孩子的數(shù)學(xué)邏輯比運(yùn)算結(jié)果重要 7425310
- 7 榴蓮降至15元一斤 7327999
- 8 背簍老人等公交被拒載 司機(jī)被開(kāi)除 7237623
- 9 苑舉正:中國(guó)重回盛世 7136539
- 10 福建艦三型機(jī)彈射成功意味著什么 7045096