CPM-Bee 是一個(gè) 完全開(kāi)源、允許商用的百億參數(shù)中英文基座模型。它采用 Transformer 自回歸架構(gòu)（auto-regressive），使用萬(wàn)億級(jí)高質(zhì)量語(yǔ)料進(jìn)行預(yù)訓(xùn)練，擁有強(qiáng)大的基礎(chǔ)能力。

CPM-Bee 的特點(diǎn)可以總結(jié)如下：

• 開(kāi)源可商用：OpenBMB 始終秉承 “讓大模型飛入千家萬(wàn)戶” 的開(kāi)源精神，CPM-Bee 基座模型將完全開(kāi)源并且可商用，以推動(dòng)大模型領(lǐng)域的發(fā)展。如需將模型用于商業(yè)用途，只需企業(yè)實(shí)名郵件申請(qǐng)并獲得官方授權(quán)證書(shū)，即可商用使用。

• 中英雙語(yǔ)性能優(yōu)異：CPM-Bee 基座模型在預(yù)訓(xùn)練語(yǔ)料上進(jìn)行了嚴(yán)格的篩選和配比，同時(shí)在中英雙語(yǔ)上具有亮眼表現(xiàn)，具體可參見(jiàn)評(píng)測(cè)任務(wù)和結(jié)果。

• 超大規(guī)模高質(zhì)量語(yǔ)料：CPM-Bee 基座模型在萬(wàn)億級(jí)語(yǔ)料上進(jìn)行訓(xùn)練，是開(kāi)源社區(qū)內(nèi)經(jīng)過(guò)語(yǔ)料最多的模型之一。同時(shí)，我們對(duì)預(yù)訓(xùn)練語(yǔ)料進(jìn)行了嚴(yán)格的篩選、清洗和后處理以確保質(zhì)量。

• OpenBMB 大模型系統(tǒng)生態(tài)支持：OpenBMB 大模型系統(tǒng)在高性能預(yù)訓(xùn)練、適配、壓縮、部署、工具開(kāi)發(fā)了一系列工具，CPM-Bee 基座模型將配套所有的工具腳本，高效支持開(kāi)發(fā)者進(jìn)行進(jìn)階使用。

• 強(qiáng)大的對(duì)話和工具使用能力：結(jié)合 OpenBMB 在指令微調(diào)和工具學(xué)習(xí)的探索，我們?cè)?CPM-Bee 基座模型的基礎(chǔ)上進(jìn)行微調(diào)，訓(xùn)練出了具有強(qiáng)大對(duì)話和工具使用能力的實(shí)例模型，現(xiàn)已開(kāi)放定向邀請(qǐng)內(nèi)測(cè)，未來(lái)會(huì)逐步向公眾開(kāi)放。

?CPM-Bee 的基座模型可以準(zhǔn)確地進(jìn)行語(yǔ)義理解，高效完成各類(lèi)基礎(chǔ)任務(wù)，包括：文字填空、文本生成、翻譯、問(wèn)答、評(píng)分預(yù)測(cè)、文本選擇題等等。

"填空":{"input": "心理學(xué)領(lǐng)域的研究人員發(fā)現(xiàn)，做出重要決定的最好方法之一，比如選擇一所大學(xué)或<mask_0>，都涉及到使用決策工作表。研究?jī)?yōu)化的心理學(xué)家將<mask_1>與理論理想決策進(jìn)行比較，看看它們有多相似。工作表程序的支持者認(rèn)為它會(huì)產(chǎn)生最優(yōu)的，也就是說(shuō)，最好的決策。雖然有<mask_2>可以接受，但它們?cè)诒举|(zhì)上都是相似的。","<ans>":{"<mask_0>":"","<mask_1>":"","<mask_2>":""}},"文本生成": {"input": "今天天氣很好，我和媽媽一起去公園，", "prompt": "往后寫(xiě)兩句話", "<ans>": ""}"翻譯": {"input": "北京是中國(guó)的首都", "prompt": "中翻英", "<ans>": ""}"問(wèn)答": {"input": "NGC 6231是一個(gè)位于天蝎座的疏散星團(tuán)，天球座標(biāo)為赤經(jīng)16時(shí)54分，赤緯-41度48分，視覺(jué)觀測(cè)大小約45角分，亮度約2.6視星等，距地球5900光年。NGC 6231年齡約為三百二十萬(wàn)年，是一個(gè)非常年輕的星團(tuán)，星團(tuán)內(nèi)的最亮星是5等的天蝎座 ζ1星。用雙筒望遠(yuǎn)鏡或小型望遠(yuǎn)鏡就能看到個(gè)別的行星。NGC 6231在1654年被意大利天文學(xué)家喬瓦尼·巴蒂斯特·霍迪爾納（Giovanni Battista Hodierna）以Luminosae的名字首次紀(jì)錄在星表中，但是未見(jiàn)記載于夏爾·梅西耶的天體列表和威廉·赫歇爾的深空天體目錄。這個(gè)天體在1678年被愛(ài)德蒙·哈雷（I.7）、1745年被夏西亞科斯（Jean-Phillippe Loys de Cheseaux）（9）、1751年被尼可拉·路易·拉卡伊（II.13）分別再次獨(dú)立發(fā)現(xiàn)。", "question": "NGC 6231的經(jīng)緯度是多少？", "<ans>": ""}"評(píng)分預(yù)測(cè)": {"input":"之前多次聚餐都選擇這里，有各種大小的包房同時(shí)能容納很多人，環(huán)境好有特色還有表演，整體聚餐氛圍一下被帶動(dòng)起來(lái)?，F(xiàn)在由于炭火改成了電烤羊，口感真的不如從前，不過(guò)其他菜品都還是不錯(cuò)，烤羊剩下的拆骨肉最后還能再加工一下椒鹽的也很好吃。","question":"評(píng)分是多少？(1-5)","<ans>":""},"選擇題": {"input": "父母都希望自己的孩子誠(chéng)實(shí)、勇敢、有禮貌。要想讓孩子成為這樣的人，父母首先得從自己做起，要是連自己都做不到，又怎能要求孩子做到呢？", "options": {"<option_0>": "少提要求", "<option_1>": "降低標(biāo)準(zhǔn)", "<option_2>": "自己先做好", "<option_3>": "讓孩子拿主意"}, "question": "教育孩子時(shí)，父母應(yīng)該：", "<ans>": ""}

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/