
Alpaca Electron羊駝AI本地GUI
聲明:該文章由作者(望南風(fēng))發(fā)表,轉(zhuǎn)載此文章須經(jīng)作者同意并請附上出處(0XUCN)及本頁鏈接。。
Alpaca Electron 旨在成為與 Alpaca 羊駝 AI 模型聊天的最簡單方式,無需任何命令行或編譯。
功能 + 待辦事項(xiàng)
在您的計(jì)算機(jī)上本地運(yùn)行,除下載模型外不需要互聯(lián)網(wǎng)連接
緊湊高效,因?yàn)樗褂?llama.cpp 作為后端(也支持 Alpaca & Vicuna)
在 CPU 上運(yùn)行,任何人都可以在沒有昂貴顯卡的情況下運(yùn)行它
不需要外部依賴,一切都包含在安裝程序中
從流行的聊天 AI “借來” 的 UI
支持 Windows、MacOS 和 Linux(未經(jīng)測試)
Docker 化
上下文記憶
聊天記錄?未完成
與穩(wěn)定擴(kuò)散整合?未完成
用于 Web 訪問的 DuckDuckGo 集成?未完成
GPU 加速(cuBLAS 和 openBLAS)未完成
快速入門指南
下載一個(gè) Alpaca 模型(推薦 7B native)并將其放在計(jì)算機(jī)上容易找到的地方。
注意此存儲(chǔ)庫中不會(huì)提供下載鏈接。
從發(fā)布頁面部分下載最新的安裝程序。
打開安裝程序并等待它安裝。
安裝完成后,它會(huì)詢問模型的有效路徑?,F(xiàn)在,轉(zhuǎn)到放置模型的位置,按住 Shift 鍵,右鍵單擊文件,然后單擊 “復(fù)制為路徑”。然后,將其粘貼到該對話框中并單擊?Confirm。
程序會(huì)自動(dòng)重啟?,F(xiàn)在您可以開始聊天了!
注意該程序還將接受任何其他 4 位量化的 .bin 模型文件。如果您能找到其他 .bin Alpaca 模型文件,您可以使用它們代替快速入門指南中推薦的文件來試驗(yàn)不同的模型。一如既往,小心您從互聯(lián)網(wǎng)上下載的內(nèi)容。
故障排除
通用
如果在將路徑粘貼到模型文件時(shí)出現(xiàn) “無效文件路徑” 錯(cuò)誤,則可能是其中存在某種拼寫錯(cuò)誤。嘗試再次復(fù)制路徑或使用文件選擇器。
如果您收到 “無法加載模型” 的錯(cuò)誤消息,則您的模型可能已損壞或不兼容。嘗試再次下載模型。
如果您遇到此處未列出的其他問題或問題,請?jiān)诒卷擁敳康?“問題” 選項(xiàng)卡中創(chuàng)建問題。詳細(xì)描述發(fā)生了什么,并附上屏幕截圖。
windows
如果模型已加載到 RAM 但文本生成似乎沒有開始,請檢查您的 CPU 是否與?AVX2?指令集兼容。如果它不支持 AVX2,Alpaca Electron 將使用 AVX 代替,這會(huì)慢很多,請耐心等待。
如果您收到一條錯(cuò)誤消息 “vcruntime140_1.dll is missing” 或什么都沒有發(fā)生并且模型未加載到 RAM 中,請嘗試安裝?Microsoft Visual C++ Redistributable?。
蘋果系統(tǒng)
如果您收到一條錯(cuò)誤消息 “無法打開應(yīng)用程序,因?yàn)樗鼇碜陨矸莶幻鞯拈_發(fā)人員?!保堔D(zhuǎn)到 “應(yīng)用程序” 文件夾。然后,按住控制鍵并單擊該應(yīng)用程序。然后單擊 “打開”,然后在出現(xiàn)警告時(shí)單擊 “打開”。您的首選項(xiàng)將被保存,MacOS 將允許您從現(xiàn)在開始正常打開應(yīng)用程序。
如果上述方法不起作用,請嘗試在終端中運(yùn)行以下命令:xattr -cr /Applications/Alpaca\ Electron.app/
Linux
您可以從發(fā)布頁面下載預(yù)構(gòu)建的應(yīng)用程序(打包為 tar.gz),解壓縮并執(zhí)行它,./"alpaca electron"?或者自己構(gòu)建應(yīng)用程序。
如果您想自己構(gòu)建應(yīng)用程序:
克隆存儲(chǔ)庫:
git clone https://github.com/ItsPi3141/alpaca-electron.git
將當(dāng)前目錄更改為 alpaca-electron:
cd alpaca-electron
安裝特定于應(yīng)用程序的依賴項(xiàng):
npm install --save-dev
構(gòu)建應(yīng)用程序:
npm run linux-x64
將當(dāng)前目錄更改為構(gòu)建目標(biāo):
cd release-builds/'Alpaca Electron-linux-x64'
運(yùn)行應(yīng)用程序./'Alpaca Electron'
docker 組成
您可以使用 docker compose 運(yùn)行此電子應(yīng)用程序。因此,您需要完成以下步驟:
克隆存儲(chǔ)庫:
git clone https://github.com/ItsPi3141/alpaca-electron.git
將當(dāng)前目錄更改為 alpaca-electron:
cd alpaca-electron
構(gòu)建容器鏡像:
docker compose build
運(yùn)行應(yīng)用程序容器:
docker compose up -d
如果沒有窗口打開運(yùn)行?docker compose up(沒有 -d)。如果出現(xiàn)類似在您的 docker 主機(jī)上?Authorization required, but no authorization protocol specified?運(yùn)行的錯(cuò)誤。xhost local:root
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場:https://www.ijiandao.com/
- 1 像石榴籽一樣緊緊抱在一起 7904418
- 2 全球最強(qiáng)臺(tái)風(fēng)明日登陸廣東 7809051
- 3 深圳宣布停工停業(yè)停市停課停運(yùn) 7712625
- 4 唱著民歌迎豐收 7618677
- 5 268萬翡翠標(biāo)錯(cuò)價(jià)按26.8萬賣出 7521685
- 6 空間站拍到樺加沙臺(tái)風(fēng)眼 壓迫感十足 7429059
- 7 護(hù)網(wǎng):社交賬號(hào)不受控制?木馬在作祟 7331550
- 8 中國訂單至今為零 美國豆農(nóng)感受痛苦 7234739
- 9 牛彈琴:以色列的最大麻煩來了 7140207
- 10 廣東福建大暴雨 臺(tái)灣局地特大暴雨 7048035