Serge 是基于 llama.cpp 的聊天界面，用于運行羊駝模型。完全自托管，不需要 API 密鑰。適合 4GB RAM 并在 CPU 上運行。

• SvelteKit 前端

• 用于存儲聊天記錄和參數(shù)的 Redis

• API 的 FastAPI + langchain，使用 python 綁定包裝對 llama.cpp 的調(diào)用

使用

設(shè)置 Serge 非常簡單，可以在一個命令中完成啟動：

docker run -d \ ? ? ? ? -v weights:/usr/src/app/weights -v datadb:/data/db/ \ ? ? ? ? -p 8008:8008 ghcr.io/nsarrazin/serge:latest ? ? ? ?

然后只需轉(zhuǎn)到?http://localhost:8008/?就可以了！

API 文檔可以在?http://localhost:8008/api/docs?找到

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/