服务器宝塔面板部署anythingLLM+硅基流动deepseek
上次老白尝试了“宝塔面板docker安装deepseek等AI大模型”,发现效果还可以,部署过程简单,响应速度也挺快的。本方案适用于中等偏公开知识库建设方案:基于硅基流动的满血版deepseek R1+anythingLLM知识库管理工具,最后通过服务器实现不同设备访问。有些需要注意的地方如下:

1.服务器内存
测试即便使用了硅基流动api,对服务器内存也要求较高,如公共使用,建议:
- 密切监控内存使用
- 确保SWAP正常工作
- 适当限制并发请求
对于宝塔面板,安装Linux工具设置,标准如下:

2.服务器端口
确保服务器安全组开放3001端口,tcp/udp
3.anythingLLM设置
选择Generic OpenAI,依次填入:
- Base URL:https://api.siliconflow.cn
- API Key:自定义key,硅基流动后台获取
- Chat Model Name:Pro/deepseek-ai/DeepSeek-R1
硅基是真的好用。
是的😂,可以本地安装一个chatbox,接入硅基api,就能实现上传文件,联网搜索功能,和ds官网一致
我本地用的CherryStudio
感谢推荐,明天试试👍