type
status
date
slug
summary
tags
category
icon
password
一、Ollama
进入Ollama,经常部署本地AI的小伙伴应该不陌生,不过我因为没有什么本地部署的需求所以用的不多,能够让我产生本地部署的动力的也只有DeepSeek了。
Ollama的服务器一般,下载要比较长时间,最好用外网VPN。
按照完Ollama后,用CMD命令提示符,输入相关代码部署本地模型。
二、部署本地模型
cmd输入“ollama --version”后输出Ollama 的版本号即表示安装成功。
安装命令
1.5B Qwen DeepSeek R1【适合显卡内存8G以下】
8B Llama DeepSeek R1【适合显卡内存8G~16G】
32B Qwen DeepSeek R1【适合显卡内存16G以上】
三、安装对话UI【适用于浏览器使用】
进入Chrome的插件商店进行Page Assist插件安装
在已安装插件列表找到插件并点击进入
点击右上角设置,然后设置语言中文
然后回到主界面选择模型。deepseek-r1:8B
就可以开始聊天啦!
四、AnythingLLM【推荐】
1、Github 开源版 【点击下载】
2、官方版:【点击下载】
3、安装后选择deepseek-r1:8B模型即可使用。
注意:本地部署也是支持开启联网搜索模式的
只需在AnythingLLM的设置界面中,找到“代理技能”选项。 启用Web Search:在代理技能列表中找到 Web Search ,点击开启。 选择搜索引擎即可!
五、进阶玩法
本地部署越狱版,其他相同,代码有差别,由小到大,根据显卡大小来安装
7b
8b
32b
70b
- 作者:摸鱼日常
- 链接:http://blog.xiah.pw/article/ds
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。