本地部署deepseek
部署deepseek需要先安装ollama,运行之后再安装大模型deepseek或其他模型,配合浏览器插件page assist就可以在浏览器上和大模型对话了。
安装ollama
curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
安装deepseek
ollama run deepseek-r1:7b
deepseek有各种版本,其中7b需要4.7GB。deepseek-r1是DeepSeek 的第一代推理模型,性能可与 OpenAI-o1 相媲美,包括从 DeepSeek-R1 中提炼出来的基于 Llama 和 Qwen 的 6 个密集模型。
ollama run deepseek-r1:7b
pulling manifest
pulling 96c415656d37... 100% ▕███████████████████████████████████████████████████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕███████████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕███████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕███████████████████████████████████████████████████████████▏ 148 B
pulling 40fb844194b2... 100% ▕███████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> /?
Available Commands:
/set Set session variables
/show Show model information
/load <model> Load a session or model
/save <model> Save your current session
/clear Clear session context
/bye Exit
/?, /help Help for a command
/? shortcuts Help for keyboard shortcuts
Use """ to begin a multi-line message.
需要在命令行上和模型对话,不方便使用。
浏览器安装Page Assist插件
可在crx搜搜上下载crx,再安装,有梯子可直接在商店安装。
打开插件,进入设置,设置好语言,RAG设置文本嵌入模型为deepseekr1,就可以直接和deepseek对话了。
ollama和deepseek安装到i3m380的主机上,CPU占用率直接100%,安装到日用电脑上,在和模型对话时,ollama进程的CPU占用率也到了70%+。