————————————————
2025年1月,DeepSeek 正式發布 DeepSeek-R1 推理大模型。DeepSeek-R1 成本價格低廉,性能卓越,在 AI 行業引起了廣泛關注。
DeepSeek 提供了多種使用方式,滿足不同用戶的需求和場景。本地部署在數據安全、性能、定制化、成本、離線可用性和技術自主性方面具有顯著優勢。
本文詳細講解基于 Ollama+Docker+OpenWebUI 的本地化部署流程,并通過實例代碼演示。
1.軟硬件需求
1.1 硬件需求
DeepSeek R1 本地部署的硬件需求如下:
基本推薦配置:CPU: 8核或以上,內存: 32GB或以上,存儲: 100GB SSD或以上,GPU: NVIDIA GTX 1080或同等性能
DeepSeek-7B 推薦配置:RTX3060 以上顯卡 + 16G以上 內存 + 50G SSD 存儲空間
DeepSeek-70B 推薦配置:RTX4060 以上顯卡 + 32G以上 內存 + 200G SSD 存儲空間
本教程使用的硬件配置為:CPU: Intel i5-12490/3.00GHz,內存: 32GB,存儲: 500GB SSD,GPU: NVIDIA GTX 3060。
1.2 軟件依賴
DeepSeek R1 本地部署的軟件依賴包括操作系統、容器化工具、編程語言、深度學習框架、數據庫、消息隊列、Web 服務器、GPU 加速工具、版本控制、包管理工具、監控與日志工具以及安全工具。
本教程采用 macOS 操作版本、Python 3.11 版本、PyTorch 1.7 版本、Ollama。
2.Ollama 下載與安裝
2.1 Ollama 的下載
Ollama 是一個開源的本地模型運行工具,可以方便地下載和運行各種開源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、靈活的大模型部署和管理解決方案,可以簡化模型的部署流程。支持macOS、Linux、Windows 操作系統。
官網地址:https://ollama.com/
下載地址:https://ollama.com/download
2.2 Ollama 的安裝
下載完成后直接點擊Download進行安裝(window/linux 雷同)。
安裝完成后,cmd 打開命令行窗口,輸入 “ollama -v” 測試,顯示 ollama 的版本為 “0.5.7”,表明安裝成功。
2.3 Ollama 的運行
Ollama 沒有用戶界面,在后臺運行。
打開瀏覽器,輸入 “http://localhost:11434/”,顯示 “Ollama is running”。
3.deepseek-r1 模型安裝
3.1 Ollma 安裝 deepseek-r1 模型
從 ollama 官網 查找 deepseek-r1 模型。
2. 點擊進入 deepseek-r1 模型,可以選擇不同版本的模型(1.5b/7b/14b/32b/70b/671b)。
deepseek-r1 提供多個版本,參數量越大,模型的性能越強大,但也需要更多的存儲和計算資源。1.5b 模型參數為15億/1.1GB,7b 模型參數約為 70億/4.7GB,14b 模型參數約為 140億/9GB。
deepseek-r1 不同版本模型的執行命令不同:
1.5b 的命令為:“ollama run deepseek-r1:1.5b” 7b 的命令為:“ollama run deepseek-r1:7b” 14b 的命令為:“ollama run deepseek-r1:14b”
3.本教程選擇選擇 7b 模型,在命令行窗口運行安裝命令 “ollama run deepseek-r1”(默認 7b),程序會自動下載和安裝運行。
4. 安裝完成后顯示 “success”,表明安裝成功。
3.2 使用 deepseek-r1 模型
輸入 “/?”,可以獲得幫助。
2.在命令行窗口運行命令 “ollama run deepseek-r1”,就可以在提示行輸入,與 deepseek-r1 進行聊天。
通過本地命令行窗口可以使用 deepseek-r1,但這讓人回到了 DOS 年代,交互體驗很差。接下來我們按照 Docker 和 Open WebUI 用戶界面,可以更便捷地使用 deepseek-r1。
4.安裝 Open WebUI
Open WebUI是一個可擴展、功能豐富、用戶友好的自托管 WebUI,旨在完全離線操作。它支持各種LLM運行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 適配了 Ollama 接口,提供了 web 的方式來訪問 Ollama API.
4.1 安裝和啟動 open-webui (python 環境)
打開 open-webui 項目的 Github 倉庫 https://github.com/open-webui/open-webui:
2.從 README 的安裝指南找到用于 Ollama 的安裝命令(本地有 Python3.11 的環境)
?
Install Open WebUI: Open your terminal and run the following command to install Open WebUI:
pip install open-webui
Running Open WebUI: After installation, you can start Open WebUI by executing:
open-webui serve
This will start the Open WebUI server, which you can access at http://localhost:8080
?
3.執行完運行腳本,可以直接通過 http://localhost:8080 訪問界面,按照引導注冊賬號,就可以使用了。
4. 如果下載好了 ollama 的模型,在上面可以選擇到對應的模型進行對話:
5. 下拉可以選擇安裝過的所有大模型。
6. 可以添加多個大模型進行比較。
Open WebUI 也支持 docker 安裝,如果喜歡容器化的方式,可以按照 README 的說明嘗試。
4.2 安裝OpenWebUI以提供Web界面(Docker 方式)
1.安裝Docker
Windows/MacOS/Linux:從Docker官網下載并安裝Docker Desktop。
2.配置Docker(可選)
配置Docker鏡像加速,以提高下載速度。具體配置方法可參考Docker官方文檔。
3.下載并運行OpenWebUI
使用Docker拉取OpenWebUI鏡像:
docker pull ghcr.io/open-webui/open-webui:main
運行OpenWebUI容器:
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
訪問http://localhost:3000以查看OpenWebUI的Web界面。
啟動后使用方法同 4.1。
Comments