DeepSeek 本地模型部署完整教程

lixu

DeepSeek 开源系列：DeepSeek-R1（推理通用）、DeepSeek-Coder（代码）、DeepSeek-V3/V4（超大通用），下面分3 种部署方案，从新手一键到开发者高性能生产全覆盖，附硬件要求、模型下载、API / 网页界面。

一、硬件与模型选型（先看自己电脑）

1. 最低硬件参考（NVIDIA N 卡最优，AMD/Apple Silicon 兼容）

模型	推荐显存 (Q4 量化)	内存 (RAM)	硬盘占用	适用设备
R1-1.5B	≥4G	8G	3GB	轻薄本、纯 CPU
R1-7B / Coder-7B	≥8G	16G	5~7GB	游戏本 RTX3060/4060
R1-32B	≥24G	32G	20~28GB	RTX4090/A10
V4-Flash 13B	≥24G	64G	150GB+	多 GPU 工作站

无 N 卡纯 CPU：仅推荐 1.5B/7B 小模型，速度很慢；Apple M 系列芯片 Ollama 原生加速。

2. 主流 DeepSeek 开源模型

• DeepSeek-R1：通用对话、数学推理，家用首选
• DeepSeek-Coder：代码生成、编程调试
• DeepSeek-V3/V4：超大参数量旗舰，需多 GPU 服务器
  

方案一：Ollama 一键部署（新手首选，零代码，5 分钟跑通）

优势：自动下载、量化、GPU 加速、自带 OpenAI 兼容 API，Windows/Mac/Linux 全平台。

步骤 1：安装 Ollama

官网：https://ollama.com

• Windows：下载 exe 双击安装
• Mac：dmg 拖入应用
• Linux 终端：
  

bash

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

安装完成终端输入 ollama --version 验证。

步骤 2：拉取并运行 DeepSeek 模型

打开终端执行对应命令，自动下载 + 启动对话：

bash

1. # 低配轻薄本/CPU：R1 1.5B
   
2. ollama run deepseek-r1:1.5b
   
3. 
   
4. # 主流游戏本7B（推荐）
   
5. ollama run deepseek-r1:7b
   
6. 
   
7. # 写代码专用
   
8. ollama run deepseek-coder:7b
   
9. 
   
10. # 高配24G显存 32B大模型
    
11. ollama run deepseek-r1:32b

复制代码

下载完成后直接输入提问，断网可用。

步骤 3：后台启动 API 服务（供软件 / 代码调用）

bash

1. # 后台启动服务，端口11434
   
2. ollama serve

复制代码

API 地址：http://127.0.0.1:11434/v1，兼容 OpenAI 格式，可接入 Chatbox、CherryStudio、PyCharm 插件。

步骤 4：可视化网页界面（推荐 Open WebUI）

bash

1. # 一键安装网页UI
   
2. pip install open-webui
   
3. open-webui serve

复制代码

浏览器打开 http://localhost:8080，图形化对话、参数调节、多模型管理。

方案二：llama.cpp 轻量化 GGUF 部署（低配 / 离线纯本地，极致省显存）

适合：无网络离线、低显存电脑、私有化本地服务，纯 C++ 无 Python 依赖。

1. 克隆编译 llama.cpp

bash

1. git clone https://github.com/ggerganov/llama.cpp
   
2. cd llama.cpp
   
3. # NVIDIA GPU加速编译
   
4. make LLAMA_CUDA=1
   
5. # 纯CPU直接 make

复制代码

2. 下载 GGUF 量化模型

HuggingFace 搜索：DeepSeek-R1-GGUF，下载Q4_K_M平衡速度与效果。
示例：deepseek-r1-7b-q4_K_M.gguf，放入models/文件夹。

3. 命令行交互运行

bash

1. ./main -m models/deepseek-r1-7b-q4_K_M.gguf -i -c 2048 -ngl 99
   
2. # -ngl 99：全部层交给GPU加速；-c 上下文长度

复制代码

4. 启动 HTTP 服务（开放 API）

bash

1. ./llama-server -m models/deepseek-r1-7b-q4_K_M.gguf --host 0.0.0.0 --port 8080 -ngl 99

复制代码

访问 http://localhost:8080 自带简易 Web 聊天界面。


llama-server运行

方案三：Python 原生部署（Transformers/vLLM，开发者 / 微调 / 生产）

适合二次开发、RAG 知识库、批量推理、微调模型。

3.1 Transformers 基础推理（灵活开发）

1. 安装依赖


bash

1. pip install torch transformers accelerate huggingface-hub

复制代码

2. 自动下载模型 + 推理代码

python

1. from transformers import AutoTokenizer, AutoModelForCausalLM
   
2. 
   
3. model_name = "deepseek-ai/DeepSeek-R1-7B-Instruct"
   
4. tokenizer = AutoTokenizer.from_pretrained(model_name)
   
5. model = AutoModelForCausalLM.from_pretrained(
   
6.     model_name,
   
7.     load_in_4bit=True, # 4bit量化省显存
   
8.     device_map="auto" # 自动分配GPU/CPU
   
9. )
   
10. 
    
11. prompt = "解释什么是本地大模型部署"
    
12. inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    
13. outputs = model.generate(**inputs, max_new_tokens=512)
    
14. print(tokenizer.decode(outputs[0], skip_special_tokens=True))

复制代码

3.2 vLLM 高性能生产部署（高并发、速度翻倍）

适合多用户、API 服务、企业私有化，PagedAttention 显存优化。

bash

1. # 安装
   
2. pip install vllm
   
3. # 启动API服务
   
4. python -m vllm.entrypoints.api_server \
   
5. --model deepseek-ai/DeepSeek-R1-7B-Instruct \
   
6. --host 0.0.0.0 \
   
7. --port 8000 \
   
8. --quantization awq

复制代码

调用示例（Python）：

python

1. import requests
   
2. res = requests.post("http://127.0.0.1:8000/generate", json={"prompt":"你好"})
   
3. print(res.json())

复制代码

四、模型国内高速下载（解决 HuggingFace 慢）

1. ModelScope 魔搭（阿里国内镜像）

python

1. # 替换repo_id为modelscope地址
   
2. from modelscope import snapshot_download
   
3. model_dir = snapshot_download("deepseek-ai/DeepSeek-R1-7B-Instruct")

复制代码

2. 工具：hf-transfer 加速 HuggingFace 下载

bash

1. pip install hf-transfer
   
2. export HF_HUB_ENABLE_HF_TRANSFER=1

复制代码

五、常见问题优化

• 显存不足
  
  • Ollama：加q4后缀 deepseek-r1:7b-q4_K_M
  • Transformers：开启load_in_4bit、device_map="auto"
    
• CPU 运行极慢：必须开启 GPU 加速（Ollama 自动、llama.cpp 加-ngl、vLLM 依赖 CUDA）
• 局域网共享访问：Ollama/vLLM/llama-server --host 0.0.0.0，其他设备用本机 IP 访问
• 断网离线：提前完整下载模型，关闭网络即可运行
  

三种方案对比快速选择

方案	难度	显存占用	适用场景
Ollama	极低	中等	个人日常、快速聊天、API 调用
llama.cpp	低	最低	低配电脑、离线私有化、轻量化服务
Transformers/vLLM	中高	可调	开发、微调、生产并发、RAG 系统

欢迎各位兴趣爱好者和专业人士留言谈论