DeepSeek+Qwen本地部署全攻略：从核显轻薄本到RTX 4090实战指南
一、开篇：本地部署的三大核心理由
如果你每月为 API 账单肉疼、为代码和文档出域提心吊胆、看着 RTX 4090 的 24GB 显存长期闲置，那么这 10 分钟值得你停下来读完。本地部署 DeepSeek 与 Qwen 不是极客炫技，而是我们团队验证过的生产级选择。我们用三句话概括核心价值：数据不出机、使用不设限、显卡不浪费。
- 立即盘点本地代码与文档资产，确定需要本地推理保护的数据范围
- 执行 nvidia-smi 确认显卡显存容量，按显存选择模型规格
- 安装 Ollama 并拉取第一个 7B/8B 模型，10 分钟内跑通对话
- 断网测试一次推理，验证离线可用性
- 记录每月 API 节省金额，建立部署收益台账
第一理由是数据隐私安全。我们把代码、内部文档和私人数据全程放在本地推理，从输入到输出不经过任何第三方服务器，断网环境下同样可以正常工作。这意味着我们不再需要反复审查服务商的隐私条款，不再担心敏感片段进入训练语料，也不再为合规审计准备厚厚的说明材料。对于金融、医疗、法律等行业的团队而言，这条理由本身就构成部署的充分条件。
第二理由是无限制自由使用。本地部署没有 API 调用次数限制，没有 Token 计费，我们不需要在每次提问前计算成本，也不需要为了省钱而压缩提示词。深夜批量处理任务、长时间多轮调试、高频次的代码补全，这些在云端按量付费模式下需要精打细算的场景，在本地全部变成零边际成本。我们的使用频率只受硬件制约，不再受预算制约。
第三理由是硬件性能压榨。RTX 40 系与 50 系显卡配备的大容量显存，正是为大模型推理而生的资源，长期闲置只跑游戏和渲染是巨大的浪费。我们通过 INT4 量化模型让 24GB 显存跑起 32B 参数级别的模型，让 DeepSeek-R1-32B 与 Qwen2.5-32B 在本地达到接近云端旗舰模型的体验。显卡算力被充分调用后，我们得到的不仅是成本下降，还有响应延迟的显著降低。
# 输入示例：启动本地模型并提问
$ ollama run deepseek-r1:7b
>>> 请帮我写一段 Python 贪吃蛇
# 输出说明：模型在本地 GPU 上完成推理，直接返回完整可运行的代码
# 整个过程不产生任何网络请求，响应速度只取决于显卡算力| 方案 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| 云端 API 调用 | 开箱即用、无需显卡投入 | 按 Token 计费、数据出域、调用受限 | 临时测试、轻量需求 |
| Ollama 本地部署 | 一条命令拉取模型、资源占用低、上手快 | 并发能力弱、缺少高级调度 | 个人开发者、入门体验 |
| vLLM 高性能部署 | 高并发、持续批处理、显存利用率高 | 配置复杂、依赖 Linux 服务器 | 团队内部服务、生产环境 |
我们的明确推荐是：先用 Ollama 在单机上跑通 DeepSeek-R1-7B 或 Qwen2.5-7B 验证体验，再根据显存容量升级到 32B 模型；有并发需求的团队直接评估 vLLM 方案。下一步行动很简单——打开终端执行 nvidia-smi 确认显存容量，然后按显存对照表选择对应规格的模型开始拉取。
二、硬件选型：显存容量决定模型上限
我们在本地部署国产大模型时，首先要明确一个核心原则：显存容量直接决定了你能运行的模型上限。模型参数需要加载到显存中才能进行推理，显存不足会导致加载失败或者推理速度极慢。因此我们在选型时不要先看CPU和内存，而要先看显卡的显存大小，这是整个部署方案中最关键的硬件指标。
根据我们整理的实战经验，硬件可以清晰地划分为三个梯队。集成显卡或轻薄本用户拥有8到16GB系统内存，我们推荐运行Qwen3.6-4B或DeepSeek-R1-1.5B这类小参数模型，满足基础对话与摘要需求。拥有RTX 3060、4060或5060等8GB显存的显卡用户，我们推荐DeepSeek-R1-7B或8B版本，这是目前性价比最高的选择。而配备RTX 3090、4090或5090等24GB以上显存的玩家，可以运行DeepSeek-R1-32B、Qwen2.5-32B乃至DeepSeek-V4-Flash，获得接近云端旗舰模型的体验。
我们在动手部署之前，先要准确掌握自己显卡的显存信息。NVIDIA显卡用户可以通过命令行工具直接查看显存总量与占用情况，这能帮助我们快速判断应该下载哪个规格的模型。我们还要注意量化版本的选择，INT4量化可以将模型显存占用压缩到原始大小的约四分之一，让中等显存显卡也能运行更大的模型。
nvidia-smi
# 输入示例：在终端执行上述命令查看显卡状态
# 输出说明：命令会显示显卡型号、显存总量（Total）、已用显存（Used）与空闲显存（Free）
# 例如输出 "NVIDIA RTX 4060 ... 8192MiB" 表示显存总量为8GB，应选择7B-8B量化模型| 方案 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| 集成显卡/轻薄本（8-16GB内存） | 零成本、无需独显 | 仅能运行1.5B-4B小模型 | 基础对话、文本摘要、翻译 |
| RTX 3060/4060/5060（8GB显存） | 性价比最高、可流畅运行7B-8B模型 | 无法加载32B级别大模型 | 日常助手、代码提示、长文写作 |
| RTX 3090/4090/5090（24GB以上显存） | 可运行32B模型乃至DeepSeek-V4-Flash | 硬件购置成本高、功耗大 | 复杂推理、专业代码审查、顶级本地体验 |
我们的明确推荐是：如果你的预算有限且主要需求是日常对话与代码辅助，直接选择RTX 4060或3060搭配DeepSeek-R1-7B量化版本，这是投入产出比最优的方案。如果你的工作涉及复杂推理任务且预算充足，一步到位配备RTX 4090并部署DeepSeek-R1-32B或Qwen2.5-32B，避免后续重复升级硬件。下一步我们建议先执行nvidia-smi命令确认显存总量，然后对照上表选择对应模型，进入第三节开始部署工具的安装。
三、方案一：Ollama开发者进阶路线
我们首先从 Ollama 官网下载 OllamaSetup.exe 安装包，双击后它在 Windows 端会以静默方式完成安装，所有组件默认落在系统盘 C 盘。安装过程不需要我们手动配置任何参数，整个过程几分钟内结束。安装完成后，系统托盘会出现 Ollama 图标，说明服务已经在后台常驻运行。
默认情况下模型文件存放在 C 盘用户目录下，大模型动辄几个 GB 甚至几十 GB，很快就会挤爆系统盘。我们新建环境变量 OLLAMA_MODELS，将其值指向 D 盘的自定义路径，比如 D:\OllamaModels。修改环境变量后必须重启 Ollama 服务才会生效，我们可以在任务管理器里结束 Ollama 进程再重新启动，或者直接重启电脑。
环境变量生效后，我们打开命令行工具执行 ollama pull deepseek-r1:7b 来下载模型，下载速度取决于网络带宽。下载完成后，执行 ollama run deepseek-r1:7b 就能直接进入对话模式，终端会变成一个交互式聊天窗口。我们输入问题后回车，模型会在本地完成推理并输出回答，整个过程不经过任何云端服务器。
C:\Users\Admin> ollama pull deepseek-r1:7b
pulling manifest
pulling 470f21e4a2ba... 100% ▕████████████████▕ 4.7 GB
status: success
# 以上输出表示模型已完整下载到本地存储目录
C:\Users\Admin> ollama run deepseek-r1:7b
>>> 请用一句话介绍你自己
我是 DeepSeek-R1 7B，一个开源的推理大模型。
# 出现 >>> 提示符即表示已进入本地对话模式，输入 /bye 可退出| 方案 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| 默认安装到 C 盘 | 简单快捷，无需额外配置 | 占用系统盘空间，大模型容易撑爆 C 盘 | C 盘空间充裕的临时测试 |
| OLLAMA_MODELS 迁移到 D 盘 | 模型集中管理，系统盘保持清爽 | 需要手动配置环境变量并重启服务 | 长期使用、多模型本地部署 |
| ollama run 命令行交互 | 零依赖，直接对话调试 | 无图形界面，不适合非技术用户 | 开发者快速验证模型效果 |
我们推荐采用「OLLAMA_MODELS 环境变量迁移 + 命令行交互」的组合方案，这是开发者进阶路线的标准做法。下一步我们建议先下载 deepseek-r1:7b 验证环境是否配置正确，再根据显卡显存情况考虑是否升级到 14B 或 32B 规格的模型。
四、方案二：DS本地部署大师小白路线
我们如果不想折腾环境，DS本地部署大师就是为我们准备的方案。它采用一键安装、开箱即用的设计，我们不需要安装Python，也不需要手动配置CUDA和cuDNN环境。软件本身集成了模型下载、校验与加载的全部流程，我们点击"一键下载"后无需任何手动操作就能直接进入对话。
安装过程中，软件支持我们自定义安装路径，我们可以把程序与模型目录指定到非系统盘，避免C盘空间告急。它的模型库覆盖了DeepSeek全系与Qwen2.5、Qwen3全系，我们可以在模型管理界面直接看到每个模型对应的推荐硬件配置。集成显卡或轻薄本我们选择1.5B版本，RTX 3060等8G显存显卡选择7B或8B版本，RTX 3090、4090等24G以上显存我们挑战32B版本。
这个工具不只是一个本地加载器，它还是一个聚合AI终端，支持本地与在线模型一键切换。当我们本地显卡跑不动更大的模型时，我们直接切换到在线模式，接入DeepSeek、豆包、文心一言或通义千问的在线模型。切换过程在同一个界面内完成，我们无需更换软件，也无需重新配置环境。
输入：请帮我写一段 Python 贪吃蛇
输出：模型返回完整的贪吃蛇游戏代码，包含游戏主循环、食物生成、碰撞检测与得分统计逻辑
说明：该测试用于验证模型加载完成后能否正常响应，本地模型与在线模型均支持此对话测试| 方案 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| DS本地部署大师 | 一键安装开箱即用，无需配置Python与CUDA环境，支持本地+在线切换 | 自定义调参空间有限，依赖软件内置模型列表 | 小白用户、快速体验本地大模型 |
| Ollama手动部署 | 命令行操作灵活，模型选择自由度高 | 需要自行处理环境与模型格式问题 | 有一定动手能力的开发者 |
| vLLM服务化部署 | 推理性能高，适合多并发调用 | 部署复杂，需要专业运维能力 | 团队协作、生产环境 |
推荐结论：我们如果是第一次在本地跑大模型，优先选择DS本地部署大师这条路线，把安装路径指定到非系统盘，再按显存选择1.5B、7B或32B模型。我们的下一步行动是下载安装包并双击运行，进入模型管理界面完成首次下载，然后用"请帮我写一段 Python 贪吃蛇"这句话验证整个流程是否跑通。
五、图形化交互：Open WebUI快速搭建
我们在完成底层模型推理服务的部署后，急需一个直观易用的图形化界面来验证对话效果。Open WebUI 正是我们想要的工具，它能提供与 ChatGPT 几乎一致的交互体验，让我们在浏览器中直接与 DeepSeek 或 Qwen 模型进行流畅对话。借助 Docker，我们可以实现一键部署，彻底免去繁琐的环境配置与依赖安装烦恼。
我们执行一条简单的容器启动命令，就能将 Open WebUI 完整运行起来。该命令不仅映射了本地 3000 端口，还通过 host-gateway 机制让容器内部能够直接访问宿主机的 Ollama 或 vLLM 服务。我们在浏览器中打开 localhost:3000 后，系统会引导我们创建管理员账号，随后即可开始愉快的本地模型对话测试。
作为团队或多人使用的入口，管理员面板的配置至关重要。我们在管理员面板中可以轻松开放新用户注册权限，让团队成员也能接入这个私有化大模型平台。同时，我们还能在设置中指定默认用户角色与默认模型，确保新用户登录后直接进入最佳工作状态，无需手动切换复杂的模型选项。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main
# 输入上述命令后，终端输出类似如下信息表示启动成功：
# Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
# Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
# CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
# a1b2c3d4e5f6 ghcr.io/open-webui/open-webui:main "./entrypoint.sh" 2 seconds ago Up 1 second 0.0.0.0:3000->8080/tcp focused_swanson
# 此时访问 localhost:3000 即可看到登录与初始化界面| 方案 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| Open WebUI | 界面美观，开箱即用，支持多模型切换 | 占用一定内存与磁盘空间 | 个人体验与团队内部演示 |
| 原生 API 调用 | 无额外开销，易于程序集成 | 缺乏图形界面，调试不便 | 后端服务自动化流水线 |
| Chatbox 等客户端 | 桌面端体验，体积小 | 功能相对单一，扩展性弱 | 轻量级个人快速问答 |
我们强烈推荐在本地部署大模型时首选 Open WebUI 作为前端交互方案。它极大地降低了普通用户的使用门槛，让我们能够专注于模型本身的性能表现与业务逻辑验证。下一步，我们建议在管理员面板中完成默认模型绑定，并邀请团队成员注册体验，全面评估 DeepSeek 与 Qwen 在实际业务场景中的生成质量。
六、高阶进阶：vLLM/SGLang团队级部署
当我们把模型从个人体验推向团队共用时，Ollama 这类单机工具会迅速暴露出并发短板。多个同事同时发起请求时，Ollama 只能排队串行处理，响应时间随人数线性恶化。这时候我们就要切换到 vLLM 或 SGLang 这类专为高并发设计的推理引擎，它们通过连续批处理（continuous batching）和 PagedAttention 等技术，把 GPU 利用率压榨到极限。
如果团队不想自己维护 GPU 机器，阿里云 PAI Model Gallery 是最快的起步方式。我们在模型列表里搜索 DeepSeek-R1-Distill-Qwen-7B，进入详情页点击部署，推理引擎直接选择 SGLang 或 vLLM 即可。默认使用公有资源时，推荐规格是 ecs.gn7i-c16g1.4xlarge（16 vCPU、60 GiB、NVIDIA A10 × 1），费用约 11.1 元/小时，整个过程不需要写任何代码。
这里有一个必须牢记的成本陷阱：公有资源从实例拉起的那一刻起就按时长计费，即使没有任何调用也照常扣费。大型模型（如满血版 DeepSeek-R1）的加载本身就需要 20-30 分钟，这段时间同样在计费。我们完成压测后必须第一时间在控制台停止服务，避免不必要的开支。
# 启动 vLLM 服务（单机单卡示例）
python -m vllm.entrypoints.openai.api_server \
--model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
--host 0.0.0.0 --port 8000
# 发送测试请求（输入示例）
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-7B","messages":[{"role":"user","content":"用一句话介绍你自己"}]}'
# 输出说明：返回标准 OpenAI 格式 JSON，
# choices[0].message.content 字段即模型回复文本，
# usage 字段统计本次请求的 token 用量，可直接对接团队现有客户端。| 方案 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| Ollama 单机部署 | 安装简单，一键下载模型 | 无连续批处理，并发能力弱 | 个人学习、轻量体验 |
| 自建 vLLM 服务 | PagedAttention 提升吞吐，OpenAI 兼容 API | 需自行维护 GPU 机器与依赖环境 | 团队内部标准化 API 调用 |
| 自建 SGLang 服务 | RadixAttention 前缀共享，结构化输出强 | 配置门槛更高，生态相对较新 | 多轮对话、Agent 复杂工作流 |
| 阿里云 PAI Model Gallery | 一键部署免运维，引擎可选 SGLang/vLLM | 公有资源按时长计费，需及时停止 | 快速验证、短期压测 |
vLLM 和 SGLang 我们应该怎么选？
团队需求以标准问答和 API 调用为主时，我们选 vLLM，它的生态成熟、文档齐全、踩坑资料多。当业务包含大量多轮对话或 Agent 调用、存在大量重复前缀时，SGLang 的 RadixAttention 前缀缓存优势明显，我们优先选它。
PAI 公有资源部署后忘记停止服务会怎样？
公有资源从实例拉起就开始按时长计费，即使零调用也照常扣费。我们测试完成后必须立刻在控制台停止服务实例，否则费用会持续累积，满血版大模型 20-30 分钟的加载期也在计费范围内。
为什么满血版 DeepSeek-R1 部署后半小时还无法访问？
大型模型加载权重到显存本身就需要 20-30 分钟，这是正常过程而非故障。我们应耐心等待加载完成，再发起并发压测，加载期间反复重试请求没有意义。
团队并发上来后 Ollama 为什么扛不住？
Ollama 面向单机单用户设计，缺少连续批处理机制，多个请求只能排队串行执行。vLLM 和 SGLang 支持动态批处理，同等硬件下吞吐量有数量级差异，这是团队级部署必须换引擎的根本原因。
我们的明确建议是：团队先用 PAI Model Gallery 一键部署 DeepSeek-R1-Distill-Qwen-7B 完成并发压测，验证 SGLang 或 vLLM 的实际吞吐数据，再决定是否自建长期服务。压测结束后立即停止公有资源实例，把结论沉淀成团队内部的部署规范，再推进下一步的专属资源或真武 PPU（推理引擎选 SGLang、模板选单机-真武PPU）迁移。