百万 Token 上下文！DeepSeek V4 部署避坑手册，新手 Windows/Mac 一键运行步骤

# Windows：设置模型下载路径（可选）
# 在系统环境变量中添加：
OLLAMA_MODELS = D:\ollama_models

# Mac/Linux：设置允许远程访问（可选）
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

# 下载 DeepSeek R1 7B 模型（约 4.7GB）
ollama run deepseek-r1:7b

# 下载 DeepSeek R1 8B 模型
ollama run deepseek-r1:8b

# 下载 DeepSeek R1 14B 模型（需 16GB 显存）
ollama run deepseek-r1:14b

# 下载 DeepSeek R1 32B 模型（需 32GB 显存）
ollama run deepseek-r1:32b

# 下载 DeepSeek R1 70B 模型（需 80GB+ 显存）
ollama run deepseek-r1:70b

# 下载 DeepSeek V4-Flash（量化版，Hugging Face 权重）
# 关注 Ollama 社区镜像更新，或通过 huggingface-cli 下载后转换
ollama run deepseek-ai/deepseek-v4-flash

ollama list

# 安装 Open WebUI
pip install open-webui

# 启动服务
open-webui serve

# 浏览器访问 http://localhost:8080
# 首次使用需注册，之后即可在 Web 界面中使用

# 安装 vLLM（需要 Python 环境）
pip install vllm

# 或通过源码安装（获取最新功能）
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

# 安装 huggingface-cli
pip install huggingface_hub

# 登录 Hugging Face（需申请 DeepSeek 模型访问权限）
huggingface-cli login

# 下载 DeepSeek V4-Flash 权重
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash

# 下载 DeepSeek V4-Pro 权重
huggingface-cli download deepseek-ai/DeepSeek-V4-Pro

# 启动 DeepSeek V4-Flash（INT4 量化版）
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 1 \
  --quantization awq \
  --max-model-len 131072

# 多卡部署（两张 A100 80GB）
# python -m vllm.entrypoints.openai.api_server \
#   --model deepseek-ai/DeepSeek-V4-Flash \
#   --tensor-parallel-size 2 \
#   --quantization awq \
#   --max-model-len 131072

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash",
    "messages": [
      {"role": "system", "content": "你是一个专业助手"},
      {"role": "user", "content": "用 Python 写一个快速排序算法"}
    ],
    "max_tokens": 512
  }'

ollama run deepseek-r1:7b

# 通过 Homebrew 安装
brew install ollama

# 或访问 ollama.com 下载安装包

# M1 Mac 推荐：DeepSeek R1 7B
ollama run deepseek-r1:7b

# M1 Pro/Max/Ultra 或统一内存 32GB+：可尝试 14B
ollama run deepseek-r1:14b

# 安装 Page Assist（Chrome 扩展）
# 或安装 Open WebUI
pip install open-webui
open-webui serve
# 浏览器访问 http://localhost:8080