本地部署deepseek

ollama安装

ollama官网

前提条件

已安装英伟达驱动和cuda

linux脚本安装

1
curl -fsSL https://ollama.com/install.sh | sh

大概率遇到github超时问题

  • 替换脚本中的下载链接
1
2
3
4
5
# 源地址
https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}

# 替换为
https://gh-proxy.com/github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64.tgz

修改ollama服务配置

/etc/systemd/system/ollama.service

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_MODELS=/export/ollama/models"
Environment="http_proxy=http://xxxx:3103"
Environment="https_proxy=http://xxxx:3103"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target
  • 添加以下内容
1
2
3
4
5
6
7
8
# 自定义模型存储地址
Environment="OLLAMA_MODELS=/export/ollama/models"
# 使用代理需要设置
Environment="http_proxy=http://xxxx:3103"
Environment="https_proxy=http://xxxx:3103"
# 允许其他服务器访问
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
  • 重启ollama
1
2
systemctl daemon-reload
systemctl restart ollama

启动deepseek模型

deepseek-r1

  • 拉取大模型
1
ollama pull deepseek-r1:32b

网络不好的话会很慢

  • 运行大模型
1
ollama run deepseek-r1:32b

PixPin_2025-02-08_13-27-08

Cherry Studio

下载地址

ollama服务端口默认为11434

PixPin_2025-02-08_13-30-19

PixPin_2025-02-08_13-32-32

open-webui

open-webui

安装python3.11

  • 源码编译安装

Python-3.11.11.tgz

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash

# 定义变量
INSTALL_DIR="/opt/python311"

apt-get install -y libffi-dev sqlite3 libsqlite3-dev build-essential libbz2-dev

# 配置编译选项
echo "正在配置编译选项..."
./configure \
  --prefix=${INSTALL_DIR} \
  --enable-optimizations \
  --with-ensurepip=install

# 编译源码
echo "正在编译源码..."
make -j$(nproc)

# 安装 Python
echo "正在安装 Python 到 ${INSTALL_DIR}..."
make install

# 验证安装
echo "验证安装结果..."
${INSTALL_DIR}/bin/python3 --version
${INSTALL_DIR}/bin/pip3 --version

echo "Python 编译安装完成！"

安装open-webui

  • 创建虚拟环境
1
2
3
4
5
# 创建虚拟环境
/opt/python311/bin/python3 -m venv /opt/venv/bin/

# 激活虚拟环境
source /opt/venv/bin/activate
  • pip配置国内源
1
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  • pip安装open-webui
1
pip install open-webui
  • 启动
1
open-webui &
  • 浏览器访问8080端口

PixPin_2025-02-08_13-55-36

计算
#LLM #deepseek #gpu
本地部署deepseek
https://blog.erhuoyan.cn/2025/02/06/cfe01b11d2e5/
作者
erhuoyan
发布于
2025年2月6日
许可协议