一、安装 Miniconda
1. 下载 Miniconda 安装脚本
x86_64 架构：
cd ~
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
ARM 架构（如树莓派或 Apple Silicon 的 Linux 虚拟机）：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
2. 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
- 按回车阅读许可协议（可按 q 跳过）。
- 输入
yes接受协议。 - 安装路径默认为
~/miniconda3，直接回车即可。 - 是否初始化 conda？输入
yes（这样会自动配置 PATH）。
3. 重新加载 shell 配置
source ~/.bashrc
如果你用的是
zsh，则source ~/.zshrc
验证安装：
conda --version
python --version
4. 配置清华镜像（加速下载）
清华镜像站提供了 Conda 和 pip 的国内加速源。
- 添加 Conda 清华镜像（推荐使用 .condarc 配置文件）
运行以下命令生成配置文件：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ # 可选# 设置搜索时显示通道地址
conda config --set show_channel_urls yes
注意：不要添加 defaults 通道的清华镜像，因为清华已将 main 和 free 分开。
- （可选）禁用默认的 Anaconda 通道（避免回源）
conda config --remove channels defaults
- 查看当前配置
conda config --show channels
你应该看到类似：
channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
二、安装 Xinference
1. 创建并激活 conda 环境
conda create -n xinference python=3.11 -y
conda activate xinference
重点：Python最新版本推荐3.11，不然会有各种报错
- 如果后续用
pip，也可以配置 pip 清华源：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
2. 安装 Xinference
首先安装以下依赖非常重要！！（最容易报错，提前解决）：
# 从 conda-forge 安装 pynini（自动解决 OpenFST 依赖）
conda install -c conda-forge pynini
可选（通常不需要，可以跳过）：先用 conda 安装部分依赖：
# 安装 PyTorch（根据你的 CUDA 版本选择）
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia# 安装其他可能的依赖（可选）
conda install -c conda-forge sentencepiece protobuf
使用 pip 安装最新版：
pip install "xinference[all]"
[all]表示安装所有可选依赖（包括 GPU 支持、多模态模型等）。如果你只需要基础功能，可以只运行pip install xinference。
可以加上镜像加速，比如：pip install "xinference[all]" -i https://pypi.doubanio.com/simple
3. 验证安装
xinference --help
如果输出帮助信息，说明安装成功。
三、设置 Xinference 开机自启动
1. 创建 systemd 服务文件
sudo vim /etc/systemd/system/xinference.service
粘贴以下内容（请根据你的用户名和路径修改）：
[Unit]
Description=Xinference Service
After=network.target[Service]
Type=simple
User=你的实际用户名
Group=你的实际用户名
WorkingDirectory=/home/你的实际用户名
Environment=PATH=/home/你的实际用户名/miniconda3/envs/xinference/bin
ExecStart=/home/你的实际用户名/miniconda3/envs/xinference/bin/xinference-local --host 0.0.0.0 --port 9997
Restart=always
RestartSec=10[Install]
WantedBy=multi-user.target
说明：
--host 0.0.0.0允许外部访问（如需仅本地访问，改为127.0.0.1）。--port 9997是默认端口，可按需修改。- 确保路径
/home/你的实际用户名/miniconda3/envs/xinference/bin/xinference-local存在。可通过which xinference-local查看实际路径。
2. 重载 systemd 配置
sudo systemctl daemon-reexec
sudo systemctl daemon-reload
3. 启用并启动服务
sudo systemctl enable xinference.service # 开机自启
sudo systemctl start xinference.service # 立即启动
4. 检查服务状态
sudo systemctl status xinference.service
如果看到 active (running)，说明服务已正常运行。
5. 查看日志（排错用）
journalctl -u xinference.service -f
四、访问 Xinference Web UI
默认情况下，Xinference 会启动一个 Web 管理界面。
在浏览器中访问：
http://<你的服务器IP>:9997
例如：http://192.168.1.100:9997
五、可选：配置防火墙（如启用）
如果你使用的是 ufw：
sudo ufw allow 9997/tcp
如果是云服务器（如 AWS、阿里云），记得在安全组中开放 9997 端口。
六、常见问题
Q1: 启动失败，提示找不到命令？
- 检查
ExecStart路径是否正确，使用which xinference-local确认。 - 确保 conda 环境已正确创建并安装了 xinference。
Q2: 如何停止服务？
sudo systemctl stop xinference.service
Q3: 如何更新 Xinference？
conda activate xinference
pip install --upgrade xinference
sudo systemctl restart xinference.service
总结
- 安装 Miniconda → 提供 Python 环境管理。
- 创建 conda 环境并安装 Xinference。
- 使用 systemd 创建开机自启服务。
- 访问 Web UI 管理模型。
按照以上步骤，你就可以在 Linux 上稳定运行 Xinference 并实现自动启动。
提示：部署具体模型，可通过 Web UI 或命令行加载。
