Ollama 学习与使用指南 (Windows Linux 版)

news/2026/1/23 22:22:20/文章来源:https://www.cnblogs.com/2678066103hs/p/19524179

什么是 Ollama？

Ollama 是一个开源工具，让你能够轻松地在本地（Windows, Linux）下载、运行和管理大型语言模型（LLMs），如 Llama 3, Qwen (通义千问), Mistral 等。它将模型权重、运行环境自动封装，让你像使用 Docker 一样简单地操作 AI 模型。

快速安装

Windows 安装

Ollama 已提供原生 Windows 安装包（支持 Windows 10 及以上版本）。

下载：访问官网下载链接 Download Ollama for Windows。
安装：运行 .exe 文件，按照提示完成安装。
验证：打开 PowerShell 或命令提示符（CMD），输入ollama。

如果显示帮助信息，说明安装成功。
- 注意：安装后 Ollama 会作为后台服务自动运行，你会在任务栏右下角看到一个小羊驼图标。

Linux 安装

Linux 版本支持最好，且非常容易配置 GPU 加速。

一键安装脚本（推荐）：

curl -fsSL https://ollama.com/install.sh | sh

显卡驱动注意：

NVIDIA：请确保已安装 CUDA 驱动。
AMD：请确保已安装 ROCm 驱动。
Ollama 会自动检测硬件，如果检测到 GPU 驱动，会自动启用 GPU 加速，无需额外配置。

验证安装：

ollama -v

基础命令 (通用)

Windows (PowerShell/CMD) 和 Linux 终端下的命令完全一致。

场景	命令	示例
下载并聊天	`ollama run <模型名>`	`ollama run llama3` (如果模型不在，会自动下载)
仅下载模型	`ollama pull <模型名>`	`ollama pull qwen2`
查看已有模型	`ollama list`	`ollama list`
删除模型	`ollama rm <模型名>`	`ollama rm llama3`
复制/重命名	`ollama cp <源> <新>`	`ollama cp llama3 my-test-model`
查看详细信息	`ollama show <模型名>`	`ollama show llama3`

常用模型推荐 (Library)

请根据你的电脑配置（主要是显存/内存容量）选择模型：

Llama 3 (8B)

强烈推荐。Meta 最新模型，80 亿参数，性能强劲，8GB 内存即可流畅运行。
- 命令: ollama run llama3
Qwen 2 (7B)

通义千问，中文理解能力目前开源界顶流。
- 命令: ollama run qwen2
Mistral (7B)

性能优秀的通用模型。
- 命令: ollama run mistral
Llama 3 (70B) / Qwen 2 (72B): 超大杯模型，需要 40GB+ 显存/内存，普通电脑慎用。

高级配置：如何让局域网访问？

默认情况下，Ollama 只监听本机 (127.0.0.1:11434)。如果你想让局域网内的其他电脑连接你的 Ollama 服务，需要修改监听地址。

Linux 设置方法

Linux 下 Ollama 通常作为 systemd 服务运行。

编辑服务配置：

sudo systemctl edit ollama.service

添加环境变量：在打开的编辑器中添加以下内容：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

重启服务：保存退出后执行：

sudo systemctl daemon-reload
sudo systemctl restart ollama

Windows 设置方法

Windows 需要设置系统环境变量。

在任务栏退出 Ollama（右键右下角小羊驼图标 -> Quit）。
打开设置 -> 系统 -> 关于 -> 高级系统设置 -> 环境变量。
在“用户变量”或“系统变量”中点击新建：
- 变量名: OLLAMA_HOST
- 变量值: 0.0.0.0
点击确定保存。
重新运行 Ollama 应用程序。

模型定制 (Modelfile)

你可以通过 Modelfile 文件自定义模型的行为（例如设定固定的角色扮演）。

创建文件：新建一个名为 Modelfile 的文本文件（无后缀）。
编写内容：

# 基于哪个模型
FROM llama3# 设定参数 (例如创造性)
PARAMETER temperature 0.8# 设定系统提示词 (角色设定)
SYSTEM """
你是一个精通Linux和Windows系统的运维专家。
请用专业、简洁的技术术语回答用户的问题。
"""

构建新模型：
在终端中运行：

ollama create sysadmin-bot -f Modelfile

运行：

ollama run sysadmin-bot

Python API 调用示例

Ollama 完美兼容 OpenAI 的 API 格式。确保 Ollama 正在后台运行。

安装 OpenAI 库：

pip install openai

代码示例：

from openai import OpenAI# 连接到本地 Ollama
client = OpenAI(base_url='http://localhost:11434/v1',api_key='ollama', # key 随便填
)response = client.chat.completions.create(model='llama3', # 替换为你有的模型messages=[{'role': 'system', 'content': '你是一个 Windows 助手'},{'role': 'user', 'content': '如何查看当前 IP 地址？'}]
)print(response.choices[0].message.content)