1. Ollama 与 Conda 部署模型的区别
| Ollama | Conda |
|---|---|
| 自动管理推理环境 | 需手动配置环境CUDA+Ptorch等等 |
| 一条命令启动模型 | 需要写代码加载模型 |
| 内置量化和优化 | 需要手动配置 |
| 易于远程访问 | 需自己写服务API接口 |
一句话总结：
Ollama = 快速部署、开箱即用的 LLM 服务
Conda = 灵活自定义、科研开发的 Python 环境工具
2.Ollama安装与模型存储位置问题
Ollama安装非常简单一条命令就能完成安装
模型存储位置问题
echo 'export OLLAMA_MODELS=/path/to/your/models' >> ~/.bashrc # 或 ~/.zshrc
source ~/.bashrc # 重新加载配置
重新加载配置.bashrc还不够，必须重启Ollama服务。
3.Ollama的启动问题
方式 1：交互方式
Linux在此方法启动后，能直接在跟模型进行对话。
ollama run <模型名称>
方式 2：systemd 服务常驻
Ollama会直接开机自启动，推荐使用
4.Ollama中的大模型加载
只要Ollama是处在启动状态，外部的API调用会自动触发加载对应的大模型。
第一次调用时模型加载到内存
之后调用立即响应
适合脚本化或远程调用
5.Ollama中部署qwen2.5vl:7b
成功部署qwen2.5vl:7b，不用环境配置，非常轻松
（未完成）应公司要求，需要让qwen2.5vl:7b模型提取整个PDF文件，提取想要的内容并转化为json格式。
然而模型只接受jpg等文件，不能使用PDF，需要用python调用本地HTTP接口，再封装API接口给后端开发人员
受限于时间问题，暂时没有解决
