SpringAI-本地大模型

1.本地大模型的定义

本地⼤模型（ Local Large Model ）是指不依赖于云端计算资源，⽽是部署和运⾏在本地设备上的⼤规模⼈⼯智能模型。这些模型通常具有较强的计算能⼒和存储需求，因此通常在⾼性能的本地硬件（如⾼性能计算机、专⽤服务器、甚⾄边缘设备）上运⾏。与传统的云端⼤模型不同，本地⼤模型将数据处理和推理任务限制在本地，不依赖外部服务器或云平台。

2.优缺点

优点：

数据安全和隐私保护：本地⼤模型不需要将数据上传到云端，减少了数据泄露的⻛险。
减少依赖：不需要稳定的⽹络连接，适合⽹络环境较差的地区。
降低延迟：数据处理和推理在本地进⾏，减少了⽹络延迟。

缺点：

硬件要求⾼：本地⼤模型需要⾼性能的硬件⽀持，增加了部署成本。
维护复杂：需要专业的技术⽀持来安装、配置和优化模型，增加了维护难度。
资源占⽤⼤：本地⼤模型占⽤⼤量的计算资源和存储空间，可能对设备性能有较⾼要求。

本地部署意味着需要⼀次性投资于⾼性能的计算硬件。尽管这可能增加⼀些⽤户的经济成本，但它提供了⻓期的成本效益，尤其是对于那些有持续⾼强度使⽤需求的⽤户。个⼈⽤户通过本地部署能够获得更⼤的控制权和⾃定义能⼒，这可能对于研究⼈员或开发者特别有价值。然⽽，需要注意的是，本地部署也意味着⽤户必须具备⼀定的技术能⼒来配置和维护系统。

3.应用场景

企业内部分析和决策⽀持：在企业内部部署本地⼤模型，⽤于数据分析、预测和市场趋势研究。
教育和科研：在实验室或研究机构内部署本地⼤模型，⽤于复杂的模拟和计算任务。
工业自动化：在⼯⼚或⽣产线上部署本地⼤模型，⽤于实时监控和优化⽣产过程。

4.硬件需求

本地⼤模型的推理性能和速度直接受限于个⼈或组织的硬件配置，如处理器、内存和存储空间等。要保证速度，需要显卡和⾼速内存，⼀般⽽⾔，显卡是必须的。

具体内存来说：

对于70亿参数的模型，推荐⾄少配备 16GB 的系统内存（ RAM ）。
130亿参数的模型，建议使⽤ 32GB 内存。
对于700亿参数的模型，⼀般推荐使⽤ 64GB 内存，尽管有报告称 32GB 内存也能运⾏，但可能会⾮常卡顿。

对于运算处理，更多的依赖 CPU 和 GPU ：

CPU ：中央处理单元是通⽤计算的核⼼，设计⽤于处理多任务、逻辑性强的事物处理和串⾏计算。
GPU ：图形处理单元包含成百上千个较⼩、更专⽤的处理核⼼，这使得它在执⾏并⾏任务时更加⾼效，例如⼤规模数学计算和数据处理。量化后的模型显存需求：即使是经过量化的模型（如 ChatGLM2-6B INT4 ），也需要⾄少 5GB 以上的显存。

这种并⾏处理能⼒使 GPU 特别适合于机器学习和深度学习模型训练，因为这些任务通常涉及⼤量的矩阵运算和数据并⾏处理，⽽ CPU 在处理这类任务时会受到其串⾏计算限制的影响。以 MacOS 为例，虽然 Mac 的 m 系列芯⽚集成了 CPU 和 GPU 的功能，但 GPU 的性能远不如独⽴显卡提供的性能。所以对 Mac ⽽⾔，只适合做⼀些中轻量级的机器学习任务。

5.Ollama技术

5.1简介

Ollama 是⼀个强⼤的本地⼤语⾔模型运⾏框架，它让⽤户能够在本地设备上轻松运⾏和管理各种⼤语⾔模型。它⽀持多种编程语⾔（如 Python 、 Java 等）和框架（如 TensorFlow 、 PyTorch 等）。

能直接运⾏⼤模型，与⼤模型进行对话。

ollama 命令具有管理⼤模型的能力。
利⽤ cpu 运⾏⼤模型。
本地⼤模型安全可靠。
终端直接开始聊天。
社区提供了⽀持 web api ⽅式访问 WebUI 。

Ollama 的主要特点包括：简单易⽤， Ollama 提供了简洁的 API 和命令⾏⼯具，使得模型部署变得简单快捷。

ollama是AI大模型的管理平台，大部分开源的大模型，我们可以在ollama上进行安装部署。

5.2ollama的安装

5.2.1下载

进入官网https://ollama.com/ 进行下载

下载后双击进行安装

默认安装到C盘，如果不想安装到C盘可以用命令安装

OllamaSetup.exe /DIR=E:\MySoftware\Ollama

5.3ollama指令

打开命令窗口输入：

ollama help

会看到ollama的相关指令

serve Start ollama
create Create a model
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
signin Sign in to ollama.com
signout Sign out from ollama.com
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command