Win本地安装Ollama+本地运行大模型+Cherrystudio使用

0. 前言

       本文主要介绍 win 本地安装 Ollama ,本地部署 Ollama 的 deepseek-r1:7b 大模型,使用具有界面画操作的工具 Cherrystudio进行操作。文章内容仅供参考。

1. Ollama简介

‌       ‌Ollama 是一个开源的框架,旨在本地运行大型语言模型(LLM)。它提供了一个简洁且用户友好的命令行界面,使得用户可以轻松部署和管理各种开源的大型语言模型‌。

2. Ollama的下载

     进入Ollama官网主页:Ollama
 ,ollama官网提供 支持macOS, Linux 和 Windows 系统的ollama,自己可根据情况选择支持自己系统的ollama。本文以 win 系统为案例。点击下载按钮,获取 OllamaSetup.exe 安装程序。

​ 3. Ollam的安装

       双击安装文件,点击「Install」开始安装。目前的Ollama会默认安装到C盘,路径如下:C:\Users%username%\AppData\Local\Programs\Ollama,并不会让用户自定义选择安装路径。

4. 配置环境变量

       安装完成后,可以不用先启动Ollama,点击退出的按钮「Quit Ollama」,先退出做一些必要路径的配置,否则下边的环境配置无法生效!

       打开「系统环境变量」,新建一个系统变量OLLAMA_MODELS ,然后设置ollama模型的存储路径,后面ollama下载的模型会自动存储在此目录,减少C盘磁盘空间的占用。

变量名:OLLAMA_MODELS

变量值(路径):E:\Ollama\models

5. 自选项(可自选)

    下面内容是可选的,根据自己情况选择。(本人默认不选)

5.1 关闭开机自启动(可选)

     Ollama 默认会随 Windows 自动启动,可以在「文件资源管理器」的地址栏中访问以下路径,删除其中的Ollama.lnk快捷方式文件,阻止它自动启动。

文件目录输入:%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup

     

     删除开启自启的快捷方式

5.2. 配置端口(可选):

       Ollama API 的默认访问地址和侦听端口是http://localhost:11434,只能在装有 Ollama 的系统中直接调用。
      如果要在网络中提供服务,请修改 API 的侦听地址和端口(在系统环境变量里设):

变量名:OLLAMA_HOST

变量值(端口)::8000

只填写端口号,可以同时侦听(所有) IPv4 和 IPv6 的:8000 端口。(注意:变量值的端口前号前有个冒号 : )

注:要使用 IPv6,需要 Ollama 0.0.20 或更高版本。另外,可能需要在 Windows 防火墙中开放相应端口的远程访问。

 5.3. 允许浏览器跨域请求(可选):

      Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求,如果你计划在其它前端面板中调用 Ollama API,比如Open WebUI,建议放开跨域限制:

变量名:OLLAMA_ORIGINS

变量值:*

6. Ollama官网查找模型

       在Ollama官网查找需要的模型,本文以 deepseek-r1的7b模型 为例(根据自己的电脑情况选择大小,如果是如果显存GPU<8G 或 无 GPU显卡,则可以下载1.5b)

7. 下载并运行模型

     在「开始」菜单中找到并重新启动 Ollama。找到ollama.exe的所在位置,在该位置打开cmd

C:\Users\用户名\AppData\Local\Programs\Ollama

       在cmd窗口中输入 ollama官网中找到的模型命令,本文以ollama run deepseek-r1:7b 为例。如果模型不存在,则会进行自动下载,下载后会自动运行模型。如果模型存在,则直接进行运行。启动后会显示如下形式:(>>> Send a message (/? for help))

8. 模型对话    

>>> Send a message (/? for help) 此时就可以进行对话了。

9. 下载词向量库

    在ollama官网查找 nomic-embed-text 词向量库,使用 ollama 的方式进行下载,方便后面使用RAG知识库 和 使用 Cherrystudio 应用。

10.  Cherry Studio搭建本地知识库及本模型调用

       向大家推荐一款名为Cherry Studio的创新型桌面工具,它巧妙地将多种主流的大语言模型服务集成于一身。这款工具的独特之处在于,它不仅提供了一个直观易用的可视化操作界面,还支持通过远程API接口实现跨平台的模型调用。这样一来,用户在享受高效便捷服务的同时,无需担忧本地硬件资源的限制,极大地优化了工作流程和效率。Cherry Studio为构建和管理高效的知识库开辟了一条新路径,无论是对于技术新手还是专业开发者来说,都是一个不可多得的好帮手。

10.1  Cherry Studio 下载

Cherry官网地址:Cherry Studio - 全能的AI助手

       选择适配自己操作系统的版本进行下载。

​​

10.2  Cherry Studio 安装

         默认安装就可以,安装完成界面如下: 

​​

 10.3 模型的服务选择

      本文以  ollama 框架服务为例。

​​ 10.4 模型的选择

​​

​​ 10.5 默认模型选择

        默认模型选择自己下载到本地的模型,本文以 deepseek-r1:7b为例。

​​

10.6  检测模型是否可用

        点击检查,选择自己需要的模型,本文以为下载到本地的deepseek-r1:7b为例。

​​

 10.7 进入聊天模型进行提问

​​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/70345.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

用户点击商品埋点的实现方案

在高并发、可扩展性和高可用性的前提下&#xff0c;实现用户点击商品的埋点&#xff0c;方案应包括 数据采集、数据传输、数据存储和数据分析 四个主要环节。下面是一个完整的埋点实现方案&#xff1a; 1. 方案架构 整体流程&#xff1a; 前端埋点&#xff1a;用户点击商品时…

【C++】AVLTree(AVL树)简单模拟

文章目录 1.AVL树的结点2.AVL树的插入3.AVL树的旋转3.1 新节点插入较高左子树的左侧---左左&#xff1a;右单旋3.2 新节点插入较高右子树的右侧---右右&#xff1a;左单旋3.3 新节点插入较高左子树的右侧---左右&#xff1a;先左单旋再右单旋3.4 新节点插入较高右子树的左侧---…

零基础Vue入门6——Vue router

本节重点&#xff1a; 路由定义路由跳转 前面几节学习的都是单页面的功能&#xff08;都在专栏里面https://blog.csdn.net/zhanggongzichu/category_12883540.html&#xff09;&#xff0c;涉及到项目研发都是有很多页面的&#xff0c;这里就需要用到路由&#xff08;vue route…

【数据结构】(6) LinkedList 链表

一、什么是链表 1、链表与顺序表对比 不同点LinkedListArrayList物理存储上不连续连续随机访问效率O(N)O(1&#xff09;插入、删除效率O(1)O(N) 3、链表的分类 链表根据结构分类&#xff0c;可分为单向/双向、无头结点/有头节点、非循环/循环链表&#xff0c;这三组每组各取…

使用Pygame制作“俄罗斯方块”游戏

1. 前言 俄罗斯方块&#xff08;Tetris&#xff09; 是一款由方块下落、行消除等核心规则构成的经典益智游戏&#xff1a; 每次从屏幕顶部出现一个随机的方块&#xff08;由若干小方格组成&#xff09;&#xff0c;玩家可以左右移动或旋转该方块&#xff0c;让它合适地堆叠在…

(苍穹外卖)项目结构

苍穹外卖项目结构 后端工程基于 maven 进行项目构建&#xff0c;并且进行分模块开发。 1). 用 IDEA 打开初始工程&#xff0c;了解项目的整体结构&#xff1a; 对工程的每个模块作用说明&#xff1a; 序号名称说明1sky-take-outmaven父工程&#xff0c;统一管理依赖版本&…

【漫画机器学习】082.岭回归(或脊回归)中的α值(alpha in ridge regression)

岭回归&#xff08;Ridge Regression&#xff09;中的 α 值 岭回归&#xff08;Ridge Regression&#xff09;是一种 带有 L2​ 正则化 的线性回归方法&#xff0c;用于处理多重共线性&#xff08;Multicollinearity&#xff09;问题&#xff0c;提高模型的泛化能力。其中&am…

websocket自动重连封装

websocket自动重连封装 前端代码封装 import { ref, onUnmounted } from vue;interface WebSocketOptions {url: string;protocols?: string | string[];reconnectTimeout?: number; }class WebSocketService {private ws: WebSocket | null null;private callbacks: { [k…

【华为OD-E卷 - 115 数组组成的最小数字 100分(python、java、c++、js、c)】

【华为OD-E卷 - 数组组成的最小数字 100分&#xff08;python、java、c、js、c&#xff09;】 题目 给定一个整型数组&#xff0c;请从该数组中选择3个元素组成最小数字并输出 &#xff08;如果数组长度小于3&#xff0c;则选择数组中所有元素来组成最小数字&#xff09; 输…

在Vue3 + Vite 项目中使用 Tailwind CSS 4.0

文章目录 首先是我的package.json根据官网步骤VS Code安装插件验证是否引入成功参考资料 首先是我的package.json {"name": "aplumweb","private": true,"version": "0.0.0","type": "module","s…

AURIX TC275学习笔记4 官方GTM例程 GTM_TOM_PWM_1

文章目录 概述其他例程 代码分析IfxGtm_enable()IfxGtm_Cmu_enableClocks&#xff08;&#xff09;IfxGtm_Tom_Pwm_initConfig&#xff08;&#xff09;IfxGtm_Tom_Pwm_init&#xff08;&#xff09;IfxGtm_Tom_Pwm_start&#xff08;&#xff09;fadeLED() 概述 目的&#xf…

ASP.NET Core中间件的概念及基本使用

什么是中间件 中间件是ASP.NET Core的核心组件&#xff0c;MVC框架、响应缓存、身份验证、CORS、Swagger等都是内置中间件。 广义上来讲&#xff1a;Tomcat、WebLogic、Redis、IIS&#xff1b;狭义上来讲&#xff0c;ASP.NET Core中的中间件指ASP.NET Core中的一个组件。中间件…

app专项测试(网络测试流程)

一、网络测试的一般流程 step1&#xff1a;首先要考虑网络正常的情况 ① 各个模块的功能正常可用 ② 页面元素/数据显示正常 step2&#xff1a;其次要考虑无网络的情况 ① APP各个功能在无网络情况下是否可用 ② APP各个页面之间切换是否正常 ③ 发送网络请求时是…

Vue el-input密码输入框 按住显示密码,松开显示*;阻止浏览器密码回填,自写密码输入框;校验输入非汉字内容;文本框聚焦到内容末尾;

输入框功能集合 <template><div style"padding: 10px"><!-- 密码输入框 --><el-input:type"inputType"v-model"password"placeholder"请输入密码"auto-complete"new-password"id"pwd"style…

【数据结构】_复杂度

目录 1. 算法效率 2. 时间复杂度 2.1 时间复杂度概念 2.2 准确的时间复杂度函数式 2.3 大O渐进表示法 2.4 时间复杂度的常见量级 2.5 时间复杂度示例 3. 空间复杂度 3.1 空间复杂度概念 3.2 空间复杂度示例 1. 算法效率 一般情况下&#xff0c;衡量一个算法的好坏是…

Day48_20250130【回校继续打卡】_单调栈part1_739.每日温度|496.下一个更大元素I|503.下一个更大元素II

Day48_20250130_单调栈part1_739.每日温度|496.下一个更大元素I|503.下一个更大元素II 20250130补完 739.每日温度 题目 给定一个整数数组 temperatures &#xff0c;表示每天的温度&#xff0c;返回一个数组 answer &#xff0c;其中 answer[i] 是指对于第 i 天&#xff0…

ASP.NET Core中间件Markdown转换器

目录 需求 文本编码检测 Markdown→HTML 注意 实现 需求 Markdown是一种文本格式&#xff1b;不被浏览器支持&#xff1b;编写一个在服务器端把Markdown转换为HTML的中间件。我们开发的中间件是构建在ASP.NET Core内置的StaticFiles中间件之上&#xff0c;并且在它之前运…

Text2Sql:开启自然语言与数据库交互新时代(3030)

一、Text2Sql 简介 在当今数字化时代&#xff0c;数据处理和分析的需求日益增长。对于众多非技术专业人员而言&#xff0c;数据库操作的复杂性常常成为他们获取所需信息的障碍。而 Text2Sql 技术的出现&#xff0c;为这一问题提供了有效的解决方案。 Text2Sql&#xff0c;即文…

将Deepseek接入pycharm 进行AI编程

目录 专栏导读1、进入Deepseek开放平台创建 API key 2、调用 API代码 3、成功4、补充说明多轮对话 总结 专栏导读 &#x1f338; 欢迎来到Python办公自动化专栏—Python处理办公问题&#xff0c;解放您的双手 &#x1f3f3;️‍&#x1f308; 博客主页&#xff1a;请点击——…

【人工智能】使用Python实现图像风格迁移:理论、算法与实践

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门! 解锁Python编程的无限可能:《奇妙的Python》带你漫游代码世界 图像风格迁移是一种利用深度学习技术将一张图像的内容与另一张图像的风格相结合的技术。本文将深入探讨图像风格迁移的基本理论和实现方法,…