高端入门:Ollama 本地高效部署DeepSeek模型深度搜索解决方案

目录

一、Ollama 介绍

二、Ollama下载 

2.1 官网下载

2.2 GitHub下载

三、模型库

四、Ollmal 使用

4.1 模型运行(下载)

4.2 模型提问

五、Ollama 常用命令

相关推荐


一、Ollama 介绍

        Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架。以下是对Ollama的详细解释:

  • 简化部署:Ollama旨在简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为轻量级框架,Ollama保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • 跨平台支持:Ollama提供针对macOS、Windows(预览版)、Linux以及Docker的安装指南,确保用户能在多种操作系统环境下顺利部署和使用。

二、Ollama下载 

2.1 官网下载

        Ollama 支持多平台部署,可以在官网,选择适合的平台进行下载,如下图:

2.2 GitHub下载

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models. - ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollama

三、模型库

        Ollama 支持在 ollama.com/search 上获取的模型列表,比如最近比较火的 deepseek-r1:

        不同版本的模型所需内存大小也有所不同。例如在Ollama中部署DeepSeek-R1的不同版本(1.5b、7b、8b、14b、32b、70b、671b)所需的内存大小:

DeepSeek-R1版本所需内存(大约)备注
1.5b1.1GB硬盘空间内存需求相对较低
7b4.7GB硬盘空间内存和显存需求适中
8b约4.9GB硬盘空间显存占用约6.5GB左右
14b约9GB硬盘空间内存需求较高,建议至少8GB以上内存,显存占用约13GB
32b约20GB硬盘空间需要更高的内存和显存配置,建议至少32GB内存
70b约43GB硬盘空间需要非常大的内存和显存资源,适合高端配置
671b约404GB硬盘空间这是目前提到的最大版本,所需内存和显存资源将是所有版本中最高的

        根据自身需要选择版本,如下是我之前下的几个模型的版本和所占内存大小:

四、Ollmal 使用

4.1 模型运行(下载)

        打开命令终端,输入指令 ollama run xxxx(模型名称,如deepseek-r1),若是首次运行某个模型,Ollma 会先下载对应的模型文件,然后运行模型。        

//下载7b版本
ollama run deepseek-r1//下载14b版本
ollama run deepseek-r1:14b

        可以根据不同命令下载不同版本,怎么获取命令?你可以先选中模型的版本,ollama 会根据不同的版本生成命令,如下图所示:

4.2 模型提问

五、Ollama 常用命令

  • ollama serve:该命令用于启动Ollama服务器(在不运行桌面应用程序的情况下启动 ollama;),以便运行模型和处理请求。首次启动可能会生成ssh私钥文件,并提示服务端口状态。
  • ollama start:启动服务。
  • ollama list或ollama ls:列出本地所有可用的模型。
  • ollama ps:显示当前正在运行的模型列表。
  • ollama show [模型名称]:查看特定模型的详细信息,如模型名称、版本等。
  • ollama pull [模型名称]:从模型注册表中拉取一个模型到本地使用。此命令也可以用于更新本地模型,只会拉取差异部分。
  • ollama run [模型名称]。运行一个已安装的模型,执行某些任务。可以根据需要指定模型的参数和配置。
  • ollama create [模型路径]:使用包含模型信息的 [模型路径]来创建一个新模型。
  • ollama push [模型名称]:将本地模型推送到模型注册表中,以便他人或其他系统使用。
  • ollama cp [原模型名称] [新模型名称]:复制一个模型到另一个位置或给定名称的地方。
  • ollama rm [模型名称]:删除一个已安装的模型。
  • ollama -vollama --version:显示当前Ollama工具的版本信息。

相关推荐

Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamaNeo4j 图数据库安装与操作指南(以mac为例)_neo4j安装-CSDN博客文章浏览阅读1w次,点赞78次,收藏82次。本文介绍了Neo4j图数据库的安装、配置、启动以及基本操作方法。首先,需要满足Java环境的安装要求,并可选择使用Homebrew进行安装。然后,从官方网站下载Neo4j并解压,或通过Homebrew进行安装。配置Neo4j时,可设置环境变量以简化命令操作。启动Neo4j后,可通过Cypher查询语言进行节点、关系的创建、修改、匹配和删除等操作。本文还介绍了Neo4j的其他常用命令,如查询版本、服务状态、重启、停止和卸载等。_neo4j安装https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/70307.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Windows Docker笔记-Docker容器操作

在文章《Windows Docker笔记-Docker拉取镜像》中,已经拉取成功了ubuntu镜像,本章来讲解如何通过镜像来创建容器并运行容器。 这里再类比一下,加深理解,比如,我们现在想开一个玩具厂,我们的最终目的肯定是想…

k8s,1.修改容器内主机名和/etc/hosts 文件,2.root特权容器,3.pod安全策略(基于名称空间

1.修改容器内主机名和/etc/hosts 文件,让持久生效,通过修改资源清单方式---kind: PodapiVersion: v1metadata:name: rootspec:hostname: myhost # 修改主机名hostAliases: # 修改 /etc/hosts- ip: 192.168.88.240 # IP 地址hostnames: # 名…

Java语法糖详解

前言 在现代编程语言的发展历程中,语法糖(Syntactic Sugar)作为一种提升代码可读性和开发效率的重要特性,已经成为语言设计的重要组成部分。Java作为一门成熟且广泛应用的编程语言,在其长期演进过程中,语法…

深度学习 - 神经网络的原理

## 深度学习 - 神经网络的原理 深度学习是机器学习的一个分支,其核心是模拟人脑神经网络的结构和功能,构建多层的神经网络模型,从数据中学习特征并进行预测或分类。 **神经网络的基本原理:** 1. **神经元模型:** * 神经网…

机器学习中的关键概念:通过SKlearn的MNIST实验深入理解

欢迎来到我的主页:【Echo-Nie】 本篇文章收录于专栏【机器学习】 1 sklearn相关介绍 Scikit-learn 是一个广泛使用的开源机器学习库,提供了简单而高效的数据挖掘和数据分析工具。它建立在 NumPy、SciPy 和 matplotlib 等科学计算库之上,支持…

【深度学习框架】MXNet(Apache MXNet)

MXNet(Apache MXNet)是一个 高性能、可扩展 的 开源深度学习框架,支持 多种编程语言(如 Python、R、Scala、C 和 Julia),并能在 CPU、GPU 以及分布式集群 上高效运行。MXNet 是亚马逊 AWS 官方支持的深度学…

Java数据结构与算法之“树”

目录 一、什么是树 ​编辑 二、树的相关组成 1. 常用名词 2.需要了解的名词 三、树的分类 (一)初级树 1.普通树 2.二叉树 (二)中级树 1.哈夫曼树HuffmanTree 2.二叉搜索树BST 3.平衡二叉树AVL (三&#x…

【Linux】27.Linux 多线程(1)

文章目录 1. Linux线程概念1.1 线程和进程1.2 虚拟地址是如何转换到物理地址的1.3 线程的优点1.4 线程的缺点1.5 线程异常1.6 线程用途 2. Linux进程VS线程2.1 进程和线程2.2 关于进程线程的问题 3. Linux线程控制3.1 POSIX线程库3.2 创建线程3.3 线程终止3.4 线程等待3.5 分离…

SpringAI系列 - 使用LangGPT编写高质量的Prompt

目录 一、LangGPT —— 人人都可编写高质量 Prompt二、快速上手2.1 诗人 三、Role 模板3.1 Role 模板3.2 Role 模板使用步骤3.3 更多例子 四、高级用法4.1 变量4.2 命令4.3 Reminder4.4 条件语句4.5 Json or Yaml 方便程序开发 一、LangGPT —— 人人都可编写高质量 Prompt La…

2025.2.6

一、C思维导图: 二、C: 三、注释代码 1> 配置文件:.pro文件 QT core gui # 引入的类库,core表示核心库 gui图形化界面库greaterThan(QT_MAJOR_VERSION, 4): QT widgets # 超过版本4的qt,会自动加widgets…

vue2-插槽slot

文章目录 vue2-插槽slot1. 什么是slot2. slot分类2.1 默认插槽2.2 具名插槽2.3 作用域插槽 vue2-插槽slot 1. 什么是slot 在vue中,slot翻译为插槽,简单点说,就是在子组件内放置一个插槽,等待父组件在使用子组件的时候决定放什么…

【算法应用】Alpha进化算法求解二维栅格路径规划问题

目录 1.算法原理2.二维路径规划数学模型3.结果展示4.参考文献5.代码获取 1.算法原理 Alpha进化:一种具有进化路径自适应和矩阵生成的高效进化算法 2.二维路径规划数学模型 栅格法模型最早由 W.E. Howden 于 1968 年提出,障碍物的栅格用黑色表示&#…

《深度洞察ICA:人工智能信号处理降维的独特利器》

在人工智能技术飞速发展的今天,信号处理作为关键环节,面临着数据维度不断攀升的挑战。高维信号数据虽蕴含丰富信息,但也给处理和分析带来诸多难题,如计算资源消耗大、分析复杂度高、模型易过拟合等。独立成分分析(ICA&…

ubuntu20.04+RTX4060Ti大模型环境安装

装显卡驱动 这里是重点,因为我是跑深度学习的,要用CUDA,所以必须得装官方的驱动,Ubuntu的附件驱动可能不太行. 进入官网https://www.nvidia.cn/geforce/drivers/,选择类型,最新版本下载。 挨个运行&#…

vmware虚拟机可以使用Windows的GPU吗

是的,VMware虚拟机可以使用Windows的GPU,但这需要满足一定的条件,并且需要进行一些配置。以下是关键点: 1. 硬件要求 GPU支持直通(Passthrough):你的物理GPU必须支持硬件直通(VT-d…

Spring Boot 2 快速教程:WebFlux优缺点及性能分析(四)

WebFlux优缺点 【来源DeepSeek】 Spring WebFlux 是 Spring 框架提供的响应式编程模型,旨在支持非阻塞、异步和高并发的应用场景。其优缺点如下: 优点 高并发与低资源消耗 非阻塞 I/O:基于事件循环模型(如 Netty)&am…

DeepSeek 硅基流动

DeepSeek 硅基流动 🎁 四大神仙优势🌟 三步拥有官网同款671B大模型1️⃣ 戳这里👉 国内直连通道2️⃣ 复制API密钥3️⃣ 安装Chatbox贴进软件秒变AI大佬 📁 网盘地址:(所用到的软件可以直接下载&#xff09…

利用UNIAPP实现短视频上下滑动播放功能

在 UniApp 中实现一个短视频上下滑动播放的功能,可以使用 swiper 组件来实现滑动效果,并结合 video 组件来播放短视频。以下是一个完整的示例,展示如何在 UniApp 中实现这一功能。 1. 创建 UniApp 项目 如果你还没有创建 UniApp 项目,可以使用 HBuilderX 创建一个新的项目…

ES6 变量解构赋值总结

1. 数组的解构赋值 1.1 基本用法 // 基本数组解构 const [a, b, c] [1, 2, 3]; console.log(a); // 1 console.log(b); // 2 console.log(c); // 3// 跳过某些值 const [x, , y] [1, 2, 3]; console.log(x); // 1 console.log(y); // 3// 解构剩余元素 const [first, ...re…

数据库迁移后在密码不知道的情况下重建DBLINK

9i和10gR1版本之前,所有 dblink 的密码都是以明文方式在 sys.link$ 中的password字段中存储。可以直接通过查询sys.link$基表进行SQL拼接来完成迁移dblink。 select create database link ||NAME || connect to || USERID || identified by || password || using…