openwebUI访问vllm加载deepseek微调过的本地大模型

文章目录

  • 前言
  • 一、openwebui安装
  • 二、配置openwebui环境
  • 三、安装vllm
  • 四、启动vllm
  • 五、启动openwebui

前言

首先安装vllm，然后加载本地模型，会起一个端口好。
在安装openwebui,去访问这个端口号。下面具体步骤的演示。

一、openwebui安装

root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp# mkdir open-webui
root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp# cd open-webui/
root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# git clone https://github.com/open-webui/open-webui.git
Cloning into 'open-webui'...
remote: Enumerating objects: 90389, done.
remote: Counting objects: 100% (121/121), done.
remote: Compressing objects: 100% (64/64), done.
remote: Total 90389 (delta 80), reused 57 (delta 57), pack-reused 90268 (from 2)
Receiving objects: 100% (90389/90389), 174.91 MiB | 16.20 MiB/s, done.
Resolving deltas: 100% (59438/59438), done.
root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# conda create --name open-webui python=3.12
Channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch- defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done## Package Plan ##

二、配置openwebui环境

在激活虚拟环境时候，下面提示错误，让先run init，但打这个也没啥用，只需要source activate一下即可。
进入虚拟环境就安装openwebui.

root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# conda activate open-webui CondaError: Run 'conda init' before 'conda activate'root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# source activate
(base) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# conda activate open-webui 
(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# pip install open-webui
Looking in indexes: http://mirrors.aliyun.com/pypi/simple
Collecting open-webuiDownloading http://mirrors.aliyun.com/pypi/packages/76/f7/89777775051feb35049d70b9119e050b7830ed1eb07cfaa7159bd0c52cc0/open_webui-0.5.18-py3-none-any.whl (131.0 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 131.0/131.0 MB 17.1 MB/s eta 0:00:00
Collecting aiocache (from open-webui)

三、安装vllm

然后开始装vllm

(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# pip install vllm
Looking in indexes: http://mirrors.aliyun.com/pypi/simple
Collecting vllmDownloading http://mirrors.aliyun.com/pypi/packages/4f/d2/18246f43ca730bb81918f87b7e886531eda32d835811ad9f4657c54eee35/sentencepiece-0.2.0-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (1.3 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.3/1.3 MB 15.0 MB/s eta 0:00:00Downloading http://mirrors.aliyun.com/pypi/packages/8d/cf/9b775a1a1f5fe2f6c2d321396ad41b9849de2c76fa46d78e6294ea13be91/vllm-0.7.3-cp38-abi3-manylinux1_x86_64.whl (264.6 MB)━━━━━━━━━━━━━━━━━━━━╸━━━━━━━━━━━━━━━━━━━ 136.6/264.6 MB 14.5 MB/s eta 0:00:09

四、启动vllm

启动模型

(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# vllm serve /root/autodl-tmp/llm/deepseek-ai/DeepSeek-R1-Distill-Qwen-1___5B-merged
INFO 03-02 10:00:20 __init__.py:207] Automatically detected platform cuda.
INFO 03-02 10:00:20 api_server.py:912] vLLM API server version 0.7.3
INFO 03-02 10:00:20 api_server.py:913] args: Namespace(subparser='serve', model_tag='/root/autodl-tmp/llm/deepseek-ai/DeepSeek-R1-Distill-Qwen-1___5B-merged', config='', host=None, port=8000, uvicorn_log_level='info', allow_credentials=False, allowed_origins=['*'], allowed_methods=['*'], allowed_headers=['*'], api

五、启动openwebui

调用的微调模型来源
https://blog.csdn.net/weixin_41688410/article/details/145948449
配置openUI环境,因为openwebUI是默认连ollama,所以要设置为false.设置vllm启动的端口号。

(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# export HF_ENDPOINT=https://hf-mirror.com
(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# export ENABLE_OLLAMA_API=False
(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# export OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1
(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui#

上述环境配好后就可以启动open-webui

(open-webui) root@autodl-container-5fd249bc19-6ec28c15:~/autodl-tmp/open-webui# open-webui serve
Loading WEBUI_SECRET_KEY from file, not provided as an environment variable.
Converting 'chat' column to JSON
Renaming 'chat' column to 'old_chat'
Adding new 'chat' column of type JSON
Dropping 'old_chat' column
INFO  [alembic.runtime.migration] Running upgrade 242a2047eae0 -> 1af9b942657b, Migrate tags
INFO  [alembic.runtime.migration] Running upgrade 1af9b942657b -> 3ab32c4b8f59, Update tags
Primary Key: {'name': None, 'constrained_columns': []}
INFO  [alembic.runtime.migration] Running upgrade 3ab32c4b8f59 -> c69f45358db4, Add folder table
INFO  [alembic.runtime.migration] Running upgrade c69f45358db4 -> c29facfe716b, Update file table path
WARNING: CORS_ALLOW_ORIGIN IS SET TO '*' - NOT RECOMMENDED FOR PRODUCTION DEPLOYMENTS.
INFO  [open_webui.env] Embedding model set: sentence-transformers/all-MiniLM-L6-v2
/root/miniconda3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not workwarn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
WARNI [langchain_community.utils.user_agent] USER_AGENT environment variable not set, consider setting it to identify your requests.██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝v0.5.18 - building the best open-source AI user interface.
https://github.com/open-webui/open-webuigitattributes: 1.23kB [00:00, 9.08MB/s]                                                                                                          
1_Pooling%2Fconfig.json: 100%|███████████████████████████████████████████████████████████████████████████████████| 190/190 [00:00<00:00, 1.30MB/s]
data_config.json: 39.3kB [00:00, 120MB/s]                                                                               | 0.00/

启动起来后，弹出页面
在这里插入图片描述点击使用，出现下面，随笔写就行了，email可以给个假的都行。
在这里插入图片描述
在这里插入图片描述
点击建立管理员
在这里插入图片描述
点击开始以后，就可以去问问题
在这里插入图片描述

这里问题是本模型微调时使用的数据。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/71099.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

DeepSeek-V3：AI语言模型的高效训练与推理之路

DeepSeek-V3：AI语言模型的高效训练与推理之路

参考&#xff1a;【论文学习】DeepSeek-V3 全文翻译 在人工智能领域&#xff0c;语言模型的发展日新月异。从早期的简单模型到如今拥有数千亿参数的巨无霸模型&#xff0c;技术的进步令人瞩目。然而&#xff0c;随着模型规模的不断扩大&#xff0c;训练成本和推理效率成为了摆在…
阅读更多...
Spring单例模式 Spring 中的单例 饿汉式加载 懒汉式加载

Spring单例模式 Spring 中的单例 饿汉式加载 懒汉式加载

目录 核心特性 实现方式详解 1. 饿汉式&#xff08;Eager Initialization&#xff09; 2. 懒汉式&#xff08;Lazy Initialization&#xff09; 3. 静态内部类&#xff08;Bill Pugh 实现&#xff09; 4. 枚举&#xff08;Enum&#xff09; 破坏单例的场景及防御 Sprin…
阅读更多...
DeepSeek MLA(Multi-Head Latent Attention)算法浅析

DeepSeek MLA(Multi-Head Latent Attention)算法浅析

目录 前言1. 从MHA、MQA、GQA到MLA1.1 MHA1.2 瓶颈1.3 MQA1.4 GQA1.5 MLA1.5.1 Part 11.5.2 Part 21.5.3 Part 3 结语参考 前言 学习 DeepSeek 中的 MLA 模块&#xff0c;究极缝合怪&#xff0c;东抄抄西抄抄&#xff0c;主要 copy 自苏神的文章&#xff0c;仅供自己参考&#…
阅读更多...
uniapp 中引入使用uView UI

uniapp 中引入使用uView UI

文章目录 一、前言&#xff1a;选择 uView UI的原因二、完整引入步骤1. 安装 uView UI2. 配置全局样式变量&#xff08;关键&#xff01;&#xff09;3. 在 pages.json中添加&#xff1a;4. 全局注册组件5. 直接使用组件 五、自定义主题色&#xff08;秒换皮肤&#xff09; 一、…
阅读更多...
zookeeper-docker版

zookeeper-docker版

Zookeeper-docker版 1 zookeeper概述 1.1 什么是zookeeper Zookeeper是一个分布式的、高性能的、开源的分布式系统的协调&#xff08;Coordination&#xff09;服务&#xff0c;它是一个为分布式应用提供一致性服务的软件。 1.2 zookeeper应用场景 zookeeper是一个经典的分…
阅读更多...
【量化金融自学笔记】--开篇.基本术语及学习路径建议

【量化金融自学笔记】--开篇.基本术语及学习路径建议

在当今这个信息爆炸的时代&#xff0c;金融领域正经历着一场前所未有的变革。传统的金融分析方法逐渐被更加科学、精准的量化技术所取代。量化金融&#xff0c;这个曾经高不可攀的领域&#xff0c;如今正逐渐走进大众的视野。它将数学、统计学、计算机科学与金融学深度融合&…
阅读更多...
unity学习56：旧版legacy和新版TMP文本输入框 InputField学习

unity学习56：旧版legacy和新版TMP文本输入框 InputField学习

目录 1 旧版文本输入框 legacy InputField 1.1 新建一个文本输入框 1.2 InputField 的子物体构成 1.3 input field的的component 1.4 input Field的属性 2 过渡 transition 3 控件导航 navigation 4 占位文本 placeholder 5 文本 text 5.1 文本内容&#xff0c;用户…
阅读更多...
汽车电子电控软件开发中因复杂度提升导致的架构恶化问题

汽车电子电控软件开发中因复杂度提升导致的架构恶化问题

针对汽车电子电控软件开发中因复杂度提升导致的架构恶化问题&#xff0c;建议从以下方向进行架构优化和开发流程升级&#xff0c;以提升灵活性、可维护性和扩展性&#xff1a; 一、架构设计与模块化优化 分层架构与模块解耦 采用AUTOSAR标准的分层架构&#xff08;应用层、运行…
阅读更多...
【弹性计算】弹性裸金属服务器和神龙虚拟化（一）：功能特点

【弹性计算】弹性裸金属服务器和神龙虚拟化（一）：功能特点

弹性裸金属服务器和神龙虚拟化&#xff08;一&#xff09;&#xff1a;功能特点 特征一&#xff1a;分钟级交付特征二&#xff1a;兼容 VPC、SLB、RDS 等云平台全业务特征三&#xff1a;兼容虚拟机镜像特征四&#xff1a;云盘启动和数据云盘动态热插拔特征五&#xff1a;虚拟机…
阅读更多...
腾讯云大模型知识引擎驱动的DeepSeek满血版医疗顾问大模型搭建实战

腾讯云大模型知识引擎驱动的DeepSeek满血版医疗顾问大模型搭建实战

文章目录 1. 引言2. 什么是腾讯云大模型知识引擎&#xff08;LKE&#xff09;&#xff1f;核心优势功能特点应用场景 3. 模型搭建过程3.1 注册登录产品3.2 创建应用3.3 配置模型3.4 配置角色指令3.5 配置欢迎语3.6 配置知识库3.7 配置工作流3.8 启用联网搜索3.9 发布模型 4. 问…
阅读更多...
nio中ByteBuffer使用

nio中ByteBuffer使用

创建ByteBuffer ByteBuffer buffer ByteBuffer.allocate(10);// 字符串转 bytebufferByteBuffer buffer01 Charset.defaultCharset().encode("hello world"); ByteBuffer buffer02 ByteBuffer.wrap("hello".getBytes()); ByteBuffer buffer03 Standard…
阅读更多...
如何在 IntelliJ IDEA 中集成 DeepSeek

如何在 IntelliJ IDEA 中集成 DeepSeek

如何在 IntelliJ IDEA 中集成 DeepSeek 在本教程中&#xff0c;我们将带您一步步完成将 DeepSeek 集成到 IntelliJ IDEA 中的过程。通过此集成&#xff0c;您可以在IDE中利用DeepSeek强大的功能&#xff0c;提高开发工作效率。 步骤 1&#xff1a;安装 Proxy AI 插件 首先&a…
阅读更多...
【Maven】入门介绍 与 安装、配置

【Maven】入门介绍 与 安装、配置

文章目录 一、Maven简介1. Maven介绍2. Maven软件工作原理模型图 二、Maven安装和配置1. Maven安装2. Maven环境配置3. Maven功能配置4. IDEA配置本地Maven软件 一、Maven简介 1. Maven介绍 https://maven.apache.org/what-is-maven.html Maven 是一款为 Java 项目管理构建、…
阅读更多...
Java数据结构第十六期：走进二叉树的奇妙世界(五)

Java数据结构第十六期：走进二叉树的奇妙世界(五)

专栏&#xff1a;Java数据结构秘籍 个人主页&#xff1a;手握风云 目录 一、非递归实现遍历二叉树 1.1. 二叉树的前序遍历 1.2. 二叉树的中序遍历 1.3. 二叉树的后序遍历 一、非递归实现遍历二叉树 1.1. 二叉树的前序遍历 我们这里要使用栈来进行实现。我们反向思考一下为…
阅读更多...
算法004——盛最多水的容器

算法004——盛最多水的容器

力扣——盛最多水的容器点击即可跳转 当我们选择1号线和8号线时&#xff0c;下标为 1 和 8 形成容器的容积的高度是由 较矮的决定的&#xff0c;即下标为 8 的位置&#xff1b; 而宽度则是 1到8 之间的距离&#xff0c;为 8-17&#xff0c;此时容器的容积为 7 * 7 49。 当我…
阅读更多...
算法-二叉树篇26-将有序数组转换为二叉搜索树

算法-二叉树篇26-将有序数组转换为二叉搜索树

将有序数组转换为二叉搜索树 力扣题目链接 题目描述 给你一个整数数组 nums &#xff0c;其中元素已经按 升序 排列&#xff0c;请你将其转换为一棵 平衡 二叉搜索树。 解题思路 很简单的遇到递归题目&#xff0c;对数组取半&#xff0c;然后构建中间节点作为该数组对应的…
阅读更多...
十一、Spring Boot：使用JWT实现用户认证深度解析

十一、Spring Boot：使用JWT实现用户认证深度解析

Spring Boot JWT&#xff08;JSON Web Token&#xff09;&#xff1a;无状态认证 在现代 Web 开发中&#xff0c;无状态认证是一种重要的安全机制&#xff0c;它允许服务器在不存储会话信息的情况下验证用户身份。JSON Web Token&#xff08;JWT&#xff09;是一种常用的无状态…
阅读更多...
MIT何恺明再次突破传统：分形递归架构引爆生成模型新纪元！

MIT何恺明再次突破传统：分形递归架构引爆生成模型新纪元！

论文链接&#xff1a;https://arxiv.org/pdf/2502.17437 代码链接&#xff1a;https://github.com/LTH14/fractalgen 亮点直击 分形生成模型&#xff1a;首次将分形理论引入生成模型&#xff0c;提出了一种具有自相似性的递归生成框架。 递归模块化&#xff1a;通过递归调用生…
阅读更多...
用Python之requests库调用大型语言模型（LLM）API的流式输出与非流式输出比较

用Python之requests库调用大型语言模型（LLM）API的流式输出与非流式输出比较

文章目录 1. 非流式输出与流式输出概述2. 非流式输出2.1 代码实例12.2 代码实例2 3. 流式输出3.1 流式输出的定义和作用3.2 流式输出适用的场景3.3 流式输出的实现方式与实现技术3.4 代码实例33.5 代码实例4 4. 小结 1. 非流式输出与流式输出概述 大模型收到输入后并不是一次性…
阅读更多...
大模型技术：重塑未来的力量

大模型技术：重塑未来的力量

大模型技术之所以成为当今科技领域的热点&#xff0c;是因为它拥有改变游戏规则的能力。以ChatGPT为例&#xff0c;这款由OpenAI开发的大型语言模型&#xff0c;首次实现了基于语言的智能涌现&#xff0c;推动了通用人工智能的技术飞跃和快速进化。大模型通过强大的数据处理能力…
阅读更多...
最新文章

Copyright @ 2022~2023