Qwen3-8B模型本地部署和简单接入DBhub实践

文章目录

  • 实验环境和组件介绍
  • 具体的配置过程
    • ollama部署使用
    • 测试Mysql数据库表的构建
    • DBHUB的搭建
    • Cherry Studio接入模型和MCP工具
  • 遇到的问题
    • 1Panel商店ollama镜像版本过低
    • Cherry Studio连接Ollama服务检测模型无法使用
    • ollama检测异常解决

实验环境和组件介绍

  • 实验平台
  • Ubuntu 24
  • GPU:RTX 3090
  • Memory:32GB

  • 关键组件
    • 1panel
    • ollama
    • mysql,DBhub
    • one-api
    • Cherry Studio

  • 推荐模型
  • qwen3-8b/qwen3-14b/qwen3-32b,从ollama拉取这些模型的量化guff文件,单卡3090均能支持。

具体的配置过程

ollama部署使用

  • 由于使用docker部署ollama需要提前安装NVIDIA Container Toolkit,官方参考指南,推荐阅读Ubuntu 24.04 安装 NVIDIA Container Toolkit 全指南:让Docker拥抱GPU。
sudoapt-getupdate&&sudoapt-getinstall-y --no-install-recommendscurlgnupg2
curl-fsSL https://nvidia.github.io/libnvidia-container/gpgkey|sudogpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg\&&curl-s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list|\sed's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g'|\sudotee/etc/apt/sources.list.d/nvidia-container-toolkit.list
sudoapt-getupdatesudoapt-getinstall-y nvidia-container-toolkit
# 生成配置文件sudonvidia-ctk runtime configure --runtime=docker# 重启Docker服务sudosystemctl restartdocker
  • 然后正常在1panel引用商店中,部署ollama,注意勾选GPU选项。然后,正常拉取模型到本地。这里建议选择一个好的网络。
ollama run qwen3:8b

测试Mysql数据库表的构建

  1. Mysql数据库的部署,借助1panel面板,使用docker快速搭建。
  2. 手动在1panel数据库管理面板创建test数据库。
  3. 然后使用Mysql客户端工具,这里笔者使用hexhub这款开源软件进行连接,然后执行sql脚本。
--1. 准备工作:如果存在旧表则删除,保证脚本可重复运行 DROP TABLE IF EXISTS order_items;DROP TABLE IF EXISTS orders;DROP TABLE IF EXISTS products;DROP TABLE IF EXISTSusers;--2. 建表语句(DDL)-- 用户表 CREATE TABLEusers(idINT PRIMARY KEY AUTO_INCREMENT, username VARCHAR(50)NOT NULL, email VARCHAR(100), balance DECIMAL(10,2)DEFAULT0.00, created_at DATETIME DEFAULT CURRENT_TIMESTAMP);-- 商品表 CREATE TABLE products(idINT PRIMARY KEY AUTO_INCREMENT, product_name VARCHAR(100)NOT NULL, category VARCHAR(50), price DECIMAL(10,2)NOT NULL, stock INT DEFAULT0);-- 订单表 CREATE TABLE orders(idINT PRIMARY KEY AUTO_INCREMENT, user_id INT NOT NULL, order_date DATETIME NOT NULL, total_amount DECIMAL(10,2)NOT NULL, status TINYINT DEFAULT0COMMENT'0:Pending, 1:Paid, 2:Shipped, 3:Completed', FOREIGN KEY(user_id)REFERENCES users(id));-- 订单详情表 CREATE TABLE order_items(idINT PRIMARY KEY AUTO_INCREMENT, order_id INT NOT NULL, product_id INT NOT NULL, quantity INT NOT NULL, price DECIMAL(10,2)NOT NULL, FOREIGN KEY(order_id)REFERENCES orders(id), FOREIGN KEY(product_id)REFERENCES products(id));--1. 清理旧数据(保证脚本可重复运行)DROP TABLE IF EXISTS order_items;DROP TABLE IF EXISTS orders;DROP TABLE IF EXISTS products;DROP TABLE IF EXISTSusers;--2. 建表语句(DDL)CREATE TABLEusers(idINT PRIMARY KEY AUTO_INCREMENT, username VARCHAR(50)NOT NULL, email VARCHAR(100), balance DECIMAL(10,2)DEFAULT0.00, created_at DATETIME DEFAULT CURRENT_TIMESTAMP);CREATE TABLE products(idINT PRIMARY KEY AUTO_INCREMENT, product_name VARCHAR(100)NOT NULL, category VARCHAR(50), price DECIMAL(10,2)NOT NULL, stock INT DEFAULT0);CREATE TABLE orders(idINT PRIMARY KEY AUTO_INCREMENT, user_id INT NOT NULL, order_date DATETIME NOT NULL, total_amount DECIMAL(10,2)NOT NULL, status TINYINT DEFAULT0COMMENT'0:Pending, 1:Paid, 2:Shipped, 3:Completed', FOREIGN KEY(user_id)REFERENCES users(id));CREATE TABLE order_items(idINT PRIMARY KEY AUTO_INCREMENT, order_id INT NOT NULL, product_id INT NOT NULL, quantity INT NOT NULL, price DECIMAL(10,2)NOT NULL, FOREIGN KEY(order_id)REFERENCES orders(id), FOREIGN KEY(product_id)REFERENCES products(id));--3. 修正后的数据填充存储过程 DELIMITER$$CREATE PROCEDURE generate_mock_data()BEGIN --===变量声明区(必须在最前面)===DECLARE i INT DEFAULT1;DECLARE item_j INT;-- 【修复】这里声明了内层循环变量 item_j DECLARE num_users INT DEFAULT500;DECLARE num_products INT DEFAULT100;DECLARE num_orders INT DEFAULT1000;DECLARE random_user_id INT;DECLARE random_product_id INT;DECLARE random_qty INT;DECLARE random_price DECIMAL(10,2);DECLARE random_status INT;DECLARE days_back INT;-- --- A. 填充用户表 --- WHILE i<=num_users DO INSERT INTOusers(username, email, balance)VALUES(CONCAT('user_', i), CONCAT('user_', i,'@example.com'), ROUND(RAND()*5000,2));SET i=i +1;END WHILE;-- --- B. 填充商品表 --- SET i=1;WHILE i<=num_products DO INSERT INTO products(product_name, category, price, stock)VALUES(CONCAT('Product ', i,' - ', ELT(FLOOR(1+ RAND()*5),'Electronics','Clothing','Home','Books','Sports')), ELT(FLOOR(1+ RAND()*5),'Electronics','Clothing','Home','Books','Sports'), ROUND(RAND()*200+10,2), FLOOR(RAND()*100));SET i=i +1;END WHILE;-- --- C. 填充订单表及详情 --- SET i=1;WHILE i<=num_orders DO SET random_user_id=FLOOR(1+ RAND()* num_users);SET random_status=FLOOR(RAND()*4);SET days_back=FLOOR(RAND()*365);INSERT INTO orders(user_id, order_date, total_amount, status)VALUES(random_user_id, DATE_SUB(NOW(), INTERVAL days_back DAY),0.00, random_status);SET @current_order_id=LAST_INSERT_ID();-- --- D. 填充订单详情(内层循环)--- -- 初始化内层计数器 SET item_j=1;-- 随机生成13个商品项 WHILE item_j<=FLOOR(1+ RAND()*3)DO SET random_product_id=FLOOR(1+ RAND()* num_products);SET random_qty=FLOOR(1+ RAND()*5);SELECT price INTO random_price FROM products WHEREid=random_product_id;INSERT INTO order_items(order_id, product_id, quantity, price)VALUES(@current_order_id, random_product_id, random_qty, random_price);UPDATE orders SET total_amount=total_amount +(random_qty * random_price)WHEREid=@current_order_id;SET item_j=item_j +1;END WHILE;SET i=i +1;END WHILE;END$$DELIMITER;--4. 执行存储过程 CALL generate_mock_data();--5. 验证结果 SELECT'Users'AS Table_Name, COUNT(*)AS Row_Count FROMusersUNION ALL SELECT'Products', COUNT(*)FROM products UNION ALL SELECT'Orders', COUNT(*)FROM orders UNION ALL SELECT'Order_Items', COUNT(*)FROM order_items;

DBHUB的搭建

  1. 在应用商店,按照要求正常配置启动即可。

Cherry Studio接入模型和MCP工具

  1. 在cherry Studio中配置MCP服务(这里笔者使用8081端口启动),然后就可以在对话中勾选使用该MCP服务。注意不要使用deepseek-r1系列,因为该模型系列对MCP工具调用并不友好,推荐使用qwen3系列。
  2. 连接ollama时,这里笔者遇到ollama无法正常访问,所以使用one api进行兼容解决。
  3. 正常调用和对话

遇到的问题

1Panel商店ollama镜像版本过低

  • 存在的问题:1Panel商店中最高支持0.13.5,但是已经很陈旧了。在拉取较新模型提示版本太低。
  • 解决方法:手动修改docker-sompose文件,调整镜像版本为0.14.1。笔者尝试latest版本仍然出错。

Cherry Studio连接Ollama服务检测模型无法使用

  • 存在的问题:Cherry Studio配置本地ollama服务连接,可以检测到存在的模型,但是无法正常使用模型。起初,笔者怀疑是ollama对openai格式调用的不兼容,但是查询资料,ollama已经兼容openai的调,经过,终端请求验证,确实可以正常调用。
curlhttp://localhost:11434/v1/chat/completions -H"Content-Type: application/json"-d'{ "model": "deepseek-r1:32b", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "Hello!" } ] }'
  • 解决方法:使用One-api对ollama的访问做一层代理,顺利解决问题。




ollama检测异常解决

  • 其实也就是上个问题,不过在最后笔者再次尝试的时候,突然又正常了。注意连接检测使用单个,不并发即可通过。
  • 可能是ollama本身对并发支持不好,然后cherry studio默认的检测方式会发生错误。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1165688.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java Set 集合:HashSet、LinkedHashSet、TreeSet(含使用场景 + List 对比)

在 Java 集合框架中&#xff0c;Set 集合是用于存储不重复元素的核心容器&#xff0c;它衍生出 HashSet、LinkedHashSet、TreeSet 三个常用实现类。本文将从特性、用法、底层原理到使用场景全方位解析&#xff0c;同时对比 List 与 Set 的核心差异&#xff0c;帮你彻底掌握 Set…

Qwen3Guard-Gen-WEB数据标注:构建高质量训练集的方法论

Qwen3Guard-Gen-WEB数据标注&#xff1a;构建高质量训练集的方法论 1. 引言&#xff1a;安全审核模型的演进与挑战 随着大语言模型&#xff08;LLM&#xff09;在各类应用场景中的广泛部署&#xff0c;内容安全问题日益凸显。不当、有害或违规内容的生成不仅影响用户体验&…

GLM-ASR-Nano-2512部署优化:如何提升识别准确率300%

GLM-ASR-Nano-2512部署优化&#xff1a;如何提升识别准确率300% 1. 背景与挑战 语音识别技术在智能客服、会议记录、语音助手等场景中扮演着关键角色。GLM-ASR-Nano-2512 是一个强大的开源自动语音识别&#xff08;ASR&#xff09;模型&#xff0c;拥有 15 亿参数&#xff0c…

保护隐私的语音合成|Supertonic完全本地化推理详解

保护隐私的语音合成&#xff5c;Supertonic完全本地化推理详解 1. 引言&#xff1a;为什么需要设备端TTS&#xff1f; 随着人工智能在语音交互场景中的广泛应用&#xff0c;文本转语音&#xff08;Text-to-Speech, TTS&#xff09;技术已成为智能助手、无障碍阅读、有声内容生…

计算机Java毕设实战-基于SpringBoot的网上购物商城设计与实现基于SpringBoot的商品管理、订单处理、购物车【完整源码+LW+部署说明+演示视频,全bao一条龙等】

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

YOLO11完整指南:超详细环境配置与项目目录结构解析

YOLO11完整指南&#xff1a;超详细环境配置与项目目录结构解析 1. YOLO11 简介与技术背景 1.1 YOLO11 的核心定位 YOLO&#xff08;You Only Look Once&#xff09;系列作为目标检测领域最具影响力的实时检测框架之一&#xff0c;其最新迭代版本 YOLO11 在保持高推理速度的同…

VibeThinker-1.5B真实体验:AIME数学题全对有多爽

VibeThinker-1.5B真实体验&#xff1a;AIME数学题全对有多爽 在当前大模型普遍追求千亿参数、超大规模训练数据的背景下&#xff0c;微博开源的 VibeThinker-1.5B-WEBUI 却以仅15亿参数和极低训练成本&#xff08;约7,800美元&#xff09;&#xff0c;在AIME等高难度数学竞赛任…

一键识别语音内容、情感与背景音|SenseVoice Small WebUI使用手册

一键识别语音内容、情感与背景音&#xff5c;SenseVoice Small WebUI使用手册 1. 快速入门指南 1.1 环境启动与访问方式 SenseVoice Small WebUI 是基于阿里通义实验室开源的 FunAudioLLM 框架中的 SenseVoice-Small 模型进行二次开发构建的本地化语音理解工具。该系统支持多…

Qwen2.5-0.5B如何省算力?低成本GPU部署实战指南

Qwen2.5-0.5B如何省算力&#xff1f;低成本GPU部署实战指南 1. 引言&#xff1a;为什么选择Qwen2.5-0.5B-Instruct&#xff1f; 在大模型日益庞大的今天&#xff0c;动辄数十亿甚至千亿参数的模型对算力提出了极高要求。然而&#xff0c;并非所有场景都需要“巨无霸”级别的模…

DeepSeek-R1性能优化:让本地推理速度提升50%

DeepSeek-R1性能优化&#xff1a;让本地推理速度提升50% 随着大语言模型在逻辑推理、数学证明和代码生成等复杂任务中的广泛应用&#xff0c;如何在资源受限的设备上实现高效推理成为开发者关注的核心问题。本文聚焦于 DeepSeek-R1-Distill-Qwen-1.5B 这一轻量化蒸馏模型&…

用预置镜像在RTX 4090D上快速完成Qwen2.5-7B微调实战

用预置镜像在RTX 4090D上快速完成Qwen2.5-7B微调实战 1. 引言 大模型微调正从“高门槛实验”走向“轻量化落地”。对于开发者而言&#xff0c;如何在有限时间内高效完成一次高质量的模型定制&#xff0c;已成为实际业务中的关键需求。以 Qwen2.5-7B 这类中等规模的大语言模型…

Glyph模型助力AIGC创作,设计师效率翻倍

Glyph模型助力AIGC创作&#xff0c;设计师效率翻倍 1. 引言 在AIGC&#xff08;人工智能生成内容&#xff09;快速发展的今天&#xff0c;图文内容的自动化生成已成为电商、广告、媒体等领域的核心需求。尤其是在商品海报设计场景中&#xff0c;如何实现高精度文字渲染与高质…

当COBACABANA注入AI灵魂:智能工厂动态调度系统从0到1落地实战

一、AI时代的生产调度困局&#xff1a;为何85%的制造企业陷入"系统失灵"魔咒&#xff1f;2023年中国制造业数字化转型调研报告显示&#xff0c;85%的制造企业在引入智能生产管理系统&#xff08;MES/APS&#xff09;后&#xff0c;依然面临"计划赶不上变化&…

AI智能二维码工坊部署避坑:环境依赖缺失问题解决

AI智能二维码工坊部署避坑&#xff1a;环境依赖缺失问题解决 1. 引言 1.1 业务场景描述 在现代企业级应用中&#xff0c;二维码作为信息传递的重要载体&#xff0c;广泛应用于支付、身份认证、设备绑定、营销推广等场景。为满足快速生成与精准识别的双重需求&#xff0c;AI …

移动端AI新选择:DeepSeek-R1-Distill-Qwen-1.5B

移动端AI新选择&#xff1a;DeepSeek-R1-Distill-Qwen-1.5B 1. 引言&#xff1a;轻量级模型的推理革命 随着大模型在各类应用场景中的广泛落地&#xff0c;如何在资源受限的设备上实现高效、高质量的推理成为工程实践中的关键挑战。传统大模型虽然性能强大&#xff0c;但往往…

5分钟部署SAM 3:零基础玩转图像视频分割

5分钟部署SAM 3&#xff1a;零基础玩转图像视频分割 1. 引言&#xff1a;什么是SAM 3&#xff1f; SAM 3&#xff08;Segment Anything Model 3&#xff09;是由Meta推出的新一代统一基础模型&#xff0c;专为图像与视频中的可提示分割任务设计。它能够通过文本描述或视觉提示…

一键启动通义千问2.5-7B:开箱即用的AI开发环境

一键启动通义千问2.5-7B&#xff1a;开箱即用的AI开发环境 在大模型快速发展的今天&#xff0c;如何高效部署和使用先进语言模型成为开发者关注的核心问题。Qwen2.5 系列作为通义千问最新一代开源模型&#xff0c;在知识覆盖、编程能力、数学推理及结构化数据理解方面实现了显…

Qwen3-4B-Instruct-2507长文本处理:256K上下文实战测试

Qwen3-4B-Instruct-2507长文本处理&#xff1a;256K上下文实战测试 1. 引言 随着大模型在复杂任务中的广泛应用&#xff0c;对长上下文理解能力的需求日益增长。传统语言模型通常受限于8K或32K的上下文长度&#xff0c;在处理法律文档、科研论文、代码库等超长输入时显得力不…

视觉语言模型新思路:Glyph技术原理与实战入门必看

视觉语言模型新思路&#xff1a;Glyph技术原理与实战入门必看 1. 引言&#xff1a;视觉推理的新范式 在当前大模型快速发展的背景下&#xff0c;长上下文建模已成为提升模型理解能力的关键方向。传统方法依赖于扩展基于token的上下文窗口&#xff0c;但这种方式带来了显著的计…

Fun-ASR系统信息查看方法:模型路径与状态监控操作指南

Fun-ASR系统信息查看方法&#xff1a;模型路径与状态监控操作指南 1. 引言 随着语音识别技术在智能客服、会议记录、内容创作等场景的广泛应用&#xff0c;高效易用的本地化语音识别系统成为开发者和企业用户的迫切需求。Fun-ASR 是由钉钉与通义联合推出的语音识别大模型系统…