DB-GPT部署验证

一、DB-GPT简介

        DB-GPT是一个开源的数据库领域大模型框架。目的是构建大模型领域的基础设施，通过开发多模型管理、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。

        GITHUB源码地址：GitHub - eosphoros-ai/DB-GPT: Revolutionizing Database Interactions with Private LLM TechnologyRevolutionizing Database Interactions with Private LLM Technology - GitHub - eosphoros-ai/DB-GPT: Revolutionizing Database Interactions with Private LLM Technologyicon-default.png?t=N7T8https://github.com/eosphoros-ai/DB-GPT.git

1、名词术语

名词

说明

DB-GPT

DataBase Generative Pre-trained Transformer，一个围绕数据库与大模型的开源框架

Text2SQL/NL2SQL

Text to SQL，利用大语言模型能力，根据自然语言生成SQL语句，或者根据SQL语句给出解释说明

KBQA

Knowledge-Based Q&A 基于知识库的问答系统

GBI

Generative Business Intelligence 生成式商业智能，基于大模型与数据分析，通过对话方式提供商业智能分析与决策

LLMOps

大语言模型操作框架，提供标准的端到端工作流程，用于训练、调整、部署和监控LLM，以加速生成AI模型的应用程序部署

Embedding

将文本、音频、视频等资料转换为向量的方法

RAG

Retrieval-Augmented Generation 检索能力增强

2、系统架构

Model Controller：

Model Worker：

Web Server：

API Server：

3、环境要求

二、源码部署

1、环境要求

启动模式

CPU * MEM

GPU

备注

代理模型

4C*8G

代理模型不依赖GPU

本地模型

8C*32G

24G

本地启动最好有24G以上GPU

2、源码下载

        可以在Github上下载最新版本：https://github.com/eosphoros-ai/DB-GPT/releases

wget https://github.com/eosphoros-ai/DB-GPT/archive/refs/tags/v0.4.3.tar.gz

3、Miniconda安装

        Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。

        Miniconda 安装包可以到清华站下载：Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source MirrorIndex of /anaconda/miniconda/ | 清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

        也可以在miniconda官网下载最新安装包：Miniconda — miniconda documentation

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh
~/miniconda3/bin/conda init bash
source ~/.bashrc

 4、配置国内conda源

        各系统都可以通过修改用户目录下的 .condarc 文件来使用清华镜像源        

conda config --set show_channel_urls yes

        修改~/.condarc的配置文件

channels:- defaults
show_channel_urls: true
default_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/clouddeepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

         清华源帮助文档地址：anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirroranaconda 使用帮助 | 镜像站使用帮助 | 清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/        也可以选择其他国内源

# 中科大镜像源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/# 阿里镜像源
conda config --add channels https://mirrors.aliyun.com/pypi/simple/# 豆瓣的python的源
conda config --add channels http://pypi.douban.com/simple/ # 显示检索路径，每次安装包时会将包源路径显示出来
conda config --set show_channel_urls yes
conda config --set always_yes True
conda config --set auto_activate_base False#执行以下命令清除索引缓存，保证用的是镜像站提供的索引
conda clean -i# 显示所有镜像通道路径命令
conda config --show channels

5、创建Python环境

        因为编译源码需要python >= 3.10，所以使用conda创建python环境

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env

6、配置国内pip源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

        或修改pip配置文件，如 vi /root/.config/pip/pip.conf

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

        其他国内源：

        阿里云：https://mirrors.aliyun.com/pypi/simple/

7、编译源码

tar -zxf v0.4.3.tar.gz
cd DB-GPT-0.4.3
pip install -e ".[default]"

         编译时间较长，知道提示编译成功

三、模型部署

        直接是用git下载huggingface.co开源网站的模型文件会使用到git-lfs，需要提前安装。

apt-get install git-lfs

        在DB-GPT目录下创建models目录，用于存放下载的本地模型文件

cd DB-GPT-0.4.3
mkdir models

1、下载embedding model

1.1 text2vec-large-chinese

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

1.2 m3e-large

git clone https://huggingface.co/moka-ai/m3e-large

2、下载llm model

2.1 Vicuna

2.1.1 硬件需求说明
ModelQuantizeVRAM Size
Vicuna-7b-1.54-bit8GB
Vicuna-7b-1.58-bit12GB
vicuna-13b-v1.54-bit12GB
vicuna-13b-v1.58-bit24GB
2.1.2 下载地址
git clone https://huggingface.co/lmsys/vicuna-13b-v1.5
2.1.3 环境变量配置

        在 .env 文件中配置LLM_MODEL参数

LLM_MODEL=vicuna-13b-v1.5

2.2 ChatGLM2

 2.1.1 硬件需求说明
ModelQuantizeVRAM Size
ChatGLM-6b4-bit7GB
ChatGLM-6b8-bit9GB
ChatGLM-6bFP1614GB
2.1.2 下载地址
git clone https://huggingface.co/THUDM/chatglm2-6b
2.1.3 环境变量配置

        在 .env 文件中配置LLM_MODEL参数

LLM_MODEL=chatglm2-6b

2.3 llama.cpp(CPU运行)

2.3.1 直接下载

        下载已经转换好的文件TheBloke/vicuna-13B-v1.5-GGUF，将模型重命名为: ggml-model-q4_0.gguf，存放在models目录

git clone https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF
 2.3.2 手工转换

        自行转换模型文件，将模型重命名为: ggml-model-q4_0.gguf，存放在models目录

# obtain the original LLaMA model weights and place them in ./models
ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model# [Optional] for models using BPE tokenizersls ./models65B 30B 13B 7B vocab.json# install Python dependencies
python3 -m pip install -r requirements.txt# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/# [Optional] for models using BPE tokenizerspython convert.py models/7B/ --vocabtype bpe# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128
2.3.3 安装依赖

        llama.cpp在DB-GPT中是可选安装项, 你可以通过以下命令进行安装

pip install -e ".[llama_cpp]"
2.3.4 环境变量修改

        修改.env文件使用llama.cpp

LLM_MODEL=llama-cpp
llama_cpp_prompt_template=vicuna_v1.1

四、数据库部署

1、安装Mysql

# 更新apt源
apt update
#下载mysql-server
apt install mysql-server
#查看mysql的状态，开启mysql
service mysql status
service mysql start#进入mysql终端
mysql
#设置root密码，注意这里的密码应该和DB-GPT中的.env文件保持一致
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'Mysql2023';
#登录mysql，这里会提示输入密码，可以查看自己密码创建是否正确
mysql -u root -p

2、数据库配置

        修改.env文件中数据库的配置

#*******************************************************************#
#**                  DB-GPT METADATA DATABASE SETTINGS            **#
#*******************************************************************#
### SQLite database (Current default database)
#LOCAL_DB_TYPE=sqlite### MYSQL database
LOCAL_DB_TYPE=mysql
LOCAL_DB_USER=root
LOCAL_DB_PASSWORD={your_password}
LOCAL_DB_HOST=127.0.0.1
LOCAL_DB_PORT=3306
LOCAL_DB_NAME=dbgpt

3、测试数据

bash ./scripts/examples/load_examples.sh

五、运行服务

1、整体启动

        通过命令一键启动整个DB-GPT服务

python dbgpt/app/dbgpt_server.py

2、分服务启动

2.1 启动Model Controller

        Model Server默认端口为8000

dbgpt start controller

        启动成功如下： 

2.2 启动Model Worker

2.2.1 启动chatglm2-6b模型Worker
dbgpt start worker --model_name chatglm2-6b \
--model_path /DB-GPT-0.4.3/models/chatglm2-6b \
--port 8001 \
--controller_addr http://127.0.0.1:8000

  如果报错 'ChatGLMTokenizer' object has no attribute 'tokenizer'，则需要降级transformers，存在问题的版本为4.36.0，改为4.33.3

pip uninstall transformers
pip install transformers==4.33.3
2.2.2 启动vicuna-13b-v1.5模型Worker
dbgpt start worker --model_name vicuna-13b-v1.5 \
--model_path /DB-GPT-0.4.3/models/vicuna-13b-v1.5 \
--port 8002 \
--controller_addr http://127.0.0.1:8000

2.3 启动Embedding模型服务

dbgpt start worker --model_name text2vec \
--model_path /DB-GPT-0.4.3/models/text2vec-large-chinese \
--worker_type text2vec \
--port 8003 \
--controller_addr http://127.0.0.1:8000

2.4 查看并检查已部署模型

dbgpt model list

        显示当前运行的模型信息如下

2.5 启动Web Server服务

        --light 表示不启动嵌入式模型服务，嵌入式模型服务默认为

dbgpt start webserver --light

2.6 浏览页面

        使用浏览器访问页面http://localhost:5000/

2.7 查看显存使用

nvidia-smi

        显示显卡使用信息如下：

         

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/830679.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

找不到msvcr120.dll怎么办，msvcr120.dll丢失的5种修复方法分享

找不到msvcr120.dll怎么办，msvcr120.dll丢失的5种修复方法分享

计算机系统在运行某应用程序时无法正常启动，具体表现为缺少了一个至关重要的动态链接库文件——msvcr120.dll。这个DLL文件是微软Visual C Redistributable Package的一部分，对于确保许多基于Windows平台的软件能够顺利运作起着不可或缺的作用。msvcr120…
阅读更多...
C、Minimizing the Sum（线性dp）

C、Minimizing the Sum（线性dp）

思路： 用dp[i][j] 来表示前i个数操作了j次的最小和，然后对于每个a[i]，我们分别枚举i前面操作了x次以及后面操作了j次，对于每次操作，都是将一段区间全换位区间最小值. 代码： void solve(){int n, k;cin &…
阅读更多...
springboot mongodb分片集群事务

springboot mongodb分片集群事务

前置 mongodb分片集群想要使用事务,需要对应分片没有仲裁节点 代码 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-mongodb</artifactId><version>2.1.0.RELEASE</version></d…
阅读更多...
手拉手CentOS 安装 mysql-5.7

手拉手CentOS 安装 mysql-5.7

MySQL是一种关系型数据库管理系统&#xff0c;关系数据库将数据保存在不同的表中&#xff0c;而不是将所有数据放在一个大仓库内&#xff0c;这样就增加了速度并提高了灵活性。 tar.gz包安装 #如没有安装wget则无法使用&#xff0c;以装&#xff0c;则直接省略该步~&#xff…
阅读更多...
JavaScript系列------2

JavaScript系列------2

1. JS 数据类型&#xff1a; 基本数据类型&#xff1a;number数字型,string字符串型,boolean布尔型,undefined未定义型,null空类型 引用数据类型&#xff1a;object对象 js 是弱数据类型的语言&#xff0c;只有当我们赋值了才知道是什么数据类型。 声明一个变量未赋值就是 un…
阅读更多...
Arthas进阶

Arthas进阶

这里写自定义目录标题 六、class和classloader6、dump7、classloader 七、monitor/watch/trace/stack等核心命令的使用1、monitor2、watch3、trace4、stack5、tt6、option7、profiler 六、class和classloader 6、dump 将已加载类的字节码文件保存到特定目录&#xff1a;logs/…
阅读更多...
js之JSON

js之JSON

json 是一种轻量级的数据交换格式。 json 就是一种在各个编程语言中流通的数据格式&#xff0c;负责不同编程语言中的数据传递和交互。 let data {name:张三,age:18}; console.log(data); // 对象 let str JSON.stringify(data); console.log(str); // json 数据 l…
阅读更多...
环形链表题

环形链表题

1.环形链表1 看题&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 思路1&#xff1a;哈希表 遍历所有节点&#xff0c;每次遍历一个节点时&#xff0c;判断该节点是否被访问过。 可以使用哈希表来存储所有已经访问过的节点。每次到达一个节点&#xff0c;如果该节点已…
阅读更多...
Qt | QFrame容器

Qt | QFrame容器

01、QFrame 一、QFrame 类 1、QFrame类是带有边框的部件的基类，带边框部件的特点是有一个明显的边框，QFrame 类就是用来实现边框的不同效果的(把这种效果称为边框样式)，所有继承自 QFrame 的子 类都可以使用 QFrame 类实现的效果。 2、部件通常是矩形的(其他形状的原理…
阅读更多...
基于JWT实现的Token认证方案

基于JWT实现的Token认证方案

JSON Web Token是什么&#xff1f; JSON Web Token&#xff08;JWT&#xff09;是目前最流行的跨域身份验证解决方案。 JSON Web Token&#xff08;JWT&#xff09;是一个开放标准&#xff08;RFC 7519&#xff09;&#xff0c;它定义了一种紧凑且自包含的方式&#xff0c;用…
阅读更多...
牛客网刷题 | CC1 获取字符串长度

牛客网刷题 | CC1 获取字符串长度

目前主要分为三个专栏&#xff0c;后续还会添加&#xff1a; 专栏如下&#xff1a; C语言刷题解析 C语言系列文章 我的成长经历 感谢阅读&#xff01; 初来乍到&#xff0c;如有错误请指出&#xff0c;感谢&#xff01; 描述 键盘输入一个字符串…
阅读更多...
Linux操作系统预备 —— 冯·诺伊曼体系结构

Linux操作系统预备 —— 冯·诺伊曼体系结构

一&#xff0c;什么是冯诺伊曼体系结构&#xff1f;&#xff08;是什么&#xff1f;&#xff09; 上面的图就是冯诺伊曼体系结构的总体简略图&#xff0c;不着急&#xff0c;我们一个一个来看&#xff1a; 1.1 输入输出设备 人们要想用计算机处理数据&#xff0c;首先就要把要…
阅读更多...
Vue入门到关门之Vue项目工程化

Vue入门到关门之Vue项目工程化

一、创建Vue项目 1、安装node环境 官网下载&#xff0c;无脑下一步&#xff0c;注意别放c盘就行 Node.js — Run JavaScript Everywhere (nodejs.org) 需要两个命令 npm---->pipnode—>python 装完检查一下&#xff0c;hello world检测&#xff0c;退出crtlc 2、搭建vu…
阅读更多...
OpenSSH 漏洞补丁更新笔记

OpenSSH 漏洞补丁更新笔记

OpenSSH 漏洞补丁更新笔记 相关背景OpenSSH 8.8 以后版本弃用RSA 以及影响centos 更新openssh9.7p1通过rpm包进行安装 Ubuntu更新openssh-9.5p1前置条件下载的源码包导入服务器后操作 相关背景 客户通过第三方扫漏工具发现服务器centos8和Ubuntu22.04有OpenSSH 相关高危漏洞 扫…
阅读更多...
重新定义什么是共享办公室，一看即懂

重新定义什么是共享办公室，一看即懂

共享办公室&#xff0c;也称为联合办公空间&#xff0c;是一种现代的工作空间模式&#xff0c;它允许不同公司或个体在一个共享的环境下工作&#xff0c;同时提供必要的办公设施和服务。这种模式打破了传统办公室的局限&#xff0c;提供了更高的灵活性和社区感。 共享办公室它通…
阅读更多...
单片机排队叫号系统Proteus仿真程序 有取号键和叫号键以及重复叫号键 有注释

单片机排队叫号系统Proteus仿真程序 有取号键和叫号键以及重复叫号键 有注释

目录 1、前言 ​ 2、程序 资料下载地址&#xff1a;单片机排队叫号系统Proteus仿真程序 有取号键和叫号键以及重复叫号键 有注释 1、前言 系统组成&#xff1a;STC89C52RCLcd1602蜂鸣器按键 具体介绍&#xff1a; Lcd1602排队叫号系统&#xff0c;有取号显示窗和叫号显示窗…
阅读更多...
ElasticSearch总结2

ElasticSearch总结2

一、创建索引库&#xff1a;PUT ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下&#xff1a; 整个jason 里边&#xff0c;它有一个叫mapping的属性&#xff0c;代表的是映射。映射里边有properties代表就是字段。可以看到这…
阅读更多...
Pytest自动化测试框架---（单元测试框架）

Pytest自动化测试框架---（单元测试框架）

unittest是python自带的单元测试框架&#xff0c;它封装好了一些校验返回的结果方法和一些用例执行前的初始化操作&#xff0c;使得单元测试易于开展&#xff0c;因为它的易用性&#xff0c;很多同学也拿它来做功能测试和接口测试&#xff0c;只需简单开发一些功能&#xff08;…
阅读更多...
QA测试开发工程师面试题满分问答21: 单元测试、集成测试、系统测试的侧重点是什么？

QA测试开发工程师面试题满分问答21: 单元测试、集成测试、系统测试的侧重点是什么？

单元测试、集成测试和系统测试是软件测试中的不同层次和阶段&#xff0c;每个阶段侧重于不同的测试目标和范围。以下是它们的侧重点的简要说明&#xff1a; 单元测试&#xff1a; 单元测试是针对软件中最小的可测试单元&#xff08;通常是函数、方法或模块&#xff09;进行的测…
阅读更多...
SAP PP学习笔记08 - 作业区（工作中心Work Center），作业区Customize

SAP PP学习笔记08 - 作业区（工作中心Work Center），作业区Customize

上一章讲了作业手顺&#xff08;工艺路线Routing&#xff09;。 SAP PP学习笔记07 - 作业手顺&#xff08;工艺路线Routing&#xff09;-CSDN博客 这一章来讲讲作业区&#xff08;工作中心 Work Center&#xff09;。 1&#xff0c;作业区&#xff08;工作中心&#xff09;中…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站