防止网站扫描,没有基础学平面设计难吗,晋中做网站公司,卫计局网站建设信息公开总结RAG RAG是什么 RAG#xff08;Retrieval Augmented Generation#xff09;技术#xff0c;通过检索与用户输入相关的信息片段#xff0c;并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追…RAG RAG是什么 RAGRetrieval Augmented Generation技术通过检索与用户输入相关的信息片段并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。 RAG工作原理 RAG 能够让基础模型实现非参数知识更新无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用就应用了 RAG 技术可以快速、高效的搭建自己的知识领域助手。 RAG 效果比对 如图所示由于茴香豆是一款比较新的应用InternLM2-Chat-7B训练数据库中并没有收录到它的相关信息。左图中关于 huixiangdou 的 3 轮问答均未给出准确的答案。右图未对InternLM2-Chat-7B进行任何增训的情况下通过 RAG 技术实现的新增知识问答 茴香豆HuiXiangDou 介绍 茴香豆是一个基于 LLM 的群聊知识助手优势 设计拒答、响应两阶段 pipeline 应对群聊场景解答问题同时不会消息泛滥。精髓见技术报告成本低至 1.5G 显存无需训练适用各行业提供一整套前后端 web、android、算法源码工业级开源可商用 开源地址及技术报告 开源代码仓地址 GitHub - InternLM/HuixiangDou: HuixiangDou: Overcoming Group Chat Scenarios with LLM-based Technical Assistance 技术报告 https://arxiv.org/abs/2401.08772 实践体验 环境配置 以在Intern Studio服务器上部署茴香豆为例 GPU30% Nvidia A100 复制运行环境 studio-conda -o internlm-base -t InternLM2_Huixiangdou 激活环境 conda activate InternLM2_Huixiangdou 下载基础文件 # 创建模型文件夹 cd /root mkdir models# 复制BCE模型 ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1 ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1# 复制大模型参数下面的模型根据作业进度和任务进行**选择一个**就行 ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b 下载安装茴香豆 安装依赖 # 安装 python 依赖 # pip install -r requirements.txtpip install protobuf4.25.3 accelerate0.28.0 aiohttp3.9.3 auto-gptq0.7.1 bcembedding0.1.3 beautifulsoup44.8.2 einops0.7.0 faiss-gpu1.7.2 langchain0.1.14 loguru0.7.2 lxml_html_clean0.1.0 openai1.16.1 openpyxl3.1.2 pandas2.2.1 pydantic2.6.4 pymupdf1.24.1 python-docx1.1.0 pytoml0.1.21 readability-lxml0.8.1 redis5.0.3 requests2.31.0 scikit-learn1.4.1.post1 sentence_transformers2.2.2 textract1.6.5 tiktoken0.6.0 transformers4.39.3 transformers_stream_generator0.0.5 unstructured0.11.2## 因为 Intern Studio 不支持对系统文件的永久修改在 Intern Studio 安装部署的同学不建议安装 Word 依赖后续的操作和作业不会涉及 Word 解析。 ## 想要自己尝试解析 Word 文件的同学uncomment 掉下面这行安装解析 .doc .docx 必需的依赖 # apt update apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev 下载茴香豆 cd /root # 下载 repo git clone https://github.com/internlm/huixiangdou cd huixiangdou git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440 使用茴香豆搭建 RAG 助手 修改配置文件 用已下载模型的路径替换config.ini文件中的默认模型 命令行输入下面的命令修改用于向量数据库和词嵌入的模型 sed -i 6s#.*#embedding_model_path /root/models/bce-embedding-base_v1# /root/huixiangdou/config.ini 用于检索的重排序模型 sed -i 7s#.*#reranker_model_path /root/models/bce-reranker-base_v1# /root/huixiangdou/config.ini 和本次选用的大模型 sed -i 29s#.*#local_llm_path /root/models/internlm2-chat-7b# /root/huixiangdou/config.ini 配置文件解析 茴香豆的配置文件位于代码主目录下采用 Toml 形式有着丰富的功能下面将解析配置文件中重要的常用参数。 [feature_store] ... reject_throttle 0.22742061846268935 ... embedding_model_path /root/models/bce-embedding-base_v1 reranker_model_path /root/models/bce-reranker-base_v1 ... work_dir workdir reject_throttle: 拒答阈值0-1数值越大回答的问题相关性越高。拒答分数在检索过程中通过与示例问题的相似性检索得出高质量的问题得分高无关、低质量的问题得分低。只有得分数大于拒答阈值的才会被视为相关问题用于回答的生成。当闲聊或无关问题较多的环境可以适当调高。 embedding_model_path 和 reranker_model_path: 嵌入和重排用到的模型路径。不设置本地模型路径情况下默认自动通过 Huggingface 下载。开始自动下载前需要使用下列命令登录 Huggingface 账户获取权限 huggingface-cli login work_dir: 向量数据库路径。茴香豆安装后可以通过切换向量数据库路径来回答不同知识领域的问答。 [llm.server] ... local_llm_path /root/models/internlm2-chat-1_8b local_llm_max_text_length 3000 ... local_llm_path: 本地模型文件夹路径或模型名称。现支持 书生·浦语 和 通义千问 模型类型调用 transformers 的 AutoModels 模块除了模型路径输入 Huggingface 上的模型名称如*internlm/internlm2-chat-7b、qwen/qwen-7b-chat-int8、internlm/internlm2-chat-20b*也可自动拉取模型文件。 local_llm_max_text_length: 模型可接受最大文本长度。 [worker] # enable search enhancement or not enable_sg_search 0 save_path logs/work.txt ... [worker]: 增强搜索功能配合 [sg_search] 使用。增强搜索利用知识领域的源文件建立图数据库当模型判断问题为无关问题或回答失败时增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索并尝试用搜索到的内容重新生成答案。在 config.ini 中查看 [sg_search] 具体配置示例。 [worker.time] start 00:00:00 end 23:59:59 has_weekday 1 [worker.time]: 可以设置茴香豆每天的工作时间通过 start 和 end 设定应答的起始和结束时间。 has_weekday:  1 的时候周末不应答。 [frontend] 参考茴香豆代码仓 创建知识库 使用InternLM的Huixiangdou文档作为新增知识数据检索来源在不重新训练的情况下打造一个Huixiangdou技术问答助手 下载Huixiangdou语料 cd /root/huixiangdou mkdir repodirgit clone https://github.com/internlm/huixiangdou --depth1 repodir/huixiangdou 提取知识库特征创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块默认嵌入和重排序模型调用的网易 BCE 双语模型如果没有在 config.ini 文件中指定本地模型路径茴香豆将自动从 HuggingFace 拉取默认模型。 除了语料知识的向量数据库茴香豆建立接受和拒答两个向量数据库用来在检索的过程中更加精确的判断提问的相关性这两个数据库的来源分别是 接受问题列表希望茴香豆助手回答的示例问题 存储在 huixiangdou/resource/good_questions.json 中拒绝问题列表希望茴香豆助手拒答的示例问题 存储在 huixiangdou/resource/bad_questions.json 中其中多为技术无关的主题或闲聊如nihui 是谁, 具体在哪些位置进行修改, 你是谁, 11 增加茴香豆相关的问题到接受问题示例 cd /root/huixiangdou mv resource/good_questions.json resource/good_questions_bk.jsonecho [mmpose中怎么调用mmyolo接口,mmpose实现姿态估计后怎么实现行为识别,mmpose执行提取关键点命令不是分为两步吗一步是目标检测另一步是关键点提取我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth 现在我想把这个mmdet的checkpoints换位yolo的那么应该怎么操作,在mmdetection中如何同时加载两个数据集两个dataloader,如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢,1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件,mmpose 测试 map 一直是 0 怎么办,如何使用mmpose检测人体关键点,我使用的数据集是labelme标注的我想知道mmpose的数据集都是什么样式的全都是单目标的数据集标注还是里边也有多目标然后进行标注,如何生成openmmpose的c推理脚本,mmpose,mmpose的目标检测阶段调用的模型一定要是demo文件夹下的文件吗有没有其他路径下的文件,mmpose可以实现行为识别吗如果要实现的话应该怎么做,我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了,mac m1从源码安装的mmpose是x86_64的,想请教一下mmpose有没有提供可以读取外接摄像头做3d姿态并达到实时的项目呀,huixiangdou 是什么,使用科研仪器需要注意什么,huixiangdou 是什么,茴香豆 是什么,茴香豆 能部署到微信吗,茴香豆 怎么应用到飞书,茴香豆 能部署到微信群吗,茴香豆 怎么应用到飞书群,huixiangdou 能部署到微信吗,huixiangdou 怎么应用到飞书,huixiangdou 能部署到微信群吗,huixiangdou 怎么应用到飞书群,huixiangdou,茴香豆,茴香豆 有哪些应用场景,huixiangdou 有什么用,huixiangdou 的优势有哪些,茴香豆 已经应用的场景,huixiangdou 已经应用的场景,huixiangdou 怎么安装,茴香豆 怎么安装,茴香豆 最新版本是什么,茴香豆 支持哪些大模型,茴香豆 支持哪些通讯软件,config.ini 文件怎么配置,remote_llm_model 可以填哪些模型? ] /root/huixiangdou/resource/good_questions.json 如果想要手动添加的话修改resource/good_questions.json文件 创建一个测试用的问询列表用来测试拒答流程是否起效 cd /root/huixiangdouecho [ huixiangdou 是什么, 你好介绍下自己 ] ./test_queries.json 创建 RAG 检索过程中使用的向量数据库 # 创建向量数据库存储目录 cd /root/huixiangdou mkdir workdir # 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir python3 -m huixiangdou.service.feature_store --sample ./test_queries.json 完成后Huixiangdou相关的新增知识就以向量数据库的形式存储在workdir文件夹下 检索过程中茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较判断该问题是否应该回答避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词在知识库中检索top K相似的chunk综合问题和检索到的chunk生成答案。 运行茴香豆知识助手 # 填入问题 sed -i 74s/.*/ queries [huixiangdou 是什么, 茴香豆怎么部署到微信群, 今天天气怎么样]/ /root/huixiangdou/huixiangdou/main.py# 运行茴香豆 cd /root/huixiangdou/ python3 -m huixiangdou.main --standalone RAG 技术的优势就是非参数化的模型调优这里使用的仍然是基础模型InternLM2-Chat-7B 没有任何额外数据的训练。面对同样的问题我们的茴香豆技术助理能够根据我们提供的数据库生成准确的答案 手动填入问题的话修改main.py 找到queries  进行修改 运行过程中可能出现的报错 报错提示1 No module named faiss.swigfaiss_avx2 解决方法 找到 faiss 的位置 import faiss print(faiss.__file__) 显示文件位置 # /root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/faiss/__init__.py 添加软链接 # cd your_python_path/site-packages/faiss cd /root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/faiss/ ln -s swigfaiss.py swigfaiss_avx2.py 报错提示2 assert (len(context) context_max_length) AssertionError 解决方法 huixiangdou/service/retriever.py 修改 def query(self,guestion:str,context_max_length:int 160000, #修改这里的数值调大一点看看tracker:QueryTrackerNone): 茴香豆进阶 茴香豆进阶 加入网络搜索 开启网络搜索功能需要用到Serper提供的 API登陆并注册获取自己的API-Key Serper地址The Worlds Fastest and Cheapest Google Search API 替换/huixiangdou/config.ini中的${YOUR-API-KEY}为自己的API-key [web_search] # check https://serper.dev/api-key to get a free API key x_api_key ${YOUR-API-KEY} domain_partial_order [openai.com, pytorch.org, readthedocs.io, nvidia.com, stackoverflow.com, juejin.cn, zhuanlan.zhihu.com, www.cnblogs.com] save_dir logs/web_search_result 使用远程模型 目前茴香豆已经支持 KimiGPT-4Deepseek 和 GLM 等常见大模型API。 修改/huixiangdou/config.ini文件 enable_local 0 # 关闭本地模型 enable_remote 1 # 启用云端模型 接着如下图所示修改 remote_ 相关配置填写 API key、模型类型等参数。 远端模型配置选项GPTKimiDeepseekChatGLMxi-apialles-apinremote_typegptkimideepseekzhipuaixi-apialles-apinremote_llm_max_text_length 最大值19200012800016000128000192000-remote_llm_modelgpt-4-0613moonshot-v1-128kdeepseek-chatglm-4gpt-4-0613- 启用远程模型可以大大降低GPU显存需求根据测试采用远程模型的茴香豆应用最小只需要2G内存即可。 需要注意的是这里启用的远程模型只用在问答分析和问题生成依然需要本地嵌入、重排序模型进行特征提取。 也可以尝试同时开启 local 和 remote 模型茴香豆将采用混合模型的方案详见技术报告效果更好 利用 Gradio 搭建网页 Demo 安装组件 pip install gradio4.25.0 redis5.0.3 flask3.0.2 lark_oapi1.2.4 运行脚本启动服务 cd /root/huixiangdou python3 -m tests.test_query_gradio 本地电脑链接 ssh -CNg -L 7860:127.0.0.1:7860 rootssh.intern-ai.org.cn -p 你的端口号 如果需要更换检索的知识领域只需要用新的语料知识重新创建知识库提取特征到新的向量数据库更改huixiangdou/config.ini文件中work_dir 新向量数据库路径 也可以运行命令 python3 -m tests.test_query_gradi --work_dir 新向量数据库路径 文件结构 根目录 . ├── LICENSE ├── README.md ├── README_zh.md ├── android ├── app.py ├── config-2G.ini ├── config-advanced.ini ├── config-experience.ini ├── config.ini # 配置文件 ├── docs # 教学文档 ├── huixiangdou # 存放茴香豆主要代码重点学习 ├── huixiangdou-inside.md ├── logs ├── repodir # 默认存放个人数据库原始文件用户建立 ├── requirements-lark-group.txt ├── requirements.txt ├── resource ├── setup.py ├── tests # 单元测试 ├── web # 存放茴香豆 Web 版代码 └── web.log └── workdir # 默认存放茴香豆本地向量数据库用户建立 茴香豆目录 ./huixiangdou ├── __init__.py ├── frontend # 存放茴香豆前端与用户端和通讯软件交互代码 │ ├── __init__.py │ ├── lark.py │ └── lark_group.py ├── main.py # 运行主贷 ├── service # 存放茴香豆后端工作流代码 │ ├── __init__.py │ ├── config.py # │ ├── feature_store.py # 数据嵌入、特征提取代码 │ ├── file_operation.py │ ├── helper.py │ ├── llm_client.py │ ├── llm_server_hybrid.py # 混合模型代码 │ ├── retriever.py # 检索模块代码 │ ├── sg_search.py # 增强搜索图检索代码 │ ├── web_search.py # 网页搜索代码 │ └── worker.py # 主流程代码 └── version.py 茴香豆工作流中用到的Prompt位于huixiangdou/service/worker.py中。可以根据业务需求尝试调整Prompt打造你独有的茴香豆知识助手 ...# Switch languages according to the scenario.if self.language zh:self.TOPIC_TEMPLATE 告诉我这句话的主题直接说主题不要解释“{}”self.SCORING_QUESTION_TEMPLTE “{}”\n请仔细阅读以上内容判断句子是否是个有主题的疑问句结果用 010 表示。直接提供得分不要解释。\n判断标准有主语谓语宾语并且是疑问句得 10 分缺少主谓宾扣分陈述句直接得 0 分不是疑问句直接得 0 分。直接提供得分不要解释。 # noqa E501self.SCORING_RELAVANCE_TEMPLATE 问题“{}”\n材料“{}”\n请仔细阅读以上内容判断问题和材料的关联度用010表示。判断标准非常相关得 10 分完全没关联得 0 分。直接提供得分不要解释。\n # noqa E501self.KEYWORDS_TEMPLATE 谷歌搜索是一个通用搜索引擎可用于访问互联网、查询百科知识、了解时事新闻等。搜索参数类型 string 内容是短语或关键字以空格分隔。\n你现在是{}交流群里的技术助手用户问“{}”你打算通过谷歌搜索查询相关资料请提供用于搜索的关键字或短语不要解释直接给出关键字或短语。 # noqa E501self.SECURITY_TEMAPLTE 判断以下句子是否涉及政治、辱骂、色情、恐暴、宗教、网络暴力、种族歧视等违禁内容结果用 010 表示不要解释直接给出得分。判断标准涉其中任一问题直接得 10 分完全不涉及得 0 分。直接给得分不要解释“{}” # noqa E501self.PERPLESITY_TEMPLATE “question:{} answer:{}”\n阅读以上对话answer 是否在表达自己不知道回答越全面得分越少用010表示不要解释直接给出得分。\n判断标准准确回答问题得 0 分答案详尽得 1 分知道部分答案但有不确定信息得 8 分知道小部分答案但推荐求助其他人得 9 分不知道任何答案直接推荐求助别人得 10 分。直接打分不要解释。 # noqa E501self.SUMMARIZE_TEMPLATE {} \n 仔细阅读以上内容总结得简短有力点 # noqa E501# self.GENERATE_TEMPLATE 材料“{}”\n 问题“{}” \n 请仔细阅读参考材料回答问题材料可能和问题无关。如果材料和问题无关尝试用你自己的理解来回答问题。如果无法确定答案直接回答不知道。 # noqa E501self.GENERATE_TEMPLATE 材料“{}”\n 问题“{}” \n 请仔细阅读参考材料回答问题。 # noqa E501 ... 茴香豆 Web 版 体验地址OpenXLab浦源 - 应用中心 创建知识库 请输入知识库名称输入自定义知识库名称 知识库密码位置输入知识库的密码 第一次进入会提示上传知识库文档可以将整理好的知识库文档上传文档可是可以是pdf/word/markdown/excel 添加正例反例 茴香豆聊天测试