做设计常用的素材网站,网站开发网站源码,百度竞价推广点击软件奔奔,手机网站会员识别功能上一篇已经讲解了如何构建自己的私人GPT#xff0c;这一篇主要讲如何让GPT支持中文。 privateGPT 本地部署目前只支持基于llama.cpp 的 gguf格式模型#xff0c;GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日推出的一种新格式。它是 GGML 的替代品#xff0c;llama.cpp 不再…上一篇已经讲解了如何构建自己的私人GPT这一篇主要讲如何让GPT支持中文。 privateGPT 本地部署目前只支持基于llama.cpp 的 gguf格式模型GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日推出的一种新格式。它是 GGML 的替代品llama.cpp 不再支持 GGML。 本文主要采用国产YI-34B-CHAT模型。 1.模型下载 yi模型下载TheBloke/Yi-34B-Chat-GGUF · Hugging Face 下载后放置在 models 文件夹下 embedding模型下载BAAI/bge-small-en-v1.5 · Hugging Face 下载后放置在models/cache文件夹下bge is short for BAAI general embeddingFlagEmbedding 可以将任何文本映射到低维密集向量该向量可用于检索、分类、聚类或语义搜索等任务。它还可以用于法学硕士的矢量数据库 2.settings.yaml 文件修改 主要修改local部分使用YI模型使用prompt_style: tag类型的提示词模板 llm_hf_model_file: yi-34b-chat.Q4_K_M.gguf prompt_style: tag 3.代码修改 使用YI-34B-CHAT模型源码要简单修改下修改如下 文件路径 privateGPT/private_gpt/components/llm/llm_component.py 第44行添加如下内容 generate_kwargs{stop:[|im_end|]}, 如图 导航到 UI在浏览器中打开 http://localhost:8001/。   原理解析 这套方法使用了 LangChain, GPT4All, LlamaCpp, Chroma and SentenceTransformers. LangChain 用来生成文本向量Chroma 存储向量。GPT4All、LlamaCpp用来理解问题匹配答案。基本原理是问题到来向量化。检索语料中的向量给到最相似的原始语料。语料塞给大语言模型模型回答问题。基本原理和chatpdf没大差别。 创建自己的模型 Llama2 模型使用16位浮点数作为权重进行训练。我们可以将其缩小到4位整数以进行推理而不会失去太多的功率但会节省大量的计算资源特别是昂贵的 GPU RAM。这是已经被证实的。这个过程叫做量化。 GGUF格式专为 LLM 推理设计。它支持 LLM 任务如语言编码和解码使其比 PyTorch 更快、更容易使用。 使用 convert.py 实用程序将一个 PyTorch 模型转换为 GGUF 。你只需给出包含 PyTorch 文件的目录。这里的 GGUF 模型文件是完整的16位浮点模型 Llama2 模型可以使用 llama.cpp 将其转换并量化为 GGUF使用 convert.py 实用程序将一个 PyTorch 模型转换为 GGUFquantize 命令行工具量化 FP16 GGUF 文件。下面的命令使用5位 k-量化创建一个新的 GGUF 模型文件。你可以在自己的应用程序中使用 GGUF 模型文件或者在 Huggingface 上与全世界分享你的模型构建自己的私人GPTprivateGPT中如何使用国产YI-34B-CHAT模型如何创建 GGUF 模型文件全面了解 PrivateGPT中文技巧和功能实测