网站备案 域名证书,建立网站和推广,网页制作与网站建设答案,wordpress 音频播放器系列文章目录 玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型——使用GraphRAGOllama构建知识图谱 玩转大语言模型——完美解决Gra…系列文章目录 玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型——使用GraphRAGOllama构建知识图谱 玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题 玩转大语言模型——配置图数据库Neo4j含apoc插件并导入GraphRAG生成的知识图谱 玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程 文章目录 系列文章目录前言安装JDK安装Neo4j下载Neo4j配置环境变量安装apoc插件 导入知识图谱启动Neo4j使用Python导入知识图谱显示知识图谱 前言 在之前的文章中笔者解决了使用本地模型部署GraphRAG并生成知识图谱的过程并且解决了原本提示词只生成英文知识图谱的问题在本篇中笔者将配置Neo4j图数据库并导入GraphRAG生成的知识图谱数据。以往的内容参照玩转大语言模型——使用GraphRAGOllama构建知识图谱、玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题。 安装JDK Neo4j使用Java开发的所以首先需要安装JDK。如果没有安装过JDK需要先到官网下载安装。 官网https://www.oracle.com/java/technologies/downloads/?er221886#java11-windows 选择合适的版本下载 跟随指引安装即可。 安装Neo4j 下载Neo4j Neo4j官网https://neo4j.com/deployment-center/ 下载好后是个压缩包将其解压到你的目标安装目录即可注意记一下解压后的地址需要配置环境变量笔者的地址是D:\neo4j-community-5.26.1配置时可以做参考 配置环境变量 打开编辑环境变量新建系统环境变量名为NEO4J_HOME值为D:\neo4j-community-5.26.1 修改Path变量在其值中增加 双击后点新建 %NEO4J_HOME%\bin安装apoc插件 导入知识图谱时会用到apoc插件的部分功能所以首先要安装apoc。 apoc版本地址https://github.com/neo4j/apoc/releases?page1 点击下载后放到路径neo4j路径/plugins下 找到路径neo4j路径/conf下的neo4j.conf在文件内容的末尾添加以下配置并保存。 dbms.security.procedures.unrestrictedapoc.* dbms.security.procedures.allowlistapoc.* server.jvm.additional-Dapoc.export.file.enabledtrue server.jvm.additional-Dapoc.import.file.enabledtrue dbms.security.allow_csv_import_from_file_urlstrue在neo4j路径/conf下新建一个apoc.conf文件 在文件中写入以下配置并保存。 apoc.export.file.enabledtrue apoc.import.file.use_neo4j_configfalse apoc.import.file.enabledtrue apoc.import.file.directoryD:/Neo4j/neo4j-community-5.13.0-windows/neo4j-community-5.13.0/import apoc.export.file.directoryD:/Neo4j/neo4j-community-5.13.0-windows/neo4j-community-5.13.0/export导入知识图谱 启动Neo4j 在命令行输入 neo4j console之后在浏览器搜索http://localhost:7474 进行用户创建。 初始用户名及密码都是neo4j之后会让重置密码。 如果想持续在后台运行数据库可以使用以下命令 neo4j start如果neo4j start 时报错可以执行以下命令安装service。 neo4j windows-service install 安装成功后重新使用命令neo4j start 即可但使用neo4j start 命令开启的服务在停止时需要调用neo4j stop停止运行 使用Python导入知识图谱 使用pip安装相关包 pip install --quiet pandas neo4j-rust-ext不确定是由于使用的模型的问题还是GraphRAG本身的问题实际导入的方式与官方提供的方式略有差距主要体现在某些字段的命名上。如果笔者已经足够熟悉Neo4j可以自行修改但如果只是想看一下知识图谱生成的效果可以参照笔者的方式修改。尽管在笔者看来他的构建方式导入的图数据库展示效果并不会实际上人工处理一下自己构建会更加准确。 导入包 import time import pandas as pd from neo4j import GraphDatabase设置数据库参数 GRAPHRAG_FOLDER ragtest/output NEO4J_URI neo4j://localhost # or neo4js://xxxx.databases.neo4j.io NEO4J_USERNAME neo4j NEO4J_PASSWORD your password NEO4J_DATABASE neo4j实例化Neo4j driver driver GraphDatabase.driver(NEO4J_URI, auth(NEO4J_USERNAME, NEO4J_PASSWORD))构建批量导入函数 def batched_import(statement, df, batch_size1000):Import a dataframe into Neo4j using a batched approach.Parameters: statement is the Cypher query to execute, df is the dataframe to import, and batch_size is the number of rows to import in each batch.total len(df)start_s time.time()for start in range(0, total, batch_size):batch df.iloc[start : min(start batch_size, total)]result driver.execute_query(UNWIND $rows AS value statement,rowsbatch.to_dict(records),database_NEO4J_DATABASE,)print(result.summary.counters)print(f{total} rows in {time.time() - start_s} s.)return total创建constraints, idempotent操作 statements [\ncreate constraint chunk_id if not exists for (c:__Chunk__) require c.id is unique,\ncreate constraint document_id if not exists for (d:__Document__) require d.id is unique,\ncreate constraint entity_id if not exists for (c:__Community__) require c.community is unique,\ncreate constraint entity_id if not exists for (e:__Entity__) require e.id is unique,\ncreate constraint entity_title if not exists for (e:__Entity__) require e.name is unique,\ncreate constraint entity_title if not exists for (e:__Covariate__) require e.title is unique,\ncreate constraint related_id if not exists for ()-[rel:RELATED]-() require rel.id is unique,\n, ]for statement in statements:if len((statement or ).strip()) 0:print(statement)driver.execute_query(statement)导入create_final_documents.parquet doc_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_documents.parquet, columns[id, title] )# Import documents statement MERGE (d:__Document__ {id:value.id}) SET d value {.title} batched_import(statement, doc_df)导入create_final_text_units.parquet text_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_text_units.parquet,columns[id, text, n_tokens, document_ids], )statement MERGE (c:__Chunk__ {id:value.id}) SET c value {.text, .n_tokens} WITH c, value UNWIND value.document_ids AS document MATCH (d:__Document__ {id:document}) MERGE (c)-[:PART_OF]-(d) batched_import(statement, text_df)导入create_final_entities.parquet entity_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_entities.parquet,columns[title,type,description,human_readable_id,id,# description_embedding,text_unit_ids,], ) entity_df.rename(columns{title: name}, inplaceTrue)entity_statement MERGE (e:__Entity__ {id:value.id}) SET e value {.human_readable_id, .description, name:replace(value.name,,)} WITH e, value CALL apoc.create.addLabels(e, case when coalesce(value.type,) then [] else [apoc.text.upperCamelCase(replace(value.type,,))] end) yield node UNWIND value.text_unit_ids AS text_unit MATCH (c:__Chunk__ {id:text_unit}) MERGE (c)-[:HAS_ENTITY]-(e) batched_import(entity_statement, entity_df)导入create_final_relationships.parquet rel_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_relationships.parquet,columns[source,target,id,# rank,weight,human_readable_id,description,text_unit_ids,], )rel_statement MATCH (source:__Entity__ {name:replace(value.source,,)})MATCH (target:__Entity__ {name:replace(value.target,,)})// not necessary to merge on id as there is only one relationship per pairMERGE (source)-[rel:RELATED {id: value.id}]-(target)SET rel value {.weight, .human_readable_id, .description, .text_unit_ids}RETURN count(*) as createdRels batched_import(rel_statement, rel_df)导入create_final_communities.parquet community_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_communities.parquet,columns[id, level, title, text_unit_ids, relationship_ids], )statement MERGE (c:__Community__ {community:value.id}) SET c value {.level, .title} /* UNWIND value.text_unit_ids as text_unit_id MATCH (t:__Chunk__ {id:text_unit_id}) MERGE (c)-[:HAS_CHUNK]-(t) WITH distinct c, value */ WITH * UNWIND value.relationship_ids as rel_id MATCH (start:__Entity__)-[:RELATED {id:rel_id}]-(end:__Entity__) MERGE (start)-[:IN_COMMUNITY]-(c) MERGE (end)-[:IN_COMMUNITY]-(c) RETURn count(distinct c) as createdCommunities batched_import(statement, community_df)导入create_final_community_reports.parque community_report_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_community_reports.parquet,columns[id,community,level,title,summary,findings,rank,rank_explanation,full_content,], )# Import communities community_statement MERGE (c:__Community__ {community:value.community}) SET c value {.level, .title, .rank, .rank_explanation, .full_content, .summary} WITH c, value UNWIND range(0, size(value.findings)-1) AS finding_idx WITH c, value, finding_idx, value.findings[finding_idx] as finding MERGE (c)-[:HAS_FINDING]-(f:Finding {id:finding_idx}) SET f findingbatched_import(community_statement, community_report_df)导入create_final_nodes.parquet nodes_df pd.read_parquet(f{GRAPHRAG_FOLDER}/create_final_nodes.parquet)nodes_statement MERGE (c:__Covariate__ {id:value.id}) SET c apoc.map.clean(value, [text_unit_id, document_ids, n_tokens], [NULL, ]) WITH c, value MATCH (ch:__Chunk__ {id: value.text_unit_id}) MERGE (ch)-[:HAS_COVARIATE]-(c)batched_import(nodes_statement, nodes_df)显示知识图谱 启动Neo4j后访问http://localhost:7474 可以看到效果还可以不过可能由于使用的是本地模型逻辑能力较差所以有些实体之间的关系并没有理清需要通过人工去做一下知识图谱的数据。不过从做数据的角度来看如果没有知识图谱的需求通过事件和实体查找的话应该可以找全相关的信息只能说当前的这种方式差强人意。