MiningZhiDaoQACorpus
580万百度知道问答数据挖掘项目
ZhiDaoChatCorpus, zhidao QA pairs crawled from Baidu zhidao which contains more than 5,800,000 question and answers with certain tags。百度知道问答语料库，包括超过580万的问题，每个问题带有问题标签。基于该问答语料库，可支持多种应用，如逻辑挖掘。
项目介绍
知道类问答社区,是目前社会知识传播和交流的重要场所之一,有问题找百度,有问题,更找百度知道,这句话鲜明的点出了作为国内最大的全民问答社区,百度知道所占据的地位。 本项目以百度问答数据位试点进行挖掘，目标有二，其一是开源数据，其二是基于该数据集做知识挖掘。
知道类问答数据的特点
1, 规模之大。截止到我敲下这个现在这个字时,百度知道已经积累了549,406,017个问题,这个问题数量无时不刻在增长,并且已经达到了5亿的级别,这个数量隐藏着百度知道这一社区的知识财富。
2, 质量之伤。既然是众包之下的一个产物,准确性和规范性容易被人诟病,我们必须承认很多答非所问,乱说一通现象的存在。但好的占多数(这个数字可以参考相关论文,已有论文做过研究)。
3, 范围之广。百度问答社区所涉及到的问题有很多,有专业领域的问题,也有吃喝拉撒睡之类的生活问题,也有小学生问作业怎么做,这与人们的生活息息相关。
5, 价值之大。一问一答,往往是以解决问题为目的而产生的,这种解决问题的行为是一种潜在的因果逻辑所在,这种逻辑又包括多种领域。
知道类问答数据的应用
因此,知道类问答社区,可以支持以下应用:
1, 问答QA。问答语料库目前不少,加上这个百度问答语料能够有一定程度的扩充,用作算法学习也好,用作闲聊或者领域问答也好,都能发挥出其价值。
2, 数据挖掘。社区问答是社会语言生活最为直接的一种反映途径,基于百万级的问答对,可以支持多方面的分析,如问题画像等。
3, 语言挖掘。语言挖掘,指的是基于问答语料做诸如百度社区问句风格上,词语使用情况等的分析工作,借此来考察语言生活上的特点,也可以用该特定语料进行领域模型的训练。
4, 知识挖掘。百度问答对是非结构化的知识库,里面隐藏着大量的逻辑知识,实体知识和关系知识,如果对其进行结构化,那将能够挖掘出大量的实体性,事件性的逻辑知识出来。(这也是本项目的一个目标)。
知道类问答数据的概况
因此,考虑到百度知道的四个数据特点以及4个应用点,本项目通过采集百度知道,形成了百万级别的问答数据库规模。其中:
1, 问题个数583万个。
2, 问答对983万个。
3, 每个问题的答案个数1.7个。
4, 问题标签个数5824个。
数据介绍
1, 文件路径:已经上传至网盘,网盘地址为: 链接:https://pan.baidu.com/s/1Eesx24tAbfJ3Mch-6OeGrA 密码:oin3
2, 文件名称:zhidao_qa。json, json文件的内容样式为:
{"_id" : ObjectId("5d36e599bc54f451543da02b"),"url" : "http://zhidao.baidu.com/question/2207667243516878988.html","answers" : ["这与当时的历史背景有关。卡萨布兰卡属于法国的殖民地，而当时的法国是与纳粹德国合作的。但在法国人中又分为合作和抵抗两派。警长的立场早先是在双方之间摇摆不定。后来与Rick站在了一起。拿酒瓶又扔掉象征其抛弃过去，走上了义无反顾的抵抗道路。----------------------------------------------------------------------------------------卡萨布兰卡的剧情简介 · · · · · · 二战期间，卡萨布兰卡是欧洲逃往美国的必经之地，那里鱼龙混杂，局势紧张。里克（亨佛莱?鲍嘉 Humphrey Bogart 饰）是一个神秘的商人，他在卡萨布兰卡开了一家人气很旺的夜总会，并拥有两张宝贵的通行证。一天，反纳粹人士维克多和妻子伊尔莎（英格丽?褒曼 Ingrid Bergman 饰）来到夜总会，原来他们正在逃避纳粹的追捕。碰巧的是，里克发现，伊尔莎竟然是他的旧日情人。那段爱曾经刻骨铭心，却因为一个误会而终止。而当误会消解时，伊尔莎和里克的感情还是不可避免的重燃了。里克手上的两张通行证能帮助维克多度过难关，但这样一来，伊尔莎是决定留下，还是离去，他们的爱情在政治和伦理的推波逐流中走向何方。"],"question" : "卡萨布兰卡为什么是欧洲逃往美国的必经之地","tags" : ["美国"]}{"_id" : ObjectId("5d36e599bc54f451543da02c"),"url" : "http://zhidao.baidu.com/question/1929874578384929307。html","answers" : ["你好是的！现在办理的身份证都是2代身份证！都是有磁性的"],"question" : "2017年办的身份证是二代身份证吗","tags" : ["公务办理"]}{"_id" : ObjectId("5d36e599bc54f451543da02d"),"url" : "http://zhidao.baidu.com/question/941683273505984492.html","answers" : ["龙凤汤是一道色香味俱全的传统名肴，属于闽系。此菜汤色微红，清澈见底，是一道上等滋补药膳。此菜由泰西宾馆一级厨师孙业富创作，被泰安市地方名吃评审会评为一等奖，受到海内外宾客的好评。龙凤汤主要食材：鲤鱼 ，口 味：鲜香 ，辅 料：香菇主料鲤鱼1条﹐鸡(大雏鸡)1/2只﹐香菇5个﹐大枣﹑栗子各10个﹐切好的葱2大勺﹐蒜1头﹐香油﹐胡椒粉鸡肉佐料切好的葱1大勺﹐捣好的蒜1大勺﹐胡椒面1/4小勺﹐香油1小勺调料鸡蛋﹐辣椒丝做法(1) 鸡要准备大雏鸡﹐去掉头和瓜﹐除去内脏洗净。(2) 要准备活鲤鱼﹐去尾放血后刮鳞﹐并切成块洗净。(3) 把香菇泡在水里除去香菇柱﹐大枣去核﹐栗子去皮。(4) 鸡蛋煎出来﹐切成丝。(5) 往平锅里倒水﹐开锅时放鸡﹑香菇﹑栗子﹑大枣﹑蒜煮熟。营养价值编辑鸡完全煮熟时﹐捞取撕肉与葱﹑蒜﹑香油﹑胡椒粉一起拌。在煮鸡的汤里放鲤鱼块儿﹐重煮一遍。有龙凤汤的真味儿出来时﹐盛在碗里﹐并在上面放拌的鸡肉和辣椒丝。","因为香菇具有特殊的香味，会相互影响口味，所以不适合放。"],"question" : "为什么炖龙凤汤不能放香菇呢","tags" : ["美食","花鸟鱼虫","香菇"]}
其中,url表示该问句所在百度百科的网址;question表示问题描述,answer是一个答案列表,列表中的顺序为百度知道问答中的排序,一般是越靠前,置信度越高;tags是问题的标签列表。
3, 文件的说明:
1, len_distribution.txt,问题答案个数分布
2, tag_distribution.txt,问题的标签分布
问答对数据概况
| 问题答案个数 | 频次 |
|---|---|
| 1 | 3524209 |
| 2 | 1315246 |
| 3 | 554687 |
| 4 | 229455 |
| 5 | 186532 |
| 6 | 25256 |
| 7 | 629 |
| 8 | 9 |
| 9 | 2 |
| 11 | 1 |
问题标签概况
| 问题标签 | 频次 | 问题标签 | 频次 |
|---|---|---|---|
| 学习 | 405608 | 感情 | 218283 |
| 理工学科 | 344649 | 汽车 | 213075 |
| 手机 | 338319 | 硬件 | 212689 |
| 游戏 | 319145 | 商业 | 206260 |
| 保健养生 | 267062 | 网络游戏 | 193532 |
| 烦恼 | 264315 | 法律 | 191664 |
| 交通 | 261084 | 医疗 | 177384 |
| 生活 | 253055 | 人体常识 | 175527 |
| 生活常识 | 243856 | 教育 | 172151 |
| 恋爱 | 236902 | 软件 | 169979 |
下一步的工作
1, 基于问答对, 进行逻辑关系挖掘,具体实施后续开源
总结
1, 本项目开源了一个问题个数583万个, 问答对数目达到983万的问答数据集。
2, 本项目对问答数据集的概况进行了介绍, 请用于学习交流使用, 若有侵权,请联系我删除。
3, 欢迎大家使用该数据集进行知识挖掘,语言挖掘,数据挖掘等方面的学习和研究工作。
4, 本项目后续将尝试基于该数据集进行逻辑事理的挖掘工作,目标是建成百科社区的逻辑知识库。
If any question about the project or me ,see https://liuhuanyong.github.io/
如有自然语言处理、[知识图谱、事理图谱]、社会计算、语言资源建设等问题或合作，如果对事件知识库有兴趣的落地或者研究，可联系我：
1、我的github项目介绍：https://liuhuanyong.github.io
2、我的csdn博客：https://blog.csdn.net/lhy2014
3、about me:刘焕勇，中国科学院软件研究所，lhy_in_blcu@126.com
4、得语言者分天下，得知识逻辑者，游得天下。
)
