Lucene –快速添加索引和搜索功能

什么是Lucene?

Apache LuceneTM是完全用Java编写的高性能,功能齐全的文本搜索引擎库。 它是一项适用于几乎所有需要全文搜索的应用程序的技术,尤其是跨平台的应用程序。

Lucene可以纯文本,整数,索引PDF,Office文档。 等等。,

Lucene如何启用更快的搜索?

Lucence创建了一个称为倒排索引的东西。 通常我们在文档中映射文档->术语。 但是,Lucene则相反。 创建索引词->包含该词的文档列表,这使搜索速度更快。

安装Lucene

Maven依赖

<pre class='brush:xml'><dependency><groupid>org.apache.lucene</groupid><artifactid>lucene-core</artifactid><version>3.0.2</version><type>jar</type><scope>compile</scope>
</dependency>

下载依赖

从http://lucene.apache.org/下载Lucene,并在类路径中添加lucene-core.jar。

Lucene如何工作?


首先让我们从底部开始了解图片-中心。 原始文本用于创建Lucene“文档”,使用指定的分析器对其进行分析,然后根据字段的Store,TermVector和Analzed属性将文档添加到索引中。

接下来,从上到下搜索。 用户以文本格式指定查询。 查询对象是基于查询文本构建的,执行查询的结果作为TopDocs返回。

Lucene核心课程

目录,FSDirectory,RAMDirectory 包含索引的目录

基于文件系统的索引目录

基于内存的索引目录

目录

indexDirectory = FSDirectory.open(新文件('c:// lucene // nodes'));

索引作家 处理写入索引– addDocument,updateDocument,deleteDocuments,merge等 IndexWriter writer =新的IndexWriter(indexDirectory,

新的StandardAnalyzer(Version.LUCENE_30),

新的MaxFieldLength(1010101));

IndexSearcher 使用indexReader进行搜索-搜索(查询,整型) IndexSearcher searcher =新的IndexSearcher(indexDirectory);
文献 DTO用于索引和搜索 Document document = new Document();
领域 每个文档包含多个字段。 有2部分,名称,值。 新字段('id','1',Store.YES,Index.NOT_ANALYZED)
术语 测试一个字。 用于search.2零件。要搜索的字段和要搜索的值 条款term = new Term('id','1');
询问 所有查询类型的基础-TermQuery,BooleanQuery,PrefixQuery,RangeQuery,WildcardQuery,PhraseQuery等。 查询查询=新的TermQuery(term);
分析仪 从文本构建令牌,并帮助从文本构建索引词 新的StandardAnalyzer()

Lucene目录

目录–是Lucene在其上运行的数据空间。 它可以是文件系统或内存。

以下是常用的目录

目录 描述
FS目录 基于文件系统的目录 目录= FSDirectory.open(文件文件);
//文件->目录路径
RAM目录 基于内存的Lucene目录 目录=新的MemoryDirectory()

Directory = new MemoryDirectory(Directory dir)//将基于文件的目录加载到内存


创建索引条目

Lucene的“文档”对象是索引中使用的主要对象。 文档包含多个字段。 分析器在文档字段上进行工作,以将其分解为令牌,然后使用索引编写器写入目录。

索引作家

IndexWriter writer = new IndexWriter(indexDirectory, new StandardAnalyzer(Version.LUCENE_30), true, MaxFieldLength.UNLIMITED);

分析仪

将文本分析为要搜索的标记或关键字的工作。 Lucene提供的默认分析器很少。 分析器的选择定义了如何对索引文本进行标记和搜索。

以下是一些标准分析仪。

示例–分析器如何处理示例文本

定义字段索引的属性

  • 存储–是否应存储该字段以便将来检索
  • 分析–应将内容拆分为令牌
  • TermVECTOR –是否存储基于术语的详细信息


店铺:

是否应将该字段存储起来以便以后撤退

是的 存储值,以后可以从索引中检索
商店编号 不要储存。 与Index.ANALYZED一起使用。 当令牌仅用于搜索时


分析:

如何分析文字

索引分析 将文本分解为标记,对每个标记编制索引以使其可搜索
索引。NOT_ANALYZED 将整个文本作为单个标记编制索引,但不要进行分析(拆分)
Index.ANALYZED_NO_NORMS 与ANALYZED相同,但不存储规范
索引:NOT_ANALYZED_NO_NORMS 与NOT_ANALYZED相同,但没有规范
索引号
使此字段完全可搜索


词向量

相似,突出显示等需要术语详细信息

TermVector.YES 记录
每个文档中的唯一条款+计数+无位置+无偏移
TermVector.WITH_POSITIONS 记录
每个文档中的唯一条款+计数+位置+无偏移
TermVector.WITH_OFFSETS 记录
每个文档中的唯一条款+计数+无位置+抵消
TermVector.WITH_POSITIONS_OFFSETS 记录
每个文档中的唯一条款+计数+位置+偏移
TermVector.NO 不要记录术语向量信息

创建索引的示例

IndexWriter writer = new IndexWriter(indexDirectory, new StandardAnalyzer(Version.LUCENE_30), true,MaxFieldLength.UNLIMITED);Document document = new Document();
document.add(new Field('id', '1', Store.YES, Index.NOT_ANALYZED));
document.add(new Field('name', 'user1', Store.YES, Index.NOT_ANALYZED));
document.add(new Field('age', '20', Store.YES, Index.NOT_ANALYZED));
writer.addDocument(document);

更新索引的示例

IndexWriter writer = new IndexWriter(indexDirectory, new StandardAnalyzer(Version.LUCENE_30), true,MaxFieldLength.UNLIMITED);Document document = new Document();
document.add(new Field("id", "1", Store.YES, Index.NOT_ANALYZED));
document.add(new Field("name", "user1", Store.YES, Index.NOT_ANALYZED));
document.add(new Field("age", "20", Store.YES, Index.NOT_ANALYZED));
writer.addDocument(document);

删除索引的例子

IndexWriter writer = new IndexWriter(indexDirectory, new StandardAnalyzer(Version.LUCENE_30), MaxFieldLength.UNLIMITED);Term term = new Term('id', '1');
writer.deleteDocuments(term);

搜索索引: 用户以文本格式指定查询。 根据查询文本构建查询对象,对其进行分析,然后将执行的查询结果作为TopDocs返回。
查询是搜索的主要输入。

术语查询
布尔查询 是否(合并多个查询)

机器生成的替代文本:表36布尔查询运算符快捷方式详细语法快捷语法aANDb + a + b aORb ab aNDNOTb + a-b

前缀查询 以。。开始
通配符查询 ? 和*
– *开头不允许
词组查询 精确短语
范围查询 术语范围或数字范围
模糊查询 相似词搜索

样本查询

搜索示例:

IndexSearcher searcher = new IndexSearcher(indexDirectory);
Term term = new Term('id', '1');
Query query = new TermQuery(term);
TopDocs docs = searcher.search(query, 3);
for (int i = 1; i <= docs.totalHits; i++)
{System.out.println(searcher.doc(i));
}

Lucene诊断工具:

  • 卢克– http://code.google.com/p/luke/
    Luke是一个方便的开发和诊断工具,它可以访问现有的Lucene索引,并允许您以几种方式显示和修改其内容:
  • 豪华轿车– http://limo.sourceforge.net/
    这个想法是要有一个小的工具作为Web应用程序运行,它提供有关Lucene搜索引擎使用的索引的基本信息。

完整的例子:

在这里下载: LuceneTester.java

资源资源

  • http://lucene.apache.org/core/
  • http://www.amazon.com/Lucene-Action-Second-Edition-Covers/dp/1933988177/ref=dp_ob_title_bk

参考: Lucene –在Techie博客的Thoughts中,从我们的JCG合作伙伴 Srividhya Umashanker 快速添加了索引和搜索功能 。

翻译自: https://www.javacodegeeks.com/2012/12/lucene-quickly-add-index-and-search-capability.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/370264.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

td 双击 编辑 php,双击表格td进行编辑

$(function(){//隔行换色// $("tbody tr:odd").css("background-color","#eee");var numId $(".tbody td");numId.dblclick(function(){var tdIns $(this);var tdpar $(this).parents("tr");//tdpar.remove();//current_…

前端开发之基础知识-HTML(一)

1.1 html概述和基本结构 html概述 HTML是 HyperText Mark-up Language 的首字母简写&#xff0c;意思是超文本标记语言&#xff0c;超文本指的是超链接&#xff0c;标记指的是标签&#xff0c;是一种用来制作网页的语言&#xff0c;这种语言由一个个的标签组成&#xff0c;用…

nodejs的async异步编程

函数有&#xff1a; series waterfall parallel parallelLimit … series函数 串行执行 它的作用就是按照顺序一次执行。 async.series({ one: function(callback){ callback(null, 1); }, two: function(callback){ callback(null, 2); } },function(err, results) { conso…

《深入理解Java虚拟机》读书笔记3--垃圾回收算法

转载&#xff1a;http://blog.csdn.net/tjiyu/article/details/53983064 下面先来了解Java虚拟机垃圾回收的几种常见算法&#xff1a;标记-清除算法、复制算法、标记-整理算法、分代收集算法、火车算法&#xff0c;介绍它们的算法思路&#xff0c;有什么优点和缺点&#xff0c;…

python常用函数中文_【python】python常用函数

urlencode与urldecode当url中包含中文或者参数包含中文&#xff0c;需要对中文或者特殊字符(/、&)做编码转换。urlencode的本质&#xff1a;把字符串转为gbk编码&#xff0c;再把\x替换成%。如果终端是utf8编码的&#xff0c;需要把结果再转成utf8输出&#xff0c;否则会乱…

带有批注的Spring硒测试

这篇文章描述了如何在Java中实现Selenium测试。 它的灵感来自Alex Collins的帖子&#xff0c;并带有注释。 该代码可在GitHub的Spring-Selenium-Test目录中找到。 一些替代方法和更轻巧的技术可用于对Spring MVC应用程序进行单元测试。 要进行单元测试服务&#xff0c;请参见此…

sizeof运算符

sizeof是一个单目运算符&#xff0c;它的运算对象是变量或数据类型&#xff0c;运算结果为一个整数。运算的一般形式如下: sizeof(<类型或变量名>) 它只针对数据类型&#xff0c;而不针对变量&#xff01; 若运算对象为变量&#xff0c;则所求的结果是这个变量占用的内存…

oracle 日志切换太频繁,诊断一次Oracle日志切换频繁的问题

日志切换&#xff0c;就是生成的日志太大&#xff0c;数据块的变化太频繁。Snap IdSnap TimeSessionsCursors/SessionBegin Snap:1456009-Dec-15 04:00:48594.5End Snap:1456109-Dec-15 05:00:59544.6Elapsed:60.19 (mins)DB Time:82.47 (mins)1s产生2M的日志。Per SecondPer T…

Flex布局(一)flex-direction

采用Flex布局的元素&#xff0c;被称为Flex容器(flex container)&#xff0c;简称"容器"。其所有子元素自动成为容器成员&#xff0c;成为Flex项目(Flex item)&#xff0c;简称"项目" Flex-direction调整主轴方向&#xff08;默认为水平方向&#xff09;包…

【升级版】如何使用阿里云云解析API实现动态域名解析,搭建私有服务器【含可执行文件和源码】...

原文地址&#xff1a;http://www.yxxrui.cn/article/179.shtml 未经许可请勿转载&#xff0c;如有疑问&#xff0c;请联系作者&#xff1a;yxxrui163.com 我遇到的问题&#xff1a;公司的网络没有固定的公网IP地址&#xff0c;但是需要能够保证的是&#xff0c;每次动态分配的I…

Java管理扩展

什么是JMX&#xff1f; Java管理扩展&#xff08;JMX&#xff09;是一种API&#xff0c;用于管理或监视各种资源&#xff0c;例如应用程序&#xff0c;设备&#xff0c;服务&#xff0c;当然还有JVM。 通过Java社区流程&#xff08;JCP&#xff09;开发&#xff0c;JMX技术被构…

登录网页后要弹出一个新标签_连永久链接都不会,还做什么新媒体?

上次给主编大大发的预览链接失效了&#xff0c;被骂得狗血淋头。大部分运营人可能都遇到过这种情况&#xff0c;忽视了预览生成的链接只是临时的&#xff0c;在12小时后或超过500阅读量后就会失效。一个疏忽&#xff0c;给自己带来了不必要的麻烦&#xff0c;耽误工作&#xff…

混频通信的matlab仿真,基于MATLAB的扩频通信系统仿真研究—上海交通大学

基于MATLAB 的扩频通信系统仿真研究范伟 翟传润 战兴群(上海交通大学电子信息与电气工程学院&#xff0c;200030&#xff0c;上海)摘要 本文阐述了扩展频谱通信技术的理论基础和实现方法&#xff0c;利用MATLAB 提供的可视化工具Simulink 建立了扩频通信系统仿真模型&#xff0…

static_cast与dynamic_cast转换

static_cast与dynamic_cast转换   一 C语言中存在着两种类型转换&#xff1a; 隐式转换和显式转换 隐式转换&#xff1a;不同数据类型之间赋值和运算&#xff0c;函数调用传递参数……编译器完成 char ch;int i ch; 显示转换&#xff1a;在类型前增加 &#xff1a;&#xff…

vue使用iview Timeline 时间轴不显示问题

vue Timeline 时间轴不显示渲染的效果 官网代码 <Timeline pending><TimelineItem>发布1.0版本</TimelineItem><TimelineItem>发布2.0版本</TimelineItem><TimelineItem>发布3.0版本</TimelineItem><TimelineItem><a href…

python 重置索引_python pandas 对series和dataframe的重置索引reindex方法

reindex更多的不是修改pandas对象的索引&#xff0c;而只是修改索引的顺序&#xff0c;如果修改的索引不存在就会使用默认的None代替此行。且不会修改原数组&#xff0c;要修改需要使用赋值语句。series.reindex()import pandas as pdimport numpy as npobj pd.Series(range(4…

Java EE 6 Web配置文件。 在云上。 简单。

Java SE还可以。 Java EE是邪恶的。 这就是我一直想的。 好吧&#xff0c;现在不再了。 让我分享我的经验。 几周前&#xff0c;我开始考虑将旧版spring hibernate tomcat应用程序移植到新平台上&#xff1a; SAP NetWeaver云 。 我知道您在极客那里的想法&#xff1a;…

Kubernetes核心概念总结

1、基础架构 1.1 Master Master节点上面主要由四个模块组成&#xff1a;APIServer、scheduler、controller manager、etcd。 APIServer。APIServer负责对外提供RESTful的Kubernetes API服务&#xff0c;它是系统管理指令的统一入口&#xff0c;任何对资源进行增删改查的操作都要…

七、spring boot 1.5.4 集成shiro+cas,实现单点登录和权限控制

1.安装cas-server-3.5.2 官网&#xff1a;https://github.com/apereo/cas/releases/tag/v3.5.2 下载地址&#xff1a;cas-server-3.5.2-release.zip 安装参考文章&#xff1a;http://blog.csdn.net/xuxuchuan/article/details/54924933 注意&#xff1a; 输入 <tomcat_key&g…

php连接mysql数据,php连接mysql数据库

$sql_link mysql_connect("主机名","登入用户名","登入用户名密码");如果连接成功&#xff0c;就会返回一个mysql句柄,可以简单的理解成这个$sql_link 是php跟mysql的一个桥梁&#xff0c;通过该桥梁我们可以进入到mysql。进入到mysql之后&…