基于 Lucene 的桌面文件搜索

开源2010年,自己在学习 Lucene 时开发的一款桌面文件搜索工具,这么多年过去了,代码一直静静存放在自己的硬盘上,与其让其沉睡,不如分享出来。

这款工具带有明显的模仿 Everything 的痕迹。事实上这是当时某项课程的作业,而那个时候刚好发现了 Eveything 这款神奇的工具,出于想探究其原理,就着手做了一款与其类似的工具,但是最后的结果却是令人不满意的,因为差距仍然是很大。

就比如 Everything 能够实时监测 NTFS 文件的变化(据说是监测 NTFS 的日志)并自动更新索引,而我却需要手动来更新。

虽然这不是一款另我十分满意的作品,但希望其中某些部分能够帮到有需要的人。这里还要感谢共同完成的杨一江边串串香

代码开源在 Github 上,地址在这里

为什么选择 Lucene?

  1. Lucene 是最著名的全文检索引擎的核心库,使用 Lucene 可以让搜索出来的结果按匹配程度排序。
  2. Lucene 有很多版本的实现,Java,C#,Python。
  3. 用数据库的模糊搜索也可以实现,但是效果和速度跟 Lucene 还是有差距。

关于 Lucene 的一些资料可以参考车东的笔记

功能

实现对桌面文件名、MP3 文件 Tag 信息(歌手,专辑,流派,…)的快速检索。

前提:需要先对文件建立索引。

分词

默认情况下使用中文的分词是对词进行切分,比如:

这是文件名 -> 这是|文件名

为了实现对文件名的模糊搜索,需要自定义一个自己的分词,分词效果是对所有的字都进行切分:

这是文件名 -> 这|是|文|件|名

特别指出,Lucene 可以自定义分词,这里就不展开介绍。

在 Lucene.Net.Analysis 中添加一个自己的 MyAnalyzer

文件:Lucene/Net/Analysis/MyAnalyzer/MyAnalyzer.cs

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
using System;
using System.Collections.Generic;
using System.Text;
using Lucene.Net.Analysis;
using System.IO;
namespace Lucene.Net.Analysis.MyAnalyzer
{
public class MyAnalyzer : Analyzer
{
public override TokenStream TokenStream(string fieldName, System.IO.TextReader reader)
{
TokenStream result = new MyTokenizer(reader);
return result;
}
public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)
{
Tokenizer tokenizer = (Tokenizer)GetPreviousTokenStream();
if (tokenizer == null)
{
tokenizer = new MyTokenizer(reader);
SetPreviousTokenStream(tokenizer);
}
else
tokenizer.Reset(reader);
return tokenizer;
}
}
}

文件:Lucene/Net/Analysis/MyAnalyzer/MyTokenizer.cs

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
using System;
using System.Collections.Generic;
using System.Text;
using System.IO;
using Lucene.Net.Analysis;
using Token = Lucene.Net.Analysis.Token;
using Tokenizer = Lucene.Net.Analysis.Tokenizer;
namespace Lucene.Net.Analysis.MyAnalyzer
{
public class MyTokenizer : Tokenizer
{
public MyTokenizer(System.IO.TextReader input) : base(input)
{ }
private int start = 0;
private int length = 0;
private const int IO_BUFFER_SIZE = 256;
private char[] ioBuffer = new char[IO_BUFFER_SIZE];
public override Token Next(Token token)
{
token.Clear();
if (start == 0)
{
length = input.Read((System.Char[])ioBuffer, 0, ioBuffer.Length);
if (length <= 0)
return null;
}
if (start == length)
return null;
token.SetTermBuffer(ioBuffer, start, 1);
start++;
token.termBuffer[0] = System.Char.ToLower(token.termBuffer[0]);
return token;
}
public override void Reset(System.IO.TextReader input)
{
start = 0;
length = 0;
}
}
}

相关注意事项

  1. 由于需要访问系统注册表,来根据文件扩展名获取图标,因此启动的时候需要管理员权限,同时在VS上开发的时候,也相应需要用管理员权限打开VS。
  2. 建立索引的时候,使用了三个线程来处理文件索引操作:分扫描磁盘文件,处理扫描获取的文件数据,将文件信息加入到索引中。它们之间使用队列来传递文件信息,如果运行时线程的速度不一致,就会出现队列有大量未处理的数据,导致诡异的内存占用升到非常高。这在其他同学的电脑上测试时有出现过。(当时使用多线程,是为了在等待IO时,顺便创建索引)