[C#]Lucene.net–使用RAMDirectory、 優化Index

2012-10-04

 

過去介紹過如何透過 Lucene.net 去製作 index ..

其中我所使用的都是..

FSDirectory dir = FSDirectory.Open(new DirectoryInfo("Index 目錄"));

但是其實有一種方法可以加快,製作 index 的速度也就是  RAMDirectory



C# Code :



static RAMDirectory mDirectory = new RAMDirectory();
 
protected void btnCreateIndexToRam_Click(object sender, EventArgs e)
{
    Stopwatch sw = new Stopwatch();
 
    // 讀取所有資料
    var di = new DirectoryInfo(AppDomain.CurrentDomain.BaseDirectory + "\\Source\\");
 
    sw.Start();
    var allObjects = di.GetFiles().Select(
        x => JObject.Parse((File.ReadAllText(x.FullName)))).ToArray();
 
    //Index 存放路徑
    string indexPath = AppDomain.CurrentDomain.BaseDirectory + "\\Index1\\";
 
  
 
    //IndexWriter
    IndexWriter indexWriter = new IndexWriter(mDirectory, new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
 
    // 還原且加入需做 index 的欄位
    foreach (JObject ds in allObjects)
    {
 
        Document doc = new Document();
        // 把每一個欄位都建立索引
        Field f_Id = new Field("Id", ds["Id"].ToString(), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
        Field f_Age = new Field("Age", ds["Age"].ToString(), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
        Field f_Memo = new Field("Memo", ds["Memo"].ToString(), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
        Field f_BirthDay = new Field("BirthDay", DateTime.Parse(ds["Birthday"].ToString()).ToString("yyyyMMdd"), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
        doc.Add(f_Id); doc.Add(f_Age); doc.Add(f_Memo); doc.Add(f_BirthDay);
 
        indexWriter.AddDocument(doc);
    }
 
    indexWriter.Optimize();
    indexWriter.Commit();
    indexWriter.Close();
    sw.Stop();
 
    Response.Write("花費時間: " + sw.Elapsed + "");
}

之所以會放在外面宣告成 Static 是因為我撰寫的環境都是 ASP.net 如果不這樣做,會消失…


到底透過記憶製作會比較快嗎?!


我的電腦是 SSD 硬碟 記憶體為 8G..


使用 FSDirectory 效果大致上我測試都是 40~60 秒之間


但是使用 RAMDirectory 鮮少高於 40 秒..


如果 index 在 RAM 裡面我如何讀取搜尋呢?!


 


C# Code :


 



protected void btnSearchFromRAM_Click(object sender, EventArgs e)
{
    // 啟用監看
    Stopwatch sw = new Stopwatch();
    sw.Start();
 
 
    IndexSearcher search = new IndexSearcher(mDirectory, true);
    // 針對 Memo 欄位進行搜尋
    QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "Memo", new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_29));
    // 搜尋的關鍵字
    Query query = parser.Parse(txtKeyword.Text);
    // 開始搜尋
    var hits = search.Search(query, null, search.MaxDoc()).ScoreDocs;
 
    sw.Stop();
    Response.Write("花費時間:" + sw.Elapsed + "<br /><hr />");
    Response.Write("資料比數:" + hits.Length + "<br /><hr />");
    Response.Write("Result:<br />");
 
    foreach (var res in hits)
    {
        // 支援 Lucene.net 3.0 的做法
        Response.Write("Id:" + search.Doc(res.doc).Get("Id") + "  Memo=" + search.Doc(res.doc).Get("Memo").ToString().Replace(txtKeyword.Text, "<span style='color:red'>" + txtKeyword.Text + "</span>") + "<br />");
    }
}


當麻許的超技八 2014 | Donma Hsu Design.