lucene optimize用法

2012-10-15

今天帮群里一个同学解决索引生成时间过长的问题,15万的数据生成结果需要半小时,通过逐步排查,结果定位到索引生成的部分,原来网上很多的例子写的笔记简单,在生成的时候没有仔细考虑速度,直接在添加文档生成索引时候就用了writer.optimize();结果每一次提交都合并索引,这样性能会极大的降低,真正的生产环境下需要 循环 writer.AddDocument(doc);,然后

finally {
writer.Optimize();
writer.Close();
}

这样生成索引最后一次合并,从原来的半小时缩小到7秒钟,15万条记录从7秒钟,如果是150万是不是70秒,1500万700秒,肯定不是,1500万需要进一步多线程去优化才行了,而且也不只700秒了。

以上是对lucene的opimize的简单理解,事实比这复杂。

作者:robotbird, 分类:关于代码 标签: lucene , 浏览(6529), 评论(0)
上一篇: lucene分页代码(收藏)
下一篇: 从今天开始坚持不刷技术类文章

相关文章

(0)条评论 订阅

发表评论

电子邮件用于回复通知和avatar全球唯一头像 *

*