Nutch 0.8笔记--Google式的搜索引擎实现(作者：江南白衣) - chengg0769 来自四川，在东莞虚度十载 - 博客频道 - CSDN.NET chengg0769 来自四川，在东莞虚度十载 PB反编译_Powerbuilder DeCompiler_PB反编译器_PB混淆器_PB加密 目录视图 摘要视图 订阅 新年新气象------CSDN2014新版导航就要跟大家见面了 2014年1月微软MVP当选名单揭晓！ “我的2013”年度征文活动火爆进行中！ 专访何海涛：“不正经”程序员的进阶之路 Nutch 0.8笔记--Google式的搜索引擎实现(作者：江南白衣) 2007-07-19 06:31 982人阅读 评论(0) 收藏 举报 搜索引擎lucenehadoop文档eclipseurl 作者：江南白衣 Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。 Nutch 0.8 完全使用Hadoop重写了骨干代码，另有很多地方作了合理化修正，非常值得升级。 1.Nutch 0.8 的安装与运行 nutch 0.7.2的中文安装文档满街都是，nutch 0.8的安装文档见Tutorial (0.8) ， 要注意两点： 一是 crawl命令里的urls参数从指定文件变为了指定目录， 即原来的urls 要改存到urls/foo 里。 二是 nutch-default.xml里http.agent.name属性默认为空，必须在nutch-site.xml中为该属性设值，否则会出错。 注意nutch 爬行时的信息用log4j输出在/logs 目录下了，默认不再直接输出到屏幕，除非你在配置文件里设fetcher.verbose为true。 Luke(http://www.getopt.org/luke) 是一个必备的索引阅读工具。 另外，nutch需要在unix下奔跑，如果要装在windows上，大家可以先装个cygwin。(下载它的setup.exe 在线安装很快装完)。 最后，nutch 0.8的recawl 脚本也不同了。 2.Nutch You should know 2.1 一份文档 nutch的文档不多，而且多是安装文档，要深入nutch，就必须一字不漏的阅读： Introduction to Nutch, Part 1 Crawling 和 Introduction to Nutch, Part 2 Searching 然后就是看源码了，好在nutch的源码非常均匀，简短，没有花哨的技巧，很容易把事情看明白。 2.2 三个目录 首先理解nutch的三个数据目录： 1.crawdb,linkdb 是web link目录，存放url 及url的互联关系，作为爬行与重新爬行的依据，页面默认30天过期。 2.segments 是主目录，存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。 3.index 是lucene的索引目录，是indexs里所有index合并后的完整索引，注意索引文件只对页面内容进行索引，没有进行存储，因此查询时要去访问segments目录才能获得页面内容。 2.3 爬行过程 爬行过程在Introduction to Nutch, Part 1 Crawling 里已有详细说明，或许直接看Crawl类来理解爬行的过程。 这里有一幅更直观的图：Nutch用入口地址，地址正则表达式，搜索深度三种形式来限制。 因为使用了Hadoop(下篇再讲），Nutch的代码都按照Hadoop的模式来编写以获得分布式的能力，因此要先了解一下Hadoop，明白它Mapper,Reducer, InputFormat, OutputFormat类的作用才能更好的阅读。 1.Fetcher类， 在run()里多线程运行FetcherThread，并调用恰当的Protocol插件(支持http,ftp等协议)获取内容，调用恰当的Parser将内容(html,pdf,excel)分析为文本，然后把内容放到FetcherOutput类里，最后由FetcherOutputFormat类定义写盘到segments的过程。 2.Indexer类，使用hadoop遍历所有segments 目录，将parseData文件序列化成ParseData类，从中获得各种资料然后调用插件进行索引，最后仍然由ouputFormat类完成写入索引的工作。 注意，如果你仅想使用Nutch的爬虫，而不是其索引功能，可以仿照Indexer重写自己的实现，比如把segments内容直接搬进数据库。 3.Nutch 每条索引记录的字段 url： 作为唯一标标识值，由BasicIndexingFilter类产生。 segment：由Indexer类产生。Nutch抓回来的页面内容放在segments目录，lucene只会索引，不会store原文内容，因此在查询时要以segment与url作为外键，由FetchedSegments类根据hitsDetail从segments目录获得content。 boost：优先级，由Indexer类调用插件计算产生。 title：显示标题，在BasicIndexingFilter插件中被索引和存储。 content： 主要的被搜索项，在BasicIndexingFilter插件中被索引。 2.4 搜索过程 Nutch提供了一个Fascade的NutchBean类供我们使用，一段典型的代码如下 NutchBean bean = new NutchBean(); Query query = Query.parse(args[0]); Hits hits = bean.search(query, NUM_HITS,"title",true); for (int i = 0; i < hits.getLength(); i++) { Hit hit = hits.getHit(i); HitDetails details = bean.getDetails(hit); String title = details.getValue("title"); String url = details.getValue("url"); String summary =bean.getSummary(details, query); } 这里NutchBean为我们做了几样事情： 一是按Title field来排序。 二是支持分布式查询，如果有配置servers，就会使用hadoop的IPC系统，调用所有server上的nutchBeans，最后规约出总的结果。 三是每个站点像Google一样只显示分数最高的一页，如果用户还想看同站的其他结果，就需要进一步调用API访问。 四是生成Summary，从segments目录按segments和url 获得content, 并按一定算法抽取出像Google一样的包含关键字的文档片断。 3. 修改源码或编写插件 Nutch的源码很容易修改和重新编译，注意新编译的class要压回nutch-0.8.job（实际是一个jar)才能生效。 Nutch的插件机制及度类似Eclipse， 详看http://wiki.apache.org/nutch/WritingPluginExample，只要实现某个插件接口，然后在plugins.xml里定义class,扩展点和依赖的jar，如 <plugin id="index-basic" version="1.0.0" provider-name="nutch.org"> <runtime> <library name="index-basic.jar"> <export name="*"/> </library> </runtime> <requires> <import plugin="nutch-extensionpoints"/> </requires> <extension id="org.apache.nutch.indexer.basic" name="Nutch Basic Indexing Filter" point="org.apache.nutch.indexer.IndexingFilter"> <implementation id="BasicIndexingFilter" class="org.apache.nutch.indexer.basic.BasicIndexingFilter"/> </extension></plugin> 更多 上一篇：Nutch搜索引擎之分布式文件系统(作者：CSharpProgrammer) 下一篇：Doug Cutting 访谈录 -- 关于搜索引擎的开发(推荐帖) 查看评论 * 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场 核心技术类目 全部主题 Java VPN Android iOS ERP IE10 Eclipse CRM JavaScript Ubuntu NFC WAP jQuery 数据库 BI HTML5 Spring Apache Hadoop .NET API HTML SDK IIS Fedora XML LBS Unity Splashtop UML components Windows Mobile Rails QEMU KDE Cassandra CloudStack FTC coremail OPhone CouchBase 云计算 iOS6 Rackspace Web App SpringSide Maemo Compuware 大数据 aptech Perl Tornado Ruby Hibernate ThinkPHP Spark HBase Pure Solr Angular Cloud Foundry Redis Scala Django Bootstrap 个人资料 chengg0769 访问：517428次 积分：8562分 排名：第419名 原创：267篇 转载：211篇 译文：0篇 评论：348条 文章搜索 文章分类 PB反编译与加密(12) IOS和安卓(9) PB与数据库(9) 网络相关(1) 搜索相关(0) 闲话扯起耍(1) 其他语言(4) 文章存档 2013年12月(2)2013年11月(2)2013年09月(1)2013年02月(1)2012年11月(1)2012年09月(1)2012年08月(6)2012年07月(1)2012年05月(3)2012年03月(4)2011年12月(2)2011年11月(2)2011年10月(9)2011年09月(6)2011年08月(11)2011年07月(2)2011年06月(4)2011年04月(3)2010年12月(1)2010年10月(2)2010年09月(8)2010年08月(1)2010年07月(8)2010年06月(17)2010年05月(2)2010年04月(2)2010年03月(4)2010年01月(1)2009年09月(8)2009年08月(5)2009年07月(8)2009年06月(8)2009年05月(16)2009年03月(2)2009年02月(7)2008年12月(2)2008年11月(4)2008年10月(5)2008年08月(1)2008年07月(2)2008年01月(12)2007年12月(29)2007年11月(7)2007年10月(4)2007年09月(20)2007年08月(55)2007年07月(176) 阅读排行 搜索引擎学习资源(作者：dongdonglang)(14656) 做代理网站最有效的4种宣传方法(admin9.com)(12036) 再谈powerbuilder程序防止破解的办法(终结篇,以后不再写这个问题)(8098) 程序员的SEO总结(7462) 浅谈Powerbuilder的未来和Powerbuilder使用者的未来(6027) 在一台联想3000G430 T1600笔记本上安装黑苹果(东皇v10.6.3)成功(5958) PowerBuilder DeCompiler(PB DeCompiler) Demo download(PB反编译，支持5-12)(5926) PB11.5,PB12 web项目初探(5648) 文件夹加密原理 [转](5643) powerbuilder反编译器开发-第一步：pbd结构分析和pbkiller分析(5493) 评论排行 浅谈Powerbuilder的未来和Powerbuilder使用者的未来(49) 程序员的SEO总结(32) 有关Powerbuilder的悲观论和乐观论(由郭贴引发的300多贴争辩想到的，也是很久就想秉明的一个观点)(22) Powerbuilder混淆,加密(powerbuilder防止反编译,pb混淆器，PB加壳，支持5-12) obfuscator for PowerBuilder(20) 戏说DataWindow的“移植”和“临摹”(19) 因为垄断形成，数据库市场将出现更多开源数据库(19) 免费软件模式之随想(18) 软件提交到国外的下载站的几点操作和想法(15) PB11.5,PB12 web项目初探(15) 关于对pbd反编译器的期待(11) 推荐文章 最新评论 安装两个BCB6控件SynEdit、mwEdit 0.92a的过程总结 jiduxiaozhang12345: 请问BCB6的第三方控件在哪下载啊？急求 Powershield一个疑似的BUG zhj149: 高手啊，看你的文章，感觉你玩pb已经到了极致的境界了，我自认为pb还不错，和你比起来，还是差了太多了 软件提交到国外的下载站的几点操作和想法 u012353953: 楼主在吗？有个问题请教，看到请加我QQ，谢谢。17493589 Lucene(Nutch)距离商业文本搜索引擎还有多远？(转载) koubi1986: 你好！请教一些问题：请问一下1。你是如何把nutch抓取到的二进制内容，在项目中读取的。2。nutc... 看一个商业共享软件是如何在下载站刷下载量来作弊的！ u011506701: 您的判断是有误的，像我研究的刷量算法你就根本看不出来，出现的曲线图跟正常的一模一样的，附：刷量是最好... 垂直搜索引擎蜘蛛的基本解决方案(编程实例：所以推荐) gis101989: 你好，我正在写面向主题搜索引擎结合地理信息的论文，很多地方不懂，能加个扣扣吗？非常感谢你的帮助，我的... 浅谈Powerbuilder的未来和Powerbuilder使用者的未来 hosthelp: PB的最大缺点就是：（其实很简单）过时了。 服装过时就没人穿了， 电器过时就没人买了， 明星过时（过... 三岁小孩开发搜索引擎，搜索引擎白热化[原创] rongzi1987: 顶一个。先顶再看 再谈powerbuilder程序防止破解的办法(终结篇,以后不再写这个问题) hua2000: 顶顶更健康正在研究反向工程 有个傻B说破解了我的软件—哈哈！黄金屋手机MP3.MP4.3GP.电影.下载系统 ljx811216: 真有这事，看看 我的未来方向 pconline/asp.net周金桥老师的aspnet 友人Blog 旧博客在sina Bluesen的语音卡开发平台 JackXu的开源语音卡框架 经验丰富的好友:杨光的专栏 蓝星际语音平台,Koodoo语言 Lucene改造者-yuetiantian 西部.阿呆's blog manesking:全文检索c/c fullfocus研究lucene,nutch 黄国酬的博客 把“天轰穿”的asp.net 雨松.安卓