自己动手写网络爬虫(修订版) PDF 高清电子书 免费下载 完整版 在线阅读- 高飞网
自己动手写网络爬虫(修订版)

自己动手写网络爬虫(修订版)

罗刚
网络 爬虫
浏览人数:173
读者:                             ...
本书介绍了网络爬虫开发中的关键问题与Java实现。主要包括从互联网获取信息与提取信息和对Web信息挖掘等内容。本书在介绍基本原理的同时注重辅以具体代码实现来帮助读者加深理解,书中部分代码甚至可以直接使用。
本书适用于有Java程序设计基础的开发人员。同时也可以作为计算机相关专业本科生或研究生的参考教程。

第1篇 自己动手抓取数据   
第1章 全面剖析网络爬虫   
1.1 抓取网页   
网页内容   
1.2 宽度优先爬虫和带偏好的爬虫   
1.3 设计爬虫队列   
队列   
队列示例   
Visited表   
1.4 设计爬虫架构   
1.5 使用多线程技术提升爬虫性能   
第2章 分布式爬虫   
2.1 设计分布式爬虫   
爬虫中的应用--浅析   
Google的云计算架构   
2.2 分布式存储   
存储   
2.3 Google的成功之道--GFS   
2.4 Google网页存储秘诀--BigTable   
2.5 Google的成功之道--   
MapReduce算法   
简介   
2.6 Nutch中的分布式   
第3章 爬虫的"方方面面"   
3.1 爬虫中的"黑洞"   
3.2 主题爬虫和限定爬虫   
3.3 有"道德"的爬虫   
第2篇 自己动手抽取Web内容   
第4章 "处理"HTML页面   
4.1 征服正则表达式   
4.2 抽取HTML正文   
4.3 抽取正文   
4.4 从JavaScript中抽取信息   
第5章 非HTML正文抽取   
5.1 抽取PDF文件   
5.2 抽取Office文档   
5.3 抽取RTF   
第6章 多媒体抽取   
6.1 视频抽取   
6.2 音频抽取   
第7章 去掉网页中的"噪声"   
7.1 "噪声"对网页的影响   
7.2   
利用"统计学"消除"噪声"   
7.3 利用"视觉"消除"噪声"   
第3篇 自己动手挖掘Web数据   
第8章 分析Web图   
8.1 存储Web"图"   
8.2 利用Web"图"分析链接   
8.3 Google的秘密--PageRank   
分析   
8.4 PageRank 的兄弟HITS   
8.5 PageRank与HITS比较   
第9章 去掉"重复"的文档   
9.1 何为"重复"的文档   
9.2 利用"语义指纹"排重   
9.3 SimHash排重   
9.4 分布式文档排重   
第10章 分类与聚类的应用   
10.1   
10.2 网页聚类   
实例   
看过本书的人还看过