title: GitHub上有哪些优秀的Java爬虫项目？
topic: 开源项目
content: 1.nutch 地址：apachenutch GitHub apache下的开源爬虫程序，功能丰富，文档完整。有数据抓取解析以及存储的模块。2.Heritrix 地址：internetarchiveheritrix3 GitHub 很早就有了，经历过很多次更新，使用的人比较多，功能齐全，文档完整，网上的资料也多。有自己的web管理控制台，包含了一个HTTP 服务器。操作者可以通过选择Crawler命令来操作控制台。3.crawler4j 地址：yassergcrawler4j GitHub 因为只拥有爬虫
answerer_tags: 发源地大数据交易平台联合创始人