nutch 1.x (nutch 1.11为例)
抓取网页存储到本地
bin/crawl urls crawl 2建索引
bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*nutch 2.x (nutch 2.2.1为例)
mysql
my.ini或my.cnf中修改编码:
[mysqld] character-set-server=utf8 [client]、[mysql] default-character-set=utf8数据表字段映射在gora-sql-mapping.xml中配置。
配置ivy对mysql的支持,在ivy/ivy.xml中配置
<dependency org=”mysql” name=”mysql-connector-java” rev=”5.1.18″ conf=”*->default”/> <dependency org="org.apache.gora" name="gora-core" rev="0.2.1" conf="*->default"/> <dependency org="org.apache.gora" name="gora-sql" rev="0.1.1-incubating" conf="*->default" />配置nutch数据连接设置gora.properties
gora.sqlstore.jdbc.driver=com.mysql.jdbc.Driver gora.sqlstore.jdbc.url=jdbc:mysql://localhost:3306/nutch?createDatabaseIfNotExist=true gora.sqlstore.jdbc.user=xxxx（MySQL用户名） gora.sqlstore.jdbc.password=xxxx（MySQL密码）<property> <name>storage.data.store.class
name>
org.apache.gora.sql.store.SqlStore
The Gora DataStore
class
for storing
and retrieving data. Currently
the following stores are available:.
property> <property> <name>generate.batch.id
name>
*
property然后设置爬取网站。
执行爬取操作，爬取数据到数据库
bin/nutch crawl urls -depth 3 -topN 5solr
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/200031.html原文链接：https://javaforall.net
![抓包神器之Charles，常用功能都在这里了[通俗易懂]](https://javaforall.net/wp-content/uploads/2020/11/2020110817443450-480x300.jpg)
