微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

spark学习第1天

1.切换目录到/data/目录下,创建名为edu1的目录

  1. cd /data/  
  2. mkdir /data/edu1  

2.切换目录到/data/edu1目录下,使用wget命令,下载webmagic爬虫项目所依赖的lib包

  1. cd /data/edu1  
  2. wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic-0.7-libs.tar.gz 

 

将webmagic-0.7-libs.tar.gz压缩包,解压缩。

  1. tar -xzvf webmagic-0.7-libs.tar.gz  

3.打开eclipse开发工具

 

新建Java Project,命名为pachong1

 

 

点击项目名pachong1,新建一个目录,命名为libs,并将/data/edu1/webmagic-0.7-libs下的所有的jar包,拷贝到libs目录下。并选中所有jar包,右键点击“Build Path” => “Add to Build Path”

 

 

 

切换目录到/data/edu1/rexian.beijing.gov.cn下,查看数据情况

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐