教程目录
0x00 教程内容- 新建Java项目
- 编写HDFS读写代码
- 打包到服务器执行
实验前提：
a. 安装好了JDK
1. 新建Java项目
a. 新建一个Java项目，配置好Project SDK，然后Next，Next，起个有意义的项目名hadoop-project：
2. 项目配置
a. 右击src，建一个包，比如：com.shaonaiyi
SDKS已经配置上了我们的JDK（找到我们win本地的JDK主目录即可）：
导入之后点击
OKc. 导入我们的HDFS依赖的jar包，一个是公共包，一个是HDFS的依赖包（然后
OK）：
1. 编写写HDFS代码
a. 新建一个WriteFile类
b. 编写WriteFile类代码：
package com.shaonaiyi;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
public class WriteFile {
public static void main(String[] args) throws IOException {
String content = "Hello,shaonaiyi!\n";
String dest = "hdfs://master:9999/test.txt";
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration);
FSDataOutputStream out = fileSystem.create(new Path(dest));
out.write(content.getBytes("UTF-8"));
out.close();
}
}
2. 编写读HDFS代码
a. 新建一个ReadFile类
b. 编写ReadFile类代码：
package com.shaonaiyi;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;
import java.net.URI;
public class ReadFile {
public static void main(String[] args) throws IOException {
String dest = "hdfs://master:9999/test.txt";
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration);
FSDataInputStream in = fileSystem.open(new Path(dest));
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in));
String line = null;
while ((line = bufferedReader.readLine()) != null) {
System.out.println(line);
}
in.close();
}
}
1. 设置打包工程
a. 选择一种类型的包
b. 因为我们有几个main方法，所以我们可以不选择main方法，直接点击
OK：
c. 排除我们服务器上有的包，即服务器已经有的jar包就不用也把他们打包上去了。
然后一直
ok，执行完，稍等一会可以看到src同级目录下多了个out文件夹。
2. 打包操作
a. 打包
b. 执行完可以看到out目录有jar包了
3. 上传服务器并执行
a. 使用XFtp等工具上传jar包和项目下的即可（此处直接上传到~路径）hadoop-project.jar
到~路径下
b. 启动hdfs$HADOOP_HOME/sbin/start-dfs.sh
c. 执行（在jar包当前路径下）：
先执行写HDFS的代码（如HDFS上已有/test.txt文件会报错，请先删除或者换名字）：hadoop jar hadoop-project.jar com.shaonaiyi.WriteFile
查看是否写内容进去：hadoop fs -cat /test.txt
执行读HDFS的代码：
hadoop jar hadoop-project.jar com.shaonaiyi.ReadFile可以看到展示的效果：
- 本教程不用联网也可以执行HDFS的读写操作，此外，一样也可以执行Spark、机器学习等案例。
- 本教程非常关键，因为网络不好或者是简单的项目，这种传统的方式也是非常简单方便的。
- 关于HDFS的其他相关操作（Maven版本），请查看教程：Java API实现HDFS的相关操作
作者简介：邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、CSDN：邵奈一
本系列课均为本人：邵奈一原创，如转载请标明出处
福利：
邵奈一的技术博客导航
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
