微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop RPC简介

导入依赖

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>

编写Hadoop RPC协议

public interface ClientProtocol {
    long versionID = 1234L;

    /**
     * 创建目录
     */
    void mkDir(String path);
}

编写Hadoop RPC 服务端

public class NameNodeRpcServer implements ClientProtocol {

    /**************************************************************
     * Todo_ZH https://www.cnblogs.com/starzy
     * @Description: 创建目录
     */
    public void mkDir(String path) {
        System.out.println("服务器端:" + path);
    }
    /**************************************************************
     * Todo_ZH https://www.cnblogs.com/starzy
     * @Description: 构建Hadoop RPC并启动
     */
    public static void main(String[] args) throws IOException {

        /************************************************************
         * Todo_ZH starzy https://www.cnblogs.com/starzy
         *  注释:构建 Hadoop RPC 服务端
         *  使用构建者模式进行构建 Hadoop RPC
         */
        Server server = new RPC.Builder(new Configuration())
                .setBindAddress("localhost")
                .setPort(9999)
                .setProtocol(ClientProtocol.class)
                .setInstance(new NameNodeRpcServer())
                .build();
        System.out.println("服务端 Hadoop RPC 启动");

        /**************************************************************
         * Todo_ZH starzy https://www.cnblogs.com/starzy
         * 注释:启动服务端Hadoop RPC
         */
        server.start();
    }
}

编写Hadoop RPC 客户端调用服务端

/***************************************************************
 *Todo-ZH starzy https://www.cnblogs.com/starzy
 * 注释: RPC 客户端
 */
public class HDFSClient {
    public static void main(String[] args) throws IOException {
        /*****************************************************************************************************
         *Todo-ZH starzy https://www.cnblogs.com/starzy
         * 注释: 获取服务端代理(客户端)
         */
        ClientProtocol namenode = RPC.getProxy(ClientProtocol.class,
                1234L,
                new InetSocketAddress("localhost", 9999),
                new Configuration());

        /***************************************************************
         *Todo-ZH starzy https://www.cnblogs.com/starzy
         * 注释:调用服务端代码
         */
        namenode.mkDir("/user/local/test");
    }
}

Hadoop RPC特点

  1. RPC指不同进程之间方法调用,分别为客户端和服务端,并且是客户端调用服务端的方法方法执行是在服务端

  2. 如果实现RPC调用,必须实现RPC协议且协议中必须定义versionID

  3. 服务端必须实现RPC协议

  4. 凡是jps命令看到的服务都是RPC服务端

  5. 构建RPC服务端通过构建者模式进行创建

    Server server = new RPC.Builder(new Configuration())
                    .setBindAddress("localhost")
                    .setPort(9999)
                    .setProtocol(ClientProtocol.class)
                    .setInstance(new NameNodeRpcServer())
                    .build();
    
  6. RPC客户端通过RPC代理进行获取

    ClientProtocol namenode = RPC.getProxy(ClientProtocol.class,
                    1234L,
                    new InetSocketAddress("localhost", 9999),
                    new Configuration());
    

详细实现代码参见:https://gitee.com/starzy/learn-hadoop

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐