AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

ASP.NET如何实现Hadoop增删改查

分类：C#作者：编程之家
本篇文章主要介绍了ASP.NET实现Hadoop增删改查的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

本文介绍了ASP.NET实现Hadoop增删改查的示例代码，分享给大家，具体如下：

packages.config


<?xml version=1.0 encoding=utf-8?>
<packages>
 <package id=Microsoft.AspNet.WebApi.Client version=4.0.20505.0 targetFramework=net46 />
 <package id=Microsoft.Data.Edm version=5.2.0 targetFramework=net46 />
 <package id=Microsoft.Data.OData version=5.2.0 targetFramework=net46 />
 <package id=Microsoft.Hadoop.WebClient version=0.12.5126.42915 targetFramework=net46 />
 <package id=Microsoft.Net.Http version=2.0.20505.0 targetFramework=net46 />
 <package id=Microsoft.WindowsAzure.ConfigurationManager version=1.8.0.0 targetFramework=net46 />
 <package id=Newtonsoft.Json version=4.5.11 targetFramework=net46 />
 <package id=System.Spatial version=5.2.0 targetFramework=net46 />
 <package id=WindowsAzure.Storage version=2.0.4.1 targetFramework=net46 />
</packages>

HDFSAccess.cs


using Microsoft.Hadoop.WebHDFS;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;

namespace Physical
{
  public sealed class HDFSAccess
  {
    private readonly WebHDFSClient webHDFSClient;

    public HDFSAccess(string uriString, string userName)
    {
      this.webHDFSClient = new WebHDFSClient(new Uri(uriString), userName);
    }

    public List<string> GetDirectories(string path)
    {
      var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;

      return directoryStatus.Directories.Select(d => d.PathSuffix).ToList();
    }

    public List<string> GetFiles(string path)
    {
      var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;

      return directoryStatus.Files.Select(d => d.PathSuffix).ToList();
    }

    public bool CreateDirectory(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.CreateDirectory(path).Result;
    }

    public bool DeleteDirectory(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.DeleteDirectory(path).Result;
    }

    public string CreateFile(string localFile, string remotePath)
    {
      // 传入远端路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.CreateFile(localFile, remotePath).Result;
    }

    public bool DeleteFile(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.DeleteDirectory(path).Result;
    }

    public HttpResponseMessage OpenFile(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.OpenFile(path).Result;
    }
  }
}

Program.cs


using Physical;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace MyTest
{
  class Program
  {
    // HDFS cluster 客户端进入端点设定于 主机上
    // 预设端点：http://[主机名称]:50070
    // 预设帐号：Wu
    private static HDFSAccess access = new HDFSAccess(@http://127.0.0.1:50070, Wu);

    static void Main(string[] args)
    {
      GetDirectoriestest();
      Console.WriteLine(----------------------------------------------);
      GetFilestest();
      Console.WriteLine(----------------------------------------------);
      Directorytest();
      Console.WriteLine(----------------------------------------------);
      Filetest();
      Console.WriteLine(----------------------------------------------);
      OpenFiletest();
      Console.ReadKey();
    } 

    public void TestCleanup()
    {
      //取得根目录资料夹
      var directories = access.GetDirectories(@/);

      // 移除预设目录：tmp、user 外的目录
      foreach (var directory in directories)
      {
        if (tmp.Equals(directory) || user.Equals(directory))
        {
          continue;
        }
        else
        {
          access.DeleteDirectory(directory);
        }
      }

      // 取得根目录档案
      var files = access.GetFiles(@/);

      // 移除所有档案
      foreach (var file in files)
      {
        access.DeleteFile(file);
      }

      // 移除 OpenFile 转存档案
      File.Delete(Path.Combine(Directory.GetCurrentDirectory(), Test.jpg));
    }

    //_传入根目录_预期回传预设目录
    public static void GetDirectoriestest()
    {
      // 预设根目录下有两个目录：tmp、user
      var expected = new List<string>() { tmp, user, };

      var actual = access.GetDirectories(@/);

      foreach (var item in actual)
      {
        Console.WriteLine(item);
      }

    }

    //_传入根目录_预期回传空集合
    public static void GetFilestest()
    {
      // 预设根目录下没有档案
      var expected = new List<string>();

      var actual = access.GetFiles(@/);
      foreach (var item in actual)
      {
        Console.WriteLine(item);
      }

    }

    //_建立zzz目录_预期成功_预期根目录下有zzz目录_删除zzz目录_预期成功_预期根目录下无zzz目录
    public static void Directorytest()
    {
      var directoryName = zzz;

      // 建立zzz目录
      var boolCreateDirectory = access.CreateDirectory(directoryName);

      Console.WriteLine(建立zzz目录_预期成功:+boolCreateDirectory);

      // 建立zzz目录_预期成功_预期根目录下有zzz目录
      // 预设根目录下有三个目录：tmp、user、zzz
      var expectedCreateDirectory = new List<string>() { tmp, user, directoryName, };

      var actualCreateDirectory = access.GetDirectories(@/);


      foreach (var item in actualCreateDirectory)
      {
        Console.WriteLine(item);
      }

      Console.WriteLine(********************************************);
      // 删除zzz目录
      var boolDeleteDirectory = access.DeleteDirectory(directoryName);

      Console.WriteLine(删除zzz目录_预期成功: + boolDeleteDirectory);


      // 删除zzz目录_预期成功_预期根目录下无zzz目录
      // 预设根目录下有两个目录：tmp、user
      var expectedDeleteDirectory = new List<string>() { tmp, user, };

      var actualDeleteDirectory = access.GetDirectories(@/);

      foreach (var item in actualDeleteDirectory)
      {
        Console.WriteLine(item);
      }
    }

    //_建立Test档案_预期根目录下有Test档案_删除Test档案_预期成功_预期根目录下无Test档案
    public static void Filetest()
    {
      var localFile = Path.Combine(Directory.GetCurrentDirectory(), TestFolder, Test.jpg);

      var remotePath = Test.jpg;

      // 建立Test档案
      var boolCreateFile = access.CreateFile(localFile, remotePath);

      // 建立Test档案_预期根目录下有Test档案
      var expectedCreateFile = new List<string>() { remotePath, };

      var actualCreateFile = access.GetFiles(@/);

      foreach (var item in actualCreateFile)
      {
        Console.WriteLine(item);
      }
      Console.WriteLine(********************************************);
      // 删除Test档案
      var boolDeleteFile = access.DeleteDirectory(remotePath);

      Console.WriteLine(删除Test档案_预期成功:+boolDeleteFile);

      // 删除Test档案_预期成功_预期根目录下无Test档案
      var expectedDeleteFile = new List<string>();

      var actualDeleteFile = access.GetFiles(@/);

      foreach (var item in actualDeleteFile)
      {
        Console.WriteLine(item);
      }
    }

    //_建立Test档案_预期根目录下有Test档案_取得Test档案_预期成功_预期回传Test档案Stream并转存成功
    public static void OpenFiletest()
    {
      var localFile = Path.Combine(Directory.GetCurrentDirectory(), TestFolder, Test.jpg);
      var remotePath = Test.jpg;
      var saveFile = Path.Combine(Directory.GetCurrentDirectory(), Test.jpg);

      Console.WriteLine(saveFile: + saveFile);
      Console.WriteLine(********************************************);
      // 建立Test档案
      var boolCreateFile = access.CreateFile(localFile, remotePath);

      // 建立Test档案_预期根目录下有Test档案
      var expectedCreateFile = new List<string>() { remotePath, };

      var actualCreateFile = access.GetFiles(@/);

      foreach (var item in actualCreateFile)
      {
        Console.WriteLine(item);
      }


      Console.WriteLine(********************************************);
      // 取得Test档案
      var response = access.OpenFile(remotePath);

      // 取得Test档案_预期成功
      response.EnsureSuccessstatusCode();

      // 取得Test档案_预期成功_预期回传Test档案Stream并转存成功
      using (var fs = File.Create(saveFile))
      {
        response.Content.copyToAsync(fs).Wait();
      }

      Console.WriteLine(File.Exists(saveFile));

    }
  }
}

运行结果如图:

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

ASP.NETHadoop

相关推荐

Blazor 调用 Clipboard API 读写剪贴板数据
目录简介使用JS互操作使用ClipLazor库创建项目使用方法简单测试参考链接 简介 Clipboard API 是一种允许网页读取剪贴板数据或向其中写入数据的API，主要有两个方法： navigator.clipboard.writeText() ：用于将文本写...
C# 轻量级 ORM 框架 NPoco 的简单应用
目录简介快速入门安装 NuGet 包实体类User数据库类DbFactory增删改查InsertSelectUpdateDelete总结 简介 NPoco 是 PetaPoco 的一个分支，具有一些额外的功能，截至现在 github 星数 839。NPoco 中文资料没多少，我是...
C#简单配置类及数据绑定
本文实现一个简单的配置类，原理比较简单，适用于一些小型项目。主要实现以下功能：保存配置到json文件、从文件或实例加载配置类的属性值、数据绑定到界面控件。&#xA;一般情况下，项目都会提供配置的设置界面，很...
C#获取Description特性的扩展类
C#中Description特性主要用于枚举和属性，方法比较简单，记录一下以便后期使用。 扩展类DescriptionExtension代码如下： using System; using System.ComponentModel; using System.Reflection; /// &lt;
C#实现软件开机自启动（不需要管理员权限）
[TOC] # 原理简介 本文参考[C#/WPF/WinForm/程序实现软件开机自动启动的两种常用方法](https://blog.csdn.net/weixin_42288432/article/details/120059296)，将里面中的第一种方法做了封装成**AutoStart**类，使
C#爬取动态网页上的信息：B站主页
目录简介获取 HTML 文档解析 HTML 文档测试补充：使用 CSS 选择器参考文章 简介 动态内容网站使用 JavaScript 脚本动态检索和渲染数据，爬取信息时需要模拟浏览器行为，否则获取到的源码基本是空的。 本文使用的爬取...
C#项目管理引用的dll文件
这篇文章主要简单记录一下C#项目的dll文件管理方法，以便后期使用。 设置dll路径 参考C#开发奇技淫巧三：把dll放在不同的目录让你的程序更整洁中间的 方法一：配置App.config文件的privatePath ： &lt;runtime&a...
C# 常用特性(Attribute)
使用特性，可以有效地将元数据或声明性信息与代码（程序集、类型、方法、属性等）相关联。 将特性与程序实体相关联后，可以在运行时使用反射这项技术查询特性。&#xA;在 C# 中，通过用方括号 ([]) 将特性名称括起...
C#事件总线
事件总线是对发布-订阅模式的一种实现，是一种集中式事件处理机制，允许不同的组件之间进行彼此通信而又不需要相互依赖，达到一种解耦的目的。&#xA;EventBus维护一个事件的字典，发布者、订阅者在事件总线中获取...
C#中使用jieba.NET、WordCloudSharp制作词云图
词云”由美国西北大学新闻学副教授、新媒体专业主任里奇·戈登（Rich Gordon）于2006年最先使用，是通过形成“关键词云层”或“关键词渲染”，对文本中出现频率较高的“关键词”的视觉上的突出。词云图过滤掉大量的文...
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native