任务是在Azure云中实现ETL项目的T部分(转换).我相信HDInsight是适合它的服务,但不确定.请批准或反驳这一选择.
我对这个领域很陌生,如果有人能指出我正确的方向,我会很感激.
我希望能够开发转换服务(作业)并使用Azure存储/计算仿真器和Visual Studio 2012(理想情况下在C#中)在本地进行测试.我很确定HDInsight如何适应这张图片(如果有的话).转换作业将从blob存储中读取文本文件,并生成(map reduce)数据到azure表存储中.
解决方法
你当然可以在本地运行HDInsight盒子.它与Azure存储和计算机模拟分开,并通过Web Platform安装程序安装(仅搜索HDInsight).
本地版本和Azure版本之间存在一些细微差别,因为本地版本使用存储在HDFS中的数据,而在云中,您可以使用Azure Blob容器.至于开发和测试转换过程(在MapReduce / Hive / Pig中),这没有什么区别.唯一的区别是您获取数据的方式.
请注意,您当然可以在HDInsight上使用C#创建MapReduce作业,对于基本数据转换,使用像Pig这样的更高级语言或者可能使用HDInsight上基于sql的HiveQL要容易得多.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
