大数据是未来的趋势，在数字化转型时代，把握大数据是关键的！

大数据可视化实训 通过flask，echarts展示大屏幕

大数据平台回归关系数据模型的原因

默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下:Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本Spark2.4.8使用的Scala版本是2.12版本，虽然2.11也是支持的，建议使用2.12

※物联网应用场景的分析⛄1)物联网在农业中的应用①农业标准化生产监测:是将农业生产中最关键的温度、湿度、二氧化碳含量、土壤 温度、土壤含水率等数据信息实时采集，实时掌握农业生产的各种数据。②动物标识溯源:实现各环节一体化全程监控、达到动物养殖、防疫、检疫和监督的 有效结合，对动物疫情和动物产品的安全事件进行快速、准确的溯源和处理。③水文监测:包括传统近岸污染监控、地面在线检测、卫星遥感和人工测量为- -体, 为水质监控提供统- -的数据采集、 数据传输、数据分析、数据发布平台，为湖泊观测和成

0 ETL简介ETL (Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少。市面上常用的ETL工具有很多，比如Sqoop，DataX, Kettle, Talend 等，作为一个大数据工程师，我们最好要掌握其中的两到三种，这里我们要学习的ETL工具是Kettle!1 Kettle简介1.1 Kettle是什么Kettle是一款国外开源的ETL工具，纯ja

最近疫情在各地爆发，许多被迫居家隔离的办公人，使用远程控制软件ToDesk来辅佐远程办公。用来远程操控公司电脑，远程查看文件、下载文档、远程打印、远程终端等等，保证了疫情下的工作开展和任务完成。但是这个远程控制软件可不止有远控功能，在需要将手机上的文件资料放到电脑上大屏展现时，也可以使用它的投屏功能。具体操作只需要2分钟。第一步：安装软件手机和电脑上一定要提前安装下载好ToDesk这个远控软件，一般通过手机应用商城和它的官网下载即可。第二步：电脑建立账号在电脑上，用手机号进行注册登录。方便首次连

现在国内市场上活跃的BI软件有很多，从界面上看，琳琅满目有这样的：还有这样的：以及这样的：看起来确实是五花八门，各有特色我们知道，BI的终极目标是做数据分析，这些花哨的可视化效果也是要为数据分析服务的，那么，从数据角度上看，这些BI有多大区别呢？仔细研究这些产品会发现，无论什么样的界面，似乎都仅仅是做了个多维分析而已先看交互界面：这些不同的BI软件在界面上的各种操作，其实都是多维分析那些动作：切片、旋转，钻取等。所有BI软件都支持，本质上也就是对着一个数据集做个分组统计的交叉表，以及再把交叉表以图形的形式再

利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。

比赛经历，软件盈利

大数据和人工智能时代，数据分析是个热门话题，数据分析师貌似也是个热门职业。很多门外汉想学，但面对浩瀚繁杂的技术，也搞不清该从哪里开始。于是，经常有人问这个问题，当然还有问得更具体的，怎么能学会SQL啊，要不要学Python啊，其实背后经常都是一回事。...

1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/*2> 清空主节点CM数据库 进入主节点的Mysql数据库，

1. 将mysql中的数据导入到hive中sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username ro

Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进

1. 安装Ant Ant下载地址：http://ant.apache.org/bindownload.cgi 解压即可。 2. 下载Zookeeper源码包 https://github.com/ap

###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把hadoop的压缩包解压到一个没有空格的目录下，比如是D盘根目录 3、配置环境

1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2 ##安装java8 解压配置环

##flink 1.7.2 安装需要java环境 下载地址 https://flink.apache.org/downloads.html#1、单机版 #创建用户flinkuseradd flink

一、迁移背景 服务器出了问题，导致整个cm server界面呈现出不可用的状态，也就是获取不到各个大数据组件以及主机相关的状态的信息，整个cm server的前端界面处于瘫痪的状态，不可用，刚开始怀疑

在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(j

接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob() [WordCount.main() -> Job.wai

根据wordcount进行分析： 这上面是个简单wordcount的代码，这里就不一一说明了，我们首先看main方法：获取一个job对象，然后经过一系列的设置，最后调用waitForCompletio

Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的，用以改善MapReduce的表现。但是它

大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hiv

数据流 读取文件数据的剖析 为了知道客户端与HDFS，NameNode,DataNode交互过程中数据的流向，请看图3 2，这张图显示了读取文件过程中主要的事件顺序。 客户端通过调用FileSyste

Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发，需要处理System.in,System,out以及key/val

当数据量增大到超出了单个物理计算机存储容量时，有必要把它分开存储在多个不同的计算机中。那些管理存储在多个网络互连的计算机中的文件系统被称为“分布式文件系统”。由于这些计算机是基于网络连接的，所以网络编

最近在工作中，使用CASE WHEN语句的时候，总是出现异常，查看日志是由于数组超界。不知所以然，然后进行了一步步分析，发现这是hive本身的bug，分享出来，一是为了记录，二是想让大家共同看看，欢迎

众所周知，数据库必须要能够支持并发。无论在任何时候，允许同一时刻，多个用户能够同时读取或写入。没有必要给用户提供API显示的获取锁，所以所有的锁都是隐式获取的。 在Hive中有两种类型的锁： 共享锁S

MapReduce是一个数据处理的编程模型。这个模型很简单，但也不是简单到不能够支持一些有用的语言。Hadoop能够运行以多种语言写成的MapReduce程序。在这一章中，我们将看看怎样用Java,R