AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDEUMLPromiseGis
详解MapReduceSpark和MapReduce对比铺垫篇
MapReduce是Hadoop核心三剑客之一，设计思想来源于谷歌三篇论文之一的《分布式计算模型》。作为一个分布式运算程序编程框架，需要用户实现业务逻辑代码并和它自带的默认组件整合成完整的分布式运算程
关于HDFS应知应会的N个问题 | 技术点
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层
必须掌握的分布式文件存储系统—HDFS
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层
Hadoop调优 | NameNode主备宕机引发的思考
Hadoop调优
重要 | Spark和MapReduce的对比，不仅仅是计算模型？
笔者将分上下篇文章进行阐述Spark和MapReduce的对比，首篇侧重于'宏观'上的对比，更多的是笔者总结的针对'相对于MapReduce我们为什么选择Spark'之类的问题的几个核心归纳点；次篇则
如何有效恢复误删的HDFS文件
HDFS是大数据领域比较知名的分布式存储系统，作为大数据相关从业人员，每天处理HDFS上的文件数据是常规操作。这就容易带来一个问题，实际操作中对重要数据文件的误删，那么如何恢复这些文件，就显得尤为重要
hadoop之Name node is in safe mode
关闭虚拟机之后重启hadoop，想要用删除之前在hdfs运行的output文件，显示： hadoop之Name node is in safe mode 处理方法： bin/hadoop dfsadm
linux版本的jdk1.8+hadoop2.9.2下载地址
hadoop： 链接：https://pan.baidu.com/s/14AhhPYP8933tn-EfSX-i8Q 提取码：e90m jdk1.8： 链接：https://pan.baid
hadoop之运行官方实例二--WordCount
1、在hadoop-2.9.2目录下新建一个wcinput：mkdir wcinput 2、在wcinput下新建一个文件：touch wc.input 3、vim wc.input，在wc.inpu
hadoop完全分布式之rsync
rsync与scp的区别？ rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链接的优点。也就是说它只对差异文件进行更新，而scp是将整个文件都复制。 基本语法：rsync -rvl
hadoop之为什么不能一直格式化namenode
格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据，所以，格式化NameNode前，先关闭掉NameNode和DataNode，然后一
hadoop之运行官方实例一--grep
hadoop之HDFS概述
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中
hadoop之hadoop目录结构
首先是bin目录下： 然后是etc：主要存放各种配置文件 include： native：本地库 sbin：存放着一些指令 share：
hadoop伪分布式之配置历史服务器
1、配置mapred-site.xml <!--历史服务器地址--> <property> <name>mapreduce.jobhistory.address&l
hadoop伪分布式之配置yarn并运行MR程序WordCount
1、配置集群 （1）在yarn-env.sh中配置JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_11 （2）在yarn-site.xml中配置 &lt
hadoop伪分布式之配置日志聚集
日志聚集概念：应用运行完成之后，将程序运行信息上传到HDFS系统上 注意：开启日志聚集功能：需要重启NodeManager、ResourceManager和HistoryManager 首先是： 关闭
pyspark读取pickle文件内容并存储到hive
在平常工作中，难免要和大数据打交道，而有时需要读取本地文件然后存储到Hive中，本文接下来将具体讲解。 过程： 使用pickle模块读取.plk文件； 将读取到的内容转为RDD； 将RDD转为Data
hadoop完全分布式之集群分发脚本
例如：循环复制文件到所有节点的相同目录下： 首先在centos01中的xiximayou用户下的/home目录下新建一个bin文件夹，在bin文件夹中新建xsync.sh文件，在里面输入： !/bin
hadoop完全分布式之scp
1、克隆虚拟机之后目前有两个虚拟机 2、由于之前未配置jdk+hadoop就将centos01拷贝出centos02。之后再进行配置时影响不了其它的克隆出来的虚拟机。因此可以将cetos01中的相关文
hadoop之sbin/hadoop-daemon.sh:行165: /tmp/hadoop-xiximayou-datanode.pid: 权限不够
修改权限就好了： sudo chmod 777 /tmp/hadoop-xiximayou-datanode.pid
hadoop之java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.*.* 50010
centos7中： 根据提示关闭相应主机的防火墙： 查看防火墙状态：systemctl status firewalld.service 关闭防火墙：systemctl stop firewalld.
hadoop伪分布式之启动HDFS并运行MR程序WordCount
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址-
hadoop伪分布式之配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时。才需要修改自定义配置文件，更改相应的返回值。 （1）默认配置文件 （2）自定义配置文件 core-site.x
hadoop完全分布式之集群时间同步
找一个机器，作为时间服务器，所有的机器都和这台机器时间进行定时的同步，比如每隔十分钟，同步一次时间。 1、以hadoop02作为时间服务器。检查ntp是否安装 rpm -qa |grep ntp 2、
hadoop之完全分布式集群配置centos7
一、基础环境 现在我们有两台虚拟机了，再克隆两台： 克隆好之后需要做三件事：1、更改主机名称 2、修改ip地址 3、将ip地址和对应的主机号加入到/etc/hosts文件中 1、永久修改主机名 hos
hadoop之hadoop基础介绍
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠
hadoop之环境搭建centos7
1、利用vmware安装centos7，并让主机和虚拟机系统间进行通信，可参考之前的 https://www.cnblogs.com/xiximayou/p/12268005.html https:/
hadoop之大数据
一、大数据的特点（四条） 大量、高速、多样、低价值密度 二、大数据应用场景 物流仓库、零售、旅游、商品广告推荐、保险、金融、房产、人工智能 三、大数据部门组织结构
hadoop之推荐系统框架图
 
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native