Hadoop_Day01

• 组件：

Hadoop三大核心组件：

HDFS（Hadoop distributed File System）：
分布式文件系统，数据存放在这里，提供对应用程序数据的高吞吐量访问。

YARN（Yet Another Resource Negotiator）:
资源管理调度系统，分配比如硬盘内存等资源。用这些资源来运行程序的计算

MapReduce：
分布式运算框架程序等在这里，这是基于YARN的用于并行处理大数据集的系统。

除了以上四个模块，Hadoop还包括指向可以安装在Hadoop之上或之上的附加软件包的收集，例如Apache Pig，Apache Hive，Apache HBase，Apache Spark等。

• 怎么使linux上网：

确保所有关于VMWare的服务都开启

计算机 --> 右键 ‘管理’–>服务

确保VMnet8 已经启动

设置VMware软件交换机的ip地址

再次确定

更改linux系统的ip地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=true是指明在系统启动时是否激活网卡，只有在激活状态的网卡才能去连接网络，进行网络通讯
BOOTPROTO=static 静态IP
BOOTPROTO=dhcp 动态IP
BOOTPROTO=none 无（不指定）

重启网卡服务

测试

• 关闭防火墙
  查看防火墙状态
  service iptables status
  修改防火墙规则
  vim /etc/sysconfig/iptables
  

  

  
  设置完成后,需要重启防火墙.
  重启防火墙
  service iptables restart
  关闭防火墙服务
  service iptables stop
  禁止防火墙关机自启动
  chkconfig iptables off
  查看自启动状态
  chkconfig iptables --list

注意: 在实际工作,大数据集群一般都是放置在内网当中,通过跳板机连接外网.**

所以一般都是直接关闭防火墙即可, 但是在实际工作中,跳板机(web服务器)关闭防火墙要谨慎,避免服务器感染病毒

服务的套路:
service xxx start 开启
service xxx stop 停止
service xxx restart 重启
service xxx status 状态

• 复制linux系统

复制虚拟机

开启复制之后的虚拟机

注意：点击.vmx结尾的文件，就可以挂载上了

重命名

更改新增linux的mac地址

更改新增linux系统的网卡

vim /etc/udev/rules.d/70-persistent-net.rulesw

更改新增linux系统的网络设置

vim /etc/sysconfig/network-scripts/ifcfg-eth0

使用 reboot指令重启系统, 再次验证

• 更改主机名

vim /etc/sysconfig/network

内容

HOSTNAME=hadoop1

同理 更改每台linux的主机名

HOSTNAME=hadoop1

HOSTNAME=hadoop2

HOSTNAME=hadoop3

注意: 必须重启系统才可以生效

更改三台机器的主机名与ip地址的映射

vim /etc/hosts

192.168.72.141 node01
192.168.72.142 node02
192.168.72.143 node03

三台虚拟机关闭selinux
vim /etc/selinux/config

SELINUX=disabled
关机重启才会生效.