一 、搭建前提

虚拟机建立Linux CentOS 7
可参考博客:https://blog.csdn/weixin_45942827/article/details/108666928

二、配置IP

配置WMware网络

1、选则VMware的编辑,单机虚拟网络编辑器。

2、点击 “更改设置”

3、选择VMnet8,并配置IP和子网掩码(IP是自定义的)
4、点击 “NAT设置”,设置网关,一定要与IP的一样,修改完毕点击 “确认”

配置Window 10的网络

1、打开网络适配器,找到WMnet8并右击,单击选择 “属性”
选择
2、选则 “Internet 协议版本4(TCP/IPv4)”,点击 “使用下面的IP地址”,并输入对应的信息,确认无误之后一路 “确认”即可。


配置虚拟机内的IP

1、打开虚拟机之后,打开 “终端”,并输入以下代码,并按Enter键

vim /etc/sysconfig/network-scripts/ifcfg-ens33


2、进来之后按“i”进入插入模式,更改 BOOTPROTO="dhcp"为BOOTPROTO="static”(dhcp的话是动态获取IP,改为static便是静态,IP不会变)

3、添加IP、子网掩码、网关、DNS,更爱后如图所示。
编辑结束后,按Esc键进入末行模式,输入:wq命令,然后按Enter键,保存代码并退出。

补充命令

1、修改主机名

vim /etc/hostname

2、修改自己所用节点的IP映射

vim /etc/hosts


192.168.40.100 master
192.168.40.101 slave1
192.168.40.102 slave2
192.168.40.103 slave3
192.168.40.104 slave4
192.168.40.105 slave5
192.168.40.106 slave6
192.168.40.107 slave7
192.168.40.108 slave8

3、重启电脑, 在命令行输入 reboot 并回车;
4、查看IP 在命令行输入 ifconfig 并回车;

三、Hadoop运行环境搭配

虚拟机环境准备

1、查看是否能连接外网

ping www.baidu


2、安装epel-release软件包
EPEL (Extra Packages for Enterprise Linux)是基于Fedora的一个项目,为“红帽系”的操作系统提供额外的软件包,我们在Centos下使用yum安装时往往找不到rpm的情况,官方的rpm repository提供的rpm包也不够丰富,很多时候需要自己编译很痛苦,而EPEL恰恰可以解决这两方面的问题。装上了 EPEL之后,就相当于添加了一个第三方源。

yum install -y epel-release


如果出现进程被占用的情况需要关闭进程

kill -9 进程号

== 注意如果Linuxan安装的是最小系统版,需要安装如下工具,如果安装的是Linux桌面标准版,不需要执行如下操作 ==
net-tool:工具包集合,包含ifconfig等命令

yum install -y net-tools

vim:编辑器

yum install -y vim

3、关闭防火墙

# 临时关闭防火墙
systemctl stop firewalld
# 永久关闭防火墙
systemctl disable firewalld.service
# 查看防火墙状态  出现  inactive (dead) 的字样表示关闭;active (running)表示开启
systemctl status firewalld.service
# 临时开启防火墙
systemctl start firewalld
# 永久开启防火墙
systemctl enable firewalld

4、卸载虚拟机自带的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa:查询所安装的所有rpm软件包
  • grep -i:忽略大小写
  • xarge -n1:表示每次只能传递一个参数
  • rpm -e -nodeps:强制卸载软件

    5、重启虚拟机
reboot 

克隆虚拟机

1、关闭虚拟机,右击需要关机的虚拟机,单机 “电源”,之后单机 “关闭客户机”


2、虚拟机关闭之后,右击需要克隆的虚拟机,单机 “管理”,之后单机 “克隆”

3、然后就是连续两个 “下一页”(记得是两个哦,第三个要停住)



4、这里要选择 “创建完整克隆” ,然后点下一页

5、这里填好“虚拟机名称”和“位置”,点击“完成”,等待一下,单击关闭即可



== 这里需要克隆三台虚拟机,重读三次操作就行哦(我这里三台虚拟机分别是slave2、slave3、slave4) ==

6、进入root用户,密码都是和被克隆的虚拟机是一样的。(三台虚拟机都要进行)



7、设置对应的IP(三台虚拟机都需要修改,IP需要和之前的映射对应)

 vim /etc/sysconfig/network-scripts/ifcfg-ens33


7、设置对应的名称(三台虚拟机都需要修改,名称需要和之前的映射对应)

vim /etc/hostname


8、重启三台虚拟机 reboot

9、检验查看各个虚拟机的 IP 以及 名字

# ip
ifconfig
#名字
hostname
#是否能连接外网
ping www.baidu

在slave2上面安装JDK

== 这里只在slave2上面进行,是因为slave2安装的内容可以拷贝到slave3和slave4上 ==
1、卸载现有的JDK(上文有解释,这里只放了个代码)

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

2、进入 opt 目录,新建目录 software 、module 并进入software目录

cd /opt/

mkdir software   #存放安装包
mkdir module     #存放解压后的文件

cd software/

3、打开xftp ,把本地的JDK和Hadoop包传到虚拟机中,并查看是否上传成功



4、解压JDK到指定位置 /opt/model/

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/


5、回到上一级 /opt/ ,进入 /model/ 中,查看 /model/ 中的内容,并进入JDK


6、配置JDK环境变量,进入/etc/profile,在末尾加上代码块,保存并退出

 vim /etc/profile
export JAVA_HOME=/opt/module/jdk1.8.0_144
export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin


7、使环境变量生效,并检验是否配置成功

 source  /etc/profile
 
 java -version

在slave2上面安装Hadoop

1、进入 opt/software 目录

cd /opt/software/

2、解压Hadoop到指定位置 /opt/model/

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/


3、回到上一级 /opt/ ,进入 /model/ 中,查看 /model/ 中的内容,并进入hadoop

4、配置JDK环境变量,进入/etc/profile,在末尾加上代码块,保存并退出

 vim /etc/profile
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH


5、使环境变量生效,并检验是否配置成功

source  /etc/profile
 
hadoop

常⽤快捷键

Ctrl L 清屏
Ctrl U光标之前全部删除
Ctrl K 光标之后全部删除
Ctrl A 光标移动到⾏⾸
Ctrl E 光标移动到⾏尾
Ctrl C 取消 中断
Ctrl Z 暂停进程(fg命令恢复)jobs打印后台暂停的⼯作
Ctrl S 锁定屏幕(Ctrl Q命令恢复)
TAB: 完整的把⽂件名输⼊到命令⾏。

更多推荐

Hadoop搭建————搭建前的准备