手把手教你在腾讯云上搭建hadoop3.x伪集群的方法

一、环境准备

CentOS Linux release 7.5.1804 (Core) 系统下

安装

创建文件夹

$ cd /home/centos
$ mkdir software
$ mkdir module

将安装包导入software文件夹

$ cd software
# 然后把文件拖进去即可

这里使用的安装包是

/home/centos/software/hadoop-3.1.3.tar.gz

/home/centos/software/jdk-8u212-linux-x64.tar.gz

$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module
$ tar -zxvf hadoop-3.1.3.tar.gz -C ../module

配置环境变量

$ cd /etc/profile.d/
$ vim my_env.sh

为了不污染系统变量,我们自己创建一个环境变量的脚本,配置内容如下

#JAVA_HOME,PATH 
# export 提升为全局变量,如果你的路径和我不同,记得这里要使用自己的路径哦
export JAVA_HOME=/home/centos/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/home/centos/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

然后保存退出(这里不会的话可以看下vim基础使用,不再赘述了)。

我们source一下,使环境变量生效

$ source /etc/profile

测试一下,看看是否成功

$ hadoop version

手把手教你在腾讯云上搭建hadoop3.x伪集群的方法

$ java

手把手教你在腾讯云上搭建hadoop3.x伪集群的方法

出现以上界面就是没问题了,如果还没成功可以做以下两项检查:

  • 去java和hadoop的安装目录下的bin目录,分别运行,看是否成功。如果不成功,说明安装包解压缩有问题,软件本身就没安装成功。删掉重新安装。
  • 如果运行成功了,说明是环境变量没有配置成功。那么可以检查一下环境变量的路径设置,如果没问题的话,那重启试试~

ssh免密

虽然是伪集群,但是本机连接本机的时候还是会需要密码的,所以要设置一下ssh免密

$ ssh-keygen -t rsa

出现提示就不停的按回车即可,生成完秘钥后

$ ssh-copy-id 本机hostname

配置host文件

vi /etc/hosts
#这里我保留的配置为,其中master配置的是腾讯云的内网, 如果配置外网会导致eclipse客户端连不上hadoop
::1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
172.16.0.3 master
127.0.0.1 localhost

修改主机名

vi /etc/sysconfig/network 
#修改HOSTNAME为master
HOSTNAME=master

修改hostname

$ hostnamectl --static set-hostname master

关闭防火墙

$ systemctl disable firewalld    #永久

二、配置hadoop

配置文件

进入hadoop的配置文件专区,所有配置文件都在这个文件夹

$ cd /home/centos/module/hadoop-3.1.3/etc/hadoop

我们要配置的文件主要有

core-site.xml

  • fs.defaultFS是本机的访问路径;
  • hadoop.tmp.dir是数据的保存路径
  • 内网地址不知道的去腾讯云网站上查一下

hdfs-site.xml

  • dfs.replication是指数据的副本数,默认是3
  • 我们设置为1,因为是伪集群嘛

yarn-site.xml
mapred-site.xml
hadoop-env.sh

  • expert JAVA_HOME=你的jdk安装路径

那接下来就按照步骤操作吧!

$ vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://腾讯云内网ip地址:9820</value>
  </property>
 
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/centos/module/hadoop-3.1.3/data/tmp</value>
  </property>
	<!-- 通过web界面操作hdfs的权限 -->
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
    <!-- 后面hive的兼容性配置 -->
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    </property>
</configuration>

手把手教你在腾讯云上搭建hadoop3.x伪集群的方法

扫一扫手机访问