001-伪分布式搭建 | Hadoop笔记

一、前提条件

完成hadoop单机模式的部署：

JDK完成配置
Hadoop环境变量配置

二、用户管理配置

1. 新建hadoop用户

useradd hadoop
passwd hadoop
1234  回车
1234  回车

2.配置hadoop用户的权限

给root用户添加修改/etc/sudoers的权限

chmod +w /etc/sudoers

修改/etc/sudoers文件，让hadoop用户拥有root权限

vim /etc/sudoers

在第101行的root ALL=(ALL) ALL的下方添加以下内容

按esc后输入:wq保存退出

三、修改文件目录权限

1.修改modules目录的权限

chown -R hadoop:hadoop /opt/modules/

四、修改hadoop的配置文件

1.修改hadoop-env.sh文件

cd /opt/modules/hadoop-3.1.3/etc/hadoop  # 进入hadoop配置文件存放的目录
# 修改hadoop-env.sh文件
vim hadoop-env.sh

在最后一行追加以下内容

export JAVA_HOME=/opt/modules/jdk8

按esc后输入:wq保存退出

2. 修改core-site.xml文件

最后面的配置如下

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
    </property>

     <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/data/tmp</value>
    </property>
</configuration>

按esc后输入:wq保存退出

3. 修改hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:9870</value>
    </property>

</configuration>

按esc后输入:wq保存退出

4. 创建临时存储目录

mkdir /opt/data/tmp  # 创建目录
chown -R hadoop:hadoop /opt/data  # 修改目录权限

五、配置免密登录

1.切换到hadoop用户

su hadoop

2.生成密钥

ssh-keygen
# 连续四次回车

3.发送密钥

ssh-copy-id hadoop01
# 输入hadoop用户的密码1234

六、格式化启动

1.输入以下命令进行格式化

hdfs namenode -format
# 出现的内容信息中，从下往上数十行左右，出现以下信息表示成功
# Storage directory /opt/data/tmp/dfs/name has been successfully formatted

2.格式化后启动hadoop

start-dfs.sh
jps
# 出现以下四个进程表示启动正常，前面的数字表示进程号不要求一致
#5714 Jps
#5381 DataNode
#5594 SecondaryNameNode
#5259 NameNode

3.检查是否监听9870端口

lsof -i:9870  # lsof命令常用于检测端口监听，虚拟机的同学没有可以yum install下载

4.如果检测到有hadoop程序在监听9870端口，表示启动正常，此时前往华为云安全组放行9870端口。