CDH集群外配置非Kerberos环境的Gateway节点

前言

在使用CDH集群时，总会遇到在集群外的服务器想访问大数据集群的服务的情况（例如第三方服务的服务器），这时候又不想添加到CDH集群中管理，这时可以在集群外不通过CM部署一个新的Gateway节点。

• 测试环境
  • CDH:5.16.1-1.cdh5.16.1.p0.3
  • 操作系统：RedHat6.7

一、部署Gateway节点

在非CDH的服务器上部署Gateway节点

1.1 将集群的hosts文件同步至新Gateway节点

将CM界面所有的Gateway节点的IP地址映射加入到新Gateway节点的hosts文件中

1.2 安装Java环境

如果本机有java环境的话，则无需操作此步骤；若本机无Java环境，则可将集群的Java目录整体拷贝至该节点下

#登录集群任意节点，将Java目录拷贝至新Gateway节点
[root@cdh01 ~]$ scp -r /usr/java/jdk1.8.0_141/ single:/usr/java/

1.3 压缩/opt/cloudera/parcels目录拷贝至新Gateway节点

• 先在集群的任意一台节点上压缩并复制至新节点

#这里压缩了两个目录到安装包里，CDH那个为软链，也可以只压缩实际目录
[root@cdh01 parcels]$ tar -zcvf cdh.tar.gz CDH-5.14.2-1.cdh5.14.2.p0.3/ CDH/
[root@cdh01 ~]$ scp -r /opt/cloudera/parcels/cdh.tar.gz single:/opt

• 新Gateway节点创建文件夹并解压

[root@single ~]$ mkdir -p /opt/cloudera/parcels
[root@single ~]$ tar -zxvf /opt/cdh.tar.gz -C /opt/cloudear/parcels/

1.4 在新Gateway节点创建配置文件存放目录

• 新Gateway节点创建目录

# 根据需要创建相应配置文件存放目录
[root@single ~]$ mkdir -p /etc/hadoop/conf
[root@single ~]$ mkdir -p /etc/hbase/conf
[root@single ~]$ mkdir -p /etc/hive/conf
[root@single ~]$ mkdir -p /etc/spark/conf

• 登录拥有对应服务的Gateway节点将/etc/*/conf目录下的配置拷贝至新Gateway节点下

scp -r /etc/hadoop/conf/* single:/etc/hadoop/conf/
scp -r /etc/hbase/conf/* single:/etc/hbase/conf/
scp -r /etc/hive/conf/* single:/etc/hive/conf/
scp -r /etc/spark/conf/* single:/etc/spark/conf/

1.5 配置新Gateway节点环境变量

• 修改/etc/profile，增加如下配置

# 这里注意和实际情况保持一致
export  JAVA_HOME=/usr/java/jdk1.8.0_141
export CDH_HOME=/opt/cloudera/parcels/CDH
export PATH=$CDH_HOME/bin:$PATH


# 重启环境变量
[root@single ~]$ source /etc/profile

二、新Gateway服务测试

# hadoop测试
[root@single ~]$ hadoop fs -ls /
# yarn测试
[root@single ~]$ yarn application --list
# hive测试
[root@single ~]$ beeline -u jdbd:hive2//cdh01:10000/ods  -n test -p test123
# hbase测试
[root@single ~]$ hbase shell