超详细hadoop集群安装配置教程搭建hadoop集群 _教程

设置hadoop集群(超详细的hadoop集群安装和配置教程)
以及虚拟机Linux系统的安装，在前两次分享会中已经详细介绍过，每个步骤都有举例说明。如果朋友还是不能理解，那我也没办法。本文主要详细介绍hadoop服务器操作系统配置， hadoop安装将在下一篇文章中详细介绍。
Hadoop安装包使用Dakuai DKHadoop发行版。个人觉得DKHadoop的安装过程比较简单。请在接下来的分享中详细介绍dkhadoop的安装。让我们进入本文的主题——服务器操作系统配置教程。
一、安装包的准备
1.虚拟机的分布式安装(三台或更多虚拟机)
如果是个人电脑Windows系统或者Linux系统，虚拟机有三台虚拟服务器，就把安装包复制到服务器上安装。
2.物理集群(三台或更多物理服务器)
1.外联网下载模式
2.本地文件模式
将安装包文件直接复制到实体服务器的根目录并安装。
【超详细hadoop集群安装配置教程搭建hadoop集群】3.上传模式
当服务器在计算机房中并且没有显示和输入设备时，应用该模式。
现在，在本地计算机(默认为笔记本电脑，位于机房站点)上安装文件，将计算机与服务器连接，并将安装包install和DKHInstall上传到服务器根目录。
二、服务器操作系统配置教程
准备工作完成后，需要进行服务器配置操作。首先，三台服务器必须相互ping通。所谓ping连接，就是两台设备之间的连接。从一端发送一个数据包，另一端可以收到，也就是说两台设备可以ping通。
1.修改权限
目标:使安装包install和DKHInstall具有可执行的权限。权限不足，无法执行某些操作。Install包含脚本和所有组件， DKHInstall包含安装界面。
之一步:在准备工作中将安装包install和DKHInstall复制到主节点目录后，修改文件权限。首先进入根目录，安装目录install和DKHInstall的权限改为:文件所有者可以读取、写入和执行，与文件所有者属于同一用户组的其他用户可以读取和执行，其他用户组可以读取和执行。
命令:
CD/根目录/
解压缩DKHPlantform.zip
chmod -R 755 DKHPlantform
2.构建Hadoop集群并设置SSH免密登录
目的:在Hadoop操作期间，需要管理远程Hadoop守护进程。Hadoop启动后， NameNode通过SSH(安全Shell)启动和停止每个DataNode上的各种守护进程。所以需要以无密码输入的形式在节点之间执行指令，所以我们需要配置SSH使用无密码公钥认证，这样NameNode就可以使用SSH无密码登录并启动DataName进程。同样， DataNode也可以使用SSH登录NameNode ，无需密码。
步骤:
(1)修改native hosts文件并写入对应关系。
为了区分局域网中的每台主机，会给每台主机分配一个主机名，每台主机通过IP进行通信，但是IP地址不方便记忆，所以配置主机名和IP映射可以实现主机之间快速便捷的访问。
命令:
vi /etc/hosts
通过按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键再按Shift+:键，输入wq ，再按enter保存。输入q！输入之后就是放弃保存，退出。
进入编辑模式后，根据规则写主机与ip的对应关系(主机名dk41是自己命名的，如下图所示) 。
192.168.1.41 dk41
192.168.1.42丹麦克朗
192.168.1.43丹麦克朗

Hadoop集群安装配置
编辑完成后，保存并退出。将信件复制到两台或多台其他机器上。
命令:
scp-r/etc/hosts 192 . 168 . 1 . 42:/etc
scp-r/etc/hosts 192 . 168 . 1 . 43:/etc
(2)进行集群间保密前的准备工作。
当执行sshpass.sh的脚本时，它将读取文件sshhosts和sshpass来替换SSHPASS.sh中的主文件和从文件。
修改文件sshhosts ，并输入所有机器的主机名，每行一个主机名(如下所示)
命令:
VI/root/DKHPlantform/autosh/ssh hosts
通过按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键再按Shift+:键，输入wq ，再按enter保存。输入q！输入之后就是放弃保存，退出。

Hadoop集群安装配置
修改文件sshslaves ，并写入除主机名之外的所有机器名称(如下图所示)

超详细hadoop集群安装配置教程 搭建hadoop集群

超详细hadoop集群安装配置教程搭建hadoop集群