hadoop的集群的优势,其中之一就是可以灵活的增加数据节点,简简单单的实现扩容!
1、 最好安装统一的操作系统。安装的时刻把防火墙关了!
2、 在新节点使用root用户,修改系统的一些参数
修改时间。
date -s 12:00:00
设置IP地址。
vi /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart
修改host。
vi /etc/sysconfig/network ## 设置完以后不能立即见效,可以先使用hostname命令生效 hostname datanode-00003
新增用户hadoop。
useradd hadoop passwd hadoop
修改hosts。
vi /etc/hosts
3、 新datanode适配到namenode。
切换到namenode节点机器
如果没有域名解析服务,这里需要用root用户来修改namenode的hosts文件,添加新节点的hostname和ip的对应。
vi /etc/hosts
拷贝jdk到新节点(最好不要使用系统自带的版本) 。
scp -r /opt/java/jdk1.6.0_29 datanode-00003:/opt/java
然后,从root用户切换到hadoop用户
修改HADOOP_HOME/conf/slaves文件,添加新节点的hostname(为了以后start/stop 统一管理hadoop)。
vi conf/slaves
namenode无密钥登录datanode,执行(为了以后start/stop 统一管理hadoop)。
ssh-copy-id -i .ssh/id-rsa.pub datanode-00003 #然后输入新节点hadoop用户的密码即可。
拷贝hadoop程序到新节点。
rsync -vaz --delete --exclude=logs --exclude=log hadoop-1.0.0 datanode-00003:~/
4、 使用hadoop用户登录到新节点datanode-00003。
修改环境变量。
cd vi .bashrc ## 添加JAVA_HOME/bin到PATH路径 # export JAVA_HOME=/opt/java/jdk1.6.0_29 # export PATH=$JAVA_HOME/bin:$PATH source .bashrc
创建必要的目录(把hadoop的进程的pids文件保存的自定义的目录下,如果防止在tmp下,一段时间过后会被清除)。
mkdir /opt/cloud mkdir /home/hadoop/pids/hadoop/pids
5、 启动新节点,加入到集群
有很多文章说使用hadoop-daemon.sh来启动:
在新机器上进入hadoop安装目录 $bin/hadoop-daemon.sh start datanode $bin/hadoop-daemon.sh start tasktracker
其实,大可不必,使用hadoop登录到namenode,在namenode上执行start-all.sh即可。
bin/start-all.sh
启动节点的时刻,会检查是否已经启动,只会启动未启动的服务。
如果希望节点的数据平均点,可以执行:
bin/start-balancer.sh
参考资料:
1、 shell脚本自动修改IP信息 http://kerry.blog.51cto.com/172631/517921
2、 http://a280606790.iteye.com/blog/867532
3、 http://eclecl1314-163-com.iteye.com/blog/987732
4、 http://running.iteye.com/blog/906585
相关推荐
搭建高可用的Hadoop集群,基于NFS共享磁盘的namenode配置,使用zookeeper进行主节点推举
使用Ansible的Hadoop多节点集群 该存储库包含Ansible Playbook和角色,以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 ...
史上最全 多节点 hadoop 开发环境搭建详解
非常详细的hadoop集群搭建教程,包含SSH免密码登录,基本上按照教程上一步一步操作就能搭建成功,非常适合大数据初学者使用
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
Centos7.0系统下配置Hadoop集群(以3节点为例)超详细过程
利用ansible 自动 安装Hadoop 集群
对于企业,如果要部署由成千上万的节点组成的Hadoop集群,手工方式部署显然不符合实际。 而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。这款软件具有集群自动化安装、中心化...
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
hadoop集群配置三节点(超详细)
图文并茂,step by step,详细说明Hadoop集群(zookeeper框架下)增加服役节点操作步骤。 1. 现有集群环境情况 2. 准备工作 2.1 修改主机名 2.2 配置ssh免密登录 2.3 jdk安装 2.4 hadoop安装 2.5 关闭待新增节点的...
基于多元线性回归模型的Hadoop集群节点性能计算方法.pdf
多节点下Hadoop集群安装 参照上一篇:单节点下安装hadoop伪分布式集群 安装完后,讲解安装hadoop集群
项目中的hadoop集群包括3个节点:1个主节点和2个从节点(slave1和slave2) 版本 Hadoop 2.2.7 Java 1.8 码头工人 20.10.5 安装 您可以在安装此项目 建造 安装项目后,进入项目并运行命令以构建hadoop集群:docker...
由于工作需要,最近一段时间开始接触学习 Hadoop 相关的东西,目前公司的实时任务和离线任务都跑在一个 Hadoop 集群,离线 任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一...
本次hadoop集群采用3台虚拟机协同完成,虚拟机采用CentOS6.7版本的镜像,hadoop的Cloudera的版本采用的5.13版本。更详细的需求配置以及虚拟机设置,网络配置,节点服务配置等信息请下载文档进行查看。
RHEL 6.7 上安装hadoop 3 节点基础集群,本文步骤和操作方法非常详细,适合初学者搭建大数据基础学习环境
用脚本自动杀出hadoop集群中的僵尸节点