2016年2月17日星期三

Hadoop远程客户端配置

拷贝集群中的hadoop文件夹到新的客户机(主要是etc/hadoop/目录下的配置文件),vim ~/.bashrc,增加环境变量:

export HADOOP_HOME=your_hadoop_path
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH=$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*:$HADOOP_HOME/share/hadoop/httpfs/tomcat/lib/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/tools/lib/*:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/*

source~/.bashrc,完成。

如果发现还是找不到class(已经设置了HADOOP_CLASSPATH,但是执行hadoop class命令时候发现classpath设置并没有生效),直接将HADOOP_CLASSPATH写入到hadoop和hdfs的脚本中去。问题原因不明。

没有评论:

发表评论