yarn的几个命令

杀掉任务：
yarn application -list
yarn application -kill <Application ID>

查看log：
yarn logs -applicationId application_1451022530184_0001

hadoop报错Going to preempt 1 due to lack of space

原因是ResourceManager资源分配不够，修改yarn-site.xml中 yarn.scheduler.minimum-allocation-mb / yarn.scheduler.maximum-allocation-mb / yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores 配置不要太大。
Hadoop资源配置参考：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/

Hadoop远程客户端配置

拷贝集群中的hadoop文件夹到新的客户机（主要是etc/hadoop/目录下的配置文件），vim ~/.bashrc，增加环境变量：

export HADOOP_HOME=your_hadoop_path
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH=$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*:$HADOOP_HOME/share/hadoop/httpfs/tomcat/lib/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/tools/lib/*:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/*

source~/.bashrc，完成。

如果发现还是找不到class（已经设置了HADOOP_CLASSPATH，但是执行hadoop class命令时候发现classpath设置并没有生效），直接将HADOOP_CLASSPATH写入到hadoop和hdfs的脚本中去。问题原因不明。

HDFS的用户权限问题和用户代理

用户代理机制：link.
HDFS用户权限管理：link.

因为下面设置环境变量解决了我的HDFS访问权限问题，所以针对用户代理机制和用户权限管理我没有进一步深入研究。

设置HADOOP_USER_NAME环境比较重要，将环境变量设置为Hadoop的超级用户（启动Namenode进程时的用户）便可以在集群外访问HDFS（在没有安全配置的情况下）。
export HADOOP_USER_NAME=hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

HDFS更改文件所有者和权限：
hdfs dfs -chown -R username:group /filepath
hdfs dfs -chmod ...

The difference between "hadoop fs" and "hdfs dfs"

Please see this link.

Hadoop安装

Ubuntu14.04：环境搭建
CentOS6.4：环境搭建
Hadoop2.7.1：安装

See also: install-hadoop or this doc