1、
apache软件归档：archive.apache.org/dist/
2、HDFS ---->NAMENODE + DATANODE + SECONDER NAMENODE
3、YARN ---->Resource Manager ---->App Manager + Resource Scheduler
+ Node Manager ----->App Mstr + Container
4、MapReduce ---->离线批处理，启动开销大，过多使用磁盘导致效率低下
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
Shuffle连接两个阶段 ---->Map Task将数据写到本地磁盘，Reduce Task从每个Map Task上读取一份数据
5、安装jdk和hadoop
1）filezilla将压缩包上传至/opt/softwares
2）解压到/opt/modules
3）配置环境变量 vi /etc/profile
exprot JAVA_HOME=/opt/modules/jdk1.7.0_67
exprot PATH=$path:$JAVA_HOME/bin
4）source /etc/profile 保存
5）exit退出并重新登录
配置hadoop见hadoop.apache.org官方文档
6、三种运行模式
a.Local (Standalone) Mode MapReduce程序运行在本地，启动JVM
$ mkdir input //创建输入文件 $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+' //bin下有很多脚本，output文件夹必须不存在，该句将input中按格式统计并输出到output/part------ $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input wcoutput //将input中的单词分类统计输出到wcoutput/part----中 $ cat output/* //查看结果
b.Pseudo-Distributed Operation 伪分布式
配置/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml
配置fs.defaultFS,主机路径，端口8020
官方文档查看core默认参数，配置hadoop.tmp.dir，到hadoop-2.5.0/data/tmp
配置/opt/modules/hadoop-2.5.0/etc/hadoop/hdfs-site.xml
配置dfs.replication，备份改为1，默认为3
Execution第二部不使用start-dfs.sh,使用sbin/hadoop-daemon.sh start namenode(datanode)手动启动
jps查看是否启动
hdfs查看端口号50070
YARN ON A SIGNAL NODE
配置yarn-env.sh，将JAVA_HOME配置为echo $JAVA_HOME的显示结果
配置yarn-site.xml，其中的yarn.nodemanager.aux-services，打开yarn-default，配置其中的
yarn.resourcemanager.bind-host为hostname
更改slave中的主机名
启动不使用start-yarn.sh,使用sbin/yarn-daemon.sh start resourcemanager（nodemanager）
jps查看启动是否成功
yarn浏览器查看端口号8088
配置mapred-env.sh中的JAVA_HOME
配置mapred-site.xml
7、启动历史服务
sbin/mr-jobhistory-daemon.sh start historyserver
8、日志的聚集(Aggregation) -->应用完成以后，将日志信息上传到HDFS系统上
配置yarn-site.xml,查看yarn default,配置yarn.log-aggregation-enable为true,配置yarn.log- aggregation.retain-seconds为7天(640800s)
重启resourcemanager和historyserver
9、两类配置文件
1)默认配置文件 share目录下
core-default.xml hdfs-default.xml yarn-default.xml mapred-default.xml
2)自定义配置文件
core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml
10、三种启动方式
1)各个服务组件逐一启动
hdfs sbin/hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
yarn sbin/yarn-daemon.sh start|stop resourcemanaager|nodemanager
mapreduce sbin/mr-historyserver-daemon.sh start|stop historyserver
2)各个模块分开启动
hdfs start-dfs.sh stop-dfs.sh
yarn start-yarn.sh stop-yarn.sh
设置ssh无密码登录： 配置文件在家目录/.ssh中
a.ssh -keygen -t rsa rsa为加密算法,生成公钥id_rsa.pub
b.ssh-copy-id localhost 输入密码后生成authorized_keys
c.ssh localhost 测试实现无密码登录
3）全部启动
start-all.sh stop-all.sh (不推荐使用)
11、服务组件配置在哪台机器上并测试
1)HDFS
a.NameNode -->core.site.xml中fs.defaultFS属性中的主机名
b.DataNode -->slaves中配置主机名
c.SecondaryNameNode -->hdfs.site.xml中的dfs.namenodesecondary.http-address，默认0.0.0.0
2)YARN
a.resourcemanager -->yarn.site.xml中yarn.resourcemanager.hostname
b.nodemanager -->slaves