Hadoop学习笔记（一）—Hadoop的三种运行模式
Hadoop的三种运行模式
单机模式——独立模式（本地模式）Stand-Alone
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。 在这种默认模式下所有XML配置文件均为空。而当配置文件为空时，Hadoop会完全运行在本地。因此不需要与其他节点交互， 单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
- 默认模式
- 不对配置文件进行修改
- 使用本地文件系统，而不是分布式文件系统
- Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的
- 用于对MapReduce程序的逻辑进行调试，确保程序的正确
伪分布式模式——Pseudo-Distributed
在一台主机模拟多主机。即，hadoop的守护程序在本地计算机上运行，模拟集群环境，并且是相互独立的Java进程。
在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能，
允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。类似于完全分布式模式。
因此，这种模式常用来开发测试Hadoop程序的执行是否正确。
- 在一台主机模拟多主机
- Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程
- 在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。类似于完全分布式模式，因此，这种模式常用来开发测试Hadoop程序的执行是否正确
- 修改3个配置文件：core-site.xml（Hadoop集群的特性，作用于全部进程及客户端）、hdfs-site.xml（配置HDFS集群的工作属性）、mapred-site.xml（配置MapReduce集群的属性）
- 格式化文件系统
完全分布式模式——Fully-Distributed
Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。在所有的主机上安装JDK和Hadoop，组成相互连通的网络。 在主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表。
- Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境
- 在所有的主机上安装JDK和Hadoop，组成相互连通的网络
- 在主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表
- 修改3个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml，指定NameNode和JobTraker的位置和端口，设置文件的副本等参数
- 格式化文件系统
