![大数据技术入门(第2版)](https://wfqqreader-1252317822.image.myqcloud.com/cover/475/34752475/b_34752475.jpg)
上QQ阅读APP看书,第一时间看更新
1.3 Hadoop和云平台的应用实例
除了使用AWS管理界面(见图1-6)操作EC2、S3等组件之外,我们可以在个人计算机(例如苹果Mac)上安装AWS CLI(命令行接口),然后使用脚本来创建和管理EC2实例、S3存储等。其实,脚本模式是最常见的模式。下面我们以在AWS上部署Hadoop为例来说明。
在实际工作中,我使用了Chef工具和CodeDeploy工具(与Debian Package结合使用)。Chef是大数据环境下的自动化运维工具和IT自动化平台,可创建、部署、变更和管理基础设施运行时环境和应用。Chef是平台无关的,可以部署到云端或本地。Chef也被称为部署自动化工具和DevOps使能者。我们把在AWS上安装和部署Hadoop的配置参数做成了Chef脚本(.yml文件),并把Chef脚本放在GitHub上进行管理。图1-18显示了两类脚本,一类是在云平台上设置好虚拟机等,另一类是在大数据平台(Hadoop)层面上设置好集群。
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P25_10275.jpg?sign=1739208261-iSXQGJAiAyi7obchJtdm3bzBglP7ji3l-0-e90c28465fa4895fc7d7d6d93b561e56)
图1-18 部署层次图
1.3.1 云平台层面配置
下面是一个实际的Hadoop上的Master节点在云平台层面的配置信息。从中可以看到EC2实例类型、EBS卷、Auto Scaling和安全组的设置等:
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P25_10277.jpg?sign=1739208261-TiOduvAEa7tkmt9W1T49cGWcBmVDc5sD-0-3a1fc403d336b3bd2e4c072e78684d29)
下面是一个实际的Hadoop集群上的Slave节点在云平台层面的配置信息:
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P27_3169.jpg?sign=1739208261-4gCu9YjRuD9WYk2Yfg1Kqk0JfwIzxdVA-0-ca31c41f2f38456116c9d0b44945ac05)
1.3.2 大数据平台层面配置
下面是一个实际的Hadoop集群的配置信息。从中可以看到vcore个数设置、资源调度等:
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P27_10279.jpg?sign=1739208261-ZK414fHnACMuwwIL0i2x18NGgwhup2uw-0-cabd8db25ef60f4c30d08ecb2945a0d7)
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P28_3170.jpg?sign=1739208261-mmKOmXQET8GCSwnF4xYKKk7tJnWaN6G0-0-48dad97c919b7d5e627c69f0cb937a9f)
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P29_3175.jpg?sign=1739208261-mUac2sSOEuXB2T6emN0ZMCWDcBXzLFHv-0-4d7cacc705cf73cb184fe6caee12c96b)