广州培训嵌入式开发

滚动开班小班任意时段

免费通话立即咨询

Hadoop大数据解决方案开发技术培训

课程名称：广州培训嵌入式开发

课程价格：请询价

咨询老师申请优惠免费获取试听名额

课程特色

课程简介

Hadoop 作为开源的云计算平台，为大数据处理提供了一整套解决方案，应用非常广泛。Hadoop 作为一个平台框架，包括了如何存储海量数据，如何处理海量数据，以及相应的数据库、数据仓库、数据流处理、数据分析和挖掘算法库等等。本次培训作为知识储备，主要讲解目前应用数据和大数据平台的数据同步工作以及了解大数据理论体系结构, 应用 Hadoop 2.0 的大数据框架结构，文本文件与 Hadoop/Hive/Sqoop 数据迁，Hadoop 的思想、原理，以及重要技术等相关知识。

第一天

一、Hadoop 的基本框架：

大数据时代面临的问题；当前解决大数据的技术方案；Hadoop 架构和云计算；Hadoop 简史及安装部署；Hadoop 设计理念和生态系统

二、HDFS 分布式文件系统：海量数据存储的摇篮

HDFS 的设计目标、HDFS 的基本架构、 NameNode 名称节点、 SecondaryNameNode 第二名称节点、 DataNode 数据节点、HDFS 的存储模型数据块存储、元数据存储（空间镜像与编辑日志）、多副本存储多副本放置策略多数据节点管理机制与交互过程文件系统操作与管理读文件过程写文件过程（数据流管道）数据完整性机制数据校验和数据完整性扫描线程元数据备份与合并数据可靠性设计安全模式（数据块与节点映射关系管理）心跳检测机制（节点失效管理）租约机制（多线程并发控制）其它 HDFS 的安全机制负载均衡文件压缩操作接口与编程接口 HDFS Shell HDFS Commands 演练：HDFS 文件操作命令

三、MapReduce 分布式计算系统：海量数据处理的利器

MapReduce 的三层设计理念、分布治之的设计思想（Map 与 Reduce）、数据处理引擎（编程模型）、运行时环境（任务调度与执行）、MapReduce 的基本架构、JobTracker 作业跟踪器、TaskTracker 任务跟踪器 MapReduce 与 HDFS 的部署关系

四、Yarn：平台

Yarn 平台的搭建、 Yarn 实例的运行、Yarn 应用的监控