南京大数据工程师

万和大数据课程体系

课程设置无缝对接企业用人需求，万和四个月，胜读四年书

大数据基础

大数据基础

1.什么是大数据？-大数据概念； 2.大数据主要分类类型； 3.大数据和普通数据的区别；

大数据现状

1.现有企业应用场景； 2.大数据生态圈介绍；

群组讨论

1."自我定义的大数据"-群组讨论； 2.学员技能摸底，情况归档；

Linux基础

Linux基本命令解析

1.熟悉Linux历史背景； 2.了解Linux基本命令；

虚拟机-Centos安装

1.安装虚拟机； 2.安装Mvn，Jdk等工具

Zookeeper

Zookeeper熟悉和用途综述

1.Zookeeper介绍 2.Zookeeper基础知识 3.体系结构 4.数据模型

Zookeeper环境搭建

1.集群搭建和测试 2.命令行客户端操作 3.Stat

Zookeeper开发

1.Watches、Node详解 2.API介绍 3.Java Client开发 4.实战内容（现场实验环节）

Zookeeper集群搭建、 命令行Client操作

1.Zookeeper 节点类型与体系结构 2.Zookeeper Watch 3.Zookeeper 与 HBase 的关系 4.Zookeeper 更新Server 实例实现 5.Zookeeper 分布式锁

Hbase数据库

Hbase熟悉和用途综述

1.Hbase介绍 2.Hbase基础知识 3.体系结构 4.数据模型

Hbase环境搭建

1.集群搭建和测试 2.命令行客户端操作 3.Stat

Hbase开发

1.Hbase增删改查 2.Hbase的基础get，scanner等命令

Hadoop

hadoop的前世今生

1.大数据背景及hadoop出现的契机 2.hadoop概述 3.hadoop生态系统 4.hadoop分布式文件系统HDFS 5.hadoop计算框架MapReduce 6.hadoop版本发展历史 7.hadoop行业应用案例分析 8.hadoop与云计算和大数据的关系

hadoop的前世今生

1.hadoop 核心组件简单介绍 2.hadoop 部署角色简单介绍 3.hadoop 试验集群的部署结构 4.hadoop 安装依赖关系 5.hadoop 生产环境的部署结构 6.hadoop 集群部署 7.hadoop 高可用配置方法 8.hadoop 集群简单测试方法 9.hadoop 集群异常debug方法

hadoop YARN架构设计和核心概念

1.YARN的出现的背景 2.YARN的设计思想和背景 3.YARN的基础架构 4.YARN的工作流程 5.YARN的基础类库详解 6.YARN的核心模块ApplicationMaster详解 7.YARN的核心模块ResourseManager剖析 8.YARN的核心模块NodeManager详解 9.YARN 资源调度器详细介绍

Spark

Spark的发展历程

1.大数据背景及sPARK出现的契机 2.Spark概述 3.Spark生态系统 4.Spark核心组件原理和架构 5.Spark分布式文件系统HDFS 6.Spark计算核心算法 7.Spark部署角色 8.Spark版本发展历史 9.Spark行业应用案例分析

安装Spark

1.Spark 核心组件简单介绍 2.Spark 部署角色简单介绍 3.Spark 试验集群的部署结构 4.Spark 安装依赖关系 5.Spark 生产环境的部署结构 6.Spark 集群部署 7.Spark 高可用配置方法 8.实战内容（现场实验环节）

Spark 部署模式剖析

1.Spark的工作流程 2.Spark的多种调度模式区别 3.Spark的调度通信机制

Spark 高级编程,Spark Streaming高级编程

1.Spark 核心API介绍 2.Suffle 算法介绍 3.Spark异常回滚机制介绍 4.Spark Sql剖析 5.Spark Streaming剖析 6.Spark RDD剖析 7.实战内容（现场实验环节）

Spark 及Spring搭配

1.Spark和Spring集成 2.实战内容（现场实验环节）

Spark编程模型及调优

1.Spark编程模型及调优 2.实战内容（现场实验环节）

storm

Storm基础知识

1.包括storm基本概念 2.storm应用场景 3.应用现状和发展趋势 4.storm与hadoop的区别

Storm的架构与原理

1.Nimbus进程与Supervisor进程 2.storm集群环境搭建 3.zookeeper集群的搭建 4.storm配置文件配置项讲解 5.storm常用组件和编程API 6.Topology、Spout、Bolt、Storm分组策略 7.（Stream Groupings） 8.storm项目maven环境的搭建 9.实战内容（现场实验环节）

storm可靠性机制

1.消息处理的含义 2.storm的ack/fail机制 3.storm如何保证可靠性 4.storm如何实现可靠性

storm高并发策略

1.工作进程、执行器与任务的区别 2.配置topology的并行度 3.topology实例 4.如何改变运行中topology的并行度

流分组

1.什么是流分组 2.6种不同的流分组方式

组件详解

1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象类:BaseComponent抽象类、BaseRichSpout抽象类、BaseRichBolt抽象类、BaseBasicBolt抽象类

storm批处理事务处理

1.storm批处理详解 2.storm事务工作原理深入讲解 3.storm事务相关API详解 4.storm事务案例分析 5.storm分区事务与不透明分区事务

Kafka

kafka概述

1.kafka是什么:kafka概念详解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.kafka的应用场景 3.kafka的体系架构与设计原理

kafka的安装部署

1.kafka集群环境的搭建 2.kafka配置项的配置与讲解 3.分布与订阅的原理 4.分布与订阅的接口

kafka使用zookeeper进行协调管理

1.zookeeper在kafka中的作用 2.zookeeper如何进行协调管理