2020年黑马新版大数据课程

admin · 发表于 2020-11-21 17:51:03

1.本课程为2020年黑马8.1新版大数据，根据大量的行业调研分析，本次课程从零基础到大数据实战全套课程都有，在8.0基础上再次新增大型项目实战，并针对大数据技术深度和广度进行升级，例如新增Spark内存管理、Flink性能优化及反压、背压原理等同时为提高学员的就业薪资，推出多行业案。

2.具体课程目录与详情介绍

1.大数据零基础体验课

基础班阶段一

课时:8天技术点:65项测验:1次学习方式:线下面授

学习目标

主讲内容1

操作系统基础

Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统

计算机基础知识、Linux环境搭建、远程连接工具、文件操作命令、压缩解压缩命令、文件查找命令、系统管理命令、权限管理、网络服务管理命令、VI等

主讲内容2

关系型数据库

数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作

数据库环境搭建、SQL语言（DDL、DML、DQL）、多表查询、索引等

主讲内容3

可视化ETL平台

对于企业或行业应用来说，经常会遇到各种数据的处理，转换，迁移，掌握一种etl工具的使用，必不可少，这里要学习的ETL工具是——Kettle，现在已经更名为PDI

数据仓库与ETL、Kettle安装部署、数据抽取与装载、表输入、表输出、插入/更新、switch/case等组件使用、Kettle作业等

主讲内容4

BI可视化开发

Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源，图表类型多，易维护，易进行二次开发。

Superset部署、开发，涵盖Charts开发、Dashboard开发

主讲内容5

电商数据仓库实战

本案例围绕某个互联网小型电商的订单业务来开发

电商业务背景、案例架构、数据仓库增量同步、ETL开发、指标SQL开发、Kettle作业调度、Superset可视化展示等。

零基础数据仓库课程

升级说明

基础课程优化，使学员可以由浅入深的了解大数据业务开发的真实场景，推出大数据0基础体验课

主要内容

•操作系统基础•关系型数据库•可视化ETL平台•BI可视化开发•电商数据仓库实战

可解决的现实问题

•具备传统数据仓库开发能力

可掌握的核心能力

•掌握企业级ETL平台的kettle •掌握BI的可视化平台Superset •掌握Kettle ETL处理设计思想 •掌握大数据企业开发中最常见的linux的操作 •掌握一款主流数据库客户端工具DataGrip •掌握企业MySQL的调优方案 •掌握大数据分析中数据全量及增量同步解决方案 •掌握生产环境中数据分析程序的部署解决方案

2.Java语言编程

就业班阶段一

课时:19天技术点:115项测验:1次学习方式:线下面授

学习目标

主讲内容1

编程基础

基础语法是编程语言的第一课，打好基础才能更好的学习后面课程，帮学员从小白到入门，包含了以下技术点：

1.Java语言概述2.Java开发环境搭建3.IDEA的安装和配置4.HelloWorld案例5.注释.6.关键字7.常量8.变量9.数据类型转换10.运算符11.Scanner12.选择结构13.for循环14.while循环15.循环嵌套16.控制跳转语句break和continue17.Math类-获取随机数18.数组的概述和创建19.数组的内存图解20.数组的常见操作.21.方法的概述和定义22.方法重载.23.方法形参类型24.方法练习

主讲内容2

面向对象

逐步建立起面向对象编程思想，从会使用对象，到内存分析，再到真正理解为什么封装对象，包含了以下技术点：

1.面向对象介绍 2.类和对象讲解 3.对象的内存图 4.成员变量和局部变量的区别 5.private关键字 6.封装 7.this关键字 8.构造方法 9.继承 10.super关键字 11.方法重写 12.多态 13.final 14.static 15.抽象类 16.接口 17.包（package）

主讲内容3

常用类API

培养使用java语言解决实际问题，需掌握常见的java对象与工具类，包含了以下技术点：

1.API解释2.Object类讲解3.String类讲4.StringBuilder类讲解5.冒泡排序6.Arrays工具类7.包装类8.自动拆装箱9.Date类讲解10.SimpleDateFormat类讲解

主讲内容4

集合操作

建立使用集合解决不同数据类型操作的思想，包含了以下技术点：

1.Lambda表达式2.集合类3.Collection4.ArrayList5.列表迭代器6.增强for7.数据结构8.Set集合之HashSet9.Map集合之HashMap10.集合嵌套案例

主讲内容5

IO操作

解决了数据序列化和反序列化操作，包含了以下技术点：

1.File类 2.字节流 3.序列化流 4.字符流

主讲内容6

Java基础增强

从数据传输角度增强对java语言的掌握程度，包含了以下技术点：

1.软件结构 2.网络协议 3.网编3要素 4.TCP通信. 5.Junit单元测试 6.反射介绍 7.Class类相关方法介绍 8.反射案例:代理设计模式 9.注解解释. 10.常用注解介绍. 11.xml概述 12.xml的组成元素 13.xml约束

主讲内容7

爬虫案例

以企业爬虫为业务，实现此阶段知识点的综合场景化应用，包含了以下技术点：

Jsoup、MySQL高级、JDBC、ETL、BI

Java语言编程

升级说明

Java语言编程优化，增加热门技术，提升大数据课程内容的占比

主要内容

•面向对象 •常用类 •集合操作 •IO操作 •Java基础增强 •JDBCMaven •爬虫案例

可解决的现实问题

•基础语法是学习任何编程语言的第一课，学好基础语法，才能更好的学习后面的课程知识点

可掌握的核心能力

•掌握Java程序基础数据类型 •掌握开发中常用类如集合、IO流、常用类等操作 •掌握Java异常处理机制 •掌握反射、网络编程、多线程开发 •掌握JDBC操作 •掌握ETL数据处理和BI报表开发

3.Hadoop技术栈

就业班阶段二

课时:13天技术点:153项测验:1次学习方式:线下面授

学习目标

主讲内容1

操作系统基础

Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统

计算机基础知识、Linux环境搭建、远程连接工具、文件操作命令、压缩解压缩命令、文件查找命令、系统管理命令、权限管理、网络服务管理命令、VI等。

主讲内容2

大数据基础和硬件介绍

进一步阐述大数据特点与分布式思想，知识点由浅入深，包含了以下技术点：

大数据的特点、分布式存储概念、分布式计算的概念、服务器种类介绍、机架、交换机、网络拓扑、Raid、IDC数据中心

主讲内容3

Zookeeper

分布式软件管家，实现了集群管理与leader选举，包含了以下技术点：

Zookeeper的应用场景、架构和原理、存储模型、选举机制、客户端操作

主讲内容4

HDFS

分布式文件系统，解决了海量数据存储与容错，包含了以下技术点：

HDFS设计的特点、Master-Slave架构、Block块存储、RF拷贝因子、机架感知、Block拷贝策略、读写流程、HDFS Federation、HDFS Snapshots、NameNode HA架构和原理、HDFS管理员常用操作、HDFS权限控制

主讲内容5

MapReduce

分布式计算系统，解决海量数据的计算，包含了以下技术点：

MapReduce架构和原理、Split机制、MapReduce并行度、Combiner机制、Partition机制、自定义Partition、MapReduce序列化、自定义排序、数据压缩

主讲内容6

YARN

分布式资源调度管理器，管理服务器软件资源，包含了以下技术点：

Yarn原理和架构、Yarn高可用、Container资源的封装（CPU、内存和IO）、资源调度策略（FIFO、Fair和Capacity）

主讲内容7

Hive

分布式离线计算Nosql数据库，数仓伴侣，包含了以下技术点:

Hive原理和架构、HQL操作、数据类型、分区、分桶、临时表、Meta Store服务、HiveServer内置函数、自定义UDF和UDAF、数据压缩、存储格式、自动化脚本、常见性能优化、explain执行计划详解

Hadoop技术栈

升级说明

简化大数据组件安装，优化Hadoop生态圈组件，采用全新的CentOs7平台完成大数据环境搭建，满足企业需求

主要内容

•Linux操作系统高级 •大数据基础和硬件介绍 •Zookeeper

可解决的现实问题

•具备Hadoop开发能力、离线数据仓库开发能力

可掌握的核心能力

•掌握shell编程 •掌握ZooKeeper原理并应用 •掌握HDFS的使用和MapReduce编程 •理解MapReduce原理和调优 •掌握Yarn的原理和调优 •掌握Hive的使用和调优

在线教育项目】

就业班阶段三

项目一（在线教育）

升级说明

新增教育项目，对教育行业大数据数仓构建场景还原，建立企业数据仓库，分析项目多达40个模块150个技术点，紧密贴合企业级大数据实战

主要内容

•HDFS •MapReduce •YARN •Hive

可解决的现实问题

•具备企业级离线数据仓库开发能力，深入教育行业需求，提升行业的核心竞争力

可掌握的核心能力

•掌握从需求、设计、研发、测试到落地上线的完整项目流程 •掌握大量教育行业的真实业务逻辑，涉及20多个主题，100多个指标 •掌握海量数据如何调优、使用拉链表、增量数据处理，以及Hive函数的具体应用等 •掌握基于CM的大数据环境部署和管理 •掌握数据仓库的核心概念和应用 •掌握常用离线大数据技术：Oozie、Sqoop、Hive等 •掌握FineReport可视化

后台数据服务

就业班阶段四

课时:5天技术点:68项测验:1次学习方式:线下面授

学习目标

主讲内容1

Spring

Spring是分层的服务器端应用full-stack轻量级开源框架，Java程序员必会的开源框架。包含了以下技术点：

1.IOC控制反转|2.AOP面向切面编程|3.对象容器化管理|4.springmvc核心编程|5.mvc编程模型

主讲内容2

Spring Boot

SpringBoot提供了一种快速使用Spring的方式，基于约定优于配置的思想。包含了以下技术点：

1.Spring Boot整合Spring MVC|2.使用Spring Boot整合MyBatis开发

主讲内容3

Spring Cloud

Spring Cloud 是一系列框架的有序集合，Spring Cloud 并没有重复制造轮子，目前各家公司开发服务框架组合起来。包含了以下技术点：

1.搭建Eureka注册中心、Feign|2.使用Spring Cloud Gateway搭建微服务网关

数据微服务接口开发

升级说明

新增SparkBoot+SpringCloud企业级微服务开发技术栈

主要内容

•建立企业数据仓库，统一企业数据中心，把分散的业务数据集中存储和处理

可解决的现实问题

•具备后端数据微服务接口开发，可胜任通过Spring技术架构完成微服务搭建 •可完成企业级数据微服务接口开发

可掌握的核心能力

•掌握SpringBoot整合SpringMVC开发 •掌握SpringBoot整合MyBatis开发 •掌握Eureka搭建 •掌握Feign的使用

实时生态圈

就业班阶段五

课时:18天技术点:170项测验:1次学习方式:线下面授

学习目标

主讲内容1

分布式缓存系统

存储效率高，适合作为中间缓存数据库使用，包含以下技术点：

Redis原理及架构、Redis Cluster原理及架构、Redis常用操作

主讲内容2

HBase万亿级NoSQL海量数据存储

存储海量数据的列式数据库，内部高效设计解决了海量数据存储，包含了以下技术点：

HBase原理及架构、预分区、LSM结构、Bloom Filter、co-processor、结合Phoneix进行优化查询

主讲内容3

分布式流处理平台

分布消息队列存储数据，应用于低延时实时场景，包含了以下技术点:

Kafka原理及架构分析、分布式实时计算架构和思想

主讲内容4

Elastic Stack

涵盖数据采集、数据存储、数据可视化的完整的实时搜索解决方案，包含以下技术点：

ElasticSearch开发、Logstash数据采集、Kibana数据可视化

主讲内容5

Flink Stream

构成了flink解决实时数据处理部分，是掌握实时数据处理必备技能，包含了以下技术点：

Flink DataStream的使用、Kafka + Flink

主讲内容6

Flink DataSet

离线数据处理数据集，是掌握离线数据处理必备技能，包含了以下技术点：

Flink 性能监控、Flink调优、Flink SQL执行计划

主讲内容7

Flink Runtime

是对flink任务进行调优，必须掌握的内容，包含了以下技术点：

Watermark、Checkpoint、任务调度与负载均衡、状态管理

主讲内容8

Flink SQL

解决flink中的sql化开发，Flink-Sql开发必备技能，包含了以下技术点：

Flink SQL开发、Hive + Flink SQL

主讲内容9

Flink实战

践行场景式教学，运用了flink阶段知识点，解决实时数据分析的应用，包含了以下技术点：

Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL实战

实时生态圈

升级说明

优化实时组件技术，采用企业级案例数据讲解，Flink采用原生Java并使用最新的1.10版本，新增FlinkCep等多种实时计算技术

主要内容

•项目从需求调研、设计、版本控制、研发、测试到落地上线，涵盖了项目的完整工序

可解决的现实问题

•具备使用Hbase和Redis开发调优能力、ELK海量数据处理能力、具备Kafka消息队列开发和调优能力、Flink流式和批量数据开发能力

可掌握的核心能力

•掌握Redis原理及架构 •掌握Redis命令操作、及数据结构 •掌握Hbase原理及架构 •掌握HBase命令操作、MapReduce编程 •掌握Phoneix二级索引优化查询 •掌握ELK开发掌握Kafka原理及架构掌握KafkaStreams开发掌握基于Flink进行实时和离线数据处理、分析掌握基于Flink的多流并行处理技术掌握千万级高速实时采集技术

Spark技术栈

就业班阶段七

课时:10天技术点:91项测验:1次学习方式:线下面授

学习目标

主讲内容1

Scala语言

函数式编程基础语言，通过学习scala可掌握spark、flink中使用函数式编程方式实现分析程序，包含了以下技术点：

Scala基础、变量声明、数据类型、条件表达式、块表达式、循环、方法和函数、数组、元组、集合、Iterator、构造器、伴生对象、Akka编程。

主讲内容2

Spark core

整个spark框架核心部分，掌握框架内部设计思想，数据流转步骤，是学习spark的基础模块，包含了以下技术点：

Spark架构和原理（运行机制、Driver和Executor、spark任务提交流程）、RDD开发和原理（Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制）、广播变量、DAG原理（DAG思想、DAG的生成、DAG的处理过程）。

主讲内容3

Spark sql

学习spark框架的sql操作，spark与hive、hbase等外部数据源的整合操作，包含了以下技术点：

Spark SQL架构和原理、DataFrame、DataSet DSL和SQL开发、Spark多数据源整合（txt、CSV、Json、parquet、JDBC、Hive）、Spark SQL执行计划原理、Spark SQL性能调优。

主讲内容4

Spark Streaming

流式数据分析处理模块，以微批方式处理海量数据，基于数据处理时间，包含了以下技术点：

Spark Streaming流式开发、DStream API、整合多数据源、偏移量管理。

主讲内容5

Structured Streaming

流式数据分析处理模块，基于事件时间处理海量数据，更符合业务场景，包含了以下技术点：

Structured Streaming开发（input、output、window、watermark、过期数据操作、去重等）、Structured Streaming多数据源整合（socket、Kafka）、 Flume+kafka+Structured Streaming案例实战。

Spark技术栈

升级说明

新增DMP场景Spark案例，优化了StructuredStreaming结构化流的应用分析

主要内容

•Scala语言 •Spark core •Spark sql •Spark Streaming •Structured Streaming

可解决的现实问题

•具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力

可掌握的核心能力

•掌握Scala语言基础、数据结构 •掌握Scala语言高阶语法特性 •掌握Spark的RDD、DAG、CheckPoint等设计思想 •掌握SparkSQL结构化数据处理，Spark On Hive整合 •掌握Spark Streaming整合Kafka完成实时数据处理 •掌握Spark Streaming偏移量管理及Checkpoint •掌握Structured Streaming整合多数据源完成实时数据处理

大数据平台化开发
就业班阶段十
课时:6天技术点:72项测验:0次学习方式:线下面授或线上学习（可选）
学习目标
1.掌握大数据组件的常用运维方法解决实际的运维方案|2.具备大数据平台运维能力|3.掌握基于Python基础运维；|3.掌握基于CM+CDH集群运维方案。
主讲内容1
大规模大数据集群部署、大规模集群运维监控
大数据平台运维与监控部署解决方案，解决大数据运行环境与任务资源占用情况监控，包含了以下技术点：
涵盖主流的一些大数据平台，涵盖CDH、HDP、Apache、云平台等部署方案，引入各家的最佳实践。包含基于平台下的各个组件的运维，包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等。
大数据数据中台
就业班阶段十一
课时:3天技术点:99项测验:0次学习方式:线下面授或线上学习（可选）
学习目标
1.掌握数据中台构建思路及实战|2.具备企业数据中台构建能力|3.掌握基于Altlas元数据管理工具进行数据血缘分析；|4.掌握大数据数据体系建设、管理等。
主讲内容1
大数据数据体系建设、管理
数据中台的前提在于平台设计与元数据管理，基于各个业务系统的元数据，抽象出业务共同点，分类目管理，包含了以下技术点：
基于Altlas元数据管理工具进行数据血缘分析、构建数据地图，构建统一存储计算平台，建立数据类目体系、标签类目体系、数据资产管理，并基于数据中台构建数据应用服务。
大厂解决方案实战
就业班阶段十二
课时:5天技术点:60项测验:0次学习方式:线下面授或线上学习（可选）
学习目标
1.掌握大型门户可视化任务提交解决方案；|2.具备大型旅游出行服务平台统一性能监控平台解决方案；|3.具备B2B2C电商集中实时采集消息队列存储方案、出行平台实时风控性能调优方案；|4.具备大型电商双十一千万级实时处理调优。
主讲内容1
大厂解决方案实战
出行、电商、视频、社交等领域大数据解决方案
大型门户可视化任务提交解决方案、大型旅游出行服务平台统一性能监控平台解决方案、B2B2C电商集中实时采集消息队列存储方案、出行平台实时风控性能调优方案、大型电商双十一千万级实时处理调优、视频网站海量用户行为数据计算调优。
大数据常见架构与设计
就业班阶段十三
课时:5天技术点:46项测验:0次学习方式:线下面授或线上学习（可选）
学习目标
1.掌握基于美团点评实时数仓架构；|2.掌握基于拼多多离线数仓架构；|3.掌握基于小米快速OLAP分析架构；|4.掌握抖音小视频实时推荐架构。
主讲内容1
BAT直通车
互联网公司常见面试题及应用场景剖析
BAT大数据常见的面试精选题、一线大厂多领域场景剖析、HDFS、MapReduce、Hive、Flume、Sqoop等面试题精讲、Spark、Spark Streaming等面试题精讲、Flink面试题精讲、底层数据结构面试题精讲。
【新零售】新零售千亿级电商项目实战
就业班阶段十四
课时:10天技术点:63项测验:0次学习方式:线下面授或线上学习（可选）
学习目标
1.掌握基于高性能方案构建离线数仓、以及实时数仓构建方案；|2.具备项目采用Hive+Presto架构构建高性能的离线处理方案；|3.具备基于ClickHouse的实时数仓，实现秒级OLAP分析；|4.具备使用ClickHouse、Druid进行实时AD Hock，以大数据为驱动，打通线上线下体验与物流融合的新零售项目。

本项目基于国内大型新零售巨头开发的大数据平台，基于高性能方案构建离线数仓、以及实时数仓。该项目涵盖完整的业务，包括销售、屡单、会员、促销、商品、客户等主题，每个主题涵盖大量真实的业务场景，项目手把手带着学生开发基于新零售场景下的离线、实时业务。本项目采用Hive+Presto架构构建高性能的离线处理方案，并采用基于ClickHouse的实时数仓，实现秒级OLAP分析。

主讲解决方案
1. 基于Sqoop和HDFS的批量离线数据采集解决方案 2. 基Hive+Presto的高性能离线数仓解决方案3. 基于Canal+Kafka的零副作用实时数据采集解决方案4. 基于ClickHouse的实时数仓解决方案

主讲知识点
1. 掌握使用Kafka高吞吐消息队列作为临时数据存储2. 掌握使用Sqoop进行T+1数据导入到分布式存储3. 掌握基于Canal实时采集MySQL中的数据4. 掌握基于HDFS存储大规模数据5. 掌握Hive+Presto搭建高性能离线数仓6. 掌握基于ClickHouse搭建大规模实时数仓
大数据数据挖掘
就业班阶段十六
课时:20天技术点:52项测验:0次学习方式:线下面授或线上学习（可选）
学习目标
1.掌握大数据数据挖掘常见的算法及应用场景|2.具备大数据数据挖掘、机器学习模型开发、调优能力|3.掌握PySpark、PyFlink等Python大数据生态技术；|4.掌握Python数据挖掘技术与案例；|5.掌握SparkMl&SparkMllib机器学习库使用经验。
主讲内容1
企业级大数据数据挖掘解决方案
主要包含机器学习与python机器学习内容，学习此阶段能掌握企业级数据挖掘、建模、算法，实现自动化复杂场景应用。包含了以下技术点：
机器学习基础、SparkMl&SparkMllib基础实战、Python核心基础、Python数据科学库基础(Numpy、Pandas、Matplotlib、Seaborn、Imblearn-Learn、Scikit-Learn)、Python数据挖掘案例、PyHdfs、PyHive、PyHbase、Kafka-Python、PySpark、PyFLink案例实战。
BAT直通车
就业班阶段十七
互联网公司常见面试题及应用场景剖析
BAT大数据常见的面试精选题、大厂多领域场景剖析、面试题精讲。

项目实战：

1.智数电商项目实战
智数电商主要是对来自全品类B2B2C电商系统的数据进行分析，数据仓库分为离线数仓和实时数仓，技术框架依托于大数据CDH发型版构建。智数电商在业务上贴近企业实际需求，指标计算完成后采用开源BI工具Apache superset对指标数据进行可视化展示。

2.蜂鸟DMP广告系统实战
DMP全称数据管理系统，为广告系统提供数据服务，其中涉及标签处理、用户识别、图计算等技术点，可以帮助学员强化大数据开发能力。

3.电信项目实战
手机已经是人们生活中重要的通信、咨询、娱乐工具，本项目基于手机测速软件采集的数据，对用户的网速、上行下行流量、网络制式、信号强度等信息进行宏观分析，根据数据分析结果，计算出附近通讯厂商包括移动、联通、电信的信号强度。

4.在线教育大数据项目
受互联网+概念的催化，教育市场发展火热，越来越多的教育机构和平台不断涌现，包括有线上学习和线下培训，K12教育和职业教育等。

5.用户画像是大数据应用的底层核心的服务，例如：推荐、营销、千人千面、个性化推荐和精准营销等应用都依赖于用户画像服务；
通过对用户进行画像，实现不同用户的个性化服务，提高企业的营收。

6.流量日志分析项目

7.Flink实时指标项目
践行场景式教学，运用了flink阶段知识点，解决实时数据分析的应用，包含了以下技术点：
Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL实战

		自动登录	找回密码
密码			立即注册