蚂蚁it学堂

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 6|回复: 0

2020年黑马新版大数据课程

[复制链接]

13

主题

13

帖子

75

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
75
发表于 7 天前 | 显示全部楼层 |阅读模式
1.本课程为2020年黑马8.1新版大数据,根据大量的行业调研分析,本次课程从零基础到大数据实战全套课程都有,在8.0基础上再次新增大型项目实战,并针对大数据技术深度和广度进行升级,例如新增Spark内存管理、Flink性能优化及反压、背压原理等同时为提高学员的就业薪资,推出多行业案。
2.具体课程目录与详情介绍

1.大数据零基础体验课
基础班阶段一
课时:8天技术点:65项测验:1次学习方式:线下面授
学习目标

1.掌握企业级ETL平台的kettle|2.掌握BI的可视化平台Superset|3.掌握kettle流式数据ETL处理设计思想|4.掌握大数据企业开发中最常见的linux操作|5.掌握一款主流数据库管理工具DataGrip|6.掌握企业MySQL的调优方案|7.掌握大数据分析中数据全量及增量同步解决方案|8.掌握生产环境中数据分析程序的部署解决方案

主讲内容1
操作系统基础
Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统
计算机基础知识、Linux环境搭建、远程连接工具、文件操作命令、压缩解压缩命令、文件查找命令、系统管理命令、权限管理、网络服务管理命令、VI等

主讲内容2
关系型数据库
数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以对数据库中的数据进行增加,修改,删除及查询操作
数据库环境搭建、SQL语言(DDL、DML、DQL)、多表查询、索引等

主讲内容3
可视化ETL平台
对于企业或行业应用来说,经常会遇到各种数据的处理,转换,迁移,掌握一种etl工具的使用,必不可少,这里要学习的ETL工具是——Kettle,现在已经更名为PDI
数据仓库与ETL、Kettle安装部署、数据抽取与装载、表输入、表输出、插入/更新、switch/case等组件使用、Kettle作业等

主讲内容4
BI可视化开发
Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的,功能简单但可以满足我们对数据的基本需求,支持多种数据源,图表类型多,易维护,易进行二次开发。
Superset部署、开发,涵盖Charts开发、Dashboard开发

主讲内容5
电商数据仓库实战
本案例围绕某个互联网小型电商的订单业务来开发
电商业务背景、案例架构、数据仓库增量同步、ETL开发、指标SQL开发、Kettle作业调度、Superset可视化展示等。



零基础数据仓库课程
升级说明

基础课程优化,使学员可以由浅入深的了解大数据业务开发的真实场景,推出大数据0基础体验课

主要内容

•操作系统基础•关系型数据库•可视化ETL平台•BI可视化开发•电商数据仓库实战

可解决的现实问题

•具备传统数据仓库开发能力

可掌握的核心能力

•掌握企业级ETL平台的kettle •掌握BI的可视化平台Superset •掌握Kettle ETL处理设计思想 •掌握大数据企业开发中最常见的linux的操作 •掌握一款主流数据库客户端工具DataGrip •掌握企业MySQL的调优方案 •掌握大数据分析中数据全量及增量同步解决方案 •掌握生产环境中数据分析程序的部署解决方案

2.Java语言编程
就业班阶段一
课时:19天技术点:115项测验:1次学习方式:线下面授
学习目标

1.掌握Java程序基础数据类型|2.掌握开发中集合、IO流、常用类等操作|3.掌握Java异常处理机制|4.掌握反射、网络编程、多线程开发|5.掌握Jsoup的网络爬虫开发|6.掌握JDBC数据库连接操作|7.掌握ETL数据处理和BI报表开发|8.具备JavaSE开发能力

主讲内容1
编程基础
基础语法是编程语言的第一课,打好基础才能更好的学习后面课程,帮学员从小白到入门,包含了以下技术点:
1.Java语言概述2.Java开发环境搭建3.IDEA的安装和配置4.HelloWorld案例5.注释.6.关键字7.常量8.变量9.数据类型转换10.运算符11.Scanner12.选择结构13.for循环14.while循环15.循环嵌套16.控制跳转语句break和continue17.Math类-获取随机数18.数组的概述和创建19.数组的内存图解20.数组的常见操作.21.方法的概述和定义22.方法重载.23.方法形参类型24.方法练习

主讲内容2
面向对象
逐步建立起面向对象编程思想,从会使用对象,到内存分析,再到真正理解为什么封装对象,包含了以下技术点:
1.面向对象介绍 2.类和对象讲解 3.对象的内存图 4.成员变量和局部变量的区别 5.private关键字 6.封装 7.this关键字 8.构造方法 9.继承 10.super关键字 11.方法重写 12.多态 13.final 14.static 15.抽象类 16.接口 17.包(package)

主讲内容3
常用类API
培养使用java语言解决实际问题,需掌握常见的java对象与工具类,包含了以下技术点:
1.API解释2.Object类讲解3.String类讲4.StringBuilder类讲解5.冒泡排序6.Arrays工具类7.包装类8.自动拆装箱9.Date类讲解10.SimpleDateFormat类讲解

主讲内容4
集合操作
建立使用集合解决不同数据类型操作的思想,包含了以下技术点:
1.Lambda表达式2.集合类3.Collection4.ArrayList5.列表迭代器6.增强for7.数据结构8.Set集合之HashSet9.Map集合之HashMap10.集合嵌套案例

主讲内容5
IO操作
解决了数据序列化和反序列化操作,包含了以下技术点:
1.File类 2.字节流 3.序列化流 4.字符流

主讲内容6
Java基础增强
从数据传输角度增强对java语言的掌握程度,包含了以下技术点:
1.软件结构 2.网络协议 3.网编3要素 4.TCP通信. 5.Junit单元测试 6.反射介绍 7.Class类相关方法介绍 8.反射案例:代理设计模式 9.注解解释. 10.常用注解介绍. 11.xml概述 12.xml的组成元素 13.xml约束

主讲内容7
爬虫案例
以企业爬虫为业务,实现此阶段知识点的综合场景化应用,包含了以下技术点:
Jsoup、MySQL高级、JDBC、ETL、BI

Java语言编程
升级说明

Java语言编程优化,增加热门技术,提升大数据课程内容的占比

主要内容

•面向对象 •常用类 •集合操作 •IO操作 •Java基础增强 •JDBCMaven •爬虫案例

可解决的现实问题

•基础语法是学习任何编程语言的第一课,学好基础语法,才能更好的学习后面的课程知识点

可掌握的核心能力

•掌握Java程序基础数据类型 •掌握开发中常用类如集合、IO流、常用类等操作 •掌握Java异常处理机制 •掌握反射、网络编程、多线程开发 •掌握JDBC操作 •掌握ETL数据处理和BI报表开发

3.Hadoop技术栈
就业班阶段二
课时:13天技术点:153项测验:1次学习方式:线下面授

学习目标

1.掌握Shell命令|2.掌握zookeeper原理并应用|3.掌握HDFS的使用和MapReduce编程|4.理解MapReduce原理和调优|5.掌握Yarn原理和调优|6.掌握Hive的使用和调优|7.具备Hadoop开发能力、离线数据仓库开发能力

主讲内容1
操作系统基础
Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统
计算机基础知识、Linux环境搭建、远程连接工具、文件操作命令、压缩解压缩命令、文件查找命令、系统管理命令、权限管理、网络服务管理命令、VI等。

主讲内容2
大数据基础和硬件介绍
进一步阐述大数据特点与分布式思想,知识点由浅入深,包含了以下技术点:
大数据的特点、分布式存储概念、分布式计算的概念、服务器种类介绍、机架、交换机、网络拓扑、Raid、IDC数据中心

主讲内容3
Zookeeper
分布式软件管家,实现了集群管理与leader选举,包含了以下技术点:
Zookeeper的应用场景、架构和原理、存储模型、选举机制、客户端操作

主讲内容4
HDFS
分布式文件系统,解决了海量数据存储与容错,包含了以下技术点:
HDFS设计的特点、Master-Slave架构、Block块存储、RF拷贝因子、机架感知、Block拷贝策略、读写流程、HDFS Federation、HDFS Snapshots、NameNode HA架构和原理、HDFS管理员常用操作、HDFS权限控制

主讲内容5
MapReduce
分布式计算系统,解决海量数据的计算,包含了以下技术点:
MapReduce架构和原理、Split机制、MapReduce并行度、Combiner机制、Partition机制、自定义Partition、MapReduce序列化、自定义排序、数据压缩

主讲内容6
YARN
分布式资源调度管理器,管理服务器软件资源,包含了以下技术点:
Yarn原理和架构、Yarn高可用、Container资源的封装(CPU、内存和IO)、资源调度策略(FIFO、Fair和Capacity)

主讲内容7
Hive
分布式离线计算Nosql数据库,数仓伴侣,包含了以下技术点:
Hive原理和架构、HQL操作、数据类型、分区、分桶、临时表、Meta Store服务、HiveServer内置函数、自定义UDF和UDAF、数据压缩、存储格式、自动化脚本、常见性能优化、explain执行计划详解



Hadoop技术栈
升级说明

简化大数据组件安装,优化Hadoop生态圈组件,采用全新的CentOs7平台完成大数据环境搭建,满足企业需求

主要内容

•Linux操作系统高级 •大数据基础和硬件介绍 •Zookeeper

可解决的现实问题

•具备Hadoop开发能力、离线数据仓库开发能力

可掌握的核心能力

•掌握shell编程 •掌握ZooKeeper原理并应用 •掌握HDFS的使用和MapReduce编程 •理解MapReduce原理和调优 •掌握Yarn的原理和调优 •掌握Hive的使用和调优

在线教育项目】
就业班阶段三
项目一(在线教育)
升级说明

新增教育项目,对教育行业大数据数仓构建场景还原,建立企业数据仓库,分析项目多达40个模块150个技术点,紧密贴合企业级大数据实战

主要内容

•HDFS •MapReduce •YARN •Hive

可解决的现实问题

•具备企业级离线数据仓库开发能力,深入教育行业需求,提升行业的核心竞争力

可掌握的核心能力

•掌握从需求、设计、研发、测试到落地上线的完整项目流程 •掌握大量教育行业的真实业务逻辑,涉及20多个主题,100多个指标 •掌握海量数据如何调优、使用拉链表、增量数据处理,以及Hive函数的具体应用等 •掌握基于CM的大数据环境部署和管理 •掌握数据仓库的核心概念和应用 •掌握常用离线大数据技术:Oozie、Sqoop、Hive等 •掌握FineReport可视化


后台数据服务
就业班阶段四
课时:5天技术点:68项测验:1次学习方式:线下面授

学习目标

1.掌握SpringBoot整合SpringMVC开发|2.掌握SpringBoot整合MyBatis开发|3.掌握Eureka搭建|4.掌握Feign的使用|5.掌握后端数据微服务接口开发|6.掌握通过Spring技术架构|7.掌握微服务搭建|8.掌握企业级数据微服务接口开发

主讲内容1
Spring
Spring是分层的服务器端应用full-stack轻量级开源框架,Java程序员必会的开源框架。包含了以下技术点:
1.IOC控制反转|2.AOP面向切面编程|3.对象容器化管理|4.springmvc核心编程|5.mvc编程模型

主讲内容2
Spring Boot
SpringBoot提供了一种快速使用Spring的方式,基于约定优于配置的思想。包含了以下技术点:
1.Spring Boot整合Spring MVC|2.使用Spring Boot整合MyBatis开发

主讲内容3
Spring Cloud
Spring Cloud 是一系列框架的有序集合,Spring Cloud 并没有重复制造轮子,目前各家公司开发服务框架组合起来。包含了以下技术点:
1.搭建Eureka注册中心、Feign|2.使用Spring Cloud Gateway搭建微服务网关

数据微服务接口开发
升级说明

新增SparkBoot+SpringCloud企业级微服务开发技术栈

主要内容

•建立企业数据仓库,统一企业数据中心,把分散的业务数据集中存储和处理

可解决的现实问题

•具备后端数据微服务接口开发,可胜任通过Spring技术架构完成微服务搭建 •可完成企业级数据微服务接口开发

可掌握的核心能力

•掌握SpringBoot整合SpringMVC开发 •掌握SpringBoot整合MyBatis开发 •掌握Eureka搭建 •掌握Feign的使用


实时生态圈
就业班阶段五
课时:18天技术点:170项测验:1次学习方式:线下面授
学习目标

1.掌握Redis原理及架构|2.掌握Redis命令操作、及数据结构|3.掌握Hbase原理及架构|4.掌握HBase命令操作、MapReduce编程|5.掌握Phoneix二级索引优化查询|6.掌握ELK开发掌握Kafka原理及架构|7.掌握KafkaStreams开发|8.掌握基于Flink进行实时和离线数据处理、分析|9.掌握基于Flink的多流并行处理技术|10.掌握千万级高速实时采集技术

主讲内容1
分布式缓存系统
存储效率高,适合作为中间缓存数据库使用,包含以下技术点:
Redis原理及架构、Redis Cluster原理及架构、Redis常用操作

主讲内容2
HBase万亿级NoSQL海量数据存储
存储海量数据的列式数据库,内部高效设计解决了海量数据存储,包含了以下技术点:
HBase原理及架构、预分区、LSM结构、Bloom Filter、co-processor、结合Phoneix进行优化查询

主讲内容3
分布式流处理平台
分布消息队列存储数据,应用于低延时实时场景,包含了以下技术点:
Kafka原理及架构分析、分布式实时计算架构和思想

主讲内容4
Elastic Stack
涵盖数据采集、数据存储、数据可视化的完整的实时搜索解决方案,包含以下技术点:
ElasticSearch开发、Logstash数据采集、Kibana数据可视化

主讲内容5
Flink Stream
构成了flink解决实时数据处理部分,是掌握实时数据处理必备技能,包含了以下技术点:
Flink DataStream的使用、Kafka + Flink

主讲内容6
Flink DataSet
离线数据处理数据集,是掌握离线数据处理必备技能,包含了以下技术点:
Flink 性能监控、Flink调优、Flink SQL执行计划

主讲内容7
Flink Runtime
是对flink任务进行调优,必须掌握的内容,包含了以下技术点:
Watermark、Checkpoint、任务调度与负载均衡、状态管理

主讲内容8
Flink SQL
解决flink中的sql化开发,Flink-Sql开发必备技能,包含了以下技术点:
Flink SQL开发、Hive + Flink SQL

主讲内容9
Flink实战
践行场景式教学,运用了flink阶段知识点,解决实时数据分析的应用,包含了以下技术点:
Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL实战



实时生态圈
升级说明

优化实时组件技术,采用企业级案例数据讲解,Flink采用原生Java并使用最新的1.10版本,新增FlinkCep等多种实时计算技术

主要内容

•项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序

可解决的现实问题

•具备使用Hbase和Redis开发调优能力、ELK海量数据处理能力、具备Kafka消息队列开发和调优能力、Flink流式和批量数据开发能力

可掌握的核心能力

•掌握Redis原理及架构 •掌握Redis命令操作、及数据结构 •掌握Hbase原理及架构 •掌握HBase命令操作、MapReduce编程 •掌握Phoneix二级索引优化查询 •掌握ELK开发掌握Kafka原理及架构 掌握KafkaStreams开发 掌握基于Flink进行实时和离线数据处理、分析 掌握基于Flink的多流并行处理技术 掌握千万级高速实时采集技术

Spark技术栈
就业班阶段七
课时:10天技术点:91项测验:1次学习方式:线下面授
学习目标

1.掌握Scala语言基础、数据结构|2.掌握Scala语言高阶语法特性|3.掌握Spark的RDD、DAG、CheckPoint等设计思想|4.掌握SparkSQL结构化数据处理,Spark On Hive|5.掌握SparkStreaming整合Kafka完成实时数据处理|6.掌握SparkStreaming偏移量管理及Checkpoint|7.掌握Structured Streaming整合多数据源完成实时数据处理|8.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力

主讲内容1
Scala语言
函数式编程基础语言,通过学习scala可掌握spark、flink中使用函数式编程方式实现分析程序,包含了以下技术点:
Scala基础、变量声明、数据类型、条件表达式、块表达式、循环、方法和函数、数组、元组、集合、Iterator、构造器、伴生对象、Akka编程。

主讲内容2
Spark core
整个spark框架核心部分,掌握框架内部设计思想,数据流转步骤,是学习spark的基础模块,包含了以下技术点:
Spark架构和原理(运行机制、Driver和Executor、spark任务提交流程)、RDD开发和原理(Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制)、广播变量 、DAG原理(DAG思想、DAG的生成、DAG的处理过程)。

主讲内容3
Spark sql
学习spark框架的sql操作,spark与hive、hbase等外部数据源的整合操作,包含了以下技术点:
Spark SQL架构和原理、DataFrame、DataSet DSL和SQL开发、Spark多数据源整合(txt、CSV、Json、parquet、JDBC、Hive)、Spark SQL执行计划原理、Spark SQL性能调优。

主讲内容4
Spark Streaming
流式数据分析处理模块,以微批方式处理海量数据,基于数据处理时间,包含了以下技术点:
Spark Streaming流式开发、DStream API、整合多数据源、偏移量管理。

主讲内容5
Structured Streaming
流式数据分析处理模块,基于事件时间处理海量数据,更符合业务场景,包含了以下技术点:
Structured Streaming开发(input、output、window、watermark、过期数据操作、去重等)、Structured Streaming多数据源整合(socket、Kafka)、 Flume+kafka+Structured Streaming案例实战。


Spark技术栈
升级说明

新增DMP场景Spark案例,优化了StructuredStreaming结构化流的应用分析

主要内容

•Scala语言 •Spark core •Spark sql •Spark Streaming •Structured Streaming

可解决的现实问题

•具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力

可掌握的核心能力

•掌握Scala语言基础、数据结构 •掌握Scala语言高阶语法特性 •掌握Spark的RDD、DAG、CheckPoint等设计思想 •掌握SparkSQL结构化数据处理,Spark On Hive整合 •掌握Spark Streaming整合Kafka完成实时数据处理 •掌握Spark Streaming偏移量管理及Checkpoint •掌握Structured Streaming整合多数据源完成实时数据处理



  • 大数据平台化开发
    就业班阶段十
    课时:6天技术点:72项测验:0次学习方式:线下面授或线上学习(可选)
    学习目标

    1.掌握大数据组件的常用运维方法解决实际的运维方案|2.具备大数据平台运维能力|3.掌握基于Python基础运维;|3.掌握基于CM+CDH集群运维方案。

    主讲内容1
    大规模大数据集群部署、大规模集群运维监控
    大数据平台运维与监控部署解决方案,解决大数据运行环境与任务资源占用情况监控,包含了以下技术点:
    涵盖主流的一些大数据平台,涵盖CDH、HDP、Apache、云平台等部署方案,引入各家的最佳实践。包含基于平台下的各个组件的运维,包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等。
  • 大数据数据中台
    就业班阶段十一
    课时:3天技术点:99项测验:0次学习方式:线下面授或线上学习(可选)
    学习目标

    1.掌握数据中台构建思路及实战|2.具备企业数据中台构建能力|3.掌握基于Altlas元数据管理工具进行数据血缘分析;|4.掌握大数据数据体系建设、管理等。

    主讲内容1
    大数据数据体系建设、管理
    数据中台的前提在于平台设计与元数据管理,基于各个业务系统的元数据,抽象出业务共同点,分类目管理,包含了以下技术点:
    基于Altlas元数据管理工具进行数据血缘分析、构建数据地图,构建统一存储计算平台,建立数据类目体系、标签类目体系、数据资产管理,并基于数据中台构建数据应用服务。
  • 大厂解决方案实战
    就业班阶段十二
    课时:5天技术点:60项测验:0次学习方式:线下面授或线上学习(可选)
    学习目标

    1.掌握大型门户可视化任务提交解决方案;|2.具备大型旅游出行服务平台统一性能监控平台解决方案;|3.具备B2B2C电商集中实时采集消息队列存储方案、出行平台实时风控性能调优方案;|4.具备大型电商双十一千万级实时处理调优。

    主讲内容1
    大厂解决方案实战
    出行、电商、视频、社交等领域大数据解决方案
    大型门户可视化任务提交解决方案、大型旅游出行服务平台统一性能监控平台解决方案、B2B2C电商集中实时采集消息队列存储方案、出行平台实时风控性能调优方案、大型电商双十一千万级实时处理调优、视频网站海量用户行为数据计算调优。
  • 大数据常见架构与设计
    就业班阶段十三
    课时:5天技术点:46项测验:0次学习方式:线下面授或线上学习(可选)
    学习目标

    1.掌握基于美团点评实时数仓架构;|2.掌握基于拼多多离线数仓架构;|3.掌握基于小米快速OLAP分析架构;|4.掌握抖音小视频实时推荐架构。

    主讲内容1
    BAT直通车
    互联网公司常见面试题及应用场景剖析
    BAT大数据常见的面试精选题、一线大厂多领域场景剖析、HDFS、MapReduce、Hive、Flume、Sqoop等面试题精讲、Spark、Spark Streaming等面试题精讲、Flink面试题精讲、底层数据结构面试题精讲。
  • 【新零售】新零售千亿级电商项目实战
    就业班阶段十四
    课时:10天技术点:63项测验:0次学习方式:线下面授或线上学习(可选)
    学习目标

    1.掌握基于高性能方案构建离线数仓、以及实时数仓构建方案;|2.具备项目采用Hive+Presto架构构建高性能的离线处理方案;|3.具备基于ClickHouse的实时数仓,实现秒级OLAP分析;|4.具备使用ClickHouse、Druid进行实时AD Hock,以大数据为驱动,打通线上线下体验与物流融合的新零售项目。


    本项目基于国内大型新零售巨头开发的大数据平台,基于高性能方案构建离线数仓、以及实时数仓。该项目涵盖完整的业务,包括销售、屡单、会员、促销、商品、客户等主题,每个主题涵盖大量真实的业务场景,项目手把手带着学生开发基于新零售场景下的离线、实时业务。本项目采用Hive+Presto架构构建高性能的离线处理方案,并采用基于ClickHouse的实时数仓,实现秒级OLAP分析。



    主讲解决方案
    1. 基于Sqoop和HDFS的批量离线数据采集解决方案 2. 基Hive+Presto的高性能离线数仓解决方案3. 基于Canal+Kafka的零副作用实时数据采集解决方案4. 基于ClickHouse的实时数仓解决方案

    主讲知识点
    1. 掌握使用Kafka高吞吐消息队列作为临时数据存储2. 掌握使用Sqoop进行T+1数据导入到分布式存储3. 掌握基于Canal实时采集MySQL中的数据4. 掌握基于HDFS存储大规模数据5. 掌握Hive+Presto搭建高性能离线数仓6. 掌握基于ClickHouse搭建大规模实时数仓
  • 大数据数据挖掘
    就业班阶段十六
    课时:20天技术点:52项测验:0次学习方式:线下面授或线上学习(可选)
    学习目标

    1.掌握大数据数据挖掘常见的算法及应用场景|2.具备大数据数据挖掘、机器学习模型开发、调优能力|3.掌握PySpark、PyFlink等Python大数据生态技术;|4.掌握Python数据挖掘技术与案例;|5.掌握SparkMl&SparkMllib机器学习库使用经验。

    主讲内容1
    企业级大数据数据挖掘解决方案
    主要包含机器学习与python机器学习内容,学习此阶段能掌握企业级数据挖掘、建模、算法,实现自动化复杂场景应用。包含了以下技术点:
    机器学习基础、SparkMl&SparkMllib基础实战、Python核心基础、Python数据科学库基础(Numpy、Pandas、Matplotlib、Seaborn、Imblearn-Learn、Scikit-Learn)、Python数据挖掘案例、PyHdfs、PyHive、PyHbase、Kafka-Python、PySpark、PyFLink案例实战。
  • BAT直通车
    就业班阶段十七
    互联网公司常见面试题及应用场景剖析
    BAT大数据常见的面试精选题、大厂多领域场景剖析、面试题精讲。
项目实战:


1.智数电商项目实战
智数电商主要是对来自全品类B2B2C电商系统的数据进行分析,数据仓库分为离线数仓和实时数仓,技术框架依托于大数据CDH发型版构建。智数电商在业务上贴近企业实际需求,指标计算完成后采用开源BI工具Apache superset对指标数据进行可视化展示。



2.蜂鸟DMP广告系统实战
DMP全称数据管理系统,为广告系统提供数据服务,其中涉及标签处理、用户识别、图计算等技术点,可以帮助学员强化大数据开发能力。

3.电信项目实战
手机已经是人们生活中重要的通信、咨询、娱乐工具,本项目基于手机测速软件采集的数据,对用户的网速、上行下行流量、网络制式、信号强度等信息进行宏观分析,根据数据分析结果,计算出附近通讯厂商包括移动、联通、电信的信号强度。

4.在线教育大数据项目
受互联网+概念的催化,教育市场发展火热,越来越多的教育机构和平台不断涌现,包括有线上学习和线下培训,K12教育和职业教育等。

5.用户画像是大数据应用的底层核心的服务,例如:推荐、营销、千人千面、个性化推荐和精准营销等应用都依赖于用户画像服务;
通过对用户进行画像,实现不同用户的个性化服务,提高企业的营收。

6.流量日志分析项目

7.Flink实时指标项目
践行场景式教学,运用了flink阶段知识点,解决实时数据分析的应用,包含了以下技术点:
Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL实战




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|蚂蚁it学堂

GMT+8, 2020-11-28 07:03 , Processed in 0.055171 second(s), 30 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表