Spark通过构建一个同时支持大数据和人工智能的统一数据分析平台,让大数据问题变得简单,让更多的公司和机构从大数据中获益。作为大数据中最受欢迎的分析工具,Spark博大精深,且发展迅速,它也影响改变着我们每个人的工作和生活。掌握Spark就是掌握了大数据时代的脉搏,对大数据开发工程师来说,掌握Spark可谓至关重要。
但是,如果不能很好的理解Spark背后的原理,就无法充分发挥Spark的功能特点。如何保障可扩展性和高效性是数据模型设计的关键,是学习Spark的难点之一。如何保证系统任务长期稳定,基于海量数据的任务调优,则是学习Spark的又一个关键难点。
讲师介绍
王磊老师是《offer来了:Java面试核心知识点精讲.原理篇》&《offer来了:Java面试核心知识点精讲.架构篇》两本书的作者,并且有着十余年丰富的物联网、大数据研发以及技术架构经验,对物联网及大数据的原理和技术实现有着深刻理解。长期从事海外项目的研发和交付工作,对异地多活数据中心的建设及高可用、高并发系统的设计,有丰富的实战经验。
你将获得
深入理解Spark内核原理;
熟练掌握Spark API及使用场景;
全面解析Spark性能调优方案;
快速搞定Spark ML机器学习实战。
课程文件目录
01-课程介绍.mp4
02-内容综述.mp4
03-Spark简介及生态介绍.mp4
04-Spark原理及特点:模块概述+特点.mp4
05-Spark原理及特点:运行模式+集群组角色.mp4
06-Spark原理及特点:Spark作业运行流程.mp4
07-Spark的运行环境安装:Standalone入门实战.mp4
08-Spark的运行环境安装:YARN入门实战.mp4
09-Spark批处理做作业入门Demo.mp4
10-Spark流处理做作业入门Demo.mp4