腾科职业培训学校 首页 课程
手机版
扫一扫下载APP

全部课程> Spark编程基础

Spark编程基础

来源:腾科职业培训学校

课程简介

Spark是当前热门的大数据处理技术,本课程重点介绍Spark的技术原理与编程方法。课程由全国高校知名大数据教师厦门大学林子雨老师主讲,采用林子雨等编著的《Spark编程基础(Scala版)》作为课程教材。Spark支持采用Scala、Java、Python和R语言进行编程,本课程采用Scala语言编写Spark应用程

  • 2020-02-14  -  2020-12-31 32课时
  • 建议每周学习0小时
  • 自主模式

已有735人报名学习

  • 课程概览
  • 授课讲师
  • 课程大纲
  • 课程表
  • 课程概览
  • 授课讲师
  • 课程大纲
  • 课程表
课程概览

本课程的具体章节如下:

(1)第1章-大数据技术概述(2020年2月17日发布)

(2)第2章-Scala语言基础(2020年2月24日发布,本章内容较多,学习时长是3周)

(3)第3章-Spark的设计与运行原理(2020年3月16日发布)

(4)第4章-Spark环境搭建和使用方法(2020年3月23日发布)

(5)第5章-RDD编程(2020年3月30日发布,本章学习内容较多,学习时长是2周)

(6)第6章-Spark SQL(2020年4月13日发布)

(7)第7章-Spark Streaming(2020年4月20日发布,本章学习内容较多,学习时长是2周)

(8)第8章-Spark MLlib(2020年5月4日发布)

授课讲师
课程大纲
第1章 大数据技术概述
    第1节 大数据时代
    第2节 大数据概念
    第3节 大数据的影响
    第4节 大数据关键技术
    第5节 大数据计算模式
    第6节 代表性大数据技术
第2章 Scala语言基础
    第1节 Scala语言概述
    第2节 Scala基础知识
    第3节 面向对象编程基础
    第4节 函数式编程基础
第3章 Spark的设计与运行原理
    第1节 Spark概述
    第2节 Spark生态系统
    第3节 Spark运行架构
    第4节 Spark的部署和应用方式
第4章 Spark环境搭建和使用方法
    第1节 安装Spark
    第2节 在spark-shell中运行代码
    第3节 开发Spark独立应用程序
    第4节 Spark集群环境搭建
    第5节 在集群上运行Spark应用程序
第5章 RDD编程
    第1节 RDD编程基础
    第2节 键值对RDD
    第3节 数据读写
    第4节 综合案例
第6章 SparkSQL
    第1节 SparkSQL简介
    第2节 DataFrame
    第3节 从RDD转换得到DataFrame
    第4节 使用SparkSQL读写数据库
第7章 SparkStreaming
    第1节 流计算概述
    第2节 SparkStreaming
    第3节 DStream操作概述
    第4节 基本输入源
    第5节 高级数据源
    第6节 转换操作
    第7节 输出操作
    第8节 StructuredStreaming
第8章 SparkMLlib
    第1节 SparkMLlib简介
    第2节 机器学习流水线
    第3节 特征抽取、转化和选择
    第4节 分类与回归
课程表
开放时间
第1章 大数据技术概述 第1节 大数据时代 未设置
第2节 大数据概念 未设置
第3节 大数据的影响 未设置
第4节 大数据关键技术 未设置
第5节 大数据计算模式 未设置
第6节 代表性大数据技术 未设置
第2章 Scala语言基础 第1节 Scala语言概述 未设置
第2节 Scala基础知识 未设置
第3节 面向对象编程基础 未设置
第4节 函数式编程基础 未设置
第3章 Spark的设计与运行原理 第1节 Spark概述 未设置
第2节 Spark生态系统 未设置
第3节 Spark运行架构 未设置
第4节 Spark的部署和应用方式 未设置
第4章 Spark环境搭建和使用方法 第1节 安装Spark 未设置
第2节 在spark-shell中运行代码 未设置
第3节 开发Spark独立应用程序 未设置
第4节 Spark集群环境搭建 未设置
第5节 在集群上运行Spark应用程序 未设置
第5章 RDD编程 第1节 RDD编程基础 未设置
第2节 键值对RDD 未设置
第3节 数据读写 未设置
第4节 综合案例 未设置
第6章 SparkSQL 第1节 SparkSQL简介 未设置
第2节 DataFrame 未设置
第3节 从RDD转换得到DataFrame 未设置
第4节 使用SparkSQL读写数据库 未设置
第7章 SparkStreaming 第1节 流计算概述 未设置
第2节 SparkStreaming 未设置
第3节 DStream操作概述 未设置
第4节 基本输入源 未设置
第5节 高级数据源 未设置
第6节 转换操作 未设置
第7节 输出操作 未设置
第8节 StructuredStreaming 未设置
第8章 SparkMLlib 第1节 SparkMLlib简介 未设置
第2节 机器学习流水线 未设置
第3节 特征抽取、转化和选择 未设置
第4节 分类与回归 未设置
节数上课时间星期一 星期二星期三星期四 星期五星期六星期天
第1节08:00 - 08:40
第2节09:00 - 09:40
第3节10:00 - 10:40
第4节11:00 - 11:40
第5节14:00 - 14:40
第6节15:00 - 15:40
第7节16:00 - 16:40
第8节17:00 - 17:40
天数上课日期上课时间内容
相关课件 更多
  • srt

    [8.4.2]--8.4.2决策树分类器

    大小:19.44KB

    2020-02-28

  • srt

    [8.4.1]--8.4.1逻辑斯蒂回归分类器

    大小:32.45KB

    2020-02-28

  • srt

    [8.3.3]--8.3.3特征抽取:CountVectorizer

    大小:13.35KB

    2020-02-28

  • srt

    [8.3.2]--8.3.2特征抽取:Word2Vec

    大小:12.42KB

    2020-02-28

  • srt

    [8.3.1]--8.3.1特征抽取:TF-IDF

    大小:38.95KB

    2020-02-28

  • srt

    [8.2.2]--8.2.2构建一个机器学习流水线

    大小:34.82KB

    2020-02-28