腾科职业培训学校 首页 课程
手机版
扫一扫下载APP

全部课程> 大数据

大数据

来源:腾科职业培训学校

课程简介

通过本课程的学习:学员可以掌握Linux的相关技术,Hadoop的入门知识,DHFS集群的搭建和工作机制、MAPREDUCE的原理和实践、zookeeper集群的搭建、HBASE的安装和开发原理、日志采集框架flume,kafka数据处理、Spark集群的搭建和使用等知识

  • 2018-10-26  -  2019-10-26 32课时
  • 建议每周学习0小时
  • 自主模式

已有46987人报名学习

  • 课程概览
  • 授课讲师
  • 课程大纲
  • 课程表
  • 课程概览
  • 授课讲师
  • 课程大纲
  • 课程表
课程概览
通过本课程的学习:学员可以掌握Linux的相关技术,Hadoop的入门知识,DHFS集群的搭建和工作机制、MAPREDUCE的原理和实践、zookeeper集群的搭建、HBASE的安装和开发原理、日志采集框架flume,kafka数据处理、Spark集群的搭建和使用等知识
授课讲师

钱民康

擅长公司内部管理系统(如OA系统,仓储管理等)的开发; 熟悉使用maven,spring,springmvc,hibernate,struts,mybatis等开源框架; 并能熟练运用各级框架的组合开发。 熟悉基于MySQL,SQLserver,Oracle等多种数据库编程; 熟悉linux平台操作; 熟悉redis,solr、nginx、apache集群、负载均衡等解决多并发的问题。 熟悉HTML5,CSS3,Javascript等前端基础知识; 熟悉Jquery,easyUI, Bootstrap, H5主流前端框架技术;个人技能: 1、擅长公司内部管理系统(如OA系统,仓储管理等)的开发 2、熟悉使用Spring, SpringMVC,Springboot,mybatis等开源框架 3、熟悉基于MySQL,SQLserver,Oracle等多种数据库编程 4、熟悉linux平台操作 5、熟悉redis,solr、nginx、apache集群、负载均衡等 6、熟悉Hadoop,Hive,Spark,Sqoop等大数据组件 ​​ 工作经验: 曾任忆网科技信息有限公司软件工程师 ​ 工作项目: 1、跨境直销平台 2、Easy在线教育平台 3、库存管理系统 ​ 授课特色: 2年开发经验,2年授课经验,教学思路清晰,举例浅显易懂!

课程大纲
第1章 Linux相关技术
    第1节 课程大纲介绍
    第2节 安装redhat
    第3节 redhat自动分配ip设置
    第4节 xshell连接虚拟机
    第5节 linux系统结构讲解
    第6节 文件系统介绍
    第7节 chmod修改文件权限
    第8节 chown&chgrp
    第9节 常用命令
    第10节 安装jdk
    第11节 yum配置
    第12节 安装mysql
第2章 Hadoop入门
    第1节 hadoop概述
    第2节 hadoop应用
    第3节 离线数据分析流程
第3章 搭建Hadoop集群
    第1节 准备linux环境
    第2节 安装hadoop集群
    第3节 配置ssh免登陆
第4章 Hadoop集群配置常用参数HDFS工作机制
    第1节 hdfs概述和结构
    第2节 hdfs命令基本使用
    第3节 hdfs写数据过程讲解
    第4节 hdfs读数据过程讲解
    第5节 namenode工作机制总体原则
    第6节 secondnamenode checkpoint机制
    第7节 datanode工作机制
    第8节 java client操作hdfs
    第9节 yarn框架介绍
    第10节 定时调度器使用讲解
    第11节 定时采集数据作业需求介绍
    第12节 shell采集脚本讲解
第5章 MAPREDUCE详解
    第1节 为什么要使用mapreduce
    第2节 mapreduce核心思想和运行机制
    第3节 mapreduce并行度决定机制
    第4节 mr实现单词统计例子讲解
    第5节 wordcount运行过程分析
    第6节 mr的shuffle机制
    第7节 mapreduce全过程简单分析
第6章 zookeeper
    第1节 zookeeper概述
    第2节 zookeeper集群机制
    第3节 Zookeeper安装
    第4节 zookeeper结构和命令
    第5节 zookeeper原理
第7章 Hbase
    第1节 hbase简介
    第2节 habse安装
    第3节 hbase依赖zookeeper
    第4节 hbase开发
    第5节 hbase原理
    第6节 MapReduce操作Hbase
第8章 HIVE详解
    第1节 Hive简介
    第2节 Hive架构
    第3节 HIVE的安装部署 
    第4节 Hive基本操作
    第5节 Hive函数
第9章 辅导工具
    第1节 flume简介
    第2节 flume采集网络数据
    第3节 flume采集目录日志文件
    第4节 flume采集文件和发送到另一个agent
    第5节 sqoop工具使用介绍
第10章 Spark基础
    第1节 spark概述
    第2节 spark安装
    第3节 使用Spark
    第4节 scala
    第5节 创建和运行spark应用
    第6节 Spark RDD
    第7节 统计访问网站次数
    第8节 SparkSQL概述及简单使用
    第9节 SparkSQL编程
    第10节 Spark streaming概述
    第11节 Spark streaming编程
第11章 kafka
    第1节 kafka简介
    第2节 kafka安装及常用命令
    第3节 kafka的使用
    第4节 redis
第12章 项目实战
    第1节 spark环境搭建
    第2节 点击流项目之采集功能
    第3节 点击流项目之移动数据到预处理目录
    第4节 点击流项目之清洗数据
    第5节 点击流项目之导入清理之后的数据
    第6节 点击流项目之数据统计
课程表
开放时间
第1章 Linux相关技术 第1节 课程大纲介绍 已开放
第2节 安装redhat 已开放
第3节 redhat自动分配ip设置 已开放
第4节 xshell连接虚拟机 已开放
第5节 linux系统结构讲解 已开放
第6节 文件系统介绍 已开放
第7节 chmod修改文件权限 已开放
第8节 chown&chgrp 已开放
第9节 常用命令 已开放
第10节 安装jdk 已开放
第11节 yum配置 已开放
第12节 安装mysql 已开放
第2章 Hadoop入门 第1节 hadoop概述 已开放
第2节 hadoop应用 已开放
第3节 离线数据分析流程 已开放
第3章 搭建Hadoop集群 第1节 准备linux环境 已开放
第2节 安装hadoop集群 已开放
第3节 配置ssh免登陆 已开放
第4章 Hadoop集群配置常用参数HDFS工作机制 第1节 hdfs概述和结构 已开放
第2节 hdfs命令基本使用 已开放
第3节 hdfs写数据过程讲解 已开放
第4节 hdfs读数据过程讲解 已开放
第5节 namenode工作机制总体原则 已开放
第6节 secondnamenode checkpoint机制 已开放
第7节 datanode工作机制 已开放
第8节 java client操作hdfs 已开放
第9节 yarn框架介绍 已开放
第10节 定时调度器使用讲解 已开放
第11节 定时采集数据作业需求介绍 已开放
第12节 shell采集脚本讲解 已开放
第5章 MAPREDUCE详解 第1节 为什么要使用mapreduce 已开放
第2节 mapreduce核心思想和运行机制 已开放
第3节 mapreduce并行度决定机制 已开放
第4节 mr实现单词统计例子讲解 已开放
第5节 wordcount运行过程分析 已开放
第6节 mr的shuffle机制 已开放
第7节 mapreduce全过程简单分析 已开放
第6章 zookeeper 第1节 zookeeper概述 已开放
第2节 zookeeper集群机制 已开放
第3节 Zookeeper安装 已开放
第4节 zookeeper结构和命令 已开放
第5节 zookeeper原理 已开放
第7章 Hbase 第1节 hbase简介 已开放
第2节 habse安装 已开放
第3节 hbase依赖zookeeper 已开放
第4节 hbase开发 已开放
第5节 hbase原理 已开放
第6节 MapReduce操作Hbase 已开放
第8章 HIVE详解 第1节 Hive简介 已开放
第2节 Hive架构 已开放
第3节 HIVE的安装部署  已开放
第4节 Hive基本操作 已开放
第5节 Hive函数 已开放
第9章 辅导工具 第1节 flume简介 已开放
第2节 flume采集网络数据 已开放
第3节 flume采集目录日志文件 已开放
第4节 flume采集文件和发送到另一个agent 已开放
第5节 sqoop工具使用介绍 已开放
第10章 Spark基础 第1节 spark概述 已开放
第2节 spark安装 已开放
第3节 使用Spark 已开放
第4节 scala 已开放
第5节 创建和运行spark应用 已开放
第6节 Spark RDD 已开放
第7节 统计访问网站次数 已开放
第8节 SparkSQL概述及简单使用 已开放
第9节 SparkSQL编程 已开放
第10节 Spark streaming概述 已开放
第11节 Spark streaming编程 已开放
第11章 kafka 第1节 kafka简介 已开放
第2节 kafka安装及常用命令 已开放
第3节 kafka的使用 已开放
第4节 redis 已开放
第12章 项目实战 第1节 spark环境搭建 已开放
第2节 点击流项目之采集功能 已开放
第3节 点击流项目之移动数据到预处理目录 已开放
第4节 点击流项目之清洗数据 已开放
第5节 点击流项目之导入清理之后的数据 已开放
第6节 点击流项目之数据统计 已开放
节数上课时间星期一 星期二星期三星期四 星期五星期六星期天
第1节08:00 - 08:40
第2节09:00 - 09:40
第3节10:00 - 10:40
第4节11:00 - 11:40
第5节14:00 - 14:40
第6节15:00 - 15:40
第7节16:00 - 16:40
第8节17:00 - 17:40
天数上课日期上课时间内容
相关课件 更多
  • pdf

    Linux随堂笔记

    大小:4.41MB

    2020-02-28

  • pdf

    10网站点击流数据分析项目

    大小:1.99MB

    2020-02-28

  • pdf

    09kafka随堂笔记

    大小:955.07KB

    2020-02-28

  • pdf

    08spark

    大小:1.96MB

    2020-02-28

  • pdf

    07辅助工具

    大小:618.91KB

    2020-02-28

  • pdf

    06Hive随堂笔记

    大小:3.29MB

    2020-02-28