大数据

课程概览

授课讲师

钱民康

擅长公司内部管理系统（如OA系统，仓储管理等）的开发； 熟悉使用maven,spring,springmvc，hibernate,struts,mybatis等开源框架； 并能熟练运用各级框架的组合开发。 熟悉基于MySQL，SQLserver，Oracle等多种数据库编程； 熟悉linux平台操作； 熟悉redis，solr、nginx、apache集群、负载均衡等解决多并发的问题。 熟悉HTML5，CSS3，Javascript等前端基础知识； 熟悉Jquery,easyUI, Bootstrap, H5主流前端框架技术；个人技能： 1、擅长公司内部管理系统（如OA系统，仓储管理等）的开发 2、熟悉使用Spring, SpringMVC，Springboot，mybatis等开源框架 3、熟悉基于MySQL，SQLserver，Oracle等多种数据库编程 4、熟悉linux平台操作 5、熟悉redis，solr、nginx、apache集群、负载均衡等 6、熟悉Hadoop，Hive，Spark，Sqoop等大数据组件 ​​ 工作经验： 曾任忆网科技信息有限公司软件工程师 ​ 工作项目： 1、跨境直销平台 2、Easy在线教育平台 3、库存管理系统 ​ 授课特色： 2年开发经验，2年授课经验，教学思路清晰，举例浅显易懂！

课程大纲

第1章　Linux相关技术

    第1节　课程大纲介绍

    第2节　安装redhat

    第3节　redhat自动分配ip设置

    第4节　xshell连接虚拟机

    第5节　linux系统结构讲解

    第6节　文件系统介绍

    第7节　chmod修改文件权限

    第8节　chown&chgrp

    第9节　常用命令

    第10节　安装jdk

    第11节　yum配置

    第12节　安装mysql

第2章　Hadoop入门

    第1节　hadoop概述

    第2节　hadoop应用

    第3节　离线数据分析流程

第3章　搭建Hadoop集群

    第1节　准备linux环境

    第2节　安装hadoop集群

    第3节　配置ssh免登陆

第4章　Hadoop集群配置常用参数HDFS工作机制

    第1节　hdfs概述和结构

    第2节　hdfs命令基本使用

    第3节　hdfs写数据过程讲解

    第4节　hdfs读数据过程讲解

    第5节　namenode工作机制总体原则

    第6节　secondnamenode checkpoint机制

    第7节　datanode工作机制

    第8节　java client操作hdfs

    第9节　yarn框架介绍

    第10节　定时调度器使用讲解

    第11节　定时采集数据作业需求介绍

    第12节　shell采集脚本讲解

第5章　MAPREDUCE详解

    第1节　为什么要使用mapreduce

    第2节　mapreduce核心思想和运行机制

    第3节　mapreduce并行度决定机制

    第4节　mr实现单词统计例子讲解

    第5节　wordcount运行过程分析

    第6节　mr的shuffle机制

    第7节　mapreduce全过程简单分析

第6章　zookeeper

    第1节　zookeeper概述

    第2节　zookeeper集群机制

    第3节　Zookeeper安装

    第4节　zookeeper结构和命令

    第5节　zookeeper原理

第7章　Hbase

    第1节　hbase简介

    第2节　habse安装

    第3节　hbase依赖zookeeper

    第4节　hbase开发

    第5节　hbase原理

    第6节　MapReduce操作Hbase

第8章　HIVE详解

    第1节　Hive简介

    第2节　Hive架构

    第3节　HIVE的安装部署 

    第4节　Hive基本操作

    第5节　Hive函数

第9章　辅导工具

    第1节　flume简介

    第2节　flume采集网络数据

    第3节　flume采集目录日志文件

    第4节　flume采集文件和发送到另一个agent

    第5节　sqoop工具使用介绍

第10章　Spark基础

    第1节　spark概述

    第2节　spark安装

    第3节　使用Spark

    第4节　scala

    第5节　创建和运行spark应用

    第6节　Spark RDD

    第7节　统计访问网站次数

    第8节　SparkSQL概述及简单使用

    第9节　SparkSQL编程

    第10节　Spark streaming概述

    第11节　Spark streaming编程

第11章　kafka

    第1节　kafka简介

    第2节　kafka安装及常用命令

    第3节　kafka的使用

    第4节　redis

第12章　项目实战

    第1节　spark环境搭建

    第2节　点击流项目之采集功能

    第3节　点击流项目之移动数据到预处理目录

    第4节　点击流项目之清洗数据

    第5节　点击流项目之导入清理之后的数据

    第6节　点击流项目之数据统计

课程表