Hadoop教程免费视频 小象《Hadoop 2.X大数据平台V3》

2019.4.19 数据分析师 274

Hadoop教程免费视频 小象《Hadoop 2.X大数据平台V3》 数据分析师-第1张
学习Hadoop最权威的当然是hadoop权威指南了,之前在学校的图书馆借过,不过很可惜,当时没有看完,因为学习上没有用到hadoop,只是单纯的对齐感兴趣,可以参考这本书!

为什么要学hadoop?:
这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了,这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了,让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处理了,只不过你现在还可能对”大数据”到底有多大还没有个太清楚的概念,听我的别纠结这个。等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据,到时候你就不会觉得数据大真好,越大越有你头疼的。当然别怕处理这么大规模的数据,因为这是你的价值所在,让那些个搞Javaee的php的html5的和DBA的羡慕去吧。

数据分析师要学什么?
Hadoop课程大纲

第1周 Hadoop生态系统概述以及版本演化
Hadoop生态系统及其版本演化历史,并给出hadoop版本选择建议。

第2周 HDFS 2.0 原理、特性与基本架构
介绍HDFS 2.0原理与架构,并与HDFS 1.0进行对比。介绍HDFS 2.0新特性,包括快照、缓存、异构存储架构等

第3周 YARN应用场景、基本架构与资源调度
介绍YARN是什么、基本原理与架构,并剖析其调度策略。

第4周 MapReduce 2.0基本原理与架构
介绍计算框架MapReduce基本原理与架构

第5周 MapReduce 2.0编程实践(涉及多语言编程)
手把手介绍如何用java、C++、php等语言编写MapReduce程序

第6周 HBase应用场景、原理与基本架构
介绍HBase应用场景、原理和架构

第7周 HBase编程实践(涉及多语言编程)
手把手介绍如何用Java、C++、Python等语言编写HBase客户端程序。

第8周 HBase案例分析
介绍几个HBase典型应用案例,包括互联网应用案例和银行应用案例。

第9周 Zookeeper部署及典型应用
介绍Zookeeper是什么,在hadoop生态系统中的地位

第10周 Hadoop数据入库系统Flume与Sqoop
介绍如何使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘

第11周 数据分析系统Hive与Pig应用与比较
介绍如何使用hive和pig分析hadoop中的海量数据

第12周 数据挖掘工具包Mahout
介绍如何使用mahout提供的数据挖掘和机器学习算法进行海量数据挖掘

第13周 工作流引擎Oozie与Azkaban应用
介绍如何使用Oozie和azkaban对MapReduce作业、Pig/hive作业等进行统一管理和调度

第14周 两个综合案例:日志分析系统与机器学习平台
介绍两个典型的互联网应用案例,进一步深入领悟hadoop生态系统中各个系统的应用场景和解决实际问题的方式。

大数据教程百度盘下载地址:

相关推荐:大数据教程

评论

昵称*

邮箱*

网址