HADOOP的学习经验？

› HADOOP的学习经验？
0 赞 踩
站点默认 asked 9年 ago

大家讲讲？

Question Tags: ,
2 Answers
0 赞 踩
hdfence answered 8年 ago

使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。
有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。
本文为“Hadoop家族”开篇，Hadoop家族学习路线图
目录

  1. Hadoop家族产品
  2. Hadoop家族学习路线图

1. Hadoop家族产品
截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/
接下来，我把这20个产品，分成了2类。

  • 第一类，是我已经掌握的
  • 第二类，是TODO准备继续学习的

HadoopFamilySmall
一句话产品介绍:

  • Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
  • Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
  • Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
  • Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  • Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
  • Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
  • Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
  • Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
  • Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
  • Apache Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
  • Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
  • Apache Hama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
  • Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
  • Apache Giraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
  • Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
  • Apache Crunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
  • Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
  • Apache Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
  • Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
  • Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

2. Hadoop家族学习路线图
下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。
Hadoop

Hive

Pig

Zookeeper

HBase

Mahout

Sqoop

Cassandra

0 赞 踩
hdfence answered 8年 ago

知乎HADOOP资源：
作者：卡索
链接：http://www.zhihu.com/question/19795366/answer/18493097
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

1.”Hadoop.Operations.pdf.zip”http://vdisk.weibo.com/s/vDOQs6xMAQH62
2.”Hadoop权威指南(中文版)(带书签).pdf”Hadoop权威指南(中文版)(带书签).pdf
3.”[Hadoop权威指南(第2版)].pdf”[Hadoop权威指南(第2版)].pdf
4.”hadoop权威指南第3版2012.rar”hadoop权威指南第3版2012.rar

5.《Hadoop技术内幕：深入解析HadoopCommon和HDFS.pdf”《Hadoop技术内幕：深入解析Hadoop Common和HDFS.pdf
6.”Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf”Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf

7.”Hadoop实战.pdf”Hadoop实战.pdf
8.”Hadoop实战-陆嘉恒(高清完整版).pdf”Hadoop实战-陆嘉恒(高清完整版).pdf
9.”Hadoop实战(第2版).pdf”Hadoop实战(第2版).pdf
10.”HadoopinAction.pdf”Hadoop in Action.pdf

11″Hadoop in practice.pdf”Hadoop in practice.pdf
12″HadoopThe.Definitive.Guide,3Ed.pdf”Hadoop The.Definitive.Guide,3Ed.pdf
13.”O’Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf”O’Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf

14.”hadoop入门实战手册.pdf”hadoop入门实战手册.pdf
15.”Hadoop入门手册.chm”Hadoop入门手册.chm

16.”windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解.doc”windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解.doc
17″在Windows上安装Hadoop教程.pdf”在Windows上安装Hadoop教程.pdf

18.”Hadoop源代码分析(完整版).pdf”Hadoop源代码分析(完整版).pdf
19.”hadoop-api.CHM”hadoop-api.CHM

20.”HBase-Hadoop@小米.pptx” HBase-Hadoop@小米.pptx
21.”但彬-Hadoop平台的大数据整合.pdf”但彬-Hadoop平台的大数据整合.pdf

22.”QCon2013-罗李-Hadoop在阿里.pdf”QCon2013-罗李
23.”百度hadoop计算技术发展.pdf”百度hadoop计算技术发展.pdf
24.”QCon-吴威-基于Hadoop的海量数据平台.pdf”QCon-吴威-基于Hadoop的海量数据平台.pdf
25.”8步安装好你的hadoop.docx”8步安装好你的hadoop.docx
26.”hadoop运维经验分享.ppsx”hadoop运维经验分享.ppsx

27.”PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar”PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar
28.”Hadoop2.0基本架构和发展趋势.pdf”Hadoop 2.0基本架构和发展趋势.pdf
29.”Hadoop与大数据技术大会PPT资料.rar”Hadoop与大数据技术大会PPT资料.rar
30.”Hadoop2011云计算大会.rar”Hadoop2011云计算大会.rar

31.”hadoop开发者(1~3)期.zip”hadoop开发者.zip