标签:数据仓库

07月12日

从数据仓库到大数据,数据系统架构的进化

我是从2000年开始接触数据仓库,大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉:非互联网企业、互联网企业的数据平台所面向用户群体是不同的。 那么,这两类的数据平台的建设、使用用户又有变化?数据模型设计又有什么不同呢? 我们先从两张图来看用户群体的区别。 用户群体之非互联网数据平台用户 企业的boss、运营的需求主要是...

05月12日

一篇文看懂Hadoop

  我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core Hadoop项目)以及与之相关的一...

10月17日

大数据架构及行业大数据应用

我今天跟大家分享些我们总结的底层数据处理技术的发展趋势和正在经历的巨大变革。 这个领域过去5年发展很快、热度很高,目前还在起步阶段。我今天是来学习的,讲的内容更多的是抛砖引玉,感谢大家一起讨论并指正! 先讲讲数据,以及大数据对数据处理技术的压力,然后分析为什么这几年数据处理技术上的创新很多。 1.-数据价值的发现与使用 先不说什么是大数据,这个争议很多...

07月20日

大数据的核心:数据挖掘

大数据的核心:数据挖掘。从头至尾我们都脱离不了数据挖掘。其实从大学到现在一直都接触数据挖掘,但是我们不关心是什么是数据挖掘,我们关心的是我们如何通过数据挖掘过程中找到我们需要的东西,而我们更关心的是这个过程是什么?如何开始? 总结的过程也是一个学习的过程,通过有章节的整理对目前正在的学习的内容做规整。在这个过程中我们会从具体的项目实施中去谈数据挖掘...

07月20日

大数据的理想与现实

严格地说,大数据并非一个新词,被誉为“数据仓库之父”的Bill Inmon早在上个世纪90年代就经常将“Big Data”挂在嘴边了。大数据之所以在近一两年迅速走红,要归结于互联网、移动设备、物联网和云计算的迅猛发展,使得人类每分每秒都在产生巨量数据——从出现文明到2003年,人类总共才创造 5 EB(5 ExaBytes)的数据,但是我们现在仅在两天内就创造出相同的数据量。来自IDC全球存储及大数据研...

07月10日

大数据之惑

云和大数据,应该是近几年IT炒的最热的两个话题了。在我看来,这两者之间的不同就是:云是做新的瓶,装旧的酒; 大数据是找合适的瓶,酿新的酒。      云说到底是一种基础架构的革命。原先用物理服务器的那些个应用,在云中变成以各种虚拟服务器的形式交付出去,从而计算存储网络资源都能被更好更有效率的利用了。于是,酒量好无酒不欢的人就可以用个海碗牛饮二锅头;酒量小又想尝...