标签:分布式计算

07月18日

大数据处理技术的总结与分析

一 数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。 这类系统数据处理特点包括以下几点: 一是事务处理型操作都是细粒度操作,每次事务处理涉及数据量都很小。 二是计算相对简单,一般只有少数几步操作组成,比如修改某行的某列; 三是...

07月20日

如何在Hadoop 2.0上实现深度学习?

摘要: 位于波士顿的数据科学团队正在利用前沿的工具和算法,通过对用户数据的分析来优化业务行为。 数据科学很大程度上依赖机器算法,它能帮助我们发现数据的特征。要想洞察互联网般规模的数据还是很有挑战的,因此能够大 ... 位于波士顿的数据科学团队正在利用前沿的工具和算法,通过对用户数据的分析来优化业务行为。 数据科学很大程度上依赖机器算法,它能帮助...

04月19日

Google发布分布式TensorFlow

今天,Google 发布了分布式 TensorFlow。Google 的博文介绍了 TensorFlow 在图像分类的任务中,100 个 GPUs 和不到 65 小时的训练时间下,达到了 78% 的正确率。在激烈的商业竞争中,更快的训练速度是人工智能企业的核心竞争力。而分布式 TensorFlow意味着它能够真正大规模进入到人工智能产业中,产生实质的影响。 Google 今天发布分布式 TensorFlow 版本 即便 TensorFlow 在 20...

10月26日

SparkR:数据科学家的新利器

R是数据科学家中最流行的编程语言和环境之一,在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措,最近发布的Spark 1.4版本在现有的Scala/Java/Python API之外增加了R API(SparkR)。SparkR使得熟悉R的用户可以在Spark的分布式计算平台基础上结合R本身强大的统计分析功能和丰富的第三方扩展包,对大规模数据集进行分析和处理。...

04月06日

Hadoop:从初出茅庐的小象变身行业巨人

由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL(Structured Query Language)出现一样,Hadoop正带来了新一轮的数据革命。如今Hadoop已从初出茅庐的小象变成了行业的巨人,但Hadoop仍需继续完善。 基于Java语言构建的Hadoop框架实际上一种分布式处理大数据平台,其包括软件和众多子项目。在近十年中Hadoop已成为大数据革命的中心...