大数据应用从小做起?谈微服务和大数据架构

这几年微服务成为研发设计热点,本文从应用角度谈下微服务化的大数据系统架构。Netflix公司的Adrian Cockcroft将微服务称为“细化SOA”,并认为这是一套具备开创意义的新型架构,诸如谷歌, 亚马逊, Facebook,百度,京东,携程等互联网公司都在采用微服务理念进行产品的设计、研发和部署。首先我们看看什么叫微服务,敏捷之父Martin Fowler在他的《Micro services》一文中给出了如下定...

2016数据科学从业者薪酬报告

O’Reilly 近日发布了数据科学从业者薪酬报告(2016 Data Science Salary Survey),分析了来自45个国家的近千份调查报告后,针对数据科学从业者使用的工具、薪酬待遇等问题进行了详细分析解读,并从调查结果中得到一些有趣的结论。 比如,Python和Spark成为了对从业者薪酬贡献最高的两大工具;在所有的编程从业者中,每周编程时间越久的人薪水越高;SQL,Excel,R和Python成为了调查...

说说敏捷大数据

为什么提出敏捷大数据,先来看看大数据应用的终极目标,我以前的文章有讲到,大数据分析的成功普及将是传统信息化的终点,换句话说信息化走向智能化之后,整个高科技相关的产业链(包括传统产业)会产生质的变化。大数据应用的终极目标是:面向过去,发现数据规律-通过描述性分析,归纳已知;面向未来,预测数据趋势-通过深度挖掘分析,预测未知;最终通过大数据分析提高对事物的理...

企业大数据应用三段论

随着云计算、物联网和开源大数据技术生态的高速发展,企业获得大数据相关基础设施技术和服务越来越容易。虽然现阶段大数据成熟应用多在互联网公司,但我们需认识到,一方面,大数据应用是非常碎片化的,这个碎片化包括业务层面和技术层面,大数据不只是谷歌,亚马逊,BAT等互联网企业,每一个行业、企业里面都有它去关注数据的痕迹:一条生产线上的实时传感器数据,车辆身上的传感数...

深度学习能否一统大数据机器学习江湖?

从历史来看,重大科学的研究往往呈螺旋形上升的过程,不可能一蹴而就,每一次基础科学研究的重大进步,一定会带来相关产业界的革命性增长。经历过“三起三落”的人工神经网络,能够在换马甲为深度学习后成功逆袭,正是机器学习领域这三十年来积累诞生的重大基础科学研究成果。现在深度学习被看作是通向真正人工智能的关键技术,被寄予厚望。2013年3月,Geoffrey Hinton和他的两位研究...

大数据技术初探

从前些年到现在所谓的大数据时代,移动互联网、物联网、云计算、人工智能、机器人、大数据等前沿信息技术领域,逐个火了一遍,但什么是大数据,大数据的技术范畴包括那些,估计很多人都是根据自己所熟悉的领域在盲人摸象。下文从DT(Data technology,数据技术)技术泛型角度来简要地介绍什么是大数据,包括那些核心技术,各领域之间的关系等:首先我们说说机器学习,机器学习(ma...

“人机世纪大战”看大数据

“人机世纪大战”打响,韩国世界冠军李世石九段对战谷歌阿尔法狗(AlphaGo),此前AlphaGo击败了欧洲围棋冠军樊麾,而李世石是近十年斩获世界冠军最多的棋手。在我看来,本次人机大战,机器智能战胜高智商人类的可能性极大!在不远的将来,人类有限的经验感知在拥有超级强大计算能力并结合智能算法的机器面前将不堪一击。同时,这也是对大数据处理技术的一次超规模实战检验,为什么这样...

大数据能走多远?

大数据很火,但很明显炒作过热,至少现阶段看来是这样。一帮媒体人炒作起来的概念,有其局限性,很多人抱着个统计表就满口大数据,实在是不严谨。大数据的本质是通过数据分析获得有价值信息的能力,大数据也好,小数据也好,怎么通过数据获得有价值的信息,获得洞察力才是关键。而且大数据这个词本身只是陈述了一种状态,数据量很大而已,要获取有价值的信息,就需要对大数据进行分析...

大数据与智能交通

近年来,各国都在关注“大数据”,力图通过扩大其在国内的应用范围,进一步释放数据所蕴含的潜在价值。 随着城市的迅速发展,交通拥堵、交通污染日益严重,交通事故、交通紧急事件频繁发生,这些都是各大城市亟待解决的问题。基于大数据分析的智能交通技术成为改善城市交通的关键所在。为此,及时、准确获取交通数据并构建交通大数据分析系统是建设智能交通的基础。在交通领域,海量的数...

大数据与高等教育

如果说互联网技术(E-learning、MOOC、移动互联)促进了教育的全球化和民主化,那么大数据技术将实现教育的个性化和定制化,大数据时代个性化教育模式的创新和应用潜力巨大。有专家预言未来的学习将是大数据驱动的时代,大数据技术让个性化教育实践具备了可能性,为实现从群体教育模式转向个体教育模式提供了技术、理论和数据支持。国外Coursear、TED、Udemy、Udacity、edX等大型开放...

大数据与现代战争

现代战争是陆、海、空、天和网络、信息流体系之间的全面对抗,对手之间的博弈已经不在“视距”范围,而是比拼全面信息获取能力和分析能力,各类作战人员和武器装备必须在实时高质量情报信息的引导下才能充分发挥作战效能,而大数据处理能力是现代战争中决定情报信息质量的关键。林彪从红军带兵时起,身上就有个小本子,上面记载着每次战斗的缴获、歼敌数量。自1948年辽沈战役,每天深夜...

麦肯锡给公司高管定制的机器学习指南

机器学习基于一种算法,该算法从数据中获得学习能力,而无需依靠基于规则的编程。随着数字化的进步和计算能力日趋便宜,使得数据科学家能够停止建造模型,转而训练计算机来进行这一工作,因此机器学习在20世纪90年代晚期作为一门科学学科出现在了大众的视野中。目前全世界瞩目的大数据因其难以管理的巨大数量和复杂性增加了使用机器学习的潜能——以及对机器学习的需求。 2007年...

中国人工智能产业深度研究报告

技术不足导致移动互联网难以催生出更多的新应用和商业模式,为突破瓶颈,新一轮更激动人心、更值得期待的技术革命风暴已经诞生,将成为未来10年乃至更长时间内IT产业发展的焦点,它的名字叫做“人工智能”(AI)。 只有人工智能才能为“万物互联”之后的应用问题提供最完美的解决方案,它将成为IT领域最重要的技术革命,目前市场关心的IT和互联网领域的几乎所有主题和热点(智能硬件、O2O...

大数据在智能交通中的应用和发展

随着城市的迅速发展,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。目前智能交通成为改善城市交通的关键所在,为此及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。可以说当智能交通遇到大数据,如同二氧化锰在制取氧气的实验中作为催化剂一样,一场剧烈的化学反应加剧了两方的...

大数据时代的国家公共安全治理

大数据带来了数据与信息处理方式的根本性变革,有助于公共安全治理者风险认知能力的提升。大数据时代的公共安全治理面临大数据收益与成本、保障安全与诱发风险、信息开放与隐私保护以及技术发展与管理滞后之间的矛盾。大数据时代的公共安全治理应走向“智慧治理”模式,它强调以大数据为代表的知识与技术的广泛性应用,借以提升国家与政府应对公共安全事务时的治理能力。 关键词:大...

德勤:人工智能报告

国内对于人工智能的讨论大多是不成体系的碎片式,很难从中深入了解人工智能的发展脉络和技术体系,也很难有实际借鉴意义。德勤DUP 近期发布了一份报告 ,对人工智能的历史、核心技术和应用情况进行了详细说明,尤其是其中重要的认知技术。这份报告将有助于我们对人工智能和认知技术进行深入了解,也有助于各行业的公司考量人工智能应用的实际价值。 一、概述 近几年各界对人工智能的...