标签:大数据

10月10日

人工智能想要落地,必须要解决的数据问题

众所周知,在数据量非常小的时候,深度学习的复杂网络无法取得很好的效果,辩证的讲,数据不是一种无限的资源,而人工智能所需的数据相当昂贵和耗时,一方面深度学习需要准确的标记图像或文本训练数据,而标记需要大量的人力;另一方面,许多数据存在着隐私和安全风险,比如说医疗等等,数据的开放不是短期内能解决的。 现在数据孤岛、数据隐私、小数据和标注等问题日益突出,当前...

08月27日

美国创投七十年

欲专一行,先通其史。拿破仑建议军人们反复研读亚历山大、汉尼拔、凯撒、古斯达夫等名将的战史,并效法他们,他说:“这是成为伟大统帅和寻求兵法奥秘的途径!”研究美国创投史,对中国创业创新,能有哪些启发?他山之石,可以攻玉。上篇:乔治,特曼 和 罗克 ―风投破茧三教父1972年,瓦伦丁(Don Valentine)离开国民半导体公司,在沙丘路上安营扎寨。此前,他小试牛刀,顺着半导体...

05月06日

大数据智能核心技术入门:从大数据到人工智能

自序 我们所生活的世界,就像一片数据混沌(Data Chaos),大数据爆炸式增长并以惊人的速度进行传播,社交网络的实时性打破了数据发布的时空限制,信息流动的速度、广度和深度让传统管理决策模式面临挑战,还有科技高速发展所带来的冲击都在加大未来的不确定性。如何从数据混沌中发现规律,成为预测未来的“先知”,是历代人类的梦想。不管是古人的占卜,前几年的专家系统、数据...

04月16日

人类首张黑洞照片幕后英雄:29岁女算法工程师

我们有幸见证了这一历史时刻。为什么这么说呢?因为要给黑洞“拍照”非常非常难,由于黑洞的性质,几十年来,黑洞引发了公众无数遐想,但就是没有人知道黑洞的真面目。正是这个原因,人类首张黑洞照片才受到公众的高度关注。 其实给黑洞拍照,是非常困难的事情,上一代人曾认为不可能做到。因为黑洞本身就是一个宇宙的陷阱,光和物质都无法从中逃脱,因此它是不可见的。但科学家可以追...

03月27日

知识图谱的技术与应用

导读:从开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。 对于读者,我们不要求有任何AI相关的背景知识。 目录...

03月27日

大数据公司挖掘数据价值的49个典型案例

摘要: 对于企业来说,100条理论确实不如一个成功的标杆有实践意义,本文的主旨就是寻找“正在做”大数据的49个样本。 本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率;二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率;三是以数据驱动的产品,在产品设计阶段,强调个性化;在产...

07月18日

大数据处理技术的总结与分析

一 数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。 这类系统数据处理特点包括以下几点: 一是事务处理型操作都是细粒度操作,每次事务处理涉及数据量都很小。 二是计算相对简单,一般只有少数几步操作组成,比如修改某行的某列; 三是...

06月05日

史上最严数据保护条例欧盟GDPR生效

“个人数据”指的是任何已识别或可识别的自然人(“数据主体”)相关的信息;一个可识别的自然人是一个能够被直接或间接识别的个体,特别是通过诸如姓名、身份编号、地址数据、网上标识或者自然人所特有的一项或多项的身体性、生理性、遗传性、精神性、经济性、文化性或社会性身份而识别个体。 欧盟《通用数据保护条例》(GDPR)在2018年5月25日生效。 通用数据保护条例 第一章 一般条...

05月15日

2018年医疗人工智能技术与应用白皮书

医疗人工智能的价值 医疗行业长期存在优质医生资源分配不均,诊断误诊漏诊率较 高,医疗费用成本过高,放射科、病理科等科室医生培养周期长,医生资源供需缺口大等问题。随着近些年深度学习技术的不断进步,人工智能逐步从前沿技术转变为现实应用。在医疗健康行业,人工智能的应用场景越发丰富,人工智能技术也逐渐成为影响医疗行业发展, 提升医疗服务水平的重要因素。与互联网技...

05月11日

大数据杀熟是一种误解?

2018年,一个幽灵,一只名唤“不信任”的幽灵,在互联网世界的上空徘徊,而当它降落到了人间,就从它千百个身相中选出一种告于世人,名曰: 大数据杀熟。 2018年2月28日,《科技日报》报道了一位网友自述被大数据“杀熟”的经历。 据了解:他经常通过某旅行服务网站订一个出差常住的酒店,长年价格在380元到400元左右。偶然一次,通过前台了解到,淡季的价格在300元上下。他用朋友的账...

05月11日

中小型企业大数据体系建设的核心技术选型

Tumweeg,学生时期曾为微软中国打杂并取得过相关专利,现在某海外业务社交类移动互联网公司任大数据工程师。熟悉大数据平台研发、架构,以及数据的处理和分析,熟悉Web架构和高性能/高并发/高可用系统,热爱技术交流,共同提高。 本文分享的主题是中小型企业基于大数据技术的项目实践,笔者将从大数据技术栈开始说起,并在后文分享自己在工程实践中的一些具体经验。 一、大数据...

03月31日

说说大数据智能

上周,南京大学开设了国内第一家人工智能学院,机器学习大牛周志华领衔院长,可谓实至名归。最近几年,以大数据和人工智能为代表的前沿信息技术,备受各界关注,相关领域的风投和创新、创业高烧不退,学术界大牛们纷纷下海,大数据深度学习研究和应用也在逐步落地,就连国务院的支持政策也是一个接一个。还有Facebook扎克伯格和Tesla埃隆马斯克为代表的大佬们就AI威胁站队互掐,Al...

03月29日

为什么很多大数据项目搞着搞着就黄了?

大数据正在改变世界。但是,大多数大数据项目搞着搞着就黄了,很难成功。这是为什么呢? 企业正努力在产品中部署大数据,这一点是毋庸置疑的。但是,根据Gartner在2016年下半年发布的新闻稿:只有15%的企业将其大数据项目部署到生产中。”Gartner在选词时非常谨慎,这并不意味着剩下的企业没有实践,或者数据科学家没有发现使用大数据技术的优势,只是剩下的85%的项目并没有真正投...

03月28日

大数据可视化:不要错过这么漂亮的案例

数据可视化的内涵并非只是专业人员才能看得的懂的图表,当你想要通过数据来宣传证明自己时,你遇到的问题是大多数人并不能看懂你的图表。那么让数据可视化的过程更加的生动有趣、通俗易懂就显的尤为重要了。 如何才能让数据可视化在面向普罗大众更容易接受和理解,甚至产生WOW的感觉呢?下面我试着通过一些具体的数据可视化案例来说明。 U.S. Gun Deaths “U.S. Gun Death...

03月28日

故障定位场景下的数据可视化实践

作者:运小炜,百度高级研发工程师 负责百度智能监控平台(赛亚平台)的设计和研发工作,在系统监控、业务监控等方向有广泛的实践经验。 干货概览 百度拥有上百条产品线,数十万的服务,每个服务时时刻刻都在产生着海量的监控数据,形成的监控项规模总数已达数十亿。面对如此海量的数据,在日常运维(如故障诊断、成本分析、性能优化等场景)过程中,传统的统计图表难以有效直观...

03月14日

反欺诈中所用到的机器学习模型有哪些?

作者 | 微调(知乎ID微调,普华永道高级数据科学家) 反欺诈方向的实际应用很多,我有做过保险业反欺诈和零售快消业的欺诈检测,抛砖引玉的谈谈反欺诈项目的"道"和"术"。 具体的学习方法可以参考我最近的文章: 机器学习门下,有哪些在工业界应用较多,前景较好的小方向?(https://www.zhihu.com/question/57072166/answer/280824223) 该回答的第一部分(1)讨论了为什么...

03月14日

发达国家如何布局大数据战略

【大数据在美国之所以能被迅速、广泛应用,与美国高度重视大数据价值、积极推动数据开放和拥有一批掌握核心技术的信息技术企业密切相关】 最近几年,美国、欧盟、日本等主要发达经济体采取各种政策举措,积极推进国家大数据战略,取得了长足进展,成功经验值得中国借鉴。 将推动大数据产业发展上升为国家战略 美国在推进大数据应用上形成了从发展战略、法律框架到行动计划...

03月08日

最新政府大数据应用案例

在我国,政府部门掌握着全社会量最大、最核心的数据。以往地方政府提振经济一般是招房地产、工厂等,随着土地及人口红利殆尽,大数据成为与水电煤等一样重要的生产资料,成为继土地之后政府最重要的资产。了解政府大数据应用的案例和数据价值释放的方法,将有利于激活沉睡的数据,释放政府数据价值。为此我们需要梳理下: 政府有哪些数据资产 政府拥有或控制,能够给政府组织带...