标签:系统架构

06月09日

小米云深度学习平台的架构设计与实现

深度学习服务介绍 机器学习与人工智能,相信大家已经耳熟能详,随着大规模标记数据的积累、神经网络算法的成熟以及高性能通用GPU的推广,深度学习逐渐成为计算机专家以及大数据科学家的研究重点。近年来,无论是图像的分类、识别和检测,还是语音生成、自然语言处理,甚至是AI下围棋或者打游戏都基于深度学习有了很大的突破。而随着TensorFlow、Caffe等开源框架的发展,深度学习的...

07月12日

从数据仓库到大数据,数据系统架构的进化

我是从2000年开始接触数据仓库,大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉:非互联网企业、互联网企业的数据平台所面向用户群体是不同的。 那么,这两类的数据平台的建设、使用用户又有变化?数据模型设计又有什么不同呢? 我们先从两张图来看用户群体的区别。 用户群体之非互联网数据平台用户 企业的boss、运营的需求主要是...

06月27日

大数据系统数据采集产品的架构分析

任何完整的大数据平台,一般包括以下的几个过程: 1.数据采集 2.数据存储 3.数据处理 4.数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集的挑战也变的尤为突出。这其中包括: • 数据源多种多样 • 数据量大,变化快 • 如何保证数据采集的可靠性的性能 • 如何避免重复数据 • 如何保证数据...

05月03日

从架构看大数据和云计算的关系

当说到大数据和云计算,乃至超级计算的关系时,很多专家都给出类似的科普级的观点:大数据是大菜,云计算是大锅,炒大菜当然要用大锅,有大锅当然能炒大菜。 比如,当我质疑新闻稿中说“天河一号”用于了大数据处理的说法时,闵应骅前辈给出了如下科普级的解释:大数据需要高速度的计算机。这个解释当然有道理,却还是解答不了我的疑问。我的疑问实际是:巨型机“天河一号”在架构...

01月14日

酷狗音乐的大数据平台重构

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。 眨眼就是新的一年了,时间过的真快,趁这段时间一直在写总结的机会,也总结下上一年的工作经验,避免重复踩坑。酷狗...