SACC2014:腾讯资源调度平台Gaia分享
发布于 : 2020-06-29 19:48 来源:亚美国际官网 作者:hope 浏览:

  【IT168 现场报道】2014年9月17日-19日,2014 中国系统架构师大会(SACC 2014)在北京五洲皇冠国际酒店盛大开幕。作为中国规模最大的架构师豪门盛会,本届中国系统架构师大会以“发现架构之美”为主题,探讨最具前瞻性的行业趋势与技术热点,分享架构在企业中的最佳实践,共同领略架构之美。

  在第一天的下午专场一会场,来自腾讯数据平台部高级工程师罗韩梅带来了《腾讯资源调度平台Gaia技术分享》主题演讲。

  作为中国最大的互联网公司之一,腾讯每天要处理海量的数据。可以说和我们每个人的互联网生活息息相关。罗韩梅首先介绍到,目前QQ的月活跃用户达8.3亿,最高同时在线亿,同时还包括了QQ空间、腾讯游戏、腾讯网等互联网应用带的海量数据。腾讯拥有业界顶级的分布式计算集群,可实时接入数据量达万亿条/天,单集群规模最大6000台,日均Job数120w+,支持多存储引擎和多并行计算框架,统一资源管理和调度,磁盘、CPU、网络等利用率85%+。

  罗韩梅谈到,是海量数据造就强大技术支撑,实时的数据采集、超规模并行计算以及高效能资源管理成就了99.999%的可用性稳定保障。

  罗韩梅介绍到,Gaia(盖娅)是希腊神话中的大地之神,是众神之母,所有神灵中德高望重的显赫之神。Gaia以后可以承载各种编程框架、各种应用,是个统一的资源管理调度系统,各种业务都植根于“大地”之上。

  Gaia是基于Yarn的通用资源调度平台,提供高并发任务调度和资源管理,实现集群资源共享,可伸缩性和可靠性,不仅可以为MR等离线业务提供服务,还可以支持实时计算,甚至在线service业务。为什么选择Yarn,罗韩梅介绍到,主要是Yarn的可扩展、高可用、低耦合、开放性这些特性非常适合Gaia。

亚美国际官网