(相关资料图)

梧桐大数据开放平台是中国移动构建的集资源、数据、工具、运维、安全等服务为一体的大数据能力开放平台。平台向租户提供多样化的大数据云服务能力,各类服务按需申请、资源弹性伸缩,满足各类大数据应用开发场景的能力需求,实现对租户从数据接入到应用发布全流程支撑。

目前通过标准接入协议,纳管9大资源池租户域与生产域的Hadoop、MPP等平台资源,接入现网的数据开发管理、可视化分析、数据挖掘、大屏配置等10大类56个工具服务能力,为入驻租户提供资源、工具等多样化服务。通过与分布式协同计算平台策略中心对接,满足基于人为指定与策略中心智能决策的资源动态调度管理。目前平台已入驻中国移动内外部租户60多个,服务项目达到500多个。

梧桐大数据开放平台汇聚了中国移动全网优质数据资产,规模近650PB,日处理数据量约15PB,平台集群规模达3.8万台,集群规模及资产规模均处于业内前沿水平。面向租户提供PaaS、DaaS、SaaS等多样化的大数据云服务,为各行业注智赋能。

该平台探索跨资源池服务编排技术创新,通过抽象出跨域自动化编排,提出了基于跨域跨资源池的资源统一组合模型,采用租户最优适配资源池动态分析与匹配的方法,实现了跨域跨资源池服务的编排,通过编排为用户提供一体化的订购体验,提升服务开通效率。

其次,平台实现了大数据集群动态调度算法优化技术创新。通过自主构建基于动态分类的异构资源调度方法,使用分类算法分别对集群节点和应用进行聚合分类并进行亲和性及反亲和性调度,并预测应用运行周期,将匹配度最高的应用调度到相应的集群节点上,节点扩容接入无需梳理集群组合方案,并大大提升资源容量。

此外,平台实现了大数据集群存储特性优化技术创新。为支持有状态应用的持久化存储,重构容器化应用持久化存储方案,解决分布式存储IO效率低的问题,通过设计Local Volume管理中间件实现对本地卷的动态管理。同时扩展容器集群调度算法,确保容器化应用集群的跨节点部署需求。

平台通过集中化建设、集中化运营与运维,减少重复建设成本,提升资源利用率,充分发挥已有资源的最大价值,促进企业绿色集约、降本增效、自主创新发展。目前平台已入驻租户单位60余个,分配CPU 507400 Core,内存达到1722336 GB。原本每个租户单位需要自建大数据基础设施,需要建60余个Hadoop集群,从集群管控节点的重复建设来说,每年节约硬件投资成本3836万元。

梧桐大数据开放平台构建以数据为核心的服务市场,实现数据、资源、工具的一站式服务订购,有助于充分发挥中国移动海量数据规模和丰富应用场景优势,进一步发挥数据要素潜在巨大作用。如在第七次全国人口普查工作中,利用丰富的大数据资源和强大的数据处理能力,为人口普查的事前准备、事中监测、事后校验提供了大数据能力支撑,有效提升了人口普查工作的效率和质量。

通过梧桐大数据开放平台,搭建大数据产品库,推动大数据+政府、大数据+金融、大数据+旅游、大数据+交通等深度融合,打造民生感知等五大类150个产品及行业解决方案,本项目建成投产后可以使中移信息技术有限公司的业务运营支撑能力进一步提高,有利于中移信息技术有限公司向用户提供更丰富、更个性化的服务,有效加快社会信息流动,促进社会信息交流,从而有效推动我国信息化事业的发展,为我国数字经济效益的增长贡献力量。

关键词: