国内新闻

您所在位置:首页 > 国内新闻 > 正文

首次公开!蚂蚁金服解读开放计算架构

文章作者:www.hg-tex.com发布时间:2019-10-26浏览次数:1233

IT Technology Fan 4天前我想分享

当前的互联网技术已经进入大数据和人工智能的阶段,并且出现了各种计算模型。从10年前的MapReduce分布式计算开始,几乎每三年都会有一个新的计算引擎发生变化,从山的始发者Hadoop到后来被流式传输的Storm,然后是基于内存迭代计算。一段时间以来,直到今天,Flink都以闪电般的速度进入了视觉领域。同时,近年来,不仅数据计算,机器学习框架出现了:Keras,PyTorch,Caffe2,TensorFlow .可以说,每个计算引擎的兴起都意味着计算技术的新突破。

随着计算引擎的发展,互联网业务服务越来越依赖大数据和人工智能技术。从最初的数据仓库分析业务开始,它已逐渐发展成为一种更实时,更复杂的智能决策服务。

两者的结合为业务创新带来了更多的可能性,但其背后的技术现象是技术体系变得越来越复杂。各种计算引擎的交替使用导致学习成本的急剧上升和研发成本的增加。而且效率的降低也是一个普遍的问题。比降低R&D性能更糟糕的是,无法在不同的计算引擎之间共享和打开数据。大多数方案都需要使用中间存储来进行转储,这会浪费存储资源并增加数据量。此外,诸如缺乏统一元数据和数据安全性之类的隐患一直威胁着日益庞大且and肿的系统。

面对这些不可忽视的问题,蚂蚁金服于2018年提出了开放计算架构的概念,希望通过设计一种符合当前计算系统并可以应对未来计算趋势的技术框架来解决该问题。引擎更新”,“统一研发系统”,“数据共享和互操作性”,“数据风险预防与控制”等问题。

首先,在计算引擎中,开放计算框架认为计算引擎始终在不断更新,因此它需要统一的元数据集和状态管理,针对不同计算作业状态的统一管理,以实现与任何类型的计算引擎。并实现插件功能;另外,在研发水平上,不同的计算引擎具有不同的研发模式和API接口。为了统一各种引擎的研发能力,有必要在顶层计算DSL封装。为此,我们引入了SmartSQL,它在标准SQL规范的基础上扩展了一些功能和语法,并希望以最简单,最通用的语言描述大多数计算和机器学习任务。另外,为了解决多个引擎数据,不可能通过。并共享问题,Ant Financial独立开发了一个统一的存储系统,支持多种类型的数据存储格式,并支持在不同格式的数据之间进行自动转换和迁移,从而极大地简化了引擎层对存储的使用。同时节省大量成本。

不仅传统的计算和存储形式,当前的Internet服务中还存在大量的关系数据,并且诸如社交,风险控制,反洗钱和营销等场景都对关系计算有大量需求,因此图形计算作为一种新的数据形式,这也是蚂蚁金福专注于投资的领域。在开放计算体系结构中,包括了从在线集成的图形计算引擎和存储,并且使用方案可以涵盖在线,实时和离线方案,以支持不同的对时间敏感的服务。从功能上讲,它具有财务级别图数据库,超大规模图计算,流程图混合动态图计算和超快内存图等计算能力,涵盖了不同层次的数据计算能力。此外,与其他计算引擎一样,Ant Financial也基于SQL规则开发了GraphQL作为统一的图形查询语言,以覆盖所有图形计算引擎。

在机器学习中,开放计算体系结构还包括SQLFlow(它以前是开源的)以及刚刚引入的ElasticDL灵活深度学习框架。作为连接数据和训练之间的桥梁,SQLFLow扩展了基于标准SQL的机器学习语法,从而使数据分析人员可以像SQL一样训练自己的数据模型。此外,SQLFlow支持市场上大多数机器学习引擎以及ElasticDL Flex框架。 ElasticDL是基于k8s系统的弹性深度机器学习框架。它与TensorFlow引擎和Keras语法兼容。通过灵活的调度,可以减少训练等待时间和训练运行时间。

在9月27日杭州云栖大会的第三天,蚂蚁金服将在数字金融技术专刊的开放系统下共享金融数据实践,包括蚂蚁开放计算架构的技术细节。欢迎关注。

收款报告投诉

当前的互联网技术已经进入大数据和人工智能的阶段,并且出现了各种计算模型。从10年前的MapReduce分布式计算开始,几乎每三年都会有一个新的计算引擎发生变化,从山的始发者Hadoop到后来被流式传输的Storm,然后是基于内存迭代计算。一段时间以来,直到今天,Flink都以闪电般的速度进入了视觉领域。同时,近年来,不仅数据计算,机器学习框架出现了:Keras,PyTorch,Caffe2,TensorFlow .可以说,每个计算引擎的兴起都意味着计算技术的新突破。

随着计算引擎的发展,互联网业务服务越来越依赖大数据和人工智能技术。从最初的数据仓库分析业务开始,它已逐渐发展成为一种更实时,更复杂的智能决策服务。

两者的结合为业务创新带来了更多的可能性,但其背后的技术现象是技术体系变得越来越复杂。各种计算引擎的交替使用导致学习成本的急剧上升和研发成本的增加。而且效率的降低也是一个普遍的问题。比降低R&D性能更糟糕的是,无法在不同的计算引擎之间共享和打开数据。大多数方案都需要使用中间存储来进行转储,这会浪费存储资源并增加数据量。此外,诸如缺乏统一元数据和数据安全性之类的隐患一直威胁着日益庞大且and肿的系统。

面对这些不可忽视的问题,蚂蚁金服于2018年提出了开放计算架构的概念,希望通过设计一种符合当前计算系统并可以应对未来计算趋势的技术框架来解决该问题。引擎更新”,“统一研发系统”,“数据共享和互操作性”,“数据风险预防与控制”等问题。

首先,在计算引擎中,开放计算框架认为计算引擎始终在不断更新,因此它需要统一的元数据集和状态管理,针对不同计算作业状态的统一管理,以实现与任何类型的计算引擎。并实现插件功能;另外,在研发水平上,不同的计算引擎具有不同的研发模式和API接口。为了统一各种引擎的研发能力,有必要在顶层计算DSL封装。为此,我们引入了SmartSQL,它在标准SQL规范的基础上扩展了一些功能和语法,并希望以最简单,最通用的语言描述大多数计算和机器学习任务。另外,为了解决多个引擎数据,不可能通过。并共享问题,Ant Financial独立开发了一个统一的存储系统,支持多种类型的数据存储格式,并支持在不同格式的数据之间进行自动转换和迁移,从而极大地简化了引擎层对存储的使用。同时节省大量成本。

不仅传统的计算和存储形式,当前的Internet服务中还存在大量的关系数据,并且诸如社交,风险控制,反洗钱和营销等场景都对关系计算有大量需求,因此图形计算作为一种新的数据形式,这也是蚂蚁金福专注于投资的领域。在开放计算体系结构中,包括了从在线集成的图形计算引擎和存储,并且使用方案可以涵盖在线,实时和离线方案,以支持不同的对时间敏感的服务。从功能上讲,它具有财务级别图数据库,超大规模图计算,流程图混合动态图计算和超快内存图等计算能力,涵盖了不同层次的数据计算能力。此外,与其他计算引擎一样,Ant Financial也基于SQL规则开发了GraphQL作为统一的图形查询语言,以覆盖所有图形计算引擎。

在机器学习中,开放计算体系结构还包括SQLFlow(它以前是开源的)以及刚刚引入的ElasticDL灵活深度学习框架。作为连接数据和训练之间的桥梁,SQLFLow扩展了基于标准SQL的机器学习语法,从而使数据分析人员可以像SQL一样训练自己的数据模型。此外,SQLFlow支持市场上大多数机器学习引擎以及ElasticDL Flex框架。 ElasticDL是基于k8s系统的弹性深度机器学习框架。它与TensorFlow引擎和Keras语法兼容。通过灵活的调度,可以减少训练等待时间和训练运行时间。

在9月27日杭州云栖大会的第三天,蚂蚁金服将在数字金融技术专刊的开放系统下共享金融数据实践,包括蚂蚁开放计算架构的技术细节。欢迎关注。

-