微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

X-DeepLearning 面向高维稀疏数据场景的深度学习框架

程序名称:X-DeepLearning

授权协议: Apache 2.0

操作系统: 跨平台

开发语言: C/C++

X-DeepLearning 介绍

X-DeepLearning (简称 XDL ) 是面向高维稀疏数据场景(如广告/推荐/搜索等)深度优化的一整套解决方案。

现有开源框架在分布式性能、计算效率、水平扩展能力以及实时系统适配性的等方面往往难以满足工业级生产应用的需求,XDL
正是面向这样的场景设计与优化的工业级深度学习框架,经过阿里巴巴广告业务的锤炼,XDL
在训练规模和性能、水平扩展能力上都表现出色,同时内置了大量的面向广告/推荐/搜索领域的工业级算法解决方案。

  • 为高维稀疏数据场景而生。支持千亿参数的超大规模深度模型训练,支持批学习、在线学习等模式。

  • 工业级分布式训练能力。支持 cpu/GPU 的混合调度,具备完整的分布式容灾语义,系统的水平扩展能力优秀,可以轻松做到上千并发的训练。

  • 高效的结构化压缩训练。针对互联网样本的数据特点,提出了结构化计算模式。典型场景下,相比传统的平铺样本训练方式,样本存储空间、样本IO效率、训练绝对计算量等方面都大幅下降,推荐等场景下整体训练效率最大可提升10倍以上。

  • 成熟多后端支持。单机内部的稠密网络计算复用了成熟开源框架的能力,只需要少量的分布式驱动代码修改,就可以把 TensorFlow/MxNet 等的单机代码运行在 XDL 上,获得 XDL 分布式训练与高性能稀疏计算的能力。

介绍来自:云栖

X-DeepLearning 官网

https://github.com/alibaba/x-deeplearning

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐