Mars-Project 介绍
Mars 是一个基于张量/矩阵的超大规模计算框架。
通过简单的 import 替换,就可以将 numpy 的代码替换成 Mars tensor。Mars
能在单机利用多核并行,同时,能在千台规模集群进行分布式处理超大规模张量/矩阵。
据测试,在真实场景计算 2.25T 大小的矩阵和 2.25T 大小矩阵乘法,Mars 能在2个小时的时间计算完成。开发团队还扩展了 numpy,让 Mars
具备在 GPU 上计算和创建稀疏矩阵的能力。后续还将开发完全兼容 pandas 的 Mars DataFrame 部分,希望能将整个 scipy
技术栈带到分布式环境。
单机使用 Mars:
pip install pymars
分布式版本:
pip install 'pymars[distributed]'
Mars 张量提供了类似于 NumPy 的接口
Mars-Project 官网
https://github.com/mars-project/mars
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。