微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Dask 多任务并行编程与任务调度

程序名称:Dask

授权协议: BSD

操作系统: 跨平台

开发语言: Python

Dask 介绍

dask一个用于分析计算的灵活的并行计算库。

dask 由两个组件组成:

  • 动态任务调度优化计算。 这类似于 Airflow、luigi、Celery 或 Make,但是针对交互式计算工作负载进行了优化。

  • “大数据”集合,如并行数组,数据框架和列表,将常见接口(如 NumPy、Pandas 或 Python 迭代器)扩展到 larger-than-memory 或分布式环境。 这些并行集合在动态任务调度程序之上运行。

Dask 官网

https://dask.org/

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐