批量计算Batch分布式计算大规模计算
服务项目 |
批量计算,Batch,分布式计算,大规模计算 |
面向地区 |
|
批量计算（BatchCompute，Batch）是为有大数据计算业务的企业、科研单位等提供高性价比且易用的计算服务。批量计算 Batch 可以根据用户提供的批处理规模，智能地管理作业和调动其所需的佳资源。有了 Batch 的帮助，您可以将精力集中在如何分析和处理数据结果上。
功能
批量处理 Batch 提供系统自动完成资源管理，作业调度和数据加载等多种强大功能，提高使用效率。
精细任务定义
使用 Batch，用户需要批处理任务需要的云服务器配置、镜像以及需要执行的代码或命令，Batch 将按照配置的信息来调度资源和启动计算任务。
定义云服务器配置
云服务器的 CPU、内存、磁盘大小等信息。
定义执行镜像
批处理任务依赖的执行环境，支持以 CVM 镜像和 Docker 的方式来执行环境。
运行命令行和参数
批量处理 Batch 创建好云服务器和完成镜像部署后，将会执行用户的命令行并添加用户配置的参数。
存储挂载
Batch 支持将常见的云存储服务挂载到本地的能力，用户在操作云存储产品上的文件与在本地操作文件无差别，在海量并发访问情况下每个节点的访问速度，实现快速访问文件。Batch 支持对象存储 COS 挂载，用户在 Batch 的任务定义里配置需要挂载的 COS 地址，以及需要挂载到的本地地址，Batch 在计算节点启动时会自动进行挂载操作。
任务依赖关系建模
Batch 可定义不同任务之间的依赖关系，还支持一个任务里启动多个实例完成计算任务。如您需要处理的任务可分为两个不同的阶段，每个阶段需要的资源不同。利用 Batch 的任务依赖功能，您可以创建两个不同资源需求的任务，其中下一个任务依赖于上一个任务。
DAG 流程编辑
可以通过 DAG 语法，来给多个批处理任务设置依赖关系，使多个批处理共同组成一个批处理作业。
多实例并发
在任务配置里可以实例数目，同时可以通过环境变量的方式，让不同实例获取自己的实例序号，并发协同完成一个大型分析任务。
查看全部介绍
