DataParallel API

[源]

DataParallel 类

keras.distribution.DataParallel(
    device_mesh=None, devices=None, auto_shard_dataset=True
)

用于数据并行性的分布式策略。

您可以通过指定 device_mesh 或 devices 参数来创建此实例（但不能同时指定两者）。

期望 device_mesh 参数是一个 DeviceMesh 实例，并且期望它仅为 1D。如果 mesh 具有多个轴，则第一个轴将被视为数据并行维度（并且会发出警告）。

提供 devices 列表时，它们将用于构建 1D mesh。

当 mesh 和 devices 均缺失时，将使用 list_devices() 来检测所有可用设备并从中创建一个 1D mesh。

参数

• device_mesh：可选的 DeviceMesh 实例。
• devices：可选的设备列表。
• auto_shard_dataset：自动在进程之间分片数据集。默认为 true。