数据并行需要同步模型的参数,模型并行需要同步每个块的输入输出。 Torch Example. 我们通常需要使用大的batch来训练,因此更常用到 Data Parallelism 的 ...
確定! 回上一頁