Colossal-AI是一个创新的深度学习系统,旨在使大规模并行训练更加高效和易用。它支持数据、流水线、张量和序列并行训练方法,以及与零冗余优化器集成的异构训练方法。相比于基线系统,Colossal- …
Tag:
Colossal-AI是一个创新的深度学习系统,旨在使大规模并行训练更加高效和易用。它支持数据、流水线、张量和序列并行训练方法,以及与零冗余优化器集成的异构训练方法。相比于基线系统,Colossal- …