大模型训练主要使用以下软件：
1. TensorFlow：这是由Google开发的开源机器学习框架，广泛应用于深度学习和自然语言处理等领域。它提供了丰富的API和工具，使得开发者可以方便地构建、训练和部署大型模型。
2. PyTorch：这是一个由Facebook开发的开源机器学习库，具有与TensorFlow类似的功能，但更加灵活和易用。PyTorch提供了丰富的数据结构和张量操作，使得开发者可以更轻松地实现复杂的神经网络。
3. Keras：这是一个基于Python的高级神经网络API，由Google开发。Keras提供了易于使用的高层API，使得开发者可以快速构建和训练大型模型。
4. MXNet：这是一个由百度开发的开源机器学习平台，提供了一种模块化的编程方式，使得开发者可以更容易地构建和训练大型模型。
5. Caffe：这是一个由Facebook开发的深度学习框架，主要用于图像识别和计算机视觉任务。Caffe提供了一种高效的网络结构，使得开发者可以快速构建和训练大型模型。
6. Shark：这是一个由NVIDIA开发的深度学习框架，主要用于计算机视觉和语音识别任务。Shark提供了一种高效的网络结构，使得开发者可以快速构建和训练大型模型。
7. ONNX：这是一个开放源代码的神经网络交换格式，由Facebook开发。ONNX可以将不同深度学习框架生成的模型转换为统一的格式，使得开发者可以在不同的框架之间共享和复用模型。
8. Transformers：这是一个由Hugging Face开发的深度学习库，主要用于自然语言处理任务。Transformers提供了一种高效的模型架构，使得开发者可以快速构建和训练大型模型。
9. Apache Spark：这是一个大数据处理框架，可以将大数据集划分为多个小数据集，然后并行处理这些小数据集，从而提高训练速度。Spark支持多种深度学习算法，包括卷积神经网络（CNN）和循环神经网络（RNN）。
10. Apache Flink：这是一个分布式流处理框架，可以将大数据集划分为多个小数据集，然后并行处理这些小数据集，从而提高训练速度。Flink支持多种深度学习算法，包括卷积神经网络（CNN）和循环神经网络（RNN）。
