实现深度学习的有效途径有哪些
发布网友
发布时间：2022-04-23 13:37
共2个回答
热心网友
时间：2023-10-16 01:33
热心网友
时间：2023-10-16 01:33
热心网友
时间：2023-10-16 01:33
众所周知，深度学习本质就是一种大规模的神经网络，其模型训练通常需要规模庞大的高性能计算集群来完成，并且需要大量小文件数据样本进行持续训练。业界普遍认为，深度学习至少要从十万个样本起步。自动驾驶领域是深度学习一个重要的应用领域。在自动驾驶领域，深度学习对于数据样本的要求则会更高，当前一辆自动驾驶汽车一天收集的样本就是上百万张高清图像，并且需要不断地对这些海量数据样本进行持续学习。以地平线面向智能驾驶的算法为例，地平线预测未来一辆自动驾驶汽车每天在路上产生的数据就高达4TB。
尤其是，随着深度学习训练数据的不断扩容，以及训练过程中的高并发和高 IO 需求，地平线专家团队意识到自身数据中心中存在的各种短板，尤其是在存储系统的短板最为突出。首先，旧有存储系统在低延迟数据访问、海量小文件存取以及扩展性方面都有待提升，已无法弹性应对地平线深度学习所需的海量数据读写。其次，地平线由上一代固态盘、硬盘组成的存储基础设施，也无法提供与强大计算力相匹配的 IOPS能力，形成了明显系统性能瓶颈。
因此，构建起实现弹性扩展的数据处理与训练的深度学习平台就成为地平线专家们的当务之急
热心网友
时间：2023-10-16 01:33
众所周知，深度学习本质就是一种大规模的神经网络，其模型训练通常需要规模庞大的高性能计算集群来完成，并且需要大量小文件数据样本进行持续训练。业界普遍认为，深度学习至少要从十万个样本起步。自动驾驶领域是深度学习一个重要的应用领域。在自动驾驶领域，深度学习对于数据样本的要求则会更高，当前一辆自动驾驶汽车一天收集的样本就是上百万张高清图像，并且需要不断地对这些海量数据样本进行持续学习。以地平线面向智能驾驶的算法为例，地平线预测未来一辆自动驾驶汽车每天在路上产生的数据就高达4TB。
尤其是，随着深度学习训练数据的不断扩容，以及训练过程中的高并发和高 IO 需求，地平线专家团队意识到自身数据中心中存在的各种短板，尤其是在存储系统的短板最为突出。首先，旧有存储系统在低延迟数据访问、海量小文件存取以及扩展性方面都有待提升，已无法弹性应对地平线深度学习所需的海量数据读写。其次，地平线由上一代固态盘、硬盘组成的存储基础设施，也无法提供与强大计算力相匹配的 IOPS能力，形成了明显系统性能瓶颈。
因此，构建起实现弹性扩展的数据处理与训练的深度学习平台就成为地平线专家们的当务之急
