深度学习中的FLOPs和Macs是什么意思
发布网友
发布时间：2024-07-01 17:12
共1个回答
热心网友
时间：2024-07-28 04:48
在深度学习的领域中，模型的算力衡量标准至关重要，其中FLOPs（每秒浮点运算次数）、Macs（乘加运算）以及FC（全连接层）、CNN、LSTM和Transformer模型的计算量是衡量性能的关键指标。让我们一一解析这些术语。
FLOPs</，全称为Floating Point Operations Per Second，是评估硬件性能和模型运行速度的基石。它的单位包括MFLOPs（百万）、GFLOPs（十亿）、TFLOPs（万亿）、PFLOPs（千万亿）以及更高层级。值得注意的是，FLOPs与FLOPS（每秒浮点运算次数）虽然相似，但前者强调的是每秒执行的运算次数，而后者更侧重于概念表述。
Macs</，即 Multiply-Add Operations，常被用于衡量模型的复杂度，特别是在工业界中，QPS（每秒查询处理数）通常被用来评估处理速度。Macs与FLOPs关联密切，大约每1个Macs对应2个FLOPs，这意味着Macs更侧重于实际执行的计算操作。
训练模型估算</，如全连接层（FC Layer），其计算量主要来自矩阵乘法，每个元素涉及乘法和加法。为了简化计算，FLOPs的计算公式通常涉及参数数量，这有助于预测训练时间。
CNN Layer</的计算量则由卷积核尺寸和输入通道数决定，每层的FLOPs计算公式虽然包含了这些变量，但实际计算时会排除常数项，以简化分析。
LSTM Layer</的计算量涉及词向量维度和隐藏层维度，其FLOPs由四个非线性变换的矩阵乘法组成，每一层都有其独特的计算需求。
Transformer 架构</，尤其是LLM（大型语言模型），其计算量主要源于注意力机制和多层感知器（MLP）模块。Encoder和Decoder各有6层注意力层，加上Decoder的mask机制，每层的参数量包括Multi-head Attention和MLP的特定矩阵形状。
在Transformer的参数分析中，每层的参数计算包括Attention模块的缩放和平移参数，以及MLP的参数量。例如，每层Attention的参数量可以通过矩阵乘法的大小来估算。
Transformer的总参数还包括词嵌入矩阵，随着模型层数的增加，如7B到70B的模型，隐藏层参数量通常会有显著增长。
计算FLOPs时，Transformer模型主要依赖于矩阵相乘，公式通常是Input_size乘以参数数量再乘以2。假设训练语料的Token数，比如10亿，那么训练所需的FLOPs大约可以这样估算：FLOPs ≈ 100,000,000 x Parameter x 2。
对于LLM，如LLaMa-13B模型，FLOPs的计算公式更复杂，会考虑attention、LM head以及隐藏层的大小。经过简化后，FLOPs大致为...（具体数值根据模型参数计算得出）。
要深入了解这些计算细节，可以参考Ethan Yan的文章，它详细讨论了估算与精算的区别，以及是否考虑FFN（Feed-Forward Network）和词表计算。务必查阅Attention is All you Need和The Illustrated Transformer等权威论文和博客以获取深入见解。
以上内容由Zhihu On VSCode整理，为理解模型训练背后的算力计算提供了宝贵的指导。
