DeepSeek首次披露：理论成本利润率545%

DeepSeek开源周收官，DeepSeek以最后一弹，再次在AI江湖激起了层层涟漪。

3月1日，DeepSeek在知乎上发表题为《DeepSeek-V3/R1 推理系统概览》的文章，全面揭晓V3/R1 推理系统背后的关键秘密。

最为引人注目的是，文章首次披露了DeepSeek的理论成本和利润率等关键信息。据介绍，假定GPU租赁成本为2美元/小时，总成本为87072美元/天；如果所有tokens全部按照DeepSeek R1的定价计算，理论上一天的总收入为562027美元/天，成本利润率为545%。

最大程度优化推理系统，理论成本利润率高达545%

据文章介绍，DeepSeek-V3/R1推理系统的优化目标是更大的吞吐、更低的延迟。为了实现这两个目标，DeepSeek使用了大规模跨节点专家并行（Expert Parallelism / EP）的方法，并通过一系列技术策略，最大程度地优化了大模型推理系统，实现了惊人的性能和效率。

具体而言，在更大的吞吐的方面，大规模跨节点专家并行能够使得batch size（批尺寸）大大增加，从而提高GPU矩阵乘法的效率，提高吞吐。

batch size在深度学习中是一个非常重要的超参数，指模型在训练过程中每次使用的数据量大小。它决定了每次模型更新时使用的训练样本数量，调整batch size可以影响模型的训练速度、内存消耗以及模型权重的更新方式。

在更低的延迟方面，大规模跨节点专家并行使得专家分散在不同的GPU上，每个GPU只需要计算很少的专家（因此更少的访存需求），从而降低延迟。

但是，由于大规模跨节点专家并行会大幅增加系统的复杂性，带来了跨节点通信、多节点数据并行、负载均衡等挑战，因此DeepSeek在文章中也重点论述了使用大规模跨节点专家并行增大batch size的同时，如何隐藏传输的耗时，如何进行负载均衡。