使用T4对这些AI推理模型加速时，采用传统物理机部署和使用云服务器部署，在使用和性能上有什么差异？

发布网友发布时间：2023-03-20 10:43

共1个回答

热心网友时间：2023-10-06 03:43

蓝海大脑深度学习液冷服务器研究人员表示:
其实现在的很多场景都部署在物理机上，云服务的好处是可以动态的进行资源的申请，这样就不用考虑高峰期的资源复用问题，只需要在高峰时期弹性的申请资源。对于传统物理机的部署的场景，其实可以更好的去处理你的workload，每个workload其实并不是说一张卡完全就不能搞定，在工程实际的尝试中，你会发现CPU和GPU之间的资源配比，其实是需要每个场景都单独的去考虑的，所以在这种场景下，可以结合你本地的硬件环境去做调整，然后找到一个最优，对于你这种场景的一个实现，这是我理解的物理机部署和云服务部署之间的优势和劣势。