英特尔开源NPU加速库:酷睿Ultra处理器如何支持AI推理?
发布网友
发布时间：2024-07-13 10:51
共1个回答
热心网友
时间：2024-08-04 01:14
Intel近期在GitHub上发布了其NPU加速库，标志着该公司正在积极投身于AI领域的开发。这款开源库专门为酷睿Ultra处理器设计，这类AI增强的PC现在能够运行诸如TinyLlama、Gemma-2b等轻型大语言模型，展现出强大的AI推理能力。
酷睿Ultra处理器首次集成NPU AI引擎，它专为处理轻量级AI任务而生，能够协同CPU和GPU，共同应对多样化的AI工作。这个开源库是为开发者精心打造的工具，即便是有一定编程基础的用户，也能借此探索AI的可能性。
英特尔软件架构师Tony Mongkolsmai通过实际演示，展示了一台配备了微星尊爵14 AI Evo笔记本，成功地运用拥有11亿参数的TinyLlama模型进行AI聊天，其性能得到了Windows任务管理器的确认，NPU的激活证实了其在实际应用中的价值。
然而，目前的开源NPU加速库尚存在局限，支持8位量化和FP16精度，但暂不支持4位量化、BF16精度以及NPU与GPU的混合计算。文档也还不尽完善。不过，Intel已明确表示，他们将逐步增强库的功能，并计划将其数量翻倍，预示着未来更多AI潜能的释放。
