文 | 周鑫雨ayx爱游戏官方网站

剪辑 | 邓咏仪

36氪获悉，AI推理部署措置决策厂商“清昴智能”近日完成了数千万元Pre-A+轮融资，启赋成本、达晨财智领投，老激动奇绩创坛跟投。此前，清昴智能已取得某天下500强科技巨头公司的千万元计谋投资。据了解，资金将主要用于东说念主才梯队组建，产物研发和商场落地。

早在大模子波澜席卷之前，高推理蔓延、高推理成本、高资源占用这“三高”，以及算力层的硬件适配，一直是困扰模子落地的临了一公里。尤其在AI+奢靡级硬件成为行业趋势确当下，如何让大模子在有限算力的终局设备上跑起来，也成为不少终局厂商亟需措置的珍惜。

有关词，痛点的存在对应的是上游措置决策的空缺——一方面，市面上推理部署用具链的主流玩家，大多聚合在北好意思；另一方面，大多中间层厂商，提供的是等国际硬件适配处事，当国产替代徐徐成为国内算力的主要措置决策，大模子与国产芯片适配的痛点一直难以得到措置。

行为推理部署用具链最早的国内玩家之一，“清昴智能”开发于2022年10月，通过提供AI模子的推理和部署优化用具链，从而裁减下旅客户模子的部署和使用成本和门槛。

早在2022年6月，在Stable Diffusion等AIGC模子爆发的风口，清昴智能团队就开动入部属手布局模子部署和推理优化用具链的研发。针对AIoT（AI物联网）、自动驾驶等灵敏场景，清昴智能推出了第一代AI模子推理优化用具链MLGuider。除英伟达以外，MLGuider还支撑AMD、高通、昇腾等国表里芯片的部署。

基于商场需求，MLGuider的功能和框架也进行了胁制迭代。清昴智能CEO关超宇告诉36氪，早期的MLGuider主要针对边端芯片和传统小模子，汲取量化、蒸馏、寥落化等一系列优化纪律。

跟着商场对大模子的需求爆发，清昴智能聚会模子优化、漫衍式优化和编译优化等优化时期栈，打造了面向基础模子和底层算力硬件的全链路用具链，防护对大模子和底层AI芯片，尤其是国产芯片的适配优化进行了功能迭代。

以国产头部硬件昇腾为例，在本年2024昇腾开发者大会上，清昴智能行为昇腾伙伴代表也首发了基于昇腾原生开发环境的MLGuider-Ascend用具链，措置了AIGC模子在落地国产昇腾硬件历程中模子-算力不匹配，时期栈复杂，迁徙与优化成本高级问题。

除模子推理部署优化用具链外，清昴智能还推出了企业级基础模子开发部署平台LLMOps、大模子一体化整机决策、大模子土产货化及边端部署决策等措置决策矩阵。

关超宇以为，中间层厂商的窘境，经常在于如何让生意化成界限。对此，清昴智能在径直面向企业客户提供措置决策的同期，还效力与芯片厂商、处所算力中心已终生态互助。“咱们大概通过一语气芯片、处事器以及模子措置决策商等生态伙伴，为客户提供端到端的全体措置决策。”关超宇施展。

模子推理部署用具链，作念的是算力层和模子层的软硬件适配职责，因此也被称作中间层。关超宇以为，中间层的任务即是将模子的运作恶果能无尽趋近于硬件的峰值性能，充分挖掘模子和硬件的潜能。

面临是否会被坎坷游厂商统一的问题，关超宇告诉36氪，从模子层和芯片层的角度来说，他们各自有我方的和顺点，即是莳植模子或芯片自己的性能。与此同期，粘稠的模子选拔和碎屑化的硬件环境，让模子-中间层-芯片的生态互助更加明晰。

在东说念主才组织层面，清昴智能中枢成员主要来自清华大学、华为、阿里等高校和公司。独创东说念主兼CEO关超宇毕业于清华大学缠绵机系，2021年西尔贝学者奖学金取得者（专家不到百东说念主），并带队研发天下首个自动图学习形式AutoGL。科学家照顾人朱文武为清华大学缠绵机科学与时期系讲授，曾任微软亚洲参议院主任、英特尔中国参议院首席科学家。