江西南昌首座Token工厂建成，为AI大模型提供低成本算力服务

江西有一个首个的Token工厂, 这个工厂在南昌高新区正式落地了, 它的首期已经聚合了300余款的主流的大模型, 对于中小企业来说, 获取算力以及模型服务的综合门槛将会显著降低。

项目定位与产业背景

南昌高新区党工委委员刘用强说了一件事儿。事情是这样的。高新区过去的一段时间里, 一直都在做一件事。这件事围绕着三个方向。这三个方向分别是AI智能终端，算力硬件和具身智能新赛道。

做的目的是持续补链强链。Token工厂这个存在很重要。它是补齐产业短板的关键抓手。它同时也是推动产业升级的关键抓手。所以大家都认为这很关键。

把这个项目定义为一个针对大模型这个新时代出现的新型的计算设施, 采取集中管理和大规模这种模式, 去给模型的训练还有模型的推理这两件事提供效率高并且稳定的一种智能计算的力量的服务, 全面地去加速很多很多行业的数字化和智能化的转变的这一种进程。

政企合作运营模式

这个项目是由南昌高新招商集团和中国移动江西公司南昌分公司这两家单位进行合作以及共同建设的。他们采用的模式是将政策性的牵引作用加上市场化的运营方式结合起来。在日常的运营工作中, 是依赖于中国移动模型服务平台来开展的。

南昌移动党委书记陈佰华讲了一个情况, 他说双方愿意拿出那种把封装做到很标准化、能够保证一直可用、并且价格在市场上很有竞争力的令牌产品来给用户用, 这样的结果是企业方面就不用自己去建设那些算力的集群了, 而是可以根据实际需要去随时调用模型资源, 最终这个行为会带来一个非常显著的效果, 那就是会把上线所需的时间大幅缩短。

技术能力与模型聚合

该平台的第一期版本已经成功接入了超过三百种大家广泛使用的大模型产品。它全面支持在制造业、医疗行业以及教育系统这些特定的细分领域里, 接入各种专用的模型, 并且能够完成部署工作。其覆盖的应用场景相当多, 足够满足大部分行业对于定制化服务的各种需求。

平台利用标准化封装的方式, 有效降低了使用的复杂度。这使得用户根本无需去关心底层的算力调动问题。只要调用Token, 用户就能获取到模型的推理能力。最终导致的整体效果是, 开发和维护的成本, 与自建方案相比, 出现了十分明显的下降趋势。

破解中小企业算力痛点

在此之前, 南昌地区的中小科创企业确实面临着一些困难。比如, 培育体系还不够完善, 落地场景出现得比较慢, 能够起到帮助作用的载体也比较稀缺。另外, 自主部署大模型的代价太高了, 而且周期还很长。正是因为这些原因, 大多数团队都只能放弃这个想法, 不敢轻易尝试。

Token工厂采取了共享算力池这样一种方式, 同时还采用了按量计费的模式, 从这两个方面进行切入。这样的话, 就让那些年收入千万级以下的科创团队, 能够用一种可以承受的成本去完成模型的微调与推理这一些事情。这就有效地把当地创新的生态环境给激活了。

全省推广与算力调度

江西省计算机学会的常务副理事长付康指出, 该项目现在已经打通了从算力资源到产业生产力这方面的所谓的最后一公里问题, 接下来这个情况呢, 还要与全省范围内的算力调度体系去实现那种互联互通的功能, 同时还要能够做到错峰使用的事情。

南昌高新区在建设方面所积累的实践经验, 将会被向全省范围内复制并且加以推广起来。这一举措将推动所谓的Token工厂的发展轨迹, 不再局限于“一域试点”, 而是逐渐迈向“全省普惠”的全新阶段。

在这个过程中, 区域内能够逐步形成一种长效的运行机制。这种机制的具体表现包括对算力资源进行互补以及对供需关系进行匹配。

产业集群与生态构建

在接下来的时间里, 南昌高新区将会充分地依靠全面开始运作的Token工厂这个基础。它将把主要力量放在引进那些处于大模型研发领域、智能应用开发领域以及数据服务领域的大型或者小型企业身上。

这些被引进的企业都是属于上下游产业链的。通过这样做, 它可以加快步伐, 来构建出一个具有竞争力的产业集群, 而这个集群是专门针对人工智能行业的。

管委会要把企业服务的创新生态给弄全。这个生态会覆盖从开始到结尾的全部时间, 也会覆盖从一边到另一边的全部环节。具体来说, 是从注册和孵化这些事儿, 一直到规模扩张那些阶段, 都会提供配套的支持来帮助发展。目标是怎么样? 会在两年的时间里面, 造成一个具有全国影响的人工智能产业集聚区。

你所从事的行业内部, 是否已经存在了类似于Token工厂那样的算力共享平台呢。请你进入到评论区去谈论一下你自己的观察结果。如果你认为这个信息是有用的话。千万不要忘记进行点赞操作。并且把它转发给你那些在同一个行业工作的朋友。