端侧AI重大突破！科大讯飞开源星火X2.5大模型，百万Token支持离线应用

端侧AI迎来重大突破

国产端侧人工智能范畴近日传来令人振奋的消息, 长久以来困扰该行业的硬件算力瓶颈被成功攻克。9月1日, 科大讯飞的全资子公司词元星火正式宣告推出并且开源两款全新的端侧通用大模型, 这引发了行业的广泛关注。

这款被称作星火X2.5系列的新产品, 有着4B和1.7B这两种规格版本, 两款模型都原生支持长达100万Token的超大上下文窗口, 此技术指标在同类型产品里处于领先位置, 意味着端侧AI能力步入了新的层面。

两款模型同步开源

此次所发布的星火X2.5 – 4B与星火X2.5 – 1.7B这两款模型, 均是采用开源策略, 开发者能够自由去下载, 也能够自由去部署, 还能够进行二次开发。开源这一模式有助于降低行业应用的门槛, 能让更多的企业以及开发者, 得以基于该模型快速构建智能应用。

基于参数规模予以考量, 4B版本适配于对性能有着较高要求的场景, 像是复杂推理以及大规模数据处理等情况。1.7B版本却是针对资源受限的终端设备, 可在手机、平板、智能穿戴等各类设备上实现流畅运行, 以此满足轻量化应用需求。

百万Token上下文突破限制

本次发布的一大亮点, 是100万Token的上下文窗口。以往端侧设备因算力受限, 上下文窗口通常较短此, 导致难以处理长篇文档或者复杂长周期任务。这一突破表明, 更小体量的设备也可以完成超长文本处理。

具备超长上下文能力得以落地, 这为大模型于智能终端之深度普及供给了底层支撑, 不管是针对文档分析, 还是代码编写, 又或者是多轮对话交互, 端侧设备均可在不借助云端的情形下达成复杂任务, 如此显著地提升了用户所拥有的体验。

离线应用前景广阔

这一技术特性直接促使端侧AI在离线场景里的应用得到拓展, 以往, 大模型服务对云端服务器高度依赖, 在网络不稳定之际功能会受到限制, 如今, 大模型推理能够在设备本地完成, 对网络环境的依赖被大幅降低。

于隐私敏感场景当中, 离线应用的优势显得格外突出, 用户的数据并不需要上传到云端, 而是直接在设备本地进行处理, 如此便能有效地保护个人隐私, 对于金融、医疗、政务这些领域来讲, 这样的特性具备着极高的商业价值以及现实意义。

部署门槛显著降低

往日大模型的部署, 需由昂贵的GPU集群予以支持, 中小企业以及个人开发者难以承受。端侧模型的发布, 致使普通硬件也可以运行大模型, 极大地降低了技术门槛。

以开源为策略的词元星火, 进一步推进了生态建设, 开发者能够依据自身需求对模型予以微调优化, 以适配特定行业场景；这种开放性有期望促使端侧AI在垂直领域加快落地应用, 从而催生出更多创新产品。

国产AI持续领跑

此次发布再度彰显了国产AI厂商的技术能力 , 科大讯飞身为国内人工智能领军企业 , 始终在端侧AI领域进行布局并展开发力 , 从星火大模型直至端侧芯片配套 , 产业链协同发展的态势极为显著。

于业内专家而言, 其觉得端侧AI会变成下一波智能化浪潮里的关键驱动力。因模型性能在持续提升, 且硬件成本于不断下降, 所以更多智能终端能够拥有本地大模型能力。进而给用户带去更智能便捷的使用体验。

相较于1.7B版本, 你对4B版本的应用前景是否更为看好呢? 欢迎于评论区将你的看法予以分享, 点赞并转发以便让更多人能够看到国产AI的最新进展情况！