科大讯飞子公司词元星火开源星火X2.5-4B和1.7B两款端侧大模型，支持百万级Token上下文，采用混合注意力架构，综合能力领先。该技术可处理长篇文档，如售后手册，实现跨章节理解和判断，适用于复杂场景。
9月1日, 科大讯飞全资子公司词元星火, 正式推出两款端侧通用大模型, 分别是星火X2.5 – 4B和1.7B, 并且进行了开源。这两款乃首款原生支持100万Token上下文的端侧模型, 填补了行业空白。
两款模型运用混合注意力架构, 历经千亿Token级高质量数据开展训练, 具备一次处理更大规模信息的能力。相较于传统端侧模型, 其在超长文本理解层面达成了质的飞跃。
长上下文能力突破
9月1日，科大讯飞全资子公司词元星火正式推出并开源星火X2.5-4B和1.7B两款端侧通用大模型。这是首款原生支持100万Token上下文的端侧模型，填补了行业空白。
两款模型采用混合注意力架构，经过千亿Token级高质量数据训练，能够一次处理更大规模的信息。相比传统端侧模型，其在超长文本理解方面实现了质的飞跃。
代码能力对标云端
在代码开发的场景当中，星火X2.5 – 4B于算法实现、代码补全以及生成等任务方面, 有这样一种情况, 其性能, 可以跟那种参数规模比它大个二到三倍的云端模型去做对标。有着这样的一份突破之后情况是这样的, 小模型, 在专业领域里面, 也能够满足实际涌现出来的需求了。
展开研发工作的团队, 聚焦于智能体、数学推理, 以及指令遵循等关键核心的能力, 开展深度的优化行动, 综合考量实测所获取的数据, 从而在业界同尺寸的开源模型范围里, 占据着具备领先性质的地位。
智能家居控制准确
在Domux智能家居测试集中, 星火X2.5 – 1.7B的数据里, 控制指令从一端到另一端执行准确正确的比率有了90.3%, 而平均响应的时间仅仅是0.85秒。
這樣的性能呈現, 致使其得以有效地配置於家庭智能裝置當中, 達成本地化的語音操控以及場景聯動, 在不依靠雲端連接的情形下, 便可完成複雜指令的執行。
机器人场景落地应用
有两款模型, 它们能够被部署于机器人本体之上, 或者被部署在边缘计算设备上面, 并且这两款模型支持操作控制这一任务, 支持目标追踪这一任务, 还支持导航决策等多种任务。
这一特性极大程度 lessen 了对云端连接的依靠程度, 降低了固定预设程序的准入门槛, 为服务型机器人以及工业机器人的智能化升级给出了全新的技术路径。
全国产算力训练
星火X2.5系列模型, 全都依据全国产算力平台, 达成了全流程训练, 进行预训练运用的是约20万亿Token的多样化数据。
后续借助高质量监督进行微调, 运用强化学习不断优化模型表现, 保障了从底层算力直至上层应用这一全链路的自主可控。
免费开放快速部署
从即日起, 两款模型的权重, 已在诸如Hugging Face等这样的平台, 可供进行开放下载的操作了。与此同时, 与之对应的API, 也已在讯飞星辰MaaS平台上线, 并且是限时免费的。
模型对华为、海光、后摩等好些硬件平台予以支持, 与vLLM、llama.cpp等一些主流推理框架相兼容, 开发者能够借助Ollama等相关工具迅速展开部署, 还能够运用LLaMA – Factory来开展增量训练。9月7那一日, 科大讯飞会正式推出全新的一代旗舰通用大模型星火X2.5, 对代码以及智能体等核心能力做进一步的升级。
对于这款能够支持百万token的有着端侧特性的模型, 你觉得它会给普通用户的日常AI应用造成什么样的改变呢?
登录后参与评论
评论仅开放给已登录并完成邮箱绑定的用户。
0
暂无评论。