小米大模型上线新模式 推理速度突破1000 tokens/s
6月8日晚,小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化,在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示,大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design,从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API 进行体验。
自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破:4月23日, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
- ·缓冲垫尚厚,“零售之王”招行为何转攻为守?|透视金融业年报④
- ·汉阴县召开“凝心聚力促发展 银企共赢谱新篇”政银企恳谈会议
- ·眉山市两全保险怎么买划算,眉山人怎样购买两全保险
- ·婚前购买的保险在离婚时怎么处理?保单是属于个人财产吗?
- ·2018年8月17日浮法玻璃产能利用率,产业数据
- ·李政道逝世,曾将中国学生送往世界一流学堂
- ·汉阴县政协召开十届十六次常委会议
- ·企业责任风险、企业责任风险是什么?
- ·交通意外险保险,交通意外险保险公司可以先行垫付医疗费吗?
- ·阿维塔概念车VISION XPECTRA首秀北京车展
- ·河南全省大部分地区冷空气来袭 未来两天仍降温
- ·乡下老房子装修效果图
- ·索尼称玩家不拥有数字游戏 消权组织盘点其过往反例
- ·2019年1月3日全国玻璃价格行情预测,行业资讯
- ·功能饮料市场再添新秀,益和源优体能量维生素饮料剑指市场,领跑大市场!
- ·阳台卫生间装修效果图
