READ WITH
CONTEXT
3210亿参数塞进单张显卡,26 token每秒跑起来了

FEATURED STORY

从信息变化中
发现新的观察角度

以事实为基础,以清晰表达为目标,为每一次阅读保留足够的背景与思考空间。

Wul_S STORY / 01
泛亚电竞 - 聚焦电竞赛场,捕捉每一次关键交锋 行业资讯 3210亿参数塞进单张显卡,26 token每秒跑起来了
返回资讯列表

3210亿参数塞进单张显卡,26 token每秒跑起来了

本文由泛亚电竞整理发布:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

about image

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

更多体育热点,关注泛亚电竞。

上一篇希拉里称卡尼可当,“自由世界领袖”,特朗普阵营反驳:他可不敢认...
下一篇2013年专家进入一片废墟的圆明园,启动考古发掘,竟挖出5万多件文物...

觉得内容有用?

分享给朋友,让更多人看到这篇内容。

正在被关注

查看近期访问较多的资讯内容,快速了解用户正在讨论的方向。

开售不足一月,折叠屏iPhone Duo线下大规模放货,可到店自提,线上订单仍需排队等发货引质疑,苹果客服回应:线上线下为两套排单逻辑

开售不足一月,折叠屏iPhone Duo线下大规模放货,可到店自提,线上订单仍需排队等发货引质疑,苹果客服回应:线上线下为两套排单逻辑

首款折叠屏 iPhone Duo 开售不到一个月,11月10日,有网友发现,苹果开始大规模释放iPhone Duo库存,部分苹果线下零售店支持直接购买和到店取货。 从apple store公布的供货情况来看,目前星光白色256GB及512GB 的版本,线下库存较多。 目前星光白色256GB及512GB 的版本,线下库存较多 然而,线下铺货引发很多线上下单的消费者的质疑。理想汽车公关部社交媒体总监孙

让一部分人先活到159岁!第二轮寿命革命来袭,普通人或被彻底甩开

让一部分人先活到159岁!第二轮寿命革命来袭,普通人或被彻底甩开

从古时候的 人生七十古来稀 ,到后来的 百岁期颐方为极 ,千百年来,人类对长寿的追求似乎从未停歇,可寿命的终点究竟在哪,至今没有定论。但这并不妨碍人们给出新的答案。 随着科学研究的持续发展,生物科技和人工智能为我们打开了新的想象空间:100岁不再被视为极少数人的奇迹,一些前沿人士开始设想159岁、470岁甚至1000岁的赛道终点。 这些不断被推远的数字,究竟是生命终点即将改写的预告,还是人类的又一

比学历贬值恐怖的是:中国正在失控的考研考公内卷加剧了

比学历贬值恐怖的是:中国正在失控的考研考公内卷加剧了

2025到2026这两年,国内年轻人的出路选择,悄悄拐了个历史性的大弯。全国硕士研究生的报考人数,在2023年摸到474万的顶峰之后,就跟坐了滑梯似的一路往下掉,先是跌到438万,再降到388万,到2026年直接落到了343万,三年时间少了131万考生,这个降幅搁十年前谁敢想。 另一边的国家公务员考试却完全是另一番热火朝天的景象,2026年国考通过资格审查的人数冲到了371.8万,算上报名没通过审

和冯绍峰离婚5年后,赵丽颖出手起诉了,已经开庭,终究翻脸了

和冯绍峰离婚5年后,赵丽颖出手起诉了,已经开庭,终究翻脸了

在阅读此文之前,辛苦您点击一下“关注”,既方便您进行讨论和分享,又能给您带来不一样的参与感,感谢您的支持! 声明:本文内容均是根据权威材料,结合个人观点撰写的原创内容,辛苦各位看官支持,文末已标注文献来源及截图,请知悉。 文| 爆款 编辑丨 这篇必火 距离赵丽颖和冯绍峰官宣离婚,一晃已经走过五个年头,这些年她一直沉下心拍戏,很少被私事打乱节奏。 这次她直接拿起法律武器,消息传出来之后收获了很多网友

国乒女队迎来新领军人?抛开孙颖莎王曼昱,她的优势很突出,王艺迪不是被挤掉,是混团规则不认

国乒女队迎来新领军人?抛开孙颖莎王曼昱,她的优势很突出,王艺迪不是被挤掉,是混团规则不认

王艺迪世界第五却没进成都混团,挤进女队四号位的是22岁蒯曼。不是教练组突然不爱老将,是这次选人标准从「谁单打最猛」变成了「谁能在新赛制里填坑」。 11月10日中国乒协挂出2026成都混团世界杯名单,女队四个字:孙颖莎、王曼昱、蒯曼、陈熠。 王艺迪、陈幸同两个世界冠军同时消失,评论区一下炸了。 很多人问「蒯曼凭什么」,答案得先看赛制,再看她手里那张别人练不出来的牌。 成都混团11月29日到12月6日