资讯
显存不够傲腾凑!纯CPU跑2.8万亿参数Kimi K3:差点把主板烧了
📋总体概括
快科技11月9日消息, 近日一位Reddit网友成功在纯CPU环境下,跑通了月之暗面拥有2.8万亿参数的顶级模型Kimi K3。 令人意想不到的是,支撑这一庞然大物运行的核心并非动辄数万元的顶级显卡,而是早已被英特尔放弃的第二代傲腾持久内存(Optane PMem 200)。 要知道Kimi K3作为万亿级参数的巨型模型,其运行门槛极高,即便经过极度压缩的量化处理,也至少需要610GB
⚡关键信息
- ▸快科技11月9日消息, 近日一位Reddit网友成功在纯CPU环境下,跑通了月之暗面拥有2.8万亿参数的顶级模型Kimi
- ▸令人意想不到的是,支撑这一庞然大物运行的核心并非动辄数万元的顶级显卡,而是早已被英特尔放弃的第二代傲腾持久内存(Opta
- ▸要知道Kimi K3作为万亿级参数的巨型模型,其运行门槛极高,即便经过极度压缩的量化处理,也至少需要610GB的内存空间
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →