每天听简报,了解最新科技、AI、软件资讯
刚开源的Inkling 2 Mini原版要占二十GB左右内存,现在有开发者直接把它压进了五点四GB。开源量化编译器LookAtMyQuant用网格编码结合近端微调,把模型文本权重从近十九GB压缩到五点三八GB,平均每个权重只有一点六三比特。实测下来,这个五点四GB版本体积比传统二比特量化小了四成,但在数学和编程评测里得分反而更高。配合苹果芯片专用内核与投机采样草稿模型,在苹果电脑上运行时仅占五点八三GB内存,生成速度能跑出一百二十五词元每秒。
进度保存在本设备 · 登录同步