每天听简报，了解最新科技、AI、软件资讯
Merve公开了一套本地AI幻灯讲义，允许其他人署名复用。作者说，内容围绕llama.cpp，涵盖预填充与解码、混合专家与稠密模型、显存与统一内存，还包括量化和推测解码。预览页能看到本地AI生态的标题，页面标示四十五页，封面注明二零二六年九月。理解目录里的两阶段，可以参考llama.cpp自己的测试文档：它把处理输入提示和生成输出token分开测速。两项还可组合测试，分别看处理长输入和持续生成的表现。官方测试的吞吐计时不包含分词和采样步骤。
进度保存在本设备 · 登录同步