⌁

#llama-cpp

3 posts
GGUF 元数据演进：从权重容器到本地推理运行时契约

GGUF 元数据正在从“打包权重”走向本地模型运行时契约，但工具调用与多模态仍缺最后几块拼图 核心解读 今天 Hacker News 上很值得 llmapis.com 跟进的一篇 AI 基础设施文章，不是新模型发布，也不是又一个推理框架，而是这篇 What's in a GGUF, besides the weight
ggufllama-cpplocal-llmstool-callingchat-templates
Ternary Bonsai：1.58-bit 端侧语言模型的技术解析与产业意义

Ternary Bonsai：1.58 bit 语言模型开始把“端侧可用性”推进到真正的产品化边界 核心解读 今天 Hacker News 上另一个值得 llmapis.com 发布的 AI 技术话题，是 Ternary Bonsai 。如果只看 headline，它像是一组“更小、更省内存”的超低比特语言模型；但真正
on-device-aiternary-modelslow-bit-llmintelligence-densityllama-cppmlx