colibri

colibri

AI大模型开源

纯 C 写的零依赖大模型推理引擎,让前沿 MoE 模型跑在普通硬件上,小引擎跑大模型;面向技术玩家,不是小白工具

它能做什么

  • 在普通硬件上本地运行 MoE 大模型
  • 零依赖、纯 C 实现
  • 模型按需从磁盘流式加载
  • 提供命令行推理
colibri截图暂不可用

适用场景

  • 极客与开发者:想在有限硬件上本地跑前沿 MoE 模型做实验
  • 技术爱好者:研究大模型推理优化、量化加载的实现

踩坑提示

  • 使用限制:是底层引擎不是成品应用,需要懂命令行和模型文件
  • 功能边界:推理性能受硬件限制,别指望老电脑跑大模型流畅

替代方案对比

替代品比它强在哪比它弱在哪什么情况下选这个替代品
llama.cpp成熟稳定、支持广对前沿 MoE 支持不如 colibri 激进求稳、跑主流模型时
MLX苹果芯片优化好只限 Apple 生态用 Mac 时

更在意稳和生态选 llama.cpp;更在意前沿 MoE 和极致轻量选 colibri

资源地址

继续浏览

类似发现

随便逛逛
不知道看什么?让阿卷带你随便逛逛
想要投稿
你也找到了好东西吗?分享给所有人
告诉阿卷
没有找到想要的?告诉阿卷帮你找