文章
文章
全部标签

微软，bitnet.cpp，1-bit 量化，CPU 推理，大语言模型

  • 微软推出 bitnet.cpp，1-bit 量化技术实现 CPU 上大语言模型推理

    微软推出 bitnet.cpp，1-bit 量化技术实现 CPU 上大语言模型推理

    微软近日正式开源了名为 bitnet.cpp 的框架，这是一种支持在本地 CPU 上运行千亿参数大语言模型（LLM）的新型工具，且无需依赖 GPU。此框架的核心创新在于其基于 1-bit 权重量化的推理技术，这使得它能够在硬件资源相对有限的情况下，提供高效的模型推理能力。 根据 IT 之家的报道，bitnet.cpp 的 1-bit 权重量化方法能够显著提高推理速度，其加速性能甚至可达 6.17 …
    科技分享
    • 20
    • 0
    LCLC
❯
搜索

  • 扫码打开当前页

返回顶部