https://qiita.com/tech-Mira/items/67dec9c5a5f025d2727a
通称1bitLLM。学習済みモデルから推論を行う際の効率よい計算方式。
遅延、メモリ使用量、処理能力、エネルギー消費の大幅な削減にが可能になるアルゴリズムのこと。
実際には演算の単位が「-1,0,+1」という3つの値で扱われるため、BitNetの「ビット」は一般的な1ビットではなく情報量としては1.58ビットになるらしい。
計算単位が実数ではないことから1.58ビット技術はGPUではなくCPUに適しているが、モデルの構築や学習においてはGPUは依然として重要な役割を果たす。
