概要
BitNetは、「BitNet: Scaling 1-bit Transformers for Large Language Models」論文をPyTorchで実装したプロジェクトである。1ビット量子化によるトランスフォーマー実装の実用性を示す注目度の高いリポジトリとなっている。
従来の浮動小数点演算に替わり、1ビット重みを採用することで、モデルサイズの大幅な削減と推論速度の高速化を実現する。実装の核はBitLinear層にあり、通常のnn.Linearをこのモジュールで置き換えるだけで既存のトランスフォーマー構造を活用可能な点が特徴だ。
BitLinearの仕組み
BitLinearの変換フローは以下の通り：
入力テンソル → LayerNorm正規化 → 二値化 → 絶対値最大量子化 → 逆量子化 → 出力
このパイプラインにより、重みと活性値を1ビット領域に圧縮しながら、計算精度を保つ工夫が施されている。論文著者らは「実装は極めてシンプル。線形射影をBitLinearで置き換えるだけ」と述べており、既存コード基盤への統合障壁が低い点が利点となる。
主要コンポーネント
BitLinear層の基本実装
BitLinear層は最も基本的な構成要素として機能する：
import torch
from bitnet import BitLinear
# 入力テンソル: (バッチサイズ, シーケンス長, 隠れ次元)
x = torch.randn(10, 1000, 512)
# BitLinear層: 入力次元512 → 出力次元400
layer = BitLinear(512, 400)
# 順伝播
y = layer(x)
print(y.shape) # [10, 1000, 400]
このコードは通常のnn.Linearと同じインターフェースを提供しつつ、内部では1ビット重み空間で演算を実行する。
BitLinearの新世代実装
後続の「The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits」論文の成果を反映した新世代の実装が進行中である。より効率的な量子化戦略の採用が進められており、逆量子化アルゴリズムの最適化と要素ごとの乗算を加算に置き換える取り組みが行われている。
BitAttentionとMulti-Grouped Query Attention
BitAttentionは従来の多頭注意をBitLinear対応に改良し、Multi-Grouped Query Attention（MGQA）を統合する。MGQAは高速デコーディングと長コンテキスト処理に優れた設計として広く認識されており、推論レイテンシの削減が期待される。
インストール・利用開始
pip3 install bitnet
PyPIから直接インストール可能。GitHubリポジトリのexamplesフォルダには複数の使用例が用意されている。
重要な制約事項
BitLinearを利用する場合、スクラッチから学習またはファインチューニングが必須である。既に学習済みのモデルに対して線形層を単純に置き換えるだけでは機能しない。重み分布が1ビット領域に適応していないためだ。
プロジェクトはAgora Discordコミュニティを通じた協働開発体制をとっており、新世代実装の進捗も公開されている。