关于 Rinstitute
Rinstitute（RINA.rocks）是一个独立研究所，专注于能完全运行在个人设备上的语言模型。我们相信，一个好用的 AI 助手不应该依赖数据中心、账号或网络连接。
我们选择的路线是极低比特：从训练第一步起就使用三值权重，让模型从设计上就小而省，而不是训练完再压缩。
让智能装进口袋，并且留在口袋里。
什么是三值化？
普通大模型每个权重用 16 位浮点数存储。三值化把每个权重限制为 −1、0、+1 三种取值，信息量为 log₂3 ≈ 1.58 bit。0 让模型可以“关掉”某些连接，起到特征筛选的作用。
三值化如何工作
absmean 权重量化
参考 BitNet b1.58：先用权重矩阵的平均绝对值 γ = mean(|W|) 缩放，再四舍五入并截断到 [−1, 1]：W̃ = RoundClip(W / (γ+ε), −1, +1)。每个矩阵只需额外保存一个缩放系数。
8-bit 激活
激活值按 token 使用 absmax 量化到 8-bit 整数。权重 1.58-bit × 激活 8-bit，常被记作 W1.58A8。
无乘法矩阵乘
权重只有 −1、0、+1，矩阵乘法里的乘法退化为加法、减法或跳过。乘加运算是能耗大头，去掉乘法能显著降低计算能耗。
内存 ≈ 参数 × 1.58 ÷ 8
2B 参数的理论权重体积 ≈ 2×10⁹ × 1.58 ÷ 8 ≈ 0.4 GB；实际文件会因嵌入层精度和打包格式略大，约 0.4–0.5 GB。FP16 同规模约 4 GB。
延迟与带宽
端侧推理的瓶颈常是内存带宽。权重越小，每生成一个 token 需要搬运的数据越少，理论上延迟更低、更省电。实测结果待测（TBD）。
从零训练 vs 训练后量化
训练后量化（PTQ）把训练好的 FP16 模型直接压到低比特，在 1–2 bit 下精度损失通常很大。我们采用量化感知训练（QAT）从零训练：前向用三值权重，反向用直通估计器（STE）更新高精度的影子权重。
研究方向
三值化预训练
在小参数规模下稳定地从零训练三值模型，研究学习率、归一化与缩放策略。
端侧推理内核
为 ARM CPU、移动 GPU / NPU 和 WebGPU 编写加减法为主的三值矩阵乘内核。
评测与可复现
建立面向端侧的评测：质量、速度、内存与能耗，所有结果连同方法一起公开。
联系我们
contact@rina.rocks （占位邮箱）
GitHub / Hugging Face 链接将在发布时公开。