08月
16
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署
目前大模型在推理时通常都非常耗存储和计算，这是因为权重采用FP16存储，占用空间大。北大团队首次提出iFairy方案，把模型权重量化到复数集合 {+1, -1, +i, -i}。这四个值刚好可以用2比特表示，相当于压缩到原本的1/8。（量子位）原文链接目前大模型在推理时通常都非常耗存储和计算，这是因为权重采用FP16存储，占用空间大。北大团队首次提出iFairy方案，把模型权重量化到复数集合 {+1, -1, +i, -i}。这四个值刚好可以用2比特表示，相当于压缩到原本的1/8。（量子位）原文链接
