在内核中，作者先用FP16将FP4的A和B矩阵读入共享内存并做相应变换，然后用FP4完成分块矩阵乘法，最后再用FP16对中间结果进行归约，得到FP16格式的输出矩阵。

在反向传播过程中，如果直接对量化后的矩阵求导，则权重矩阵的梯度几乎处处为0，从而无法进行参数更新。 为此，作者提出了一种新颖的可微分 ...

在反向传播过程中，如果直接对量化后的矩阵求导，则权重矩阵的梯度几乎处处为 0，从而无法进行参数更新。 为此，作者提出了一种新颖的可微分 ...

2025年1月12日下午，科学公益机构北京市海淀区智识前沿科技促进中心举行了主题为“AI for Science，AI for Good”的年度科学盛事。 ⾹港⼤学计算与数据科学学院院长、忆⽣科技创始⼈马毅、亚马逊云科技上海人工智能研究院院长张峥分别以探索智能本质之路和大模型时代，教育的新挑战 —— ...