问了一下5.5o,它是这么说的,不知道有没有懂的大佬看看说的对不对 内存很小:每个头的状态大概 128×128,乘上头数和层数,总共也就几十 KB 的量级 精度问题:bf16 下反复读写会累积误差,需要额外的"纠错/清洗"层才能撑住长时间运行。 超级慢:一个 token 才执行一条或几条指令,比真 CPU 慢好几个数量级。 可能影响原能力:要么占用了模型原有的一部分容量,要么得额外加头、加维度,所
- 交流
- 交流问了一下5.5o,它是这么说的,不知道有没有懂的大佬看看说的对不对 内存很小:每个头的状态大概 128×128,乘上头数和层数,总共也就几十 KB 的量级 精度问题:bf16 下反复读写会累积误差,需要额外的"纠错/清洗"层才能撑住长时间运行。 超级慢:一个 token 才执行一条或几条指令,比真 CPU 慢好几个数量级。 可能影响原能力:要么占用了模型原有的一部分容量,要么得额外加头、加维度,所
- 交流问了一下5.5o,它是这么说的,不知道有没有懂的大佬看看说的对不对 内存很小:每个头的状态大概 128×128,乘上头数和层数,总共也就几十 KB 的量级 精度问题:bf16 下反复读写会累积误差,需要额外的"纠错/清洗"层才能撑住长时间运行。 超级慢:一个 token 才执行一条或几条指令,比真 CPU 慢好几个数量级。 可能影响原能力:要么占用了模型原有的一部分容量,要么得额外加头、加维度,所