thread

尝试了glm 5.3 flash，512k fp16 kv

tg速度只有18t/s，来一个雷霆大思考就一个小时之后见了

于是决定开启int8量化，据说是不会很影响，能把kv占用从5GB降到3GB

而且才发现glm是原生1m上下文，没有经过rope或者yarn缩放得来的。看来质谱已经和当年的sun有一分相似了，接下来就是复刻开源破产被收购这条路了（bushi