GLM4同样出现了CUDA error: device-side assert

[zzk2021]

System Info / 系統信息

centos 7 ，3090x4

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

之前是正常的，llama factory 用lora微调后，多调用几次就会报这个错，由于cuda异步找不到具体位置

Expected behavior / 期待表现

不会报相关错误

[cssaudrey]

微调后推理阶段，我也报相同错误

[zRzRzRzRzRzRzR]

估计是词表溢出了，没有遇到过这个问题。。。
单卡能推吗，是不是用BF16

[zzk2021]

估计是词表溢出了，没有遇到过这个问题。。。 单卡能推吗，是不是用BF16

确实很多次报错代码停在tokenizer过程，但我检查了都是常见字符。单卡还没试过，bf16没有用