gte-Qwen2-1.5B-instruct模型半精度推理时,模型输出结果NAN

#13
by Erin - opened

您好,在使用gte-Qwen2-1.5B-instruct模型时,发现两个问题,
1)半精度推理时,outputs = model(**batch_dict),这个步骤输出结果中存在NAN,不用半精度推理,模型输出结果正常,同一个环境中使用7b的半精度没有问题,不知道什么原因呢?
2)采用eval_mteb.py评估时,只做中文数据评估,评估的结果比官方提供的测评结果低一些,我这边测试的结果是64.24,不太清楚哪边可能会出问题?

Sign up or log in to comment