Skip to content

F.linear单元测试无法复现qwen2.5vl7B模型内对应算子行为 #1323

@schabc

Description

@schabc

在使用paddle_custom 运行qwen2.5vl7B模型, 遇到了F.linear,如下图

Image 同时在A100 上运行qwen2.5vl7B模型, 能正常跑通,不报上述错误;

设置单元测试, 输入为bf16, 对齐模型操作, 同时打印F.linear算子weight,代码如下:

def linear_test():
    input_tensor = paddle.load("input_linear.pd")
    dim = 1280
    proj = paddle.nn.Linear(dim, dim)
    print(proj.weight)
    _ = proj(input_tensor)

单元测试结果如下, F.linear算子weight为fp32, 与输入bf16有冲突报错,同时A100单测结果一致

Image

同时在训练代码也做F.linear算子weight 打印,paddlemix/models/qwen2_5_vl/modeling_qwen2_5_vl.py:533,修改代码如下:

Image 能正常运行, 但打印F.linear算子weight 为未初始化tensor, 导致A100上单测无法正常复现一致操作,打印结果如下: Image

希望能构造出运行模型里一致得F.linear 单测

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions