【飞桨AIPE暑期集训营活动】多模态强化学习高质量数据构建

[lyuwenyu]

简介

“多模态强化学习高质量数据集构建”任务，结合多模态强化学习重点垂类场景，构建高质量训练数据。进行数据构建方案设计，针对文档理解/物体定位/多工具调用等任务进行专有模型部署、数据筛选，并结合开源多模态模型进行强化学习训练，最终提升多模态模型各个场景效果。感兴趣的同学请通过此打卡活动报名参加，本次热身打卡活动，要求参与者：

1. 安装PaddleMIX跑通Qwen2.5-VL-3B推理案例，并截图跑通成功后的界面
2. 安装VRAG项目，跑通推理案例，并截图跑通成功后的界面

热身打卡流程

1. 跑通Qwen2.5-VL-3B推理案例

1.1 安装 Paddle 与 PaddleMIX
参考：https://github.com/PaddlePaddle/PaddleMIX/tree/develop/paddlemix/examples/qwen2_5_vl
参考：https://aistudio.baidu.com/modelsdetail/26566

1.2 运行qwen2_5_vl推理脚步并得到结果
CUDA_VISIBLE_DEVICES=0 python paddlemix/examples/qwen2_5_vl/single_image_infer.py

2. 跑通VRAG推理案例

2.1 安装VRAG环境
参考：https://github.com/Alibaba-NLP/VRAG/tree/main

2.2 运行Demo
参考：https://github.com/Alibaba-NLP/VRAG/tree/main?tab=readme-ov-file#run-vrag-demo

3. 发送运行成功邮件
请完成以上要求后，将完成结果以邮件的形式发送到 lvwenyu01@baidu.com，并抄送 ext_paddle_oss@baidu.com，邮件格式要求如下：

邮件格式
标题：【多模态强化学习】热身打卡
内容：
飞桨团队你好，
【GitHub ID】：XXX
【打卡内容】：运行 Qwen2.5-VL & VRAG 案例
【打卡截图】：运行成功的截图.jpg

内容	结果
硬件	显卡信息：NVIDIA A800
PaddlePaddle版本号	命令结果：python -c "import paddle; paddle.version.show()"
Qwen2.5-VL-3B	运行结果截图
VRAG	运行结果截图

例如：