82 lines
3.6 KiB
Markdown
82 lines
3.6 KiB
Markdown
# Phase-2 Full-AttnRes Vision Design
|
||
|
||
## Goal
|
||
在当前 roboimi IMF policy 中，把视觉 backbone 里原先由 ResNet BasicBlock/Bottleneck 提供的残差单元全部替换为 AttnRes 风格单元，同时尽量保持现有 agent / cond / rollout / 训练脚本接口不变。
|
||
|
||
## User requirement interpretation
|
||
这里按最严格解释执行：
|
||
- 不是“在 ResNet 后面再加一个 AttnRes 模块”
|
||
- 也不是“只在某几个 stage 加 AttnRes 混合”
|
||
- 而是：视觉主干网络中原本依赖 ResNet residual block 的地方，统一改成 AttnRes residual operator 驱动的 block
|
||
- 最终仍然输出与现有 `ResNetDiffusionBackbone` 相同的每相机特征接口，以便复用 `SpatialSoftmax -> Linear -> ReLU`、多相机拼接、state concat、IMF head 条件输入
|
||
|
||
## Recommended design
|
||
### Option A (recommended)
|
||
保留 ResNet 的宏观 stage/stem 结构与通道/步幅规划，但把每个 stage 内的 BasicBlock/Bottleneck 替换为新的 `AttnResImageBlock2D`：
|
||
- 输入仍是 `(B, C, H, W)` feature map
|
||
- block 内先把空间维 flatten 成 token 序列 `(B, H*W, C)`
|
||
- 用二维位置编码 / 可学习位置偏置 + AttnRes self-attention + AttnRes FFN 完成 block 变换
|
||
- 再 reshape 回 `(B, C, H, W)`
|
||
- stage 间下采样仍由显式 stride/downsample path 完成
|
||
|
||
优点：
|
||
- 最接近“ResNet 中所有残差都由 AttnRes 代替”的要求
|
||
- 保留现有视觉输出接口和 cond_dim，不用改 agent/head/data pipeline
|
||
- 仍可沿用现有多相机编码器框架
|
||
|
||
缺点：
|
||
- 需要新写 2D 版 AttnRes image block，而不是直接复用 1D IMF head block
|
||
|
||
### Option B
|
||
完全移除 ResNet stage，换成 patchify + ViT/AttnRes 图像 transformer，再接 SpatialSoftmax/MLP。
|
||
|
||
优点：实现概念更统一。
|
||
缺点：已经不算“把 ResNet 中残差替换掉”，而是直接换 backbone，和用户要求不完全一致。
|
||
|
||
### Option C
|
||
保留现有 ResNet block，只在 block 外层加 AttnRes mixing。
|
||
|
||
不推荐，因为不满足“所有残差均由 AttnRes 替代”。
|
||
|
||
## Concrete architecture choice
|
||
采用 Option A：
|
||
1. 保留 stem（conv/bn-or-gn/relu/maxpool）与 stage 边界
|
||
2. 新增 `AttnResImageBlock2D`
|
||
3. 新增 `AttnResResNetLikeBackbone2D`，负责堆叠 stage/block
|
||
4. 在 `ResNetDiffusionBackbone` 中增加可选 backbone mode，例如：
|
||
- `vision_backbone_mode: resnet`
|
||
- `vision_backbone_mode: attnres_resnet`
|
||
5. `resnet_imf_attnres` agent 配置新增一个 Phase-2 变体，默认打开 `attnres_resnet`
|
||
6. 仍保持：
|
||
- 每相机输出 `64`
|
||
- 多相机总视觉输出 `3 * 64`
|
||
- 与 state 拼接后 `cond_dim = 208`
|
||
|
||
## Files likely to change
|
||
- `roboimi/vla/models/backbones/resnet_diffusion.py`
|
||
- `roboimi/vla/conf/backbone/resnet_diffusion.yaml`
|
||
- `roboimi/vla/conf/agent/resnet_imf_attnres.yaml`
|
||
- new: `roboimi/vla/models/backbones/attnres_resnet2d.py`
|
||
- tests:
|
||
- new: `tests/test_attnres_resnet2d_backbone.py`
|
||
- update/add wiring test for agent cond dims
|
||
|
||
## Test plan
|
||
1. New backbone instantiates and forwards `(B,T,C,H,W)` multi-camera input
|
||
2. Output shape unchanged vs current backbone
|
||
3. `output_dim == 64`
|
||
4. 3-camera cond path still yields `208`
|
||
5. Phase-2 config instantiates full IMF agent successfully
|
||
6. One short CPU smoke forward for `compute_loss`
|
||
|
||
## Phase-2 experiment plan
|
||
固定使用 Phase-1 最优组合：
|
||
- `pred_horizon=16`
|
||
- `num_action_steps=8`
|
||
|
||
比较：
|
||
1. baseline: current IMF head-only AttnRes + original ResNet vision backbone
|
||
2. phase2: IMF head AttnRes + full AttnRes-replaced vision backbone
|
||
|
||
训练超参保持与 Phase-1 最优设置一致，先跑一组 50k step 对比。
|