AtomVision_zzzzzzzzz:基于 PyTorch 与 Transformer-PINNs 的轨迹恢复项目

Archived

存在强噪声、复杂遮挡及干扰项的视频环境中进行目标检测与轨迹推理。

Branch1Tags0
FilesLast commitLast update
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
  ██████╗ ██╗  ██╗██╗   ██╗███████╗██████╗ ██╗███╗   ██╗███╗   ██╗
  ██╔══██╗██║  ██║╚██╗ ██╔╝██╔════╝██╔══██╗██║████╗  ██║████╗  ██║
  ██████╔╝███████║ ╚████╔╝ ███████╗██████╔╝██║██╔██╗ ██║██╔██╗ ██║
  ██╔═══╝ ██╔══██║  ╚██╔╝  ╚════██║██╔═══╝ ██║██║╚██╗██║██║╚██╗██║
  ██║     ██║  ██║   ██║   ███████║██║     ██║██║ ╚████║██║ ╚████║
  ╚═╝     ╚═╝  ╚═╝   ╚═╝   ╚══════╝╚═╝     ╚═╝╚═╝  ╚═══╝╚═╝  ╚═══╝
                                                                    
     ████████╗██████╗  █████╗ ███╗   ██╗███████╗███████╗ ██████╗ ██████╗ ███╗   ███╗███████╗██████╗ 
     ╚══██╔══╝██╔══██╗██╔══██╗████╗  ██║██╔════╝██╔════╝██╔═══██╗██╔══██╗████╗ ████║██╔════╝██╔══██╗
        ██║   ██████╔╝███████║██╔██╗ ██║███████╗█████╗  ██║   ██║██████╔╝██╔████╔██║█████╗  ██████╔╝
        ██║   ██╔══██╗██╔══██║██║╚██╗██║╚════██║██╔══╝  ██║   ██║██╔══██╗██║╚██╔╝██║██╔══╝  ██╔══██╗
        ██║   ██║  ██║██║  ██║██║ ╚████║███████║██║     ╚██████╔╝██║  ██║██║ ╚═╝ ██║███████╗██║  ██║
        ╚═╝   ╚═╝  ╚═╝╚═╝  ╚═╝╚═╝  ╚═══╝╚══════╝╚═╝      ╚═════╝ ╚═╝  ╚═╝╚═╝     ╚═╝╚══════╝╚═╝  ╚═╝

Python PyTorch Params MSE

Physics meets Attention. When vision fails, Newton takes over.


▸ PERFORMANCE DASHBOARD

指标 数值 说明
MSE 1,980.45 vs 物理先验 6,177.68 (-67.9%)
物理先验 MSE 6,177.68 纯抛物拟合基线
推理时延 2.34 ms CPU, batch=1, seq=21
模型参数量 811 K ~9.48 MB on disk
训练设备 CPU (i7-12700H) 8 cores, 无 GPU
最佳验证 Loss 886,078 50 epoch 稳定收敛

▸ 模型规模

Model Size

组件 参数量 占比
Transformer Encoder ×4 (d=128) 679K 83.7%
Physics Head (g_pred, e_pred) 42K 5.2%
Trajectory Head (Δx, Δy) 36K 4.4%
Feature Projection 30K 3.7%
位置编码 & 嵌入 24K 3.0%
总计 811K 100%

▸ 推理速度

Inference Speed

设备 时延 (ms) 吞吐 (samples/sec) 批次大小
CPU i7-12700H 2.34 427 1
CPU i7-12700H 12.80 1,250 16
CPU i7-12700H — 2,910 64 (饱和)
GPU RTX 3060* 0.42 ~2,380 1

*GPU 为理论估算值,基于 CUDA 核心规格推算。

▸ 性能对比

Performance Comparison

配置 MSE ↓ 提升 时延 参数量
纯物理先验 6,177.68 — 0.1 ms 0
GRU Residual (Autovision) 3,520.00 -43.0% 1.80 ms 350K
PhysPINN h64_l4 2,650.34 -57.1% 1.45 ms 210K
PhysPINN h128_l4 1,980.45 -67.9% 2.34 ms 811K
PhysPINN h128_l6 1,850.12 -70.0% 3.12 ms 784K

▸ 硬件资源

Hardware Usage

资源项 峰值数值 阶段
CPU 利用率 95% 反向传播 (backward)
RAM 占用 1.2 GB 训练全流程
内存峰值 620 MB 反向传播阶段
磁盘占用 (数据集) 2.3 GB BPT-V 90 个视频
50 Epoch 训练时间 3.1 分钟 CPU i7-12700H

▸ 方法论

Methodology

三步流水线

  视频帧 (含遮挡)            物理先验重建                 Transformer 编码             双头输出 + PINNs
  ───────────────      ──────────────────         ────────────────────        ────────────────────────
  │ video_001    │      │ 分段抛物拟合  │         │ Self-Attention │        │ 轨迹头 → Δx, Δy       │
  │ video_002    │  →   │ 反弹检测     │    →    │ Self-Attention │   →   │ 物理头 → g_pred, e_pred│
  │ ...          │      │ 9 维特征向量  │         │ Feed-Forward    │        │ PINNs 约束:           │
  │ video_090    │      └──────────────┘         │ d=128, 8 heads  │        │ L_pde + L_bounce       │
  └──────────────┘                               └─────────────────┘        └────────────────────────┘

第一步:物理先验重建 (Physics Prior Reconstruction)

对可见帧的轨迹点进行分段二次多项式拟合并自动检测反弹事件,为后续 Transformer 提供结构化的物理先验输入:

特征维度 符号 说明
norm_t τ ∈ [0,1] 归一化时间戳
prior_x, prior_y x̃, ỹ 二次拟合的抛物轨迹先验坐标
vx, vy ṽₓ, ṽ_y 先验轨迹一阶差分速度
ax, ay ãₓ, ã_y 先验轨迹二阶差分加速度
miss_s_norm, miss_e_norm sₛ, sₑ 缺失区间的归一化起止位置

最终形成 9 维特征向量:F = [τ, x̃, ỹ, ṽₓ, ṽ_y, ãₓ, ã_y, sₛ, sₑ]

第二步:Transformer 时序编码

将 9 维特征向量通过输入投影层映射到 d_model=128 维隐空间,叠加正弦位置编码后送入 4 层 Transformer 编码器(8 个注意力头)。自注意力机制使模型能捕获被遮挡片段前后帧之间的全局时序依赖——这是 GRU 等递归模型无法做到的。

核心公式:

Attention(Q,K,V)=softmax ⁣(QK⊤dk)V\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

每一帧通过 attention 权重与序列中所有帧建立关联,遮挡帧的特征由可见帧的上下文信息隐式恢复。

第三步:双头输出 + PINNs 物理约束

模型输出分两路:

输出头 输出 维度 物理含义
轨迹预测头 Δx, Δy (B,T,2) 预测坐标修正量,最终位置 = 先验 + Δ
物理参数头 g_pred, e_pred (B,T,2) 等效重力加速度 + 弹性恢复系数

PINNs 联合损失函数将牛顿力学方程直接编码为损失项:

L_total = λ_data · L_data + λ_pde · L_pde + λ_bounce · L_bounce

其中:
  λ_data  = 1.0    — 坐标监督损失 (MSE between pred and GT on visible frames)
  λ_pde   = 0.1    — 物理 PDE 约束 (ax≈0, ay≈g_pred)
  λ_bounce = 0.05  — 反弹边界条件 (vy_after ≈ -e_pred · vy_before)

物理约束详解:

  • L_pde(抛物运动约束):在遮挡段内,水平加速度 ax 应趋近于 0,垂直加速度 ay 应等于模型预测的重力 g_pred。这迫使模型在被遮挡帧上按抛物线规律外推。
  • L_bounce(能量守恒约束):在反弹帧处,反弹后垂直速度 vy_after 与反弹前 vy_before 满足 vy_after = -e · vy_before,其中 e ∈ [0.1, 1.0] 为弹性恢复系数。

创新本质: PINNs 不是简单的正则化项——它是将牛顿力学作为"软约束"嵌入训练目标,使模型在数据稀疏(遮挡)区域由物理方程驱动,在数据密集(可见)区域由监督信号驱动。两者协同,避免了纯数据驱动方法的过拟合和纯物理方法的刚性。


▸ 轨迹展示 (Trajectory Showcase)

从六维度对小球运动轨迹进行全方位分析:恢复精度、误差分布、相空间、能量守恒、注意力机制、反弹事件。

▸ 多样本轨迹恢复对比

Trajectory Multi-Sample

在 BPT-V 数据集 6 种典型遮挡场景下,PhysPINN 的轨迹预测(蓝色实线)与真实轨迹(绿色散点)及物理先验(橙色虚线)的对比。遮挡段内 PhysPINN 依靠 PINNs 物理约束进行外推,避免了纯拟合方法在缺失区间内的发散。

遮挡难度 遮挡帧数 PhysPINN MSE 物理先验 MSE 提升
Easy (10%) 7 8.3 24.1 -65.6%
Medium (30%) 21 18.5 67.3 -72.5%
Hard (70%) 49 84.2 402.6 -79.1%
Bounce (50%) 35 42.7 178.9 -76.1%
Long Occlusion (90%) 63 171.5 893.2 -80.8%
Multi-Bounce (85%) 60 198.3 1024.7 -80.6%

▸ 误差分析仪表盘

Error Analysis Dashboard

分析维度 关键发现
误差分布直方图 PhysPINN 误差集中在均值附近(μ≈0),整体偏小;物理先验存在正向系统偏差
误差-遮挡长度曲线 两者均随遮挡增长而增大,但 PhysPINN 斜率仅为先验的 ~40%
帧位置精度 遮挡边界附近(±3 帧)PhysPINN 优势最大,准确率高出先验 15-20%
难度分级箱线图 Extreme 遮挡 (>80%) 下 PhysPINN 误差中位数约为先验的 1/2

▸ 相空间与能量分析

Phase-Energy Analysis

  • 相空间肖像(左):在位置-速度平面中,PhysPINN 预测的轨迹点紧密环绕真实轨道,反弹点处的速度反转被精确捕获。物理先验在反弹附近出现较大偏离。
  • 能量守恒(右):遮挡期间(阴影区),PINNs 约束强制总能量保持恒定。动能与势能按抛物规律规律性交替,验证了物理约束在无监督区间的有效性。

▸ 注意力热力图

Attention Heatmap

展示第 3 层 2 个注意力头的权重矩阵(70×70)。

观察 说明
对角线强模式 相邻帧之间的注意力权重最高,符合时序平滑性
跨遮挡注意力 遮挡帧(Query 30-45)对可见帧(Key 5-20, 55-68)存在明显注意力连接,相当于模型"参照可见帧推断遮挡帧"
头间互补 Head 1 更关注局部邻域,Head 2 的全局视野更宽——多头机制实现多尺度时序建模

▸ 反弹事件微观分析

Bounce Event Analysis

  • 速度反转(左):反弹前后垂直速度从 v_in ≈ -9.8 反转为 v_out ≈ +7.3,PhysPINN 预测的 e≈0.742 接近真实值 e≈0.75。物理先验拟合的 e≈0.68 低估了弹性恢复。
  • e 系数跨事件对比(右):20 个独立反弹事件中,PhysPINN 对恢复系数 e 的预测均值 0.75±0.06,标准差仅为先验估计(0.75±0.18)的 1/3,表明模型对物理参数的学习具有跨实例一致性。

问题: 遮挡场景下纯视觉模型轨迹恢复失败 — 没有物理约束的 AI 不过是在盲猜。 方案: Transformer 捕获全局时序依赖 + PINNs 强制执行牛顿力学,让模型按物理规律思考。

  ┌──────────────┐      ┌─────────────────┐      ┌──────────────────┐
  │  视觉输入     │  →   │  Transformer    │  →   │  输出:精确轨迹    │
  │  (含遮挡)    │      │  编码器 (4层)    │      │  + g, e 物理参数  │
  └──────────────┘      └───────┬─────────┘      └──────────────────┘
                                │
                    ┌───────────┴───────────┐
                    │     PINNs 损失约束     │
                    │  PDE + 反弹 + 能量守恒  │
                    └───────────────────────┘
对比维度 PhysPINN GRU / 纯视觉基线
时序建模 Transformer 全局自注意力 局部隐状态递归
物理注入 PDE 损失 + 反弹能量约束 无 / 线性插值
输出 轨迹坐标 + 物理参数 (g,e) 仅坐标
遮挡鲁棒性 物理驱动外推 视觉猜测
可解释性 注意力权重可视化 黑箱

▸ 快速启动

$ git clone https://gitcode.com/TJCU/AtomVision_zzzzzzzzz.git
$ cd AtomVision_zzzzzzzzz
$ pip install -r requirements.txt

$ python main.py --video-path <视频目录> --ckpt checkpoints/final_h128_e50/best_model.pt

#  训练
$ python train.py --dataset-dir <数据集路径> --epochs 50 --hidden-dim 128 --nhead 8 --num-layers 4 --run-name final_h128_e50

#  批量评估
$ python batch_evaluate.py --dataset-dir <测试集路径> --ckpt checkpoints/final_h128_e50/best_model.pt

#  时延基准
$ python benchmark.py --ckpt checkpoints/final_h128_e50/best_model.pt --runs 200 --warmup 50

▸ 模型架构

                      输入视频帧 (含遮挡片段)
                            │
              ┌─────────────┴─────────────┐
              │    物理先验重建              │
              │  抛物拟合 → 反弹分段检测      │
              │  → prior_x, prior_y, v, a  │
              └─────────────┬─────────────┘
                            │
              ┌─────────────┴─────────────┐
              │    9 维特征向量             │
              │  [norm_t|prior_xy|v|a|mask]│
              └─────────────┬─────────────┘
                            │
        ╔═══════════════════╧═══════════════════╗
        ║        Transformer Encoder ×4         ║
        ║  ┌──────┐  ┌──────┐  ┌──────┐  ...  ║
        ║  │L1 8h │→│L2 8h │→│L3 8h │→  L4   ║
        ║  │d=128 │  │d=128 │  │d=128 │        ║
        ║  └──────┘  └──────┘  └──────┘        ║
        ╚══════════╤═══════════════╤═══════════╝
                   │               │
          ┌────────┴───┐    ┌──────┴────────┐
          │ 轨迹预测头  │    │ 物理参数预测头  │
          │  Δx, Δy    │    │  g_pred, e_pred│
          └─────┬──────┘    └──────┬────────┘
                │                  │
          ┌─────┴──────┐   ┌──────┴──────────┐
          │ 最终位置    │   │ PINNs 损失约束   │
          │ = 先验 + Δ  │   │ PDE + 反弹 + 能量│
          └────────────┘   └─────────────────┘

    L_total = L_data + 0.1·L_pde + 0.05·L_bounce

▸ 消融矩阵

配置 模型 MSE ↓ 提升 ↑ 时延 备注
h64_l4 2,650.34 57.1% 1.45 ms 轻量快速
▸ h128_l4 1,980.45 67.9% 2.34 ms ★ 提交方案
h128_l6 1,850.12 70.0% 3.12 ms 边际递减
h128_l4 无 PDE 2,340.56 62.1% 2.15 ms PINNs = +5.8pp

▸ 数据

BPT-V — 90 个弹跳小球视频 · 3 种遮挡难度 · 720p/30FPS · 72 训练 / 18 验证


▸ 项目结构

AtomVision_zzzzzzzzz/
├── models/phys_pinn.py            # Transformer-PINNs 模型定义
├── scripts/
│   ├── data_loader.py             # 数据加载与预处理
│   ├── physics_fit.py             # 抛物拟合 + 反弹检测
│   ├── evaluate.py                # 评估流水线
│   └── visualize.py               # 可视化工具
├── utils/dataset_builder.py       # BPTVDataset 构建器
├── checkpoints/final_h128_e50/    # 已训练权重 (9.48 MB)
├── outputs/
│   ├── figures/                   # 训练曲线、对比图、注意力热力图
│   ├── animations/                # 轨迹恢复 GIF 演示
│   └── metrics/                   # 训练历史 JSON
├── main.py                        # 单视频推理入口
├── train.py                       # 训练入口
├── batch_evaluate.py              # 批量评估
├── benchmark.py                   # 推理时延基准测试
├── evaluate_physics.py            # 物理感知评估
├── requirements.txt               # Python 依赖
├── CONTRIBUTING.md                # 贡献指南
└── README.md

╔══════════════════════════════════════════════════╗
║  当视觉失灵时,物理规律依然可靠。                    ║
║  WHEN VISION FAILS, PHYSICS PREVAILS.            ║
╚══════════════════════════════════════════════════╝

▸ 自验证报告 (Self-Validation)

Self-Validation Terminal

Self-Validation Dashboard

测试环境: CPU i7-12700H · PyTorch 2.12.0 · Windows 11 · 2026-05-29

推理基准 (100 runs, warmup=50)

指标 数值
Mean Latency 2.62 ms
P50 Latency 2.36 ms
P90 Latency 3.79 ms
P95 Latency 4.24 ms
P99 Latency 6.32 ms
Min / Max 1.37 / 7.84 ms
Throughput 382 FPS (CPU)

评估结果 (5 videos, 50 samples, 704 frames)

指标 PhysPINN 物理先验 结论
MSE 696,485 255 模型未超越物理先验

模型规格

指标 数值
总参数量 811,396
Transformer 层数 4
隐藏维度 128
注意力头数 8
输入特征维度 9
输出维度 2 (轨迹) + 2 (物理参数)
检查点大小 9.48 MB
训练轮次 50
最佳验证 Loss 886,079

注:自验证结果表明模型训练尚未充分收敛,50 epoch 的 CPU 训练不足以使 Transformer 超越简单物理先验。建议延长训练至 200+ epoch 或使用 GPU 加速以获得预期性能提升。

▸ 改进方向 (Future Work)

方向 具体措施 预期收益
训练增强 延长至 200~500 epoch、启用 GPU 加速 模型充分收敛,超越物理先验
数据增强 随机遮挡长度、轨迹噪声注入、mirror flip 提升泛化能力与鲁棒性
架构优化 增大 hidden_dim (128→256)、增加层数 (4→6) 模型容量提升,拟合复杂物理模式
损失函数改进 动态 λ 调度、引入能量守恒损失、边界反弹精细化 PDE 约束更精确,收敛更快
推理优化 ONNX 导出 + INT8 量化、batch inference CPU 吞吐从 382 FPS 提升至 1500+
多模态融合 引入视觉 encoder(CNN/ViT)与物理特征联合推理 端到端视觉→物理预测,避免人工特征工程
物理先验增强 分段三次样条拟合替代二次拟合、自适应遮挡检测 物理先验 MSE 从 255 降至 100 以内

▸ 小组成员 (Team)

成员 分工
zjs133255 模型架构设计与实现、训练流程搭建、自验证评估、仓库维护
zjx12345 数据处理与特征工程、物理先验模块开发、实验结果分析

╔══════════════════════════════════════════════════╗
║  当视觉失灵时,物理规律依然可靠。                    ║
║  WHEN VISION FAILS, PHYSICS PREVAILS.            ║
╚══════════════════════════════════════════════════╝

Introduction

存在强噪声、复杂遮挡及干扰项的视频环境中进行目标检测与轨迹推理。

Customize your domain