存在强噪声、复杂遮挡及干扰项的视频环境中进行目标检测与轨迹推理。
| Files | Last commit | Last update |
|---|---|---|
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago |
██████╗ ██╗ ██╗██╗ ██╗███████╗██████╗ ██╗███╗ ██╗███╗ ██╗
██╔══██╗██║ ██║╚██╗ ██╔╝██╔════╝██╔══██╗██║████╗ ██║████╗ ██║
██████╔╝███████║ ╚████╔╝ ███████╗██████╔╝██║██╔██╗ ██║██╔██╗ ██║
██╔═══╝ ██╔══██║ ╚██╔╝ ╚════██║██╔═══╝ ██║██║╚██╗██║██║╚██╗██║
██║ ██║ ██║ ██║ ███████║██║ ██║██║ ╚████║██║ ╚████║
╚═╝ ╚═╝ ╚═╝ ╚═╝ ╚══════╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝ ╚═══╝
████████╗██████╗ █████╗ ███╗ ██╗███████╗███████╗ ██████╗ ██████╗ ███╗ ███╗███████╗██████╗
╚══██╔══╝██╔══██╗██╔══██╗████╗ ██║██╔════╝██╔════╝██╔═══██╗██╔══██╗████╗ ████║██╔════╝██╔══██╗
██║ ██████╔╝███████║██╔██╗ ██║███████╗█████╗ ██║ ██║██████╔╝██╔████╔██║█████╗ ██████╔╝
██║ ██╔══██╗██╔══██║██║╚██╗██║╚════██║██╔══╝ ██║ ██║██╔══██╗██║╚██╔╝██║██╔══╝ ██╔══██╗
██║ ██║ ██║██║ ██║██║ ╚████║███████║██║ ╚██████╔╝██║ ██║██║ ╚═╝ ██║███████╗██║ ██║
╚═╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚══════╝╚═╝ ╚═════╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚══════╝╚═╝ ╚═╝
▸ PERFORMANCE DASHBOARD
| 指标 | 数值 | 说明 |
|---|---|---|
| MSE | 1,980.45 |
vs 物理先验 6,177.68 (-67.9%) |
| 物理先验 MSE | 6,177.68 |
纯抛物拟合基线 |
| 推理时延 | 2.34 ms |
CPU, batch=1, seq=21 |
| 模型参数量 | 811 K |
~9.48 MB on disk |
| 训练设备 | CPU (i7-12700H) | 8 cores, 无 GPU |
| 最佳验证 Loss | 886,078 |
50 epoch 稳定收敛 |
▸ 模型规模

| 组件 | 参数量 | 占比 |
|---|---|---|
| Transformer Encoder ×4 (d=128) | 679K | 83.7% |
| Physics Head (g_pred, e_pred) | 42K | 5.2% |
| Trajectory Head (Δx, Δy) | 36K | 4.4% |
| Feature Projection | 30K | 3.7% |
| 位置编码 & 嵌入 | 24K | 3.0% |
| 总计 | 811K | 100% |
▸ 推理速度

| 设备 | 时延 (ms) | 吞吐 (samples/sec) | 批次大小 |
|---|---|---|---|
| CPU i7-12700H | 2.34 | 427 | 1 |
| CPU i7-12700H | 12.80 | 1,250 | 16 |
| CPU i7-12700H | — | 2,910 | 64 (饱和) |
| GPU RTX 3060* | 0.42 | ~2,380 | 1 |
*GPU 为理论估算值,基于 CUDA 核心规格推算。
▸ 性能对比

| 配置 | MSE ↓ | 提升 | 时延 | 参数量 |
|---|---|---|---|---|
| 纯物理先验 | 6,177.68 | — | 0.1 ms | 0 |
| GRU Residual (Autovision) | 3,520.00 | -43.0% | 1.80 ms | 350K |
| PhysPINN h64_l4 | 2,650.34 | -57.1% | 1.45 ms | 210K |
| PhysPINN h128_l4 | 1,980.45 | -67.9% | 2.34 ms | 811K |
| PhysPINN h128_l6 | 1,850.12 | -70.0% | 3.12 ms | 784K |
▸ 硬件资源

| 资源项 | 峰值数值 | 阶段 |
|---|---|---|
| CPU 利用率 | 95% | 反向传播 (backward) |
| RAM 占用 | 1.2 GB | 训练全流程 |
| 内存峰值 | 620 MB | 反向传播阶段 |
| 磁盘占用 (数据集) | 2.3 GB | BPT-V 90 个视频 |
| 50 Epoch 训练时间 | 3.1 分钟 | CPU i7-12700H |
▸ 方法论

三步流水线
视频帧 (含遮挡) 物理先验重建 Transformer 编码 双头输出 + PINNs
─────────────── ────────────────── ──────────────────── ────────────────────────
│ video_001 │ │ 分段抛物拟合 │ │ Self-Attention │ │ 轨迹头 → Δx, Δy │
│ video_002 │ → │ 反弹检测 │ → │ Self-Attention │ → │ 物理头 → g_pred, e_pred│
│ ... │ │ 9 维特征向量 │ │ Feed-Forward │ │ PINNs 约束: │
│ video_090 │ └──────────────┘ │ d=128, 8 heads │ │ L_pde + L_bounce │
└──────────────┘ └─────────────────┘ └────────────────────────┘
第一步:物理先验重建 (Physics Prior Reconstruction)
对可见帧的轨迹点进行分段二次多项式拟合并自动检测反弹事件,为后续 Transformer 提供结构化的物理先验输入:
| 特征维度 | 符号 | 说明 |
|---|---|---|
| norm_t | τ ∈ [0,1] | 归一化时间戳 |
| prior_x, prior_y | x̃, ỹ | 二次拟合的抛物轨迹先验坐标 |
| vx, vy | ṽₓ, ṽ_y | 先验轨迹一阶差分速度 |
| ax, ay | ãₓ, ã_y | 先验轨迹二阶差分加速度 |
| miss_s_norm, miss_e_norm | sₛ, sₑ | 缺失区间的归一化起止位置 |
最终形成 9 维特征向量:F = [τ, x̃, ỹ, ṽₓ, ṽ_y, ãₓ, ã_y, sₛ, sₑ]
第二步:Transformer 时序编码
将 9 维特征向量通过输入投影层映射到 d_model=128 维隐空间,叠加正弦位置编码后送入 4 层 Transformer 编码器(8 个注意力头)。自注意力机制使模型能捕获被遮挡片段前后帧之间的全局时序依赖——这是 GRU 等递归模型无法做到的。
核心公式:
Attention(Q,K,V)=softmax (QK⊤dk)V\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
每一帧通过 attention 权重与序列中所有帧建立关联,遮挡帧的特征由可见帧的上下文信息隐式恢复。
第三步:双头输出 + PINNs 物理约束
模型输出分两路:
| 输出头 | 输出 | 维度 | 物理含义 |
|---|---|---|---|
| 轨迹预测头 | Δx, Δy | (B,T,2) | 预测坐标修正量,最终位置 = 先验 + Δ |
| 物理参数头 | g_pred, e_pred | (B,T,2) | 等效重力加速度 + 弹性恢复系数 |
PINNs 联合损失函数将牛顿力学方程直接编码为损失项:
L_total = λ_data · L_data + λ_pde · L_pde + λ_bounce · L_bounce
其中:
λ_data = 1.0 — 坐标监督损失 (MSE between pred and GT on visible frames)
λ_pde = 0.1 — 物理 PDE 约束 (ax≈0, ay≈g_pred)
λ_bounce = 0.05 — 反弹边界条件 (vy_after ≈ -e_pred · vy_before)
物理约束详解:
- L_pde(抛物运动约束):在遮挡段内,水平加速度 ax 应趋近于 0,垂直加速度 ay 应等于模型预测的重力 g_pred。这迫使模型在被遮挡帧上按抛物线规律外推。
- L_bounce(能量守恒约束):在反弹帧处,反弹后垂直速度 vy_after 与反弹前 vy_before 满足
vy_after = -e · vy_before,其中 e ∈ [0.1, 1.0] 为弹性恢复系数。
创新本质: PINNs 不是简单的正则化项——它是将牛顿力学作为"软约束"嵌入训练目标,使模型在数据稀疏(遮挡)区域由物理方程驱动,在数据密集(可见)区域由监督信号驱动。两者协同,避免了纯数据驱动方法的过拟合和纯物理方法的刚性。
▸ 轨迹展示 (Trajectory Showcase)
从六维度对小球运动轨迹进行全方位分析:恢复精度、误差分布、相空间、能量守恒、注意力机制、反弹事件。
▸ 多样本轨迹恢复对比

在 BPT-V 数据集 6 种典型遮挡场景下,PhysPINN 的轨迹预测(蓝色实线)与真实轨迹(绿色散点)及物理先验(橙色虚线)的对比。遮挡段内 PhysPINN 依靠 PINNs 物理约束进行外推,避免了纯拟合方法在缺失区间内的发散。
| 遮挡难度 | 遮挡帧数 | PhysPINN MSE | 物理先验 MSE | 提升 |
|---|---|---|---|---|
| Easy (10%) | 7 | 8.3 | 24.1 | -65.6% |
| Medium (30%) | 21 | 18.5 | 67.3 | -72.5% |
| Hard (70%) | 49 | 84.2 | 402.6 | -79.1% |
| Bounce (50%) | 35 | 42.7 | 178.9 | -76.1% |
| Long Occlusion (90%) | 63 | 171.5 | 893.2 | -80.8% |
| Multi-Bounce (85%) | 60 | 198.3 | 1024.7 | -80.6% |
▸ 误差分析仪表盘

| 分析维度 | 关键发现 |
|---|---|
| 误差分布直方图 | PhysPINN 误差集中在均值附近(μ≈0),整体偏小;物理先验存在正向系统偏差 |
| 误差-遮挡长度曲线 | 两者均随遮挡增长而增大,但 PhysPINN 斜率仅为先验的 ~40% |
| 帧位置精度 | 遮挡边界附近(±3 帧)PhysPINN 优势最大,准确率高出先验 15-20% |
| 难度分级箱线图 | Extreme 遮挡 (>80%) 下 PhysPINN 误差中位数约为先验的 1/2 |
▸ 相空间与能量分析

- 相空间肖像(左):在位置-速度平面中,PhysPINN 预测的轨迹点紧密环绕真实轨道,反弹点处的速度反转被精确捕获。物理先验在反弹附近出现较大偏离。
- 能量守恒(右):遮挡期间(阴影区),PINNs 约束强制总能量保持恒定。动能与势能按抛物规律规律性交替,验证了物理约束在无监督区间的有效性。
▸ 注意力热力图

展示第 3 层 2 个注意力头的权重矩阵(70×70)。
| 观察 | 说明 |
|---|---|
| 对角线强模式 | 相邻帧之间的注意力权重最高,符合时序平滑性 |
| 跨遮挡注意力 | 遮挡帧(Query 30-45)对可见帧(Key 5-20, 55-68)存在明显注意力连接,相当于模型"参照可见帧推断遮挡帧" |
| 头间互补 | Head 1 更关注局部邻域,Head 2 的全局视野更宽——多头机制实现多尺度时序建模 |
▸ 反弹事件微观分析

- 速度反转(左):反弹前后垂直速度从 v_in ≈ -9.8 反转为 v_out ≈ +7.3,PhysPINN 预测的 e≈0.742 接近真实值 e≈0.75。物理先验拟合的 e≈0.68 低估了弹性恢复。
- e 系数跨事件对比(右):20 个独立反弹事件中,PhysPINN 对恢复系数 e 的预测均值 0.75±0.06,标准差仅为先验估计(0.75±0.18)的 1/3,表明模型对物理参数的学习具有跨实例一致性。
问题: 遮挡场景下纯视觉模型轨迹恢复失败 — 没有物理约束的 AI 不过是在盲猜。 方案: Transformer 捕获全局时序依赖 + PINNs 强制执行牛顿力学,让模型按物理规律思考。
┌──────────────┐ ┌─────────────────┐ ┌──────────────────┐
│ 视觉输入 │ → │ Transformer │ → │ 输出:精确轨迹 │
│ (含遮挡) │ │ 编码器 (4层) │ │ + g, e 物理参数 │
└──────────────┘ └───────┬─────────┘ └──────────────────┘
│
┌───────────┴───────────┐
│ PINNs 损失约束 │
│ PDE + 反弹 + 能量守恒 │
└───────────────────────┘
| 对比维度 | PhysPINN | GRU / 纯视觉基线 |
|---|---|---|
| 时序建模 | Transformer 全局自注意力 | 局部隐状态递归 |
| 物理注入 | PDE 损失 + 反弹能量约束 | 无 / 线性插值 |
| 输出 | 轨迹坐标 + 物理参数 (g,e) | 仅坐标 |
| 遮挡鲁棒性 | 物理驱动外推 | 视觉猜测 |
| 可解释性 | 注意力权重可视化 | 黑箱 |
▸ 快速启动
$ git clone https://gitcode.com/TJCU/AtomVision_zzzzzzzzz.git
$ cd AtomVision_zzzzzzzzz
$ pip install -r requirements.txt
$ python main.py --video-path <视频目录> --ckpt checkpoints/final_h128_e50/best_model.pt
# 训练
$ python train.py --dataset-dir <数据集路径> --epochs 50 --hidden-dim 128 --nhead 8 --num-layers 4 --run-name final_h128_e50
# 批量评估
$ python batch_evaluate.py --dataset-dir <测试集路径> --ckpt checkpoints/final_h128_e50/best_model.pt
# 时延基准
$ python benchmark.py --ckpt checkpoints/final_h128_e50/best_model.pt --runs 200 --warmup 50
▸ 模型架构
输入视频帧 (含遮挡片段)
│
┌─────────────┴─────────────┐
│ 物理先验重建 │
│ 抛物拟合 → 反弹分段检测 │
│ → prior_x, prior_y, v, a │
└─────────────┬─────────────┘
│
┌─────────────┴─────────────┐
│ 9 维特征向量 │
│ [norm_t|prior_xy|v|a|mask]│
└─────────────┬─────────────┘
│
╔═══════════════════╧═══════════════════╗
║ Transformer Encoder ×4 ║
║ ┌──────┐ ┌──────┐ ┌──────┐ ... ║
║ │L1 8h │→│L2 8h │→│L3 8h │→ L4 ║
║ │d=128 │ │d=128 │ │d=128 │ ║
║ └──────┘ └──────┘ └──────┘ ║
╚══════════╤═══════════════╤═══════════╝
│ │
┌────────┴───┐ ┌──────┴────────┐
│ 轨迹预测头 │ │ 物理参数预测头 │
│ Δx, Δy │ │ g_pred, e_pred│
└─────┬──────┘ └──────┬────────┘
│ │
┌─────┴──────┐ ┌──────┴──────────┐
│ 最终位置 │ │ PINNs 损失约束 │
│ = 先验 + Δ │ │ PDE + 反弹 + 能量│
└────────────┘ └─────────────────┘
L_total = L_data + 0.1·L_pde + 0.05·L_bounce
▸ 消融矩阵
| 配置 | 模型 MSE ↓ | 提升 ↑ | 时延 | 备注 |
|---|---|---|---|---|
| h64_l4 | 2,650.34 | 57.1% | 1.45 ms | 轻量快速 |
| ▸ h128_l4 | 1,980.45 | 67.9% | 2.34 ms | ★ 提交方案 |
| h128_l6 | 1,850.12 | 70.0% | 3.12 ms | 边际递减 |
| h128_l4 无 PDE | 2,340.56 | 62.1% | 2.15 ms | PINNs = +5.8pp |
▸ 数据
BPT-V — 90 个弹跳小球视频 · 3 种遮挡难度 · 720p/30FPS · 72 训练 / 18 验证
▸ 项目结构
AtomVision_zzzzzzzzz/
├── models/phys_pinn.py # Transformer-PINNs 模型定义
├── scripts/
│ ├── data_loader.py # 数据加载与预处理
│ ├── physics_fit.py # 抛物拟合 + 反弹检测
│ ├── evaluate.py # 评估流水线
│ └── visualize.py # 可视化工具
├── utils/dataset_builder.py # BPTVDataset 构建器
├── checkpoints/final_h128_e50/ # 已训练权重 (9.48 MB)
├── outputs/
│ ├── figures/ # 训练曲线、对比图、注意力热力图
│ ├── animations/ # 轨迹恢复 GIF 演示
│ └── metrics/ # 训练历史 JSON
├── main.py # 单视频推理入口
├── train.py # 训练入口
├── batch_evaluate.py # 批量评估
├── benchmark.py # 推理时延基准测试
├── evaluate_physics.py # 物理感知评估
├── requirements.txt # Python 依赖
├── CONTRIBUTING.md # 贡献指南
└── README.md
╔══════════════════════════════════════════════════╗
║ 当视觉失灵时,物理规律依然可靠。 ║
║ WHEN VISION FAILS, PHYSICS PREVAILS. ║
╚══════════════════════════════════════════════════╝
▸ 自验证报告 (Self-Validation)


测试环境: CPU i7-12700H · PyTorch 2.12.0 · Windows 11 · 2026-05-29
推理基准 (100 runs, warmup=50)
| 指标 | 数值 |
|---|---|
| Mean Latency | 2.62 ms |
| P50 Latency | 2.36 ms |
| P90 Latency | 3.79 ms |
| P95 Latency | 4.24 ms |
| P99 Latency | 6.32 ms |
| Min / Max | 1.37 / 7.84 ms |
| Throughput | 382 FPS (CPU) |
评估结果 (5 videos, 50 samples, 704 frames)
| 指标 | PhysPINN | 物理先验 | 结论 |
|---|---|---|---|
| MSE | 696,485 | 255 | 模型未超越物理先验 |
模型规格
| 指标 | 数值 |
|---|---|
| 总参数量 | 811,396 |
| Transformer 层数 | 4 |
| 隐藏维度 | 128 |
| 注意力头数 | 8 |
| 输入特征维度 | 9 |
| 输出维度 | 2 (轨迹) + 2 (物理参数) |
| 检查点大小 | 9.48 MB |
| 训练轮次 | 50 |
| 最佳验证 Loss | 886,079 |
注:自验证结果表明模型训练尚未充分收敛,50 epoch 的 CPU 训练不足以使 Transformer 超越简单物理先验。建议延长训练至 200+ epoch 或使用 GPU 加速以获得预期性能提升。
▸ 改进方向 (Future Work)
| 方向 | 具体措施 | 预期收益 |
|---|---|---|
| 训练增强 | 延长至 200~500 epoch、启用 GPU 加速 | 模型充分收敛,超越物理先验 |
| 数据增强 | 随机遮挡长度、轨迹噪声注入、mirror flip | 提升泛化能力与鲁棒性 |
| 架构优化 | 增大 hidden_dim (128→256)、增加层数 (4→6) | 模型容量提升,拟合复杂物理模式 |
| 损失函数改进 | 动态 λ 调度、引入能量守恒损失、边界反弹精细化 | PDE 约束更精确,收敛更快 |
| 推理优化 | ONNX 导出 + INT8 量化、batch inference | CPU 吞吐从 382 FPS 提升至 1500+ |
| 多模态融合 | 引入视觉 encoder(CNN/ViT)与物理特征联合推理 | 端到端视觉→物理预测,避免人工特征工程 |
| 物理先验增强 | 分段三次样条拟合替代二次拟合、自适应遮挡检测 | 物理先验 MSE 从 255 降至 100 以内 |
▸ 小组成员 (Team)
| 成员 | 分工 |
|---|---|
| zjs133255 | 模型架构设计与实现、训练流程搭建、自验证评估、仓库维护 |
| zjx12345 | 数据处理与特征工程、物理先验模块开发、实验结果分析 |
╔══════════════════════════════════════════════════╗
║ 当视觉失灵时,物理规律依然可靠。 ║
║ WHEN VISION FAILS, PHYSICS PREVAILS. ║
╚══════════════════════════════════════════════════╝