OrthCaps-An-Orthogonal-CapsNet-with-Sparse-Attenti:胶囊网络（CapsNet）中存在冗余是一个持续的挑战，导致高计算成本和参数数量。尽管先前的工作在初始的胶囊层之后引入了剪枝，但动态路由的完全连接特性和非正交权重矩阵重新引入了深层的冗余。此外，动态路由需要迭代收敛，进一步增加了计算需求。在本文中，我们提出了一种正交胶囊网络（OrthCaps）来减少冗余，提高路由性能和减少参数数量。首先，引入了一个高效的剪枝胶囊层来丢弃冗余的胶囊。其次，将动态路由替换为正交稀疏注意力路由，消除了迭代和全连接结构的需求。最后，对路由过程中的权重矩阵进行正交化以维持低胶囊相似度，这是我们所知道的首个在CapsNet中引入正交性的方法。我们在基准数据集上的实验验证了OrthCaps在分类任务中的效率和鲁棒性，其中消融研究验证了每个组件的重要性。值得注意的是，OrthCaps-Shallow在四个数据集上的表现优于其他胶囊网络基准，仅利用了110k个参数，仅为标准胶囊网络总参数的1.25％。据我们所知，它是现有胶囊网络中参数数量最少的。类似地，OrthCaps-Deep在四个数据集上展现了竞争性能，仅利用了其对应模型所需参数的1.2％。 arXiv:https://arxiv.org/abs/2403.13351 github:https://github.com/ornamentt/OrthCap

胶囊网络（CapsNet）中存在冗余是一个持续的挑战，导致高计算成本和参数数量。尽管先前的工作在初始的胶囊层之后引入了剪枝，但动态路由的完全连接特性和非正交权重矩阵重新引入了深层的冗余。此外，动态路由需要迭代收敛，进一步增加了计算需求。在本文中，我们提出了一种正交胶囊网络（OrthCaps）来减少冗余，提高路由性能和减少参数数量。首先，引入了一个高效的剪枝胶囊层来丢弃冗余的胶囊。其次，将动态路由替换为正交稀疏注意力路由，消除了迭代和全连接结构的需求。最后，对路由过程中的权重矩阵进行正交化以维持低胶囊相似度，这是我们所知道的首个在CapsNet中引入正交性的方法。我们在基准数据集上的实验验证了OrthCaps在分类任务中的效率和鲁棒性，其中消融研究验证了每个组件的重要性。值得注意的是，OrthCaps-Shallow在四个数据集上的表现优于其他胶囊网络基准，仅利用了110k个参数，仅为标准胶囊网络总参数的1.25％。据我们所知，它是现有胶囊网络中参数数量最少的。类似地，OrthCaps-Deep在四个数据集上展现了竞争性能，仅利用了其对应模型所需参数的1.2％。 arXiv:https://arxiv.org/abs/2403.13351 github:https://github.com/ornamentt/OrthCap