Steerable CNNs の紹介

参考文献

  • [CW16] Taco S Cohen and Max Welling. Group equivariant convolutional networks. In Proceedings of The 33rd International Conference on Machine Learning (ICML), 2016. arXiv
  • [CW17] Taco S Cohen and Max Welling. Steerable CNNs. In International Conference on Learning Representations (ICLR), 2017. arXiv
  • [CGW18] Taco S. Cohen, Mario Geiger, Maurice Weiler. Intertwiners between Induced Representations (with Applications to the Theory of Equivariant Neural Networks). arXiv 2018. arXiv
  • [CGW19] Taco S. Cohen, Mario Geiger, Maurice Weiler. A General Theory of Equivariant CNNs on Homogeneous Spaces. In Advances in Neural Information Processing Systems (NeurIPS), 2019. arXiv
  • [H] 本間 泰史. 有限群の表現,対称群の表現の基礎. 講義ノート. pdf
  • [K07] 桂 利行. 代数学2 環上の加群. 東京大学出版会, 2007.
  • [KO05] 小林俊行, 大島利雄. リー群と表現論. 岩波書店, 2005.
  • [S77] Jean-Pierre Serre. Linear representations of finite groups. Number 42 in Graduate Texts in Mathematics. Springer-Verlag, New York, 1977.
  • [WC19] Maurice Weiler, Gabriele Cesa. General E(2)-Equivariant Steerable CNNs. In Advances in Neural Information Processing Systems (NeurIPS), 2019. arXiv
  • [WGWBC18] Maurice Weiler, Mario Geiger, Max Welling, Wouter Boomsma, and Taco Cohen. 3D steerable cnns: Learning rotationally equivariant features in volumetric data. In Advances in Neural Information Processing Systems, 2018. arXiv

補足

補足1. 同変なフィルタバンクと steerability

記号の書き方は若干異なりますが、ここで行う計算は [CW17] の Appendix A に載っているものです。

G=p4m=\mathbb{Z}^2\rtimes D_4,
H=\{(0,\tilde{h})\;;\; \tilde{h}\in D_4\}\subset \mathbb{Z}^2\rtimes D_4

とします。

\Psi\colon \mathcal{F}(C)\to \mathbb{R}^{C'}H-同変になる時、つまり、

\Psi(\pi(h)f)=\rho'(h)\Psi(f),\ \forall h\in H, f\in \mathcal{F}(C)

\pi'(g)(\Psi \star f)=\Psi\star \pi(g)f,\ \forall g\in G, \forall f \in \mathcal{F}(C)\ (2)

が成立します。

実際、 t, x \in \mathbb{Z}^2, \tilde{h} \in D_4, f \in \mathcal{F}(C), h=(0, \tilde{h})\in H , g=(t,\tilde{h})\in G について
となり、確かに (2) が成立することが分かります。

補足2. 剰余類を用いた置換表現

H とその部分群 K について、 h \in H ごとに定まる集合

hK = \{hk \;;\; k \in K\}

HH/K への作用が \ \cdot\ \colon H \times H/K \to H/Kh_1 \cdot h_2K = (h_1h_2)H によって自然に定まります。

H を有限群とします。このとき元の個数に関して |H/K| = |H|\,/\,|K| が成立します。
関数 f\colon H/K \to \mathbb{R}\mathbb{R}^{|H/K|} 次元ベクトルとみなし、このような f のなす \mathbb{R} 線型空間を Q とします

Q=\{f\colon H/K \to \mathbb{R}\}.

を考えると、 \rhoHQ ( \simeq \mathbb{R}^{|H/K|}) 上の置換表現になります。特に、 K={e} の場合は、 \rho正則表現と呼びます。

Steerable CNNs で使う場合は、部分群を指定して Q ( \simeq \mathbb{R}^{|H/K|}) を特徴量マップのチャネル方向と見ることで表現を定めます。

二面体群 H=D_4 の部分群 K と対応する剰余類から定まる置換表現は以下になります。

古川

最近は主に動画像の分析を行なっています。深層学習に興味があります。大学院時代は位相幾何学をしていました。