<p>LeapMindの<a href="https://tkng.org/">徳永</a>です。</p>
<p>ResNet、使ってますか？</p>
<p>ResNetからSkip Connectionを取り除きたくなること、長い人生で、たまにはありますよね。今日はそんな話をしたいと思います。</p>
<h2 id="はじめに">はじめに</h2>
<p>Residual Networkは、画像処理においてよく用いられる、代表的なネットワークの一つです。</p>
<p>2015年に提案されたこのネットワークは、学習のしやすさにおいて、それまでのものとは一線を画していました。</p>
<p>さて、そんなResidual NetworkはSkip Connection、<a href="https://arxiv.org/abs/1502.03167">Batch Normalization</a>、<a href="https://arxiv.org/abs/1502.01852">Kaiming Initialization</a>の3つの組み合わせでできた手法です。これらのどれかが欠けてしまうと、学習が遅くなったり、そもそも性能が出なくなったりしてしまいます。例えば、Skip Connectionがないと、層数が増えた場合に精度が向上しないどころか、逆に低下してしまいます。</p>
<p>このSkip Connectionですが、実用上は以下のような課題があります。</p>
<ul>
<li>推論時のメモリ消費量が増える</li>
<li>推論時に計算量の割に実際の計算が重たくなりがち（特にDNN専用アクセラレーターにおいてその傾向がありがち）</li>
</ul>
<p>このため「Skip Connectionなしで精度を出したい」という研究がいくつも試されてきました。今回は、それらの研究の中から、「Residual NetworkからSkip Connectionを取り除く」ことを主眼とした研究を中心に紹介します。DenseNetのように大きくネットワークの形が変わるものについては、今回は触れません。</p>
<h2 id="diracnets">DiracNets</h2>
<ul>
<li><a href="https://arxiv.org/abs/1706.00388">[1706.00388] DiracNets: Training Very Deep Neural Networks Without Skip-Connections</a></li>
</ul>
<p>Zagoruykoらは、Skip Connectionを使う代わりに、似たような挙動をする畳み込みパラメーターをデザインしました。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi mathvariant="bold-italic">y</mi><mo>=</mo><mi mathvariant="bold-italic">x</mi><mo>+</mo><mi>σ</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">W</mi><mo>⊙</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
  \boldsymbol{y} = \boldsymbol{x} + \sigma (\boldsymbol{W} \odot \boldsymbol{x})
\end{equation}</annotation></semantics></math></span></div>
<p>これに対して、DiracNetsでは、次式のように、畳み込みの結果に対して<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi mathvariant="bold-italic">x</mi></mrow><annotation encoding="application/x-tex">\boldsymbol{x}</annotation></semantics></math></span></span>を足し合わせた後で非線形変換を行います。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi mathvariant="bold-italic">y</mi><mo>=</mo><mi>σ</mi><mo fence="false" stretchy="true" minsize="1.2em" maxsize="1.2em">(</mo><mi mathvariant="bold-italic">x</mi><mo>+</mo><mi mathvariant="bold-italic">W</mi><mo>⊙</mo><mi mathvariant="bold-italic">x</mi><mo fence="false" stretchy="true" minsize="1.2em" maxsize="1.2em">)</mo></mrow></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
  \boldsymbol{y} = \sigma\big(\boldsymbol{x} + \boldsymbol{W} \odot \boldsymbol{x}\big)
\end{equation}</annotation></semantics></math></span></div>
<p>DNNにおける畳み込みは線形変換なので、これは結局、畳み込みパラメーターに対して同次元のidentity matrixを足し合わせることと等価であることがわかります。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi mathvariant="bold-italic">y</mi><mo>=</mo><mi>σ</mi><mo fence="false" stretchy="true" minsize="1.2em" maxsize="1.2em">(</mo><mi mathvariant="bold-italic">x</mi><mo>+</mo><mi mathvariant="bold-italic">W</mi><mo>⊙</mo><mi mathvariant="bold-italic">x</mi><mo fence="false" stretchy="true" minsize="1.2em" maxsize="1.2em">)</mo><mo>=</mo><mi>σ</mi><mo fence="false" stretchy="true" minsize="1.2em" maxsize="1.2em">(</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">I</mi><mo>+</mo><mi mathvariant="bold-italic">W</mi><mo stretchy="false">)</mo><mo>⊙</mo><mi mathvariant="bold-italic">x</mi><mo fence="false" stretchy="true" minsize="1.2em" maxsize="1.2em">)</mo></mrow></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
  \boldsymbol{y} = \sigma\big(\boldsymbol{x} + \boldsymbol{W} \odot \boldsymbol{x}\big) = \sigma\big((\boldsymbol{I} + \boldsymbol{W}) \odot \boldsymbol{x}\big) 
\end{equation}</annotation></semantics></math></span></div>
<p>つまり、畳み込みパラメーターに対してidentity matrixを足し合わせることで、Skip Connectionそのものではありませんが、似たような効果が期待できます。実際の仕組みとしては、identity matrixの部分には学習可能なscaling parameterが乗されており、もう少し複雑ではありますが、DiracNetsのお気持ちはこの式で表現されるものがほぼ全てです。</p>
<p>Plainな34層のネットワークでは18層のネットワークよりもむしろ精度が低下することが知られていますが、DiracNetsを用いることで、34層のネットワークの方が18層のネットワークよりも高精度になります。ただし、Skip Connectionを用いた場合と比べると、精度は幾分低下します。</p>
<h2 id="avoiding-degradation-in-deep-feed-forward-networks-by-phasing-out-skip-connections">Avoiding degradation in deep feed-forward networks by phasing out skip-connections</h2>
<ul>
<li><a href="https://openreview.net/forum?id=BJQPG5lR-">Avoiding degradation in deep feed-forward networks by phasing out skip-connections | OpenReview</a></li>
</ul>
<p>Montiらは、Skip Connectionありのネットワークから学習を開始し、最終的にネットワークからSkip Connectionを取り除く手法を提案しました。</p>
<p>具体的には、Skip Connectionの部分に(1-<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>α</mi></mrow><annotation encoding="application/x-tex">\alpha</annotation></semantics></math></span></span>)を係数として乗じました。- <span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>α</mi></mrow><annotation encoding="application/x-tex">\alpha</annotation></semantics></math></span></span>が1であればPlainCNNに、<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>α</mi></mrow><annotation encoding="application/x-tex">\alpha</annotation></semantics></math></span></span>が0であればResNetになります。最終的には<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>α</mi><mo>=</mo><mn>1</mn></mrow><annotation encoding="application/x-tex">\alpha=1</annotation></semantics></math></span></span>になっていてほしいので、目的関数にラグランジュ変数を導入し、<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>L</mi><mo>+</mo><mi>λ</mi><mo stretchy="false">(</mo><mi>α</mi><mo>−</mo><mn>1</mn><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">L + \lambda (\alpha-1)</annotation></semantics></math></span></span>を最適化します。</p>
<p>残念ながら、実験結果は他の手法と適切に比較できるようになっておらず、どれくらいの効果があるのかをフェアに比較できる状態にはなっていません。</p>
<h2 id="residual-distillation">Residual Distillation</h2>
<ul>
<li><a href="https://papers.nips.cc/paper/2020/file/657b96f0592803e25a4f07166fff289a-Paper.pdf">Residual Distillation: Towards Portable Deep Neural Networks without Shortcuts</a></li>
</ul>
<p>Liらは、まずResNetを学習し、それを教師としてPlainCNNを学習する手法を提案しました。通常のDistillationでは最終層の類似度のみを用いますが、Residual Distillationでは、生徒ネットワークの中間層の出力を教師ネットワークの中間に入れてからbackpropして勾配を得ます。以下に特徴を箇条書きで挙げます。</p>
<ul>
<li>LIT: Learned Intermediate Representation Training for Model Compressionと似ているが、こちらが中間層の類似度のノルムをloss functionに加えるのに対し、Residual Distillationでは、生徒ネットワークの中間データを別のネットワークに流し込むという荒業を用いています。手元での再現実験では、理由はよくわかりませんが、Residual Distillationの方が高い効果が得られました。ただ、学習はResidual Distillationの方がかなり遅くなります。</li>
<li>生徒ネットワークの初期化にはDiracNetのやり方を使います。</li>
<li>CIFAR-10/100では50層にしても性能が下がらない、程度の効果しかないが、ImageNetでは34層より50層の方が3ptくらい精度が上がります。</li>
<li>さらに通常のKDと組み合わせるともっと精度が上がります。</li>
</ul>
<p>注目すべきは、50層のPlainCNNで76.08%のtop-1 accuracyを達成していることです。ResNet-50は76.11%なので、ほぼ同精度を達成できていると言って良いでしょう。</p>
<p>また、この論文は、単にSkip Connectionを取り除ける、というだけではなく、取り除くことで、最大メモリ消費量がどれくらい減るか、mobile NPUでの実行速度がどれくらい向上するのかを定量的に評価しています。（メモリ消費量は20%弱削減され、実行速度は20%〜30%程度高速になります。）隙がないですね。</p>
<p>Residual Distillationは50層でもResNetとほぼ変わらない性能をPlainCNNで実現できており、かなり有望な手法です。今のところ、この手法が決定版と言ってよいでしょう。</p>
<h2 id="repvgg">RepVGG</h2>
<ul>
<li><a href="https://arxiv.org/abs/2101.03697">[2101.03697] RepVGG: Making VGG-style ConvNets Great Again</a></li>
</ul>
<p>Dingらは、DiracNetsの考え方を発展させ、3x3convと1x1convとDiracNetsを組み合わせたRepVGGというネットワークを提案しました。肝となるアイデアは、これらが最終的に単なる1つの3x3convに置き換え可能であることです。</p>
<p>最終的なRepVGGネットワークは、GPU上では実行速度を基準にして同程度のモデルであれば、ResNetやEfficientNetよりも精度が高いネットワークとなっています。</p>
<p>手法としてはDiracNetsの発展形となっており、これでResNetからSkip Connectionをなくしたらどうなるのか、という点に興味がわきますが、残念ながら論文中にはそのような実験結果は載っていませんでした。コードは公開されているので、いつか自分で実験したみたいところです。</p>
<h1 id="まとめ">まとめ</h1>
<p>Skip Connectionを使わずに深いネットワークで精度を出すための研究をいくつか紹介しました。これらの手法は技術的に面白いだけではなく、ネットワーク構造がシンプルになり、ハードウェアに優しい、という利点があります。数年後には一般的に使われる技術になっているかもしれません。かもしれませんと書きましたが、個人的には、使われるようになっている可能性がかなり高いと予想しています。</p>
<p>ところで、LeapMindでは、Skip Connectionを使わないで高い精度を出すニューラルネットワークに興味がある方もそうでない方も、様々な職種で現在採用活動を実施しております。特に機械学習、深層学習が得意なエンジニアを強く募集しておりますので、興味がある方は<a href="https://leapmind.io/careers/">ぜひ一度LeapMindの採用ページから応募してみてください</a>。いきなり採用面接は怖い、という人はカジュアル面談から始めることもできます（もちろん、カジュアル面談の後に、実際に選考プロセスを進めない、という選択も可能です。そのためのカジュアル面談ですので。）</p>

Tech Blog