<p>LeapMindの<a href="https://mogel.la/">花元</a>です。</p>
<p>ディープラーニング、してますか？</p>
<p>ディープラーニングするとき、最も困ることの1つはデータセットを見つけることです。特に、商用利用する場合にはライセンスの問題で利用できるデータセットがかなり限られてしまいます。また、商用利用可能となっているデータセットも、画像の権利関係が不明である等、利用にリスクがあるケースがあり、データセットの選定に苦労している人は多いのではないかと思います。</p>
<p>今回はこのような問題を解決してくれるかもしれないデータセットについて紹介します。</p>
<h2 id="pre-training-without-natural-images">Pre-training without Natural Images</h2>
<p><a href="https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/">Pre-training without Natural Images</a>は、ImageNetのような自然画像からなるデータセットの代替として、人工画像であるフラクタル画像を自動生成するアルゴリズム及びデータセットを提案しています。また、単にパラメータからフラクタル画像を自動生成するのみならず、同一のカテゴリに含まれるフラクタル画像を生成するためのパラメータを生成するアルゴリズムも提案していることから、事実上無制限に画像を生成することが可能となっています。</p>
<h3 id="実験">実験</h3>
<p>実験では、CIFAR-10/100等のClassificationタスクについて、1.スクラッチで学習、2.Self-supervisionによるPre-train、3.ImageNet等の自然画像によるPre-trainによる精度と提案手法（本データセットによるPre-train）とで比較しています。</p>
<p>結果として、1.スクラッチで学習したモデルよりも高い精度が得られており、2.Self-supervisionによるPre-train、3.ImageNet等の自然画像によるPre-trainと比較してもタスクによっては高い精度が得られていることが示されています。</p>
<p>また、それぞれのデータセットでPre-trainさせた際の最初の畳込み層を可視化しており、本手法でPre-trainさせた場合、自然画像で学習したものと比較して大きく異なる特徴を捉えていることが示されています。（下図）。</p>
<p><img src="/images/posts/techblog/20210812-hanamoto-fractaldb.png" alt="This is a image">(<a href="https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/%E3%82%88%E3%82%8A%E5%BC%95%E7%94%A8%E3%80%82(c)%E5%8F%8A%E3%81%B3(d)%E3%81%8C%E6%9C%AC%E6%8F%90%E6%A1%88%E6%89%8B%E6%B3%95%E3%81%AB%E3%82%88%E3%82%8B%E3%82%82%E3%81%AE%E3%81%A7%E3%81%82%E3%82%8B%EF%BC%89">https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/より引用。(c)及び(d)が本提案手法によるものである）</a></p>
<h2 id="応用可能性">応用可能性</h2>
<p>ここから先は私個人の考えを記述します。本データセットが活用できうるタスクの1つに、異常検知タスクがあると考えています。理由としては、以下の2つが挙げられます。</p>
<ol>
<li>提案手法で学習したCNNは、異常検知に必要と考えられる、テクスチャの特徴を抽出することに強い可能性がある</li>
<li>異常検知タスクにおけるモデルでは、Fine-tuningが不要な可能性がある</li>
</ol>
<p>1つめに関して、<a href="https://arxiv.org/abs/1811.12231">ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness</a>では、ImageNetで学習したCNNが、物体の形状よりも物体のテクスチャを重要視して物体を認識する傾向があることが示されています。ここで、上で示した最初の畳込み層の可視化画像を見ると、Fractal-1K/10Kで学習した畳込み層の方が、ImageNetのものより更に物体のテクスチャを認識するように層が形成されている傾向があるように見受けられます。例えば、Fractal-1K/10Kで学習した層では市松模様のようなテクスチャに発火する層が多くあります。</p>
<p>人間は普通テクスチャよりも形状をヒントに物体を認識する傾向があることから、物体のテクスチャ認識の方により強いバイアスがかかることは一見デメリットのように感じられますが、異常検知タスクにおいてはテクスチャの特徴を抽出できることがメリットとなる可能性があります。例えば、LeapMindでは<a href="https://github.com/LeapMind/MLF-SC">MLF-SC</a>という異常検知手法の研究開発を行っていますが、本手法ではテクスチャの特徴を捉えていると考えられる中間層の特徴を活用することで、より高い異常検知性能を得ることに成功しています。ここで、もしFractal-1K/10Kでテクスチャの特徴をより捉えることができれば、より高い異常検知性能を得られる可能性があります。</p>
<p>2つめに関して、<a href="https://arxiv.org/abs/2005.14140">Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection</a>のような、Pre-trainモデルを用いて特徴抽出を行い、正常データの特徴分布を用いて異常検知をする手法では、正常データそのものを使ってPre-trainしたモデルや、モデルの出力に近すぎる層（domain-specificになっている層）から特徴を抽出すると、かえって異常検知性能が落ちてしまう可能性が示唆されています。これは、異常検知を行いたい対象と特徴が大きく異なるデータセットでPre-trainした方が異常検知性能が向上する可能性を示しており、人工画像であるFractal-1K/10Kを用いることでさらなる異常検知性能の向上が得られるかもしれません。</p>
<h2 id="まとめ">まとめ</h2>
<p>この記事では自然画像ではなく、人工的に生成したフラクタル画像からなるデータセットを紹介しました。このデータセットを用いることで、データセットの権利に係る問題を回避できるだけでなく、タスクによってはImageNetのような自然画像からなるデータセットでPre-trainした場合よりも高い精度が得られることが論文では主張されています。</p>
<p>また、私個人の考えでは、異常検知タスクにこのようなデータセットが有効ではないかと想定しており、実際に高い精度が得られることを期待しています。</p>

Tech Blog