外観検査向け異常検知手法に関する論文紹介: EfficientAD

LeapMindの花元です。
異常検知、してますか？
学習済み深層学習モデルを使って外観検査向け異常検知をしたいけど、良い感じの特徴量が得られなくて困ること、長い人生で、たまにはありますよね。今日はそんなときに使える外観検査向け異常検知の手法である<a href="https://arxiv.org/abs/2111.07677">FastFlow</a>のアルゴリズムを紹介したいと思います。
<h2 id="背景">背景</h2>
<a href="https://techblog.leapmind.io/blog/20220511-hanamoto-survey_on_ad_model/">以前の記事</a>で紹介したとおり、近年、外観検査向け異常検知の手法として、画像の特徴を得るために学習済み深層学習モデルを用いる手法が多く提案されています。これらの手法では、訓練データから学習済み深層学習モデルを用いて特徴量を取得し、推論時に対象となる画像から得られた特徴量が、訓練データにおける特徴量の分布からどの程度離れているかを、何らかの基準に基づいて算出します。例えば、<a href="https://arxiv.org/abs/2011.08785">PaDiM</a>では「何らかの基準」としてマハラノビス距離を用いますが、これは訓練データから得られる特徴量の分布が多変量正規分布に従うことを仮定しています。経験的に、多くのデータセットに対してこの仮定を置いて問題ないことが分かっていますが、訓練データの特徴量の分布が多変量正規分布から大きく外れるようなデータセットの場合、うまく動かない場合があります。
うまく動かない可能性があるデータセットの例として、訓練データに複数種類の画像がある場合が挙げられます。例えば訓練データに「赤りんご」と「洋梨」があり、「和梨」を異常として検知したいケースを考えます。この場合、訓練データに「赤りんご」と「洋梨」の2種類があるため、得られる特徴量の分布に多峰性が生じると考えられます。この場合、マハラノビス距離は訓練データの平均と共分散のみを用いて算出されるため、訓練データにほとんど出現しなかったような特徴量（例えば和梨）であったとしても距離が小さい（＝正常である）と計算されてしまうことがあります（図1）。
<img src="/images/posts/techblog/20230120-introduction_to_fastflow/mahalanobis.png" alt="mahalanobis">
図1: マハラノビス距離を使った異常検知がうまくいく例（左図）とうまくいかない例（右図）。左図では、トレーニング画像にりんごのみを用いているとする。左図のように訓練データから得られた特徴量の分布が正規分布に近い場合、推定された確率密度関数が訓練データの分布に近い形になるため、高い異常検知性能が得られることが期待できる。一方で、右図のように、訓練データから得られた特徴量の分布に多峰性があるなど、正規分布から離れている場合、推定された確率密度関数が訓練データの分布と離れた形になり、高い異常検知性能が得られない場合がある。
<a href="https://arxiv.org/abs/2111.07677">FastFlow</a>では、この問題に対処するために、Normalizing Flowと呼ばれる技術を用いて、訓練時に訓練データから得られた特徴量の分布を、扱いやすい分布（正規分布）に変換できるようなニューラルネットワークを作っていきます。
<h2 id="アルゴリズム">アルゴリズム</h2>
<a href="https://arxiv.org/abs/2111.07677">FastFlow</a>は
<ul>
<li>画像の特徴抽出</li>
<li>2D Flow Model</li>
</ul>
の2点から構成されます。これらを順に説明していきます。
<h3 id="画像の特徴抽出">画像の特徴抽出</h3>
<a href="https://arxiv.org/abs/2111.07677">FastFlow</a>では、他の学習済み深層学習モデルを用いる手法と同様に、様々な種類のバックボーンを特徴抽出器として用いることができます。論文中ではViTやResNetを用いて実験を行っています。
<h3 id="2d-flow-model">2D Flow Model</h3>
2D Flowでは画像を特徴抽出器に入力して得られる特徴量の空間から、その分布が扱いやすくなる分布（FastFlowでは正規分布）へ変換する写像<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>f</mi></mrow><annotation encoding="application/x-tex">f</annotation></semantics></math>を学習します。ここで、画像を特徴抽出器に入力して得られる特徴量の空間<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math>、変換後の空間を<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>Z</mi></mrow><annotation encoding="application/x-tex">Z</annotation></semantics></math>とすると、これらの確率密度関数には以下の等式が成り立ちます。
<div class="math math-display"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><msub><mi>p</mi><mi>X</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><mi>z</mi></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
 p_X(x) = p_Z(z)|\det(\frac{\partial z}{\partial x} )|
\end{equation}</annotation></semantics></math></div>
上式の対数は以下の通り計算されます。
<div class="math math-display"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mtable rowspacing="0.25em" columnalign="right left" columnspacing="0em"><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>X</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo>+</mo><mi>log</mi><mo>⁡</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><mi>z</mi></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mi>log</mi><mo>⁡</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd></mtr></mtable></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
\begin{split}
\log p_X(x) &#x26;= \log p_Z(z) + \log |\det(\frac{\partial z}{\partial x} )| \\\\\\
&#x26;= \log p_Z(f_\theta(x)) + \log |\det(\frac{\partial f_\theta(x)}{\partial x} )|
\end{split}
\end{equation}</annotation></semantics></math></div>
ここで、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math>は2D Flow Modelのパラメータとします。学習時には、写像<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math>を用いて得られた分布と目標とする分布（FastFlowでは正規分布）の距離（KL Divergence）を最小化するように学習します。この際、写像<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math>の<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math>に関する微分とヤコビアン（<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">\det(\frac{\partial f_\theta(x)}{\partial x})</annotation></semantics></math>）を計算する必要が生じます。写像<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math>の<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math>に関する微分は、写像<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math>をニューラルネットワークで構築すれば、自動微分により計算することが可能です。一方で、ヤコビアンを愚直に計算しようとすると、行列の大きさを<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow><annotation encoding="application/x-tex">n \times n</annotation></semantics></math>とした際に<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>O</mi><mo stretchy="false">(</mo><msup><mi>n</mi><mn>3</mn></msup><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">O(n^3)</annotation></semantics></math>の計算量を要してしまいます。これは計算効率が悪くなってしまうため、ヤコビアンが自明になるように<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math>の構造を設定したものに<a href="https://arxiv.org/pdf/1410.8516.pdf">NICE</a>と呼ばれるネットワークがあり、FastFlowではこのネットワークを2D Flow Modelに採用しています。ネットワークの構造を以下に示します。
<img src="/images/posts/techblog/20230120-introduction_to_fastflow/fastflow.png" alt="2D Flow Model">
図2: 2D Flow Modelの構造（論文より引用）
<h2 id="性能比較">性能比較</h2>
論文中では、MVTec ADを対象とした実験で、バックボーンにWide-ResNet50-2を用いた際の平均AUROCが99.3であり、これまでのSoTAである<a href="https://techblog.leapmind.io/blog/20220701-introduction_to_patchcore/">PatchCore</a>を、バックボーンにWide-ResNet50-2を用いて動作させた際のAUROCの99.1を上回っていると主張されています。<a href="https://github.com/openvinotoolkit/anomalib">ANOMALiB</a>による再実装に基づく実験では、FastFlowの平均AUROCが96.3、PatchCoreの平均AUROCが98.0となっており性能が逆転していますが、SoTAに近い異常検知性能が得られているとは言えそうです。
現在のSoTAとされるPatchCoreと性能の点で大きく異なる点は、トレーニング時間と推論時間です。FastFlowでは、トレーニング時にニューラルネットワークのパラメータを学習させる必要があります。一方で、PatchCoreでは特徴ベクトルを抽出し、貪欲法に基づき特徴ベクトルのサブセットを抽出するだけでトレーニングが終了するため、一般にトレーニング時間はPatchCoreの方が速いと言えます。一方で、推論時においては、FastFlowはニューラルネットワークの計算をすることになるため、実行環境にこの計算を速く行う仕組みがあれば（例えばGPUを搭載している）速く推論することが可能です。一方で、PatchCoreでは推論時に、推論ごとに膨大な特徴ベクトルの中からk個の最近傍を得る必要があり、比較的遅くなります。実際、論文中では、FastFlowは、GPUが搭載されている環境において、特徴抽出後の処理時間が画像1枚あたり100ms程度、PatchCoreより速いと主張されています。従って、トレーニング時間と推論時間のどちらを重視するのか、また、推論する際の実行環境に応じて使い分けるのが良いと考えられます。
<h2 id="まとめ">まとめ</h2>
この記事では、学習済み深層学習モデルを用いた外観検査向け異常検知手法であるFastFlowを紹介しました。この手法では、Normalizing Flowと呼ばれる、解析的に表現することが難しい特徴量の分布を解析的に表現することが容易な分布（FastFlowにおいては正規分布）へと変換するニューラルネットワークを用いることで、正常画像における特徴量の分布が複雑な場合においても異常検知の精度を高めることを図っています。
ところで、LeapMindでは異常検知モデルだったり、異常検知とは全く関係ないモデルだったりを開発する機械学習エンジニアを絶賛募集中です！興味のある方は以下からぜひご応募ください！
<a href="https://leapmind.io/careers/">https://leapmind.io/careers/</a>

外観検査向け異常検知手法に関する論文紹介: FastFlow

LeapMindの花元です。
異常検知、してますか？
学習済み深層学習モデルと近傍法を使って外観検査向け異常検知をしたくなること、長い人生で、たまにはありますよね。今日は外観検査向け異常検知の手法であり、CVPR 2022に採択されている<a href="https://arxiv.org/abs/2106.08265">PatchCore</a>のアルゴリズムを紹介したいと思います。PatchCoreの概要については<a href="../20220511-hanamoto-survey_on_ad_model/">前回の記事</a>を参照してください。
<h1 id="アルゴリズム">アルゴリズム</h1>
PatchCoreは
<ul>
<li>位置情報を保持した画像パッチの特徴抽出 (Locally aware patch features)</li>
<li>貪欲法を用いた、近傍法に用いる画像パッチの特徴数削減 (Coreset-reduced patch-feature memory bank)</li>
<li>近傍法を用いた異常検知 (Anomaly Detection with PatchCore)</li>
</ul>
の3点から構成されます。これらを順に説明していきます。
<h2 id="位置情報を保持した画像パッチの特徴抽出-locally-aware-patch-features">位置情報を保持した画像パッチの特徴抽出 (Locally aware patch features)</h2>
本手法では、まずはじめに、正常画像のみから構成されるトレーニングデータセットから、位置情報を保持した画像パッチの特徴抽出を行います。特徴抽出では、あらかじめImageNetを用いて学習したBackbone (ResNet)に正常画像を入力します。その後、中間層の出力（ResNetを用いる場合、4つあるブロックのうち、2つ目のブロックと3つ目のブロックの出力）を取り出し、Average Poolingを用いて、それぞれの出力の縦横の大きさを揃えます。最後に、それらをチャネル方向に結合することで、1枚の正常画像から、（画像の縦の分割数）×（画像の横の分割数）分の特徴ベクトルを作ります。図1に、画像のパッチに対応する特徴ベクトルのイメージを示しています。
<img src="/images/posts/techblog/20220701-introduction_to_patchcore/overview.png" alt="Overview">
図1: 正常画像からの特徴抽出のイメージ
学習済みモデルを用いて入力画像の特徴を抽出するという手法は、外観検査向け異常検知手法でよく見られる手法ですが、本手法は①位置情報を保持する、②複数のレイヤーの出力を、チャネル方向に連結する、③浅い層と深い層の出力は用いない、の3点において特徴的です。
①位置情報を保持するについて、同じく学習済みモデルを用いた異常検知手法である<a href="https://arxiv.org/abs/2005.02357">SPADE</a>や<a href="https://arxiv.org/abs/2005.14140">MahalanobisAD</a>では、Global Average Poolingを用いて、得られた特徴を1つの特徴ベクトルにします。Global Average Poolingを用いることで、その後の処理で扱わなければならない特徴ベクトルの数を減らし、処理時間を減らせるというメリットがある一方で、局所的な異常（小さな傷など）に関する特徴が潰れてしまう、画像のどこに異常が存在するのかの判定ができなくなる、といったデメリットも発生します。本手法では、Average Poolingを用いる一方で、（画像の縦の分割数）×（画像の横の分割数）分の特徴ベクトルを保持することで、局所的な異常を見つけやすくする、画像のどこに異常が存在するのかを判定できるようにする、ということを図っています。
②複数のレイヤーの出力を、チャネル方向に連結するについて、例えば<a href="https://arxiv.org/abs/2005.14140">MahalanobisAD</a>では、得られた特徴ベクトルをレイヤーごとに分けてその後の処理を行います。これによりその後の計算量が削減される一方で、複数のレイヤーから抽出された特徴同士の関係性を踏まえた異常検知ができなくなるというデメリットも発生します。本手法では得られた特徴をチャネル方向に連結することで、特徴同士の関係性を踏まえた異常検知ができるようにすることを図っています。
③浅い層と深い層の出力は用いないについて、例えば<a href="https://arxiv.org/abs/2005.02357">SPADE</a>では最後の畳み込み層の出力を、<a href="https://arxiv.org/abs/2011.08785">PaDiM</a>では最初から3つの畳み込み層の出力を特徴として用いますが、本手法では浅い層と深い層の出力は用いません。これは、浅い層の出力から得られる特徴は異常検知タスクに用いるには一般的な特徴過ぎる、反対に深い層の出力はImageNetの分類タスクを解くためのbiasがかかりすぎていて異常検知タスクに用いるには不適切であると考えられるからです。
<h2 id="貪欲法を用いた近傍法に用いる画像パッチの特徴数削減-coreset-reduced-patch-feature-memory-bank">貪欲法を用いた、近傍法に用いる画像パッチの特徴数削減 (Coreset-reduced patch-feature memory bank)</h2>
画像から特徴ベクトルを抽出した後は、異常検知手法として一般的な近傍法を適用します。異常検知手法として、他には<a href="https://arxiv.org/abs/2005.14140">MahalanobisAD</a>や<a href="https://arxiv.org/abs/2011.08785">PaDiM</a>で用いられているような、マハラノビス距離と呼ばれる、トレーニングデータセットの平均と共分散を基に算出する距離を用いる手法があります。しかし、これらの手法は得られた特徴ベクトルの分布が多変量正規分布に従うことが仮定されているため、図2のように、特徴ベクトルの分布が多変量正規分布に従わない場合に性能が落ちることがあると考えられます。近傍法は、このような仮定を必要としないため、より幅広い対象に対して手法を適用可能であると考えられます。
<img src="/images/posts/techblog/20220701-introduction_to_patchcore/mahalanobis.png" alt="Mahalanobis">
図2: マハラノビス距離を用いた際に性能が落ちる例。灰色の点がトレーニングデータセットに含まれる特徴ベクトルの分布、青色の点が推論時に得られた特徴ベクトル、星をトレーニングデータセットに含まれる特徴ベクトルの平均とすると、青色の点はトレーニングデータセットに含まれる特徴ベクトルのクラスタから外れているが、全体の平均には近いため、トレーニングデータセットとの距離が近い（＝正常である）と判定されてしまう。近傍法を適用した場合にはこの問題は発生しない。
一方で、単純に近傍法を適用すると、（特徴ベクトルの平均と共分散のみを保持すれば良いマハラノビス距離を用いた手法と異なり）推論時にトレーニングデータセットに含まれる特徴ベクトルを全て保持しなければならず、時間的、空間的な計算量の増加が無視できなくなります。特に、本手法では特徴ベクトルの抽出にあたってGlobal Average Poolingを用いないことで、1枚トレーニングデータを増やすごとに（画像の縦の分割数）×（画像の横の分割数）分という大量の特徴ベクトルが増えてしまうことから、このデメリットがより大きくなります。このままでも近傍法を適用するのが非現実的というわけではありませんが、実用上の速度の問題があるため、得られた特徴ベクトルの集合から、異常検出性能の低減を抑えつつ速度を向上させるような部分集合を得るためのアルゴリズムが提案されています。
ここで、近傍法を適用した際に、特徴ベクトルを"間引いた"後も計算結果に大きな差異が生じないように、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>M</mi></mrow><annotation encoding="application/x-tex">M</annotation></semantics></math>をもとの特徴ベクトルの集合、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>を間引いた特徴ベクトルの集合としたときに、式1により<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>を求めるのが良さそうです（間引かれた特徴ベクトルと残された特徴ベクトルの中の最小距離の最大値ができるだけ小さくなるようにする）。ただし、これを求めるのはNP-Hardであるため、貪欲法により近似解を求める手法が提案されており、また、それがランダムサンプリングのような別の手法と比較して有効であることが実験的に示されています。
<img src="/images/posts/techblog/20220701-introduction_to_patchcore/eq1.png" alt="Eq1"> (1)（論文より引用）
<img src="/images/posts/techblog/20220701-introduction_to_patchcore/algorithm1.png" alt="Algorithm1">
図3: 貪欲法によるアルゴリズムのイメージ。灰色の点が<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>M</mi></mrow><annotation encoding="application/x-tex">M</annotation></semantics></math>に含まれる特徴ベクトル、オレンジ色の点が<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に含まれる特徴ベクトルを示す。
図3に貪欲法によるアルゴリズムのイメージを示します。アルゴリズムは非常にシンプルです。まず、特徴ベクトルの中の任意の1点を選び、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に加えます（図2-①）。次に、その特徴ベクトルから最も遠い特徴ベクトルを選び、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に加えます（図2-②）。その後、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に含まれる特徴ベクトルとの距離のうち、最も短い距離が最も遠い特徴ベクトルを選び、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に加えます（図2-③）。最後に、③を<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に含めたい特徴ベクトルの数を満たすまで繰り返します（図2-④）。
なお、このアルゴリズムを適用するにあたっては、Random Projectionを適用することでチャネル方向の次元数の削減も行っています。
<h2 id="近傍法を用いた異常検知-anomaly-detection-with-patchcore">近傍法を用いた異常検知 (Anomaly Detection with PatchCore)</h2>
上記のプロセスにより、トレーニングが終わり、トレーニングデータセットから得られた特徴ベクトル群の部分集合である<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>が得られます。推論時には、異常/正常を判定したい画像を入力として、トレーニング時と同様に画像パッチの特徴抽出を行います。得られたそれぞれの特徴ベクトルについて、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に含まれる特徴ベクトルとの距離の最小値を求め、その最大値を異常スコアのベースとします。このスコアを<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msup><mi>s</mi><mstyle mathcolor="#cc0000"><mtext>\*</mtext></mstyle></msup></mrow><annotation encoding="application/x-tex">s^\*</annotation></semantics></math>、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msup><mi>m</mi><mrow><mi>t</mi><mi>e</mi><mi>s</mi><mi>t</mi><mo separator="true">,</mo><mstyle mathcolor="#cc0000"><mtext>\*</mtext></mstyle></mrow></msup></mrow><annotation encoding="application/x-tex">m^{test, \*}</annotation></semantics></math>を入力画像で最も異常スコアのベースが高かったパッチの特徴ベクトル、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msup><mi>m</mi><mstyle mathcolor="#cc0000"><mtext>\*</mtext></mstyle></msup></mrow><annotation encoding="application/x-tex">m^\*</annotation></semantics></math>をそれに対応する<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>に含まれる特徴ベクトルとしたときに、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msup><mi>m</mi><mstyle mathcolor="#cc0000"><mtext>\*</mtext></mstyle></msup></mrow><annotation encoding="application/x-tex">m^\*</annotation></semantics></math>の近傍にある<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>M</mi><mi>c</mi></msub></mrow><annotation encoding="application/x-tex">M_c</annotation></semantics></math>の特徴ベクトルを<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>b</mi></mrow><annotation encoding="application/x-tex">b</annotation></semantics></math>個抽出し、以下の式により最終的な異常スコアを算出します。直感的には、<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msup><mi>m</mi><mstyle mathcolor="#cc0000"><mtext>\*</mtext></mstyle></msup></mrow><annotation encoding="application/x-tex">m^\*</annotation></semantics></math>の近くに他の特徴ベクトルが存在しない場合（＝トレーニングデータセットの中でも珍しい特徴である）に最終的な異常スコアを相対的に大きくする効果があり、論文ではこの計算により異常検出のロバスト性が高まると主張されています。
<img src="/images/posts/techblog/20220701-introduction_to_patchcore/eq2.png" alt="Eq2"> (2)（論文より引用）
<h1 id="まとめ">まとめ</h1>
この記事では、学習済み深層学習モデルを用いた外観検査向け異常検知手法であるPatchCoreを紹介しました。この手法では、位置情報を保持した画像パッチの特徴抽出をする一方で、貪欲法を用いた、近傍法に用いる特徴数の削減を行うことで、異常検知に要する時間の増大を抑えつつ異常検知の精度を高めることを図っています。
ところで、LeapMindでは異常検知モデルだったり、異常検知とは全く関係ないモデルだったりを開発する機械学習エンジニアを絶賛募集中です！興味のある方は以下からぜひご応募ください！
<a href="https://leapmind.io/careers/">https://leapmind.io/careers/</a>

外観検査向け異常検知手法に関する論文紹介: PatchCore

LeapMindの花元です。
異常検知、してますか？
学習済み深層学習モデルを使って外観検査向け異常検知をしたくなること、長い人生で、たまにはありますよね。今日はそんなときに使える手法を紹介したいと思います。
<h1 id="はじめに">はじめに</h1>
異常検知とは、データの中から、通常のデータとは振る舞いの異なるデータ（異常なデータ）を検出するタスクを指します。例えば、画像を入力とした異常検知では、製品の画像から、傷が付いていたり、必要な部品が欠けていたりする画像を検出することを目指します。一般に、異常検知モデルの訓練時には、異常なデータが全くないか、あったとしてもごく少数であることが仮定されます。これは、異常なデータ（例えば傷が付いている製品の画像）は通常とても得られにくいことに起因しています。今回紹介する手法は全て、訓練時に異常なデータは不要です。
近年、外観検査向け異常検知の手法として、画像の特徴を得るために学習済み深層学習モデルを用いる手法が多く提案されています。このアプローチの利点としては、①異常画像がなく、正常画像も数十枚〜数百枚しかない場合においても、異常検知モデルの学習が可能、②深層学習モデルを1から学習させる手法と比較して、短時間（例えば数十秒）で学習が可能、という点があります。今回は、このアプローチを採用している手法をいくつか紹介したいと思います。
<h1 id="学習済みモデルから得られた特徴量の復元誤差を求める手法">学習済みモデルから得られた特徴量の復元誤差を求める手法</h1>
このアプローチでは、学習済みモデルから得られた訓練画像（正常データのみで構成される）の特徴量を、何らかの手段で圧縮/復元するモデルを構築します。この圧縮/復元するモデルは、訓練画像に似たデータ（＝正常画像から得られた特徴）に対しては精度高く圧縮/復元できる傾向がある一方で、訓練画像から大きく異なるデータ（＝異常画像から得られた特徴）に対しては精度高く圧縮/復元できず、復元誤差が大きくなる傾向があります。このアプローチでは、この特性を異常検知に用います。
例えば、LeapMindが開発した<a href="https://arxiv.org/abs/2104.04289">MLF-SC</a>では、画像をパッチに分割し、学習済みのVGG16を用いて特徴を抽出した上で、スパースコーディングと呼ばれる手法を用いて特徴を圧縮/復元します（図1）。復元した結果、もとの特徴との差分が基準値より大きいものを異常とみなします。また、VGG16から特徴を抽出する際は、最終層の出力のみを用いるのではなく、中間層の出力も用いることで、局所的な異常（小さな傷など）と大域的な異常（広範囲に渡るシミなど）の両方を検出することを目指しています。結果として、MVTec ADデータセットのテクスチャ（カーペットなど、物体の表面を撮影したもの）カテゴリの平均AUROCで97を達成しています。
<img src="/images/posts/techblog/20220511-hanamoto-survey_on_ad_model/mlf-sc.png" alt="MLF-SC">
図1: MLF-SCの概略図（論文より引用）。VGG16の中間層の出力もスパースコーディングの入力として用いられる。
<h1 id="学習済みモデルから得られた特徴量を用いて近傍法を適用する手法">学習済みモデルから得られた特徴量を用いて近傍法を適用する手法</h1>
近傍法とは、正常データはその近傍に訓練データに含まれるデータ点が多くあり、逆に、異常データの近傍には訓練データに含まれるデータ点がないという仮定に基づき、近傍点との距離を基に異常を判定する手法です。例えば、最近傍法では、訓練データに含まれるデータ点の中から最も距離が短いデータとの距離が基準値より大きなデータを異常とみなします。
例えば、<a href="https://arxiv.org/abs/2005.02357v3">SPADE</a>では、ResNetの最終畳み込み層から得られた特徴量をGlobal Average Poolingし、訓練データに含まれるデータ点の中から最も距離の短いデータをk点抽出します。その結果、その距離の平均が基準値より大きなデータを異常とみなします。
<a href="https://arxiv.org/abs/2106.08265">PatchCore</a>では、①画像全体でなく、画像のパッチごとに特徴を抽出する、②最終層だけでなく、中間層の出力も特徴量として用いて近傍法を適用することでさらなる異常検知性能の向上を図っています（図2）。ここで、単純にこれらの方策を適用してしまうとデータ量が多くなり速度が遅くなることから、距離を計算する対象となる正常データの特徴量の数を貪欲法により大幅に削減する手法を提案しています。また、特徴量の次元もランダムプロジェクションと呼ばれる手法を用いて削減しています。なお、PatchCoreのアルゴリズムの詳細については<a href="../20220701-introduction_to_patchcore/">こちらの記事</a>で紹介しています。
<img src="/images/posts/techblog/20220511-hanamoto-survey_on_ad_model/patchcore.png" alt="PatchCore">
図2: PatchCoreの概略図（論文より引用）。訓練時には正常データからパッチごとに特徴を抽出し、貪欲法で少数の特徴をサブサンプリングする。推論時には対象から特徴を抽出し、近傍法で異常判定に用いるスコアを算出する。
MVTec ADデータセットを用いたベンチマークでは、平均AUROCでSPADEが85.5、PatchCoreが99.1を達成しています。
<h1 id="学習済みモデルから得られた特徴量を用いてマハラノビス距離を求める手法">学習済みモデルから得られた特徴量を用いてマハラノビス距離を求める手法</h1>
マハラノビス距離とは、変数間の相関関係を考慮した距離の一種です。我々が通常「距離」と呼ぶユークリッド距離とは異なり、マハラノビス距離ではばらつきが大きな方向の距離を相対的に小さく評価し、反対にばらつきが小さな方向の距離を相対的に大きく評価します。学習済みモデルから得られた特徴量を用いてマハラノビス距離を求める手法では、訓練データを入力として、学習済みモデルから得られた特徴量とのマハラノビス距離を求め、その距離が基準値より大きいものを異常とみなします。
<a href="https://arxiv.org/abs/2005.14140">Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection</a>では、EfficientNetの各層の出力をGlobal Average Poolingしたものについて、層別にマハラノビス距離を計算し、その合計値が基準を超えるデータを異常とみなすアルゴリズムを提案しています（図3）。
<img src="/images/posts/techblog/20220511-hanamoto-survey_on_ad_model/mahaad.png" alt="Mahalanobis AD">
図3: Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detectionの概略図（論文より引用）。各層の出力それぞれでマハラノビス距離を求め、その合計を用いて異常判定を行う。
<a href="https://arxiv.org/abs/2011.08785">PaDiM</a>では、①画像全体でなく、画像のパッチごとに特徴を抽出する、②層別にマハラノビス距離を計算するのではなく、各層から出力した特徴を結合してマハラノビス距離を計算する、というアルゴリズムを採用することでさらなる異常検知精度の向上を図っています（図4）。また、各層から出力した特徴を結合してマハラノビス距離を計算すると次元が大きくなる分計算量が大きくなりますが、ランダムに次元を削減して計算量を大きく削減しても異常検知性能を維持できることが示されています。
<img src="/images/posts/techblog/20220511-hanamoto-survey_on_ad_model/padim.png" alt="PaDiM">
図4: PaDiMの概略図（論文より引用）。各層から得られた特徴量をパッチに分割し、結合した上でマハラノビス距離を求める。
MVTec ADデータセットを用いたベンチマークでは、平均AUROCでModeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detectionが95.8、PaDiMが97.9を達成しています。
<h1 id="まとめ">まとめ</h1>
この記事では、学習済み深層学習モデルを用いた外観検査向け異常検知手法を紹介しました。このアプローチを適用することで、訓練データとして異常画像が使えない場合でも、短時間で異常検知モデルを構築することが可能になります。
ところで、LeapMindでは異常検知モデルだったり、異常検知とは全く関係ないモデルだったりを開発する機械学習エンジニアを絶賛募集中です！興味のある方は以下からぜひご応募ください！
<a href="https://leapmind.io/careers/">https://leapmind.io/careers/</a>

Tech Blog