LLMとVLMが切り開くイノベーション：訓練不要なビデオ異常検出アプローチ

大規模言語モデルで変革する、訓練不要のビデオ異常検出

ビデオ監視システムは、セキュリティ、交通モニタリング、産業機器の監視など、多岐にわたる分野で不可欠なツールとなっています。しかし、その核心を担う異常検出技術は、これまで大量のデータを用いた訓練が必須であり、コストや時間の面で大きな課題が存在していました。

そんな中、従来の手法を根底から覆す革新的な技術が登場しました。それが、大規模言語モデル（Large Language Model, LLM）を活用した訓練不要のビデオ異常検出技術です。この技術は、訓練を必要とせず、即座に異常を検出できる能力を持ち、従来の方法を大きく凌駕する可能性を秘めています。

本記事では、その最先端の手法であるLAVAD（Language-based Video Anomaly Detection）をご紹介します。LAVADは、LLMとVision-Language Model, VLMを組み合わせることで、特別な訓練やデータ収集を必要としない異常検出を実現しています。

論文タイトル：Harnessing Large Language Models for Training-free Video Anomaly Detection
掲載元：2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
論文リンク：
ArXiv：https://arxiv.org/abs/2404.01014
CVPR：https://openaccess.thecvf.com/content/CVPR2024/papers/Zanella_Harnessing_Large_Language_Models_for_Training-free_Video_Anomaly_Detection_CVPR_2024_paper.pdf

LAVADの革新的なアプローチ

従来の異常検出システムは、膨大なデータセットを用いて特定の異常パターンを学習する必要がありました。しかし、LAVADはその枠にとらわれず、既に事前学習されたLLMとVLMを活用することで、新たな訓練を一切行わずに異常検出を可能にしています。

LAVADアルゴリズムのフロー　
https://lucazanella.github.io/lavad/ より引用

1. フレームを「読む」— キャプション生成の妙技

まず、LAVADはビデオの各フレームをテキストで説明するキャプションモデル（例: BLIP-2）を使用します。例えば、あるフレームで「車が道路を走っている」というキャプションが生成されます。このプロセスにより、映像情報がテキスト情報に変換され、人間の言葉でビデオ内容を「読む」ことができます。

2. 正確性を追求 — キャプションのクリーニング

しかし、キャプション生成にはノイズや誤りがつきものです。そこで、LAVADはVLMで生成されたキャプションと対応するフレームの画像特徴量との間のテキスト-画像の類似度スコアで視覚的な内容と照合し、誤った説明やノイズを除去します。これにより、より正確で信頼性の高いキャプションが得られ、異常検出の精度が向上します。

3. 時系列の「文脈」を理解 — LLMによる異常スコアリング

修正されたキャプションを時系列で集約し、LLM（例：Llama-2-13b-chat）に入力します。LLMはこの一連のキャプションを読み取り、文脈を理解した上で各フレームの異常度を0から1のスコアで評価します。例えば、通常の走行中の車両は低いスコアを与えられますが、「車が逆走している」といった異常な行動が検出されると、高いスコアが与えられます。

文脈の理解（青が異常スコアが低く、赤が異常スコアが高い）
https://arxiv.org/abs/2404.01014 より引用

4. 全体像を捉える — スコアの精緻化と統合

最後に、各フレームの異常スコアをビデオ全体の文脈と照らし合わせて統合します。VLMを活用してテキストと映像の類似度を計算し、フレーム単位だけでなく、ビデオ全体の動きやパターンを考慮します。これにより、一時的な誤検出を防ぎ、より正確な異常検出が可能となります。

実例で見るLAVADの効果的な異常検出

LAVADの優れた点は、複雑なシーンやノイズの多い環境でも高い精度を維持できることです。例えば、監視カメラの映像で「車が逆走している」という異常事態が発生した場合、従来のキャプションモデルでは「車が道路を走っている」と誤認識する可能性があります。しかし、LAVADはキャプションのクリーニングとLLMの文脈理解を組み合わせることで、このような誤りを修正し、正しく異常を検出します。

驚異的な性能を示すLAVADの実験結果：訓練不要でここまでできる！

LAVADが訓練不要で高い性能を発揮できるのは、LLMが持つ膨大な「事前知識」のおかげです。これにより、新しい環境や未知のシナリオでも即座に適応でき、高い汎用性を持っています。訓練やデータ収集にかかるコストと時間を大幅に削減できるため、導入のハードルが低く、実用性が非常に高いと言えます。

実証された高性能 — 定量的評価の結果

革新的な異常検出手法LAVAD。その実力はいかほどのものなのか？私たちは、その性能を明らかにするために、実世界の監視シナリオを含む2つの大規模データセット、UCF-CrimeとXD-Violenceを用いて徹底的な検証を行いました。これらのデータセットは、異常検出の分野のスタンダードとされ、多くの研究者がその手法の性能を競い合う場となっています。

挑戦の舞台：データセットの概要

• UCF-Crime：

  • 何がすごい？：13種類の実世界の異常行動を含む、1,900本の長時間かつ未編集の監視ビデオで構成。

  • データの内訳：

    • 訓練セット：800本の正常ビデオ、810本の異常ビデオ。

    • テストセット：150本の正常ビデオ、140本の異常ビデオ。

• XD-Violence：

  • 何がユニーク？：映画やYouTubeから収集された、音声信号付きの4,754本の未編集ビデオで構成し、6つの異常カテゴリをカバー。

  • データの内訳：

    • 訓練セット：3,954本のビデオ。

    • テストセット：800本のビデオ。

これらのデータセットは、異常検出の世界で最も過酷なテストと言っても過言ではありません。ここで高い性能を示すことは、実用的な環境でも信頼できることを意味します。

勝負の鍵：評価指標の解説

• AUC（Area Under the Curve）：

  • この指標はどういう意味？：異常検出モデルのフレームレベルでの真陽性率と偽陽性率のバランスを評価。

  • スコアの意味：

    • 0.5：ランダムな分類と同等。性能は低い。

    • 1.0：完璧な分類。異常を完全に検出し、誤警報もない。

• AP（Average Precision）：

  • この指標はどういう意味？：適合率と再現率の関係を測定し、モデルが異常をどれだけ網羅的かつ正確に検出できるかを評価。

結果発表：LAVADの圧倒的な性能

UCF-Crimeデータセットの定量比較

多くの最先端手法と比較した結果、LAVADは驚異的な性能を示しました。

• LAVADのAUCスコア：80.28%

この数値は、訓練を必要としない手法としては異例の高さであり、一部の訓練済みモデルをも上回る結果です。

UCF-Crimeデータセットの定量比較
 https://arxiv.org/abs/2404.01014 より引用

LAVADはGCLと比較して+6.08%、DyAnNetと比較しても+0.52%の向上を達成しています。訓練不要でこれだけの性能を実現する手法は他に例がありません。