LogStareのSOCの窓 第7回「社内ネットワークで「嵐」が起きた日」
株式会社LogStareは「ログを見つめる（Stare）」というその名の通り、お客様のネットワーク環境に設置されたセキュリティ機器から出されるログを収集分析し、検知やアラートを行なうセキュリティ運用プラットフォーム「LogStare」を開発・提供しています。
セキュリティ製品を販売するセキュリティ企業と、そのエンドユーザー企業の間に入って監視業務を行なう製品を開発していると、そこからしか見えない様々な出来事があります。
それら多様な事象から、単にログ分析にとどまらず、セキュリティの運用や管理一般にも通じるトピックを厳選して、「LogStareのSOCの窓」として連載でお届けします。実務やセキュリティ計画策定、セキュリティ投資の判断の一助となれば幸いです。
SEの作業中に起きたネットワークの「嵐」
サイバー空間には地域を問わず、人工的に発生しうる「災害」が存在します。
LogStare社を含むセキュアヴェイルグループは、この人災を防ぐべくあらゆる作業にツーマンセルで臨み、ダブルチェックを欠かさないようにしていますが、社内の検証環境ともなるとその限りではなく…。
今回は前途有望な若手SEが、有望ゆえに起こしてしまったネットワークの「嵐」をここに告白します。
ちなみに、LogStareで実際に嵐をモニタリングしていた様子がこちら。約1時間、CPU使用率が異常なほど上昇していました。
徐々に機嫌が悪くなるスイッチ
ある日、とある先輩SEが社内の検証環境を操作していたところ、急に通信ができなくなった。
彼はすぐさま検証環境でスイッチをいじっていた後輩SEの元へ。検証環境は1台のFortiGateを中心に構成されており、ここに原因があると当たりをつけたのだ。
だが後輩SEには特に心当たりはないとのこと。
後輩SEは入社当時から情報処理安全確保支援士資格、ネットワークスペシャリスト資格を保持しており、ネットワークに関しては先輩SEも一目を置く前途有望なSEだった。
その彼が"心当たりはない"というので、先輩SEも疑うことなく、二人で障害の原因を調べることにした。
しかし、FortiGateの管理画面を開こうとしても応答が返ってこない。
FortiGateを再起動してみても、事象は回復するどころか徐々に悪化していった。
4億パケット、20GBのarp
焦る先輩後輩SEの元に、LogStare取締役CTO、堀野友之が駆け付けた。彼は自宅マンションにFortiGateを設置している猛者である。
堀野氏はいくつかのコマンドを実行したのちに言った。
「これブロードキャストストームじゃない？」
diagnose src-vis statsコマンドによって、常時を大きく超える4億パケット、20GBのarpが受信されていたことがわかったのだ。
後輩SEがスイッチの設定を確認すると…
「すみません、スイッチのvlanのrange指定の範囲が広すぎました」
こうして社内ネットワークに起きた嵐は止んだ。
ひょっとして、あなたの会社でも…
ネットワーク障害の原因がブロードキャストストームであることに、なかなか気付けなかったことはありませんか？
ブロードキャストストームへ対策
ブロードキャストストームとは、ブロードキャスト（ネットワーク内のすべての機器に対して一斉にデータを送信すること）が延々と送信され続けるネットワーク障害の一種です。
恐らく企業で最も多い発生原因は、1本のLANケーブルの端と端を同じスイッチに（よかれと思って）挿してしまい、いわゆるネットワークが「ループした」状態にしてしまうことでしょう。
ブロードキャストストームへの対策はいくつもありますが（詳しくは先輩SEがまとめたブログ記事をご覧ください）往々にして、自分で作ったものの不備は自分では気付けないものです。
そのためにセキュアヴェイルグループでは、あらゆる作業をツーマンセルで実施するのですが、今回は社内の検証環境であったために、後輩SEが一人で作業に臨んでいました。
障害にいち早く気付いた先輩SEも、後輩SEの"心当たりはない"の一言でネットワークレベルの問題ではないと考え、インターフェースのランプの点滅に気が回らなかったとのこと。
エンジニアの最大の敵は、「思い込み」なのだとひしひしと感じさせられた事象でした（先輩SE談）
今回の教訓
エンジニアの最大の敵は「思い込み」である（先輩SE談）
※当事者自らによる赤裸々な顛末記を、オウンドメディア「KnowledgeStare（ナレッジステア）」で公開しています。合わせてご覧ください。
https://www.secuavail.com/kb/practical-post/se-system-network/