情シスが社内ネットワークの可視化に取り組んだら意外なものが見えてきた話（その２）

昨年末に書いた記事が思ったより多くの方に読まれたので、他の事例についても書いてみることにします。
もしよろしければ第一回の記事も読んでみていただけると嬉しいです。

ネットワークの可視化で分かることの中には、今まで意識していなかった「現場の事情」によるものがあります。
どういうきっかけでそれらを発見し、改善を促したのかという一連の流れについて書いてみたいと思います。

背景

私こと、黒ブラは当時日本の本社から海外法人のネットワーク管理を担当する情シスでした。
現地には常設型のパケットキャプチャ装置（ソナーマンのプロトタイプ）が稼働しており、現地のネットワークで何かおかしいことがあると、日本からアクセスしてパケットデータを読み、原因を把握してから現地のベンダーに連絡して、直してもらうというフローでサポートをしていました。
ベンダーにお願いする時に「何かおかしいから調べてくれ」という頼み方だとうまく連携できなかった経験からこのようにしていました。黒ブラの語学力の問題も大きいと思います。
原因を把握してから指示を出すと、シンプルな命令文でメールが出せるので楽でした。
英語を勉強しなかったのか？と当時も良く言われていたので弁明すると、多くの海外法人では英語が話せるスタッフを現地採用しているのですが、例えば中国地域では中国語―日本語話者と中国語―英語話者の混在で、現地に指示を出すときに相手がどう受け取るか不安な部分がありました。
日本からの指示は基本的に英語で出しており、英語が母国語ではない国の人々を多く相手にしていましたので、黒ブラの拙い英語が現地のスタッフに誤解を与える可能性を少しでも減らしたかったので、テクノロジーで解決することにしました。

ネットワークで起きた問題を予め仕掛けたパケットレコーダーで把握し、切り分けをすべて巻き取る代わりに現地との連携をシンプルにしました。
問題を細部まで把握していれば、被疑箇所の特定まで済ませたうえで「ラックの写真送れ」で事が足りたりするわけです。

発覚した問題と原因

海外のネットワークを管理するうえで、あるあると言えば、トラフィックの集中によるスローダウンです。
インターネット回線が遅いのか、LAN内から異常なトラフィックが出ているのか、そうだとすれば原因はどの端末なのか、これらを調査する必要があります。
言葉にするととても簡単ですが、これをきちんと切り分けできるネットワーク管理者は上級者だと思います。

その時のスローダウンは、業務時間中にある端末から大容量トラフィックが出ていることが原因でした。
端末はMACアドレスのベンダーコード（LG電子）からAndroidスマホだと思われ、トラフィックの様子からストリーミングの動画配信だと推測しました。
その端末の過去の動作を見てみると、ゲームっぽいトラフィックを流していたり、なかなかなやんちゃ坊主だなと思ったことを記憶しています。
（海外担当としてはこの程度のことは日常茶飯事なので驚きはしませんが）

余談ですが、パケットキャプチャでトラフィック分析と裏取りを繰り返していると、だんだんこのトラフィックは○○っぽいなということが分かるようになってきます。

対応

当該スマホを特定して、現地GMにこれは誰だ？と聞くわけですね。
証拠があるので、現地でスタッフを一人ずつ会議室に呼び出して事情聴取をするわけです。
結果、業務時間中に動画を見ていたスタッフが判明しました。
そのスタッフは現地で雇用しているドライバーさんでした。

知らない方のために説明しておくと、海外駐在員が赴任先で専属ドライバーと契約し、社用車を運転してもらうのは普通です。
東京のように電車でどこにでも行けるわけではないということ。標識や道を覚えて安全に運転ができるようになるまでは時間がかかること、道路事情や運転のマナーなどは国固有の要素も多く、リスキーであることなどから、ドライバーさんを事務所に常駐させ、必要に応じて駐在員の送り迎えをお願いするケースがあります。
待機中のドライバーさんは実質ヒマで、携帯で動画を見たりスマホゲームをやったりすることは別に何の問題もありません。会社の業務用WiFiを使ったということ以外は。

即座にドライバーさん専用のモバイルWiFiルータが手配され、待機中はそれを使ってよい事、会社の業務用WiFiを使ってはいけないことを説明し、問題は解決しました。

得られた教訓

日本でも携帯電話の通信料金が話題ですが、当然国によってこの辺りの事情は異なります。
ドライバーさんに限らず、現地スタッフも個人用のスマホを会社のWiFiに繋げているケースはあると思います。
現地の管理者が許可したか、担当者が勝手に繋げたかは経験上ほぼ追えません。日本人駐在員は数年で交代しますし、それが悪いことだとは誰も思っていないからです。
このような状況に起因して動画配信やゲーム以外でも、例えばスマホのシステム更新時に大きなトラフィックが集中して発生する可能性があることは賢明な読者の皆様のご想像の通りかと思います。

このように、トラフィックを監視してきちんとコントロールしないと「なんか回線が不安定」というような呪縛にとらわれてしまうケースがありますよというお話でした。

最後に

通信回線に限らずネットワークの不具合には必ず理由があり、それを可能な限り追う姿勢がネットワークの安定運用を実現するためには必要だと思います。
もちろんインターネットプロバイダのような回線から先の状況は分からないことも多いのですが、自分の担当する範囲は可視化の備えをしておくと、幸せになれると信じています。

また、ネットワークのユーザーがどういう意図で何をしているのか、なるべく把握しようと心がけると洞察も深まりますし、改善アイデアも出やすくなると思います。その際にユーザーへのヒアリングだけでなく証跡をそろえることを意識すると提案の時に説得力が増しますし、効果測定にも使えるのでおススメです。

もしよろしければ弊社のCMを見ていってください。
https://youtu.be/EZJbey0761A