ISP / CATV事業者さま環境の冗長構成見直し
こんにちは。株式会社イプリオ、代表の松下です。
「イプリオの事例紹介」シリーズです。このシリーズは株式会社イプリオの業務の内容やサービスの詳細を、私達イプリオがどのように考え、進め、解決していったのか、ということを「事例の紹介」と言う形で、皆さまにお伝えしてまいります。
今回はISP / CATV事業者様環境のバックボーンネットワーク冗長構成見直しの事例です。
概要
イプリオでは、長年ISP / CATV事業者様環境のネットワークやサーバ環境の構築保守運用を行っております。
インターネット接続の全体の流れはおおまかには下記のようになります。
ユーザがインターネットに接続するために、ルータ等を介して、ISP/CATVのネットワークに接続
ISPは、ユーザが接続してきた内部ネットワークを集約した、バックボーンネットワークとよばれる中枢ネットワークを経由して上流プロバイダやトランジットを介して、外部のネットワークへ接続
ISPやプロバイダ間で直接のデータ交換が可能な場合は、インターネットエクスチェンジ（IX）を利用して直接データをやりとりし、通信の効率を向上
※位置関係的に外部のネットワークを上流（上位）、内部のネットワークを下流と言ったりします。 ※アクセスユーザ側が下流で、インターネットにつながっている方が上流です。
このように、トランジットやIXが各ネットワーク間の効率的な接続に重要な役割を果たし、それぞれの層が連携してインターネットの広範囲な接続を支えています。
弊社ではISP / CATVが外部とつながるバックボーンから、サーバやユーザがつながっている内部ネットワークまで広く対応しています。
サーバはインターネット接続に必要な、DNSサーバ、DHCPサーバ、認証サーバ、 その他、メールサーバやWebサーバ、お客さまへのホスティングなどが対象となります。
今回は、
帯域は100Gbps x 1本、10〜20Gbps x 3,4本 といったあたりでユーザ会員は数万人規模
上位向けは、複数機器で複数のトランジットと複数のIXに接続されている
内部向けも、複数機器でサーバや各拠点のL3/L2スイッチに接続されている
といったバックボーン構成でのお話です。
既存でもいくつかの拠点に分散して回線調達していますが、現状の構成では特定の回線や機器に障害が発生した場合、大きな障害に発生するのではないかという懸念があり、 お客様からのリクエストを伺いながら構成の見直しをおこなうことになりました。
いくつかの案がある中で、冗長構成をしっかり担保するため、BGPルータを増設し、上位回線の一部を移設する対策を取ることに決め、対応作業を行いました。
プロジェクト期間は1ヶ月ほどでした。
ポイント
通常は構築時に冗長構成が取れた状態で構成されるが、長い間運用していく中で、拠点の増減、障害の発生等による構成変更でこのような状況は発生しうる
全体構成を見直し、回線冗長がとれるような構成にする
機器増設をすることになり、あわせて上位接続を部分的に移設する
切替時のダウンタイムをなるべく短くするなど、お客様への影響が少なくなるようにしたい
アプローチ
構成の見直しと新しい構成の設計 既存構成において確認を行っていきます
上位向けと内部向けで下記のポイントを確認します。
-- どこにつながっているか？
-- 回線の太さはどのくらいか？
-- トラフィックはどのくらいか？
その上で、回線や機器の障害が発生したと仮定して、どのような状態になるかリスクを考察していきます。 リスクを考察したら、そのリスクを回避するためにどのような設計にするのが良いかを考えていきます。
今回は、
-- 現在の構成の機器の一つが止まってしまった場合、外部向けトラフィックを残った回線で受けきることができない可能性があること
-- 内部の途中区間の線が切れた場合に、特定の回線に偏ってしまう設定になっていたため内部向けも詰まってしまう可能性があること
をリスクと考えて、その対応を行うことにしました
構成としては、BGPルータを1台増設することにし、外部向けの回線の移設、合わせて内部接続構成の再確認や増強を行うこととしました。
作業計画の作成
まず内部接続の見直し、増強を実施
-- BGPルータを内部ネットワーク接続して問題がないことを確認する
-- その後、少しずつ外部接続を移して行く
という順序を踏むことで、ネットワークの停止が発生しないように作業することにしました。
切り替え作業の実施
切り替えについては複数のフェーズに分けて実施していきました。
まず内部の線を増やすこと、新規接続のBGPルータを内部ルーティングに参加させます。 その後移設対象の回線のトラフィックを別へ寄せてからBGPと回線を切断。 その後、回線の物理的な挿し替えを実施。 状態を確認しながら順番に外部との接続をしていく形で切り替えを行っていきました。
成果
今回の作業検討により、障害発生時にどのようなリスクがあるのか見直すことができました。 見直しの結果、リスクが明確化され、対応方針を絞り込み、適切な対応を選択することができました。
追加作業にあたっては、当初ダウンタイムを少なくと考えていましたが、結果的にはエンドユーザにはサービス影響を与えることなく、無停止にて作業を実施することができました。
担当者として
ネットワークは長年運用していると、少しずつ事情が変わっていきます。 トラフィックの増減や、ちょっとしたトラブルでの応急対応などによる構成変更で、 当初の設計とは変わってしまうこともあり、違うリスクが発生している可能性があります。
またトラフィックの傾向が変わってくることもあり、たまに発生するバーストトラフィックに苦労するような構成になっていることもあります。
日常から考慮に入れて運用できるのが最も好ましいですが、この変化にはなかなか気づきづらいことが多いです。 日頃から行っている監視の異常や、ちょっとした障害の発生があれば、その機会に見直しを行い、時には構成検討を実施することが良いと思います。
弊社では、お客さまとしっかりと会話をしながら、現状を見極め、もっとも良いご提案ができるよう、対応させていただきます。
いいなと思ったら応援しよう！
