NOT A HOTELのネットワークインフラと目指すその先

こんにちは。NOT A HOTEL でソフトウェアエンジニアをしているきんちゃん。(@wa_kinchan) です。

まず初めに、現在 NOT A HOTEL では1人目のネットワーク専任のエンジニアを募集しています。一緒に働ける仲間の目に留まれば嬉しいです。

ネットワークチームの発足と役割

2021年4月に私と設計会社で、最初のネットワークの設計がはじまり、3年半が経過しています。
2022年6月に最初のホテルが竣工し、現在は5拠点が竣工し、基本設計も進化してバージョン8.0になりました。この note では、現行のネットワーク構成、今後の展望についてお話します。

スマートホームチームも業務委託を含む9名になり、強固なチームになりました。(2024年10月時点)
2024年1月にネットワークチームが発足し、スマートホームチームのソフトウェアエンジニアと建築部の MEP エンジニアが兼任でネットワークの設計・管理を行っています。試行錯誤を重ね、着実に前進しています。
しかし、専任者がいないことが課題です。

ネットワークチームの役割は、全てのフェーズにおいて一貫して（設計から施工・保守まで）行います。

• 基本設計 - NOT A HOTEL・設計会社

  • ベースの指針を策定

• 詳細設計 - NOT A HOTEL・設計会社・施工会社

  • 機材選定・ラック選定・PoE・UPS 容量計算

  • パラメーターの詳細

  • ルーティング・スイッチング

  • VLAN・ファイアウォール設計

  • WLAN設計 - 平面図面・立面図へのマッピング

    • 意匠を徹底しており、お客様の目に触れる場所に一切APを設置せず、すべての部屋で端までしっかり電波が届くようにする

  • 本体工事の工事区分と整理

  • 光配線・経路・配管

  • 防犯カメラ設計

• 施工前 - NOT A HOTEL・設計会社

  • コストマネジメント・発注

  • 施工前の実際の設定した機材をダブルチェック・クロスチェック

  • NTT・プロバイダ契約

• 現場施工 - NOT A HOTEL・設計・施工会社

  • 現場での工事指示

• 監視、運⽤、および保守 - NOT A HOTEL・設計会社

  • 適切なアラートの仕組みを導入し、監視を行い、問題発⽣時には迅速に解決できるよう取り組んでいます

  • 問題の発生ポイントを減らすため、既存課題のアップデート（導⼊や交換）

  • BCP (事業継続計画) 対策で実際に問題が発生したときの各現場が売止の日にシミュレーションを行う。また、交換手順を複数のメンバーで練習する

  • 長期修繕に対する予算の確保を行う

  • Runbook を適切に整え、ネットワークチームメンバー以外でもサポートが可能な状態にする

スマートホームの中枢を担うネットワークインフラ

NOT A HOTEL の特徴的なブランドの一つとして、スイッチ・リモコンレスなスマートホームがあります。
NOT A HOTEL ではハウスの照明や空調・風呂などを操作するための、スイッチやリモコンが一切ボタンがなく、すべてのiPadまたは自身のスマートフォンから操作を行います。
スマートホームは建築に密結合であり、当たり前のように便利である生活・滞在を実現するための黒子です。設計当初からテスラのようにスマートでありたいと考えて作られてきました。

スマートホームについての詳細は、過去 note を見ていただけると伝わるかと思うので、ここでは割愛します。

スマートホームはネットワークとインターネットが前提のため、ネットワークや電源が失われると設備が制御不能になる可能性があります。そのため、ネットワークは非常に重要な役割を果たしています。ネットワークの一部が死んでも動き続けるように日々改善を行い、万が一の障害発生時でも滞在ができるように、可能な限り対策とシミューレーションを行っています。

ネットワーク導入時の青空作戦会議

現行のネットワーク構成

現在はメイン機材には Ubiquiti 社の UniFi を採用しています。UniFi エコシステムを利用したネットワーク構成を取っています。

選定理由は、低コストでライセンス費が不要なこと、さらに見える化とクラウドでの一元管理が可能な点です。また、Ubiquiti 社の開発・サポート体制も優れています。
Ubiquiti Comunitiy や Facebook の日本公式コミュニティで新機能をチェックすること自体が楽しいです。最近では DS-Lite に対応し、現在は MAP-E への対応が進行中とのことです。日本で主流の MAP-E を導入することで、デュアルルーターの問題が解消され、さらなる普及が期待されます。

当初はメイン機材が UniFi ではなく、Buffalo であったが、運用するにおいて様々な課題が現れました。導入した中でも問題のあった1ハウスにおいて、先行して1年間 UniFi を導入し、安定稼働できると判断したことから、過去拠点含め、それ以降のすべての拠点に UniFi を導入しています。

NOT A HOTEL AOSHIMA の拠点のトポロジ

参考記事

ネットワークの UniFi 切替に伴う作業

ネットワークを基盤としたBCPと障害対策の強化

いつ何が起きてもいいように念入りにシミューレーションをして対策しておくことが重要です。

• WAN の障害のための LTE フェイルオーバー

  • ONU の故障

  • プロバイダ関連の障害 - IPoE、PPPoE

  • 災害によるNTTの光ケーブルの損傷 - 辺境の地が多く、倒木や災害の可能性があり都心より大きい

• ルータの障害

  • UDM-Pro と YAMAHA のルーターシリーズ RTX の二重ルーター構成のため、UDM-Pro 側での WAN Load Balancing を設定する

  • UDM-Pro の故障を対策として、Shadow Mode を利用して冗長化する

• DHCP/DNS サーバーの障害

  • UDM-Pro 依存から発生するメモリ問題に対して、大きめの拠点に対しては USW-Pro-Aggregation (L3) を導入して ルーティング・DHCP を補強する

  • USW-Pro-Aggregation は冗長化できないので、バックアップ機を実際のラッキングしてコールドスタンバイしておき、配線入替えだけで復旧可能にする

• 雷対策

  • サージ電源タップを必ず設置、アースは必ず付ける

  • 屋外 AP と直結する LAN ケーブル箇所はイーサネットサージプロテクタを必ず対向両方に設置、アースは必ず付ける

• 電源まわりの対策

  • UPS の導入と、UPS の死活監視をして非常用電源に切り替わったかを常時監視

  • 発電機・Tesla Powerwall などの蓄電池

• UDM-Pro と NVR は完全に分離する

• シミュレーション

  • モバイル通信ができない箇所に、ネットワーク機材を設置するケースが頻繁にあるため、Slack のハドルなどができないことを想定して、施工後の写真をまとめる

  • スマートホームが利用できないときの訓練をする

  • ネットワーク、スマートホーム設備の、バックアップ機器の入れ替えの訓練をする

  • できる限りネットワーク経由で監視と再起動ができるスマートホーム設備を導入する。PoE のオフオンで再起動や、リブーターなどを選定して導入する

障害対策に伴う緊急のセルフ施工
（その後正式な入替工事まで障害がでませんでした）

ネットワークチームが目指すその先

ネットワークチームの強化と持続的な成長

ネットワークチームの内 2 人は、Ubiquiti の公式の認定資格コースである UniFi Full Stack Professional (UFSP)、UniFi Wireless Admin (UWA) を受講しました。まだまだ、UniFi の理解できていない挙動、設計が足りていない部分もあり、今後も継続してチームとして成長していく予定です。
NOT A HOTEL では浅草にステージング環境を作成して実験を行える場を設定しており、検証を入念に行い機材選定や実験を行っていく必要があります。
一方、ネットワークに専門性を持った専任が必要な状態になってきています。

大規模拠点に対応する設計と安定性の確保

今後、1拠点・ハウスの規模が大きくなっています。最近の竣工した北軽井沢は過去で一番大きな拠点となりました。那須の1拠点の入替えとは違い、北軽井沢では様々な問題に直面しました。当初はL3なしで設計したが、途中でハウスが増えるにつれて、UDM-Proの高負荷が課題になりました。今後も大規模な拠点が増える中、如何に安定した稼働ができるかがネットワークチームにかかっています。

スマートホームのVPNレス化と柔軟なネットワーク運用

現在、IPSec VPN を用いて Google Cloud の Cloud VPN と接続し、スマートホームの制御を実現しています。弊社のスマートホーム黎明期では VPN を導入すれば容易に実現できると考え導入しました。しかしながら、SPOF（単一障害点）やランニングコストの面から、VPN は不要との結論に達し、段階的に廃止を進めています。その代替策として、MQTT などの他のプロトコルを検討中です。
ただし、ネットワークやサービス保守面での L2TP over IPSec や Wireguard での Site to Site VPN の使用は引き続き適切であると考えています。
今後も、ネットワークの問題が発生してもスマートホームへの影響が最小限に抑えられるよう、システムの設計と構築を進めていきます。

Wi-Fiパスワードの自動ローテーションでセキュリティを強化

NOT A HOTEL では一般的なホテルのようにキャプティブポータルを導入していません。その理由は、キャプティブポータルに対応しない機器への配慮や、Evil Twin Attack の防止が目的です。滞在ごとに自動で変わるランダムなパスワードを WPA2-PSK/WPA3-Personal で提供することが最適だと考えています。現時点 WPA3-Personal を使った PPSK はできません。WPA2 と違い MSK がないから WPA3 には対応できない話がありますが今後の動向をウォッチすることとします。
PPSK (Private Pre-Shared Key) を使った独自のパスワードローテーションの仕組みの下地は設定済みで、他にはないホテルの Wi-Fi 体験が実現できると考えています。

他にもいくつかの課題と取り組みたいプロジェクトがあります。

さいごに

私たちのネットワーク開発・運用の面白みは、お客様の体験直結で、プロダクトに対して、ネットワークからのアプローチができる点が多いことです。

今回は概要をお話しましたが、もっと深堀りした話を聞きたい場合は、ぜひ応募やお問い合わせいただけると嬉しいです。

NOT A HOTEL CAREERS - SOFTWARE