自動翻訳(Auto Translation)
- English
- 日本語
この記事は「本番環境などでやらかしちゃった人 Advent Calendar 2025」の15日目です。
これはとある工場の電力消費量を監視するシステムに関する物語です。
工場は事前に電力使用計画を提出し、計画量を超える電力を消費した場合には、即座にデマンド抑制（需要抑制）を実施する義務があります。
これは、計画量と実際の使用量が異なった場合、その差分を「インバランス清算」として多額の違約金が発生するためです。
２４時間３６５日、リアルタイムに監視する必要があるこのシステムは、文字通り「絶対停止できない」システムでした。
「絶対停止できない」システム。その言葉の重みが示す通り、私たちの電力監視システムは、万全を期した構成で稼働していました。
それは、万が一の事態にも対応できる「デュアル構成」。メインで稼働するA系（稼働系）と、常にそのバックアップとして待機しているB系（待機系）が連携し、途切れることのない監視を可能にしているのです。
問題の発端は、システム全体の司令塔であるデュアル統括SVで発生した、とある問題でした。
システムを長期間起動し続けることで、USBポートが機能しなくなるという問題が発生したのです。
この事象を解決するにはデュアル統括SVの再起動が不可欠と判断されました。
しかし、このシステムが長年にわたり一度も停止したことがなく、誰もその再起動を試みたことはありませんでした。
つまり、私たちは未知の領域での再起動作業を、計画的に進めていた、まさにその最中にいたのです。
そして、ついに「未知の再起動作業」の時がやってきました。
私たちは、USBポートが機能しなくなったサーバに対し、計画通りリモートデスクトップでターゲットとなるサーバーに接続を試みました。
接続先は「電力監視システム デュアル統括SV」であると認識し、一覧の中から「EG-SV-DU1」という名称を選択。
「これが統括SVだ」と確信し、システム停止、そしてOSのシャットダウン処理を実行したのです。
その直後、「電力システム 重故障発生」というけたたましいアラームが鳴り響きました。
「ハイハイ。計画通り」と、私たちはモニターに目をやったまま、システムが落ちるのを待っていました。
しかし、いつまでたっても、本来落ちるべき「デュアル統括SV」の実機は静かに稼働し続けているではありませんか。
「あれ？なぜだろう…」
そう首を傾げたその時、別のサーバーの電源が落ちているのを発見したのです。
そして、それが稼働中の「エネルギー監視サーバ（１系）」であることを確認した瞬間、心臓が凍りつきました。
まさか──。
私たちは、リモートデスクトップの接続先を根本的に間違えていたのです。
正しい接続先は「DU-SV-DU1」。「デュアル統括SV（DU-SV）の1系統目（DU1）」を意味していました。 しかし、誤って接続してしまった「EG-SV-DU1」は、エネルギー監視サーバ（EG-SV）の1系統目（DU1）。
つまり、私たちが必要としていた「デュアル統括SV」ではなく、工場全体の電力監視を担う稼働系サーバを、自らの手で停止させてしまっていたのです。
私の頭の中には、すぐに「数百万の違約金」という言葉が脳をよぎりました。
すぐさま上司に連絡。想定外の事態に上司も慌てた姿でした。
こうしている間にも工場では電力が容赦なく消費され続け、刻一刻とインバランス清算という悪夢が現実へと近づいています。
そこに、上司の冷静な指示が。
今すぐＢ系（待機系）に切り替えろ
その言葉で、私たちはハッと我に返りました。
即座に手元の手順書を引っ張り出し、関係者と連携しながら、B系への切り替え作業を開始しました。
慎重に、しかし迅速に切り替えコマンドを入力し、システムのステータスモニターを凝視します。
危機は、去った。
システム全体の監視機能は、確かに途切れることなく継続されました。
数百万の違約金が発生する寸前で、私たちはまさに間一髪、最悪の事態を免れたのです。
USBポートの故障は半年以上前から発生しており、以前からリモートデスクトップ接続で「デュアル統括SV」に接続していました。
いや。「デュアル統括SV」に接続している気になっていました。
半年前、故障した時から誤って「エネルギー監視サーバ（１系）」に接続しており、気づいていなかったわけです。
誤接続防止のために、よくデスクトップ背景画像を変えたりしますが、接続時の設定に「デスクトップ背景」が選択されていないと、せっかく設定したデスクトップ背景画像が表示されず、気づけない状態となってしまいます。
今となれば、この設定を知っていたらトラブルを防ぐことができたのに。
皆さんも同じ目に合わないように、この設定を伝えます。
