# デッドマンズスイッチによるホスト監視を構築

メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく測っていた「available」を「free」と記す変数名を6件発見。464 MBのホストでは両者に1桁の差があった。

9月 2026

状況. gitフォージとウェブサーバーを動かす464 MBのホストにとって、メモリー不足とディスク容量不足は重要な2つの障害リスクだった。監視によって兆候を捉えられるが、その時期は負荷や観測する条件によって異なる。

課題. 故障の瞬間に送信する必要がある方式ではなく、ホストが動かないときに働く警報が必要だった。

行動. 時間を少し揺らした15分ごとのタイマーでデッドマンズスイッチを動かした。小さなスクリプトが利用可能メモリーと空きディスクを測り、両方が閾値以上のときだけ外部へ通知する。沈黙が警報になる。メモリー切れ、通信断、起動不能も不健康と同じ信号になることが正しく、状態を送るagentでなくこの形を選ぶ理由だった。測るのはfreeでなくavailableであり、ここが最も示唆に富んだ。スクリプトは正しい列を読んでいたが、周辺6変数の名がfreeだった。正常Linuxでも空きメモリーはキャッシュ利用でほぼ0に近いため、10%閾値と変数名を見た人が、464 MB中12 MBしか空いていないと誤解し、壊れていると判断して1文字直すと、正常な警報が常時違反となり、1週間で消音されかねなかった。

結果. 期待した信号が届かなければ警報を出す仕組みを設け、誤解を招く変数名も修正した。信号の受信は、スクリプトが動作し、利用可能メモリーと空きディスク容量が設定した閾値の条件を満たしたことを確認する。ホスト全体の健全性や、サイトが配信できていることを証明するものではない。

役割: サイト信頼性エンジニア
=> /ja/categories/infrastructure/ カテゴリー: インフラ
=> /ja/categories/automation/ カテゴリー: 自動化・CI/CD
=> /ja/categories/reliability/ カテゴリー: 信頼性・バックアップ
=> /ja/categories/observability/ カテゴリー: 監視・オブザーバビリティ
=> /ja/categories/linux/ カテゴリー: Linux・サーバー
=> /ja/categories/performance/ カテゴリー: 性能改善
=> /ja/services/infrastructure-as-code/ サービス: コードによるインフラ管理
=> /ja/services/site-reliability/ サービス: サイト信頼性・監視
=> /ja/services/system-administration/ サービス: システム管理

=> https://platform.engineer.company/ja/portfolio/built-dead-mans-switch-host-monitoring/ このページのウェブ版
