本文へ移動

デッドマンズスイッチによるホスト監視を構築

メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく測っていた「available」を「free」と記す変数名を6件発見。464 MBのホストでは両者に1桁の差があった。

沈黙によって警報を上げるホスト

状況. gitフォージとウェブサーバーを動かす464 MBのホストにとって、メモリー不足とディスク容量不足は重要な2つの障害リスクだった。監視によって兆候を捉えられるが、その時期は負荷や観測する条件によって異なる。

課題. 故障の瞬間に送信する必要がある方式ではなく、ホストが動かないときに働く警報が必要だった。

行動. 時間を少し揺らした15分ごとのタイマーでデッドマンズスイッチを動かした。小さなスクリプトが利用可能メモリーと空きディスクを測り、両方が閾値以上のときだけ外部へ通知する。沈黙が警報になる。メモリー切れ、通信断、起動不能も不健康と同じ信号になることが正しく、状態を送るagentでなくこの形を選ぶ理由だった。測るのはfreeでなくavailableであり、ここが最も示唆に富んだ。スクリプトは正しい列を読んでいたが、周辺6変数の名がfreeだった。正常Linuxでも空きメモリーはキャッシュ利用でほぼ0に近いため、10%閾値と変数名を見た人が、464 MB中12 MBしか空いていないと誤解し、壊れていると判断して1文字直すと、正常な警報が常時違反となり、1週間で消音されかねなかった。

結果. 期待した信号が届かなければ警報を出す仕組みを設け、誤解を招く変数名も修正した。信号の受信は、スクリプトが動作し、利用可能メモリーと空きディスク容量が設定した閾値の条件を満たしたことを確認する。ホスト全体の健全性や、サイトが配信できていることを証明するものではない。

  • 燃料計、温度計、温度の記号
    写真: u_ieeicob7xz / Pixabay
  • 二つのベルが付いた目覚まし時計
    写真: domeckopol / Pixabay

この経験をお客様のプロジェクトに

「デッドマンズスイッチによるホスト監視を構築」を、お客様の組織の似た課題を考える出発点にしてください。この実績を支えたサービスを、お客様のプロジェクトにも提供できます。 構成全体をファイルに記述し、特定の人の記憶だけに頼らず、まったく同じ環境を再現できるようにします。

サービスを見る お問い合わせ

結果の背景を確かめる

この事例の状況、判断、結果をご覧ください。どの部分がお客様の制約の下でも生かせるか、どこに別の方法が必要かをご相談いただけます。 デッドマンズスイッチによるホスト監視を構築 — 沈黙によって警報を上げるホスト

サービスを見る お問い合わせ

より多くの実績の 一つです — そのすべてをこのサイトで公開しています。

どの項目も、状況、課題、実施内容、変化という同じ構成で記載しています。

すべての実績を見る

必要な改善を定める

デプロイの流れ、運用上のリスク、緊急対応の担当者をお知らせください。検査、復旧手段、明確な責任の所在を伴う変更の範囲を定められます。

料金を見る お問い合わせ

サーバーの沈黙はアラートとして届きますか?

「デッドマンズスイッチによるホスト監視を構築」の判断の背景についてお尋ねください。仕事内容を説明し、お客様のプロジェクトを検討できる担当者が対応します。

サービスを見る
welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン
メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく測っていた「available」を「free」と記す変数名を6件発見。464 MBのホストでは両者に1桁の差があった。のQRコード
このページを持ち歩くhttps://platform.engineer.company/ja/portfolio/built-dead-mans-switch-host-monitoring/