GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
実施時期: 2022 – 2024
20 人手を介さず提供するGISパイプライン
状況. プラットフォームを支える多数のGISパイプラインとアプリデータのETLが、手動で提供・監視されていた。手動運用はボトルネックや不一致を生み、何より、静かな失敗に気づかず、下流のデータが誤ってから発覚する危険が常にあった。
課題. 担当者が付き添わなくてもデータが確実かつ予測どおり流れるよう、パイプラインとETLの提供を自動化することが課題だった。
行動. 20本のGISデータパイプラインとアプリデータのETLを、最初から最後まで自動提供へ移した。予定実行、ログ、失敗時の処理を標準化し、全パイプラインが同じように動き、そうでないときもわかるようにした。失敗が静かなままなのは、監視がないからだった。既存のインフラ自動化と報告にも統合し、実行を覚えておく必要のあるスクリプトの寄せ集めではなく、1つのまとまった仕組みにした。
結果. 20本すべてとそのETLが自動かつ予測どおり動き、インフラ自動化と報告の全体も整理された。人が手動で通す必要も、気づかない失敗の危険を抱える必要もなく、事業へ信頼できる最新データを届けられるようになった。

写真: LionMountain / Pixabay 
写真: dimitrisvetsikas1969 / Pixabay
前の実績: GitHub ActionsでGIS SaaSのデプロイを自動化. 次に読む: Barmanで重要データのバックアップ100件を自動化. すべての実績はこちら: 実績紹介.

