# GISデータパイプライン20本の提供を自動化

20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。

2022 – 2024

**状況.** プラットフォームを支える多数のGISパイプラインとアプリデータのETLが、手動で提供・監視されていた。手動運用はボトルネックや不一致を生み、何より、静かな失敗に気づかず、下流のデータが誤ってから発覚する危険が常にあった。

**課題.** 担当者が付き添わなくてもデータが確実かつ予測どおり流れるよう、パイプラインとETLの提供を自動化することが課題だった。

**行動.** 20本のGISデータパイプラインとアプリデータのETLを、最初から最後まで自動提供へ移した。予定実行、ログ、失敗時の処理を標準化し、全パイプラインが同じように動き、そうでないときもわかるようにした。失敗が静かなままなのは、監視がないからだった。既存のインフラ自動化と報告にも統合し、実行を覚えておく必要のあるスクリプトの寄せ集めではなく、1つのまとまった仕組みにした。

**結果.** 20本すべてとそのETLが自動かつ予測どおり動き、インフラ自動化と報告の全体も整理された。人が手動で通す必要も、気づかない失敗の危険を抱える必要もなく、事業へ信頼できる最新データを届けられるようになった。

---

- 役割: DevOpsエンジニア
- カテゴリー: [データエンジニアリング](https://platform.engineer.company/ja/categories/data-engineering/), [データパイプライン（ETL/ELT）](https://platform.engineer.company/ja/categories/data-pipelines/), [DevOps](https://platform.engineer.company/ja/categories/devops/), [自動化・CI/CD](https://platform.engineer.company/ja/categories/automation/), [信頼性・バックアップ](https://platform.engineer.company/ja/categories/reliability/), [監視・オブザーバビリティ](https://platform.engineer.company/ja/categories/observability/), [GIS・地理空間情報](https://platform.engineer.company/ja/categories/gis/)
- サービス: [GIS・地理空間ソリューション](https://platform.engineer.company/ja/services/gis-geospatial/), [データパイプライン開発（ETL/ELT）](https://platform.engineer.company/ja/services/data-pipeline-development/), [DevOps・CI/CD自動化](https://platform.engineer.company/ja/services/devops-cicd/)

<https://engineer.company/ja/portfolio/automated-delivery-of-20-gis-data-pipelines/>
