Автоматизувала обробку даних на Python і PL/pgSQL
Автоматизувала завдання обробки даних за допомогою shell‑скриптів,
PL/pgSQL, Python та Transact‑SQL, підвищивши продуктивність і
ефективність.
2015 – 2022

Ситуація. Чималий обсяг регулярної роботи з обробки даних постійно
виконували вручну. Ручна робота з даними має одразу дві вади: вона
з'їдає час і дає нестабільний результат — якщо виконувати одне й те
саме завдання вручну досить часто, його щоразу робитимуть трохи
інакше, а деякі з цих відмінностей — помилки.

Завдання. Метою було автоматизувати ці завдання, щоб і повернути
час, і зробити їх надійними.

Дія. Обробку даних автоматизували в усіх базах даних і системах,
яких вона стосувалася, добираючи інструменти під конкретне завдання,
— Shell‑скрипти для «клею» між компонентами, PL/pgSQL і Transact‑SQL
на рівні баз даних, Python там, де потрібно було більше, ніж міг
дати SQL. Ручні кроки замінили автоматичними завданнями, що щоразу
виконувалися однаково, — у цьому й уся суть: скрипт не втомлюється,
не пропускає кроків і не робить нічого інакше в п'ятницю під кінець
дня.

Результат. Зросли і продуктивність, і ефективність, ручну роботу
зняли з людських плечей, а обробка даних стала стабільною й надійною
і перестала бути джерелом дрібних повторюваних помилок.

Категорії:
1Бази даних	/uk/categories/databases/	platform.engineer.company	70
1PostgreSQL	/uk/categories/postgresql/	platform.engineer.company	70
1SQL	/uk/categories/sql/	platform.engineer.company	70
1Інженерія даних	/uk/categories/data-engineering/	platform.engineer.company	70
1Пайплайни даних (ETL/ELT)	/uk/categories/data-pipelines/	platform.engineer.company	70
1Автоматизація та CI/CD	/uk/categories/automation/	platform.engineer.company	70
1Python	/uk/categories/python/	platform.engineer.company	70

Послуги:
1Адміністрування баз даних (DBA)	/uk/services/database-administration/	platform.engineer.company	70
1Розробка пайплайнів даних (ETL/ELT)	/uk/services/data-pipeline-development/	platform.engineer.company	70
1DevOps та автоматизація CI/CD	/uk/services/devops-cicd/	platform.engineer.company	70

hЦя сторінка у вебі	URL:https://platform.engineer.company/uk/portfolio/automated-data-processing-in-python-and-pl-pgsql/	platform.engineer.company	70
