Engineer / Платформа / Послуги
Дізнаватися раніше за клієнтів
Моніторинг і сповіщення, які попереджають, поки збій ще малий, і цифри, що показують, як часто так і залишається.
Запустила перший дашборд спостережуваності
Розробила та запустила перший у компанії дашборд спостережуваності, що забезпечував аналітику продуктивності системи в реальному часі та візуалізацію даних на великому офісному телевізорі.
Дашборд суттєво підвищив прозорість системи та швидкість реагування на операційні проблеми. Команди отримали змогу виявляти та усувати інциденти на 40% швидше.
Підтримувала 10 серверів Postgre і MS SQL
Спроєктувала, розгорнула та підтримувала 10 серверів PostgreSQL і MS SQL на Ubuntu Linux VPS, забезпечивши оптимальну продуктивність і надійність серверів.
- Час безперебійної роботи всіх 10 серверів баз даних сягнув 99,9%. - Завдяки налаштуванню конфігурації та оптимізації індексів час відповіді на запити…
Знизила операційні ризики з Grafana і Prome
Знизила операційні ризики, впровадивши дашборд моніторингу на базі Grafana та Prometheus, підвищивши надійність системи.
Проблеми почали виявляти й усувати до того, як вони загострювалися, і надійність систем від цього зросла.
Адмініструвала 40 вебсайтів на Apache і Nginx
Адмініструвала 40 вебсайтів на хостинг‑серверах Ubuntu Linux з Apache та Nginx, забезпечивши високу доступність і продуктивність.
Усі сорок сайтів працювали з високою доступністю та доброю продуктивністю, і завдяки цьому клієнти мали хостинг, про який не доводилося думати.
Картографічний продукт від початку до кінця
Спроєктувала, розробила й підтримувала інфраструктуру, обробку даних і картографічний застосунок протягом 2 років, охопивши розробку та операційне обслуговування.
Запис описує тривалу роботу над інфраструктурою, даними та застосунком. Він визначає тривалість і обсяг, а не вимірювання доступності, статистику часу…
Побудувала пошту з failover і журналом доставки
Побудувала електронну пошту як можливість платформи — три провайдери з резервним перемиканням, webhooks доставки, логування надсилання й доставки, шаблонізацію та кампанії — з перевіркою під час запуску, яка не дасть застосунку стартувати без жодного налаштованого поштового провайдера.
Цілий клас тихих збоїв перейшов із розряду «користувач помітить через кілька днів» у розряд «розгортання зупиняється», а невдалий день у провайдера тепер…
Відповідала за розгортання платформи в Azure
Відповідала за наскрізне розгортання платформи в Azure, керуючи релізами в середовищах development, staging і production.
Зміни передбачувано доходять до кожного середовища заданим шляхом, і жодних спонтанних ручних розгортань серед них немає.
Підтримувала 24/7 близько 1 000 серверів IPTV/OTT
Забезпечувала підтримку інфраструктури в режимі 24/7 для IPTV/OTT‑стрімінгової платформи, адмініструючи ~1 000 серверів та системи клієнтів для глобальних замовників у Китаї, США та Німеччині.
Платформа лишалася безперервно доступною для глобальної аудиторії, а проблеми виявляли й усували, хоч би о котрій годині вони виникали, — ще до того, як вони…
Забезпечувала безперебійну передачу сигналів IPTV
Забезпечувала безперебійну передачу сигналів IPTV‑стрімінгу між постачальниками та клієнтами, цілодобово відстежуючи та підтримуючи стрімінгову мережу й IP‑телефонію.
Потоки й дзвінки лишалися надійними на всій платформі, а проблеми виявляли й виправляли до того, як вони перетворювалися на збій сервісу, який хтось міг би…
Побудувала інфраструктуру, що працює роками
Планувала та впроваджувала нову функціональність інфраструктури для внутрішніх і зовнішніх систем, створюючи рішення, достатньо довговічні, щоб працювати роками з мінімальними змінами.
Системи залишалися функціональними та ефективними ще довго після того, як їх створили, і роками працювали майже без змін.
Перенесла повільні операції в чергу завдань River
Перенесла повільну роботу зі шляху запиту в чергу завдань River — 15 модулів воркерів, 8 запланованих задач та 20 завдань pg_cron — щоб запит повертався, поки робота за ним триває.
Запити виконуються швидко, а повільна робота все одно доходить до кінця, а коли ні — є повторні спроби й видима історія.
Побудувала власні моніторинг помилок і трасування
Побудувала власний моніторинг помилок і трасування OpenTelemetry, а не купила готові — очищення payload, виявлення сплесків і регресій, символікацію та синтетичний heartbeat — за 11 операторськими поданнями.
Помилки складаються в чергу, яку можна послідовно розібрати, а регресія сама дає про себе знати, а не чекає, поки на неї наткнеться користувач.
Побудувала ліміти запитів і захист від зловживань
Побудувала засоби протидії зловживанням за принципом fail‑closed — 22 обмежувачі частоти на Redis, Cloudflare Turnstile, ідемпотентність запитів та прив'язку до origin — щоб платформа відсікала ботів і напливи, а не довіряла тим, хто її викликає.
Зловживати тепер дорого для зловмисника й дешево для платформи, а збій у власному сховищі обмежувача обертається відмовою, а не відчиненими дверима.
Три замки на дверях, і жоден не замкнений
Знайшла й виправила три механізми захисту SSH від перебору паролів, які ніколи не працювали: jail блокування, що стежив за портом 22, тоді як демон слухав порт 1986; обмеження частоти, яке перекривало ширше правило, розташоване вище; і дію блокування, бінарний файл якої так і не знаходився, тож жодне блокування жодного разу не спрацювало.
Три засоби захисту, які досі жодного разу не спрацювали, тепер працюють, а клас дефектів, до якого вони належать, — засіб контролю, що, відмовивши, і далі…
Довела, що блокування вторгнень працює щоразу
Довела працездатність усього ланцюжка блокування вторгнень під час кожного запуску посилення захисту: блокувала зарезервовану тестову адресу, зчитувала створене правило ядра й знімала блокування в гарантованому блоці очищення, тож jail, який перестав працювати, обриває запуск помилкою, а не звітує про справність.
Якщо шлях блокування перестає працювати, converge тепер обривається, а не звітує й далі про справність, — і лише ця властивість насправді мала значення.
Автоматизація резервування з явним способом відновлення
Реалізувала автоматизацію резервування restic з політикою зберігання, перевіркою цілісності та щомісячним тестом відновлення; задокументувала активацію сховища й перевірку справжнього відновлення як окремі операційні кроки.
Репозиторій містить реалізацію резервування й тесту відновлення та документує передумови активації.
Побудувала моніторинг хоста з dead man's switch
Побудувала моніторинг за принципом dead man's switch, який надсилає пінг, лише поки пам'ять і диск у нормі, тож хост у погіршеному стані здіймає тривогу своїм мовчанням, — і виявила шість імен змінних зі словом «free» там, де перевірка правильно вимірювала «available»: на машині з 464 МБ ці значення різняться на порядок.
Хост отримав сигналізацію, яка спрацьовує за відсутності очікуваного сигналу, а оманливі назви виправлено.
Домоглася, щоб check mode в Ansible казав правду
Домоглася, щоб check mode показував правду на всій платформі, після того як знайшла шість перевірок, що ухвалювали рішення за значенням, якого хост ніколи не повертав: модуль command в Ansible у режимі --check звітує про успіх, узагалі не виконуючи команду.
Тепер пробний прогін або щось вимірює, або повідомляє, що не виміряв, і жоден із цих варіантів не є тим третім, який він мав раніше.
Побудувала 7 ролей звітності лише для читання
Побудувала сім ролей звітності лише для читання, які описують робочий хост у Markdown — факти, доступ, git, метрики, трафік, безпека та інвентар провайдера, — за правилом: не виводиться жодне число, якого запуск не виміряв.
Усю інфраструктуру можна на вимогу описати з репозиторію, і звіти знайшли цілком реальні речі: два мертві засоби безпеки, незадекларований порт у режимі…
Розділила всі операційні секрети за хостами
Розділила чотири операційні секрети так, щоб кожен хост мав власні, з'ясувавши, що два хости зі спільним dead man's switch сповіщають про збої рідше, ніж два окремі перемикачі, а не частіше, і що спільна парольна фраза резервних копій може відкрити доступ до копій обох хостів навіть в окремих репозиторіях, якщо хтось отримає її та зможе прочитати зашифровані дані й файли ключів обох репозиторіїв.
Секрети задаються окремо для кожного хоста вже за самою побудовою, а два режими відмови, до яких призвело б спільне використання, записано там, де наступна…
Обмежений потік подій у застосунку macOS
Обмежила буфери подій і журналювання після зафіксованого інциденту macOS зі зростанням на 41 МБ за секунду й 111 ГБ стиснених сторінок на машині з 36 ГБ; зафіксований повний тестовий запуск зменшив журнал ядра з 610 996 до 1 411 рядків.
Запис інциденту містить порівняння повних тестових запусків: кількість рядків журналу ядра застосунку зменшилася з 610 996 до 1 411, а розмір збереженого…
Виміряла 13 адрес без трекінгу
Виміряла тринадцять адрес лише за власним журналом доступу вебсервера — без кукі, без трекерів і без сторонніх сервісів — маскуючи мережу клієнта в момент запису рядка та згортаючи результат у постійний архів із 21 денного показника та 20 місячних фасетів.
Так вимірюються тринадцять адрес, і сайт не використовує ні кукі, ні трекерів, ні сторонніх запитів, тож немає на що давати згоду й немає де виконатися тегу.
Змусила шість збирачів звітувати про пропущене
Змусила шість збирачів звітів повідомляти ту частину свого входу, яку вони так і не прочитали, — файли, що лишилися закритими, невстановлені зонди, нерозпізнані рядки журналу, — і підігнала пороги до 116 виміряних зразків, з'ясувавши, що сліпий збір і справний хост дають однакову сторінку.
Сторінка з числами цієї платформи тепер показує власні сліпі зони поряд із результатами. Самовимірювання не працює як гейт, і це сказано прямо, а не лише…