[Quality Meetup #13] Piotr Marczydło - Gdy testy to za mało – Continuous Monitoring

27
Gdy testy to za mało, Continuous Monitoring Quality Meetup, 2017 Piotr Marczydło

Transcript of [Quality Meetup #13] Piotr Marczydło - Gdy testy to za mało – Continuous Monitoring

Gdy testy to za mało,Continuous Monitoring

Quality Meetup, 2017

Piotr Marczydło

The Team

23 mlnrealnych użytkowników

7 mlnzapytań na minutę

150 mlnPV dziennie

350specjalistów

40zespołów

> 500wdrożeń dziennie

„Monitoring provides a good approximation of the health of a system” – SRE book@Google

Monitoring & Observability

Kluczem do sukcesu jest to aby monitoringodpowiadał na pytania „Co” i „dlaczego”

Web Speed

Web Speed

1. Porównanie wersji (A/B Test)2. Badanie trendu 3. Ciężar strony i liczba requestów4. *Visual Complete i Progress

Real User Monitoring

1. Każdy użytkownik 2. Navigation Timing API

Real User Monitoring

1. Wersje OS2. Przeglądarki3. ISP4. Prędkość łącza5. Urządzenia mobilne

Real User Monitoring

14

Analityka

1. Google Analitics2. Gemius - Ranking.pl3. Logi

Historia jednego requestu

Historia jednego requestu

Performance

1. Narzędzia

2. Usługi

Performance

1. Front2. API/Kolejek/DB3. Workery4. Lokalizacje5. CDN?

Performance Platform

1. Liczba testów2. Statusy 3. Obciążenie 4. Komponenty

„If a human operator needs to touch your system during normal operations, you have a bug.” ~Carla Geisser, Google SRE

Development & Build

Deployment & Ops

CI/CD enviroment & uptime

1. Dostępność SDK2. Liczba VM3. Czas Commit to Build4. Czas Builda i status5. Rozmiar kolejki6. Dysk

AWS S3 = 99,95% uptime =~21,5min

Dziękuję za uwagę

[email protected]

Linki/Bibliografia:Monitoring and Observabilityhttps://medium.com/@copyconstruct/monitoring-and-observability-8417d1952e1cGoogle SRE bookhttps://landing.google.com/sre/book/index.html AWS S3 slahttps://aws.amazon.com/s3/sla/WebPageTesthttps://github.com/WPO-Foundation AWS Status Pagehttps://status.aws.amazon.com DevOps Automation Cookbook - Michael Duffy