JavaLand 2023, März 2023, Dirk Kröhan, (Software-Architekt bei QAware in Mainz.) == Dokument bitte herunterladen, falls unscharf! Please download slides if blurred! == Bugs passieren, auch in der Produktion! Die Fehlersuch aber ist anstrengend und zeitintensiv Die Lösung? On Demand Debug Logging Wir zeigen die Funktionen, Vorteile und Nachteile.

1. qaware.de
Go on a Bughunt in production, but without
a map!
Dirk Kröhan
dirk.kroehan@qaware.de

2. QAware | 2
Dirk Kröhan
Software-Architekt
#qaware #mainz
#cloudnative #spring
#architektur

3. QAware | 3
Automatisierte
Unit-,
Integration-,
E2E-Tests
Manuelle Tests
Code-Reviews
Pair-Programming Dediziertes QA &
Testing-Team
Statische Code
Analyse
(SonarQube,
FindBugs, …)
Wie vermeiden wir Bugs?

4. QAware | 4
Testing shows the presence, not the absence of
bugs.
- EDSGER DIJKSTRA -

5. QAware | 5
Bugs passieren
Auch in Produktion!

6. QAware | 6
Fehlersuche ist…
…anstrengend…
…und zeitintensiv!

7. QAware | 7
Bug in
Produktion
Debugging
lokal

8. QAware | 8
Entwickler-Liebling #1: Logs
Quelle: https://github.com/topics/logging-server

9. Entwickler-Liebling #2: Stacktrace
QAware | 9
Quelle: https://stackoverflow.com/questions/3988788/what-is-a-stack-trace-and-how-can-i-use-it-to-debug-my-application-errors

10. Logs in Produktion
QAware | 10
Loglevel
Datenschutz
Zu hohes Log-
Volumen
■ Keine sensitiven Daten
■ Anonymisierte Logs
■ Speicherplatz
■ Kosten
ERROR < WARN < INFO < DEBUG < TRACE

11. Damit soll ich Bugs beheben?
QAware | 11

12. QAware | 12

13. QAware | 13
On
Demand
Debug
Logging

14. QAware | 14
Unsere Architektur
Service A Service C
API-Gateway
Service B
Service E
Service D

15. QAware | 15
Beispiel: Fehlerhafter Request
Service A Service C
API-Gateway
Service B
Service E
Service D

16. QAware | 16

17. QAware | 17
Follow the
Trace!

18. Beispiel: Logs gefiltert auf eine TraceId
QAware | 18

19. Beispiel: Aktiviere Debug Logs via Admin UI
QAware | 19

20. Beispiel: Logs gefiltert auf eine TraceId mit aktivem On-Demand-
Debug-Logging
QAware | 20

21. QAware | 21
Aber wie funktioniert das nur?
■ Schritt 1:
– Requests gehen durch ein API-Gateway

22. QAware | 22
Unsere Architektur
Service A Service C
API-Gateway
Service B
Service E
Service D

23. QAware | 23
Aber wie funktioniert das nur?
■ Schritt 1:
– Requests gehen durch ein API-Gateway
■ Schritt 2:
– Alle Services nutzen eine Tracing-Library

24. QAware | 24
Spring Cloud Sleuth
Open-Source Tracing Libraries

25. Tracing 1o1
QAware | 25
Quelle: https://www.jaegertracing.io/docs/1.43/

26. Trace Propagation
QAware | 26
■ Es gibt verschiedene Wege um Trace Daten zu propagieren
– W3C Trace Context: https://www.w3.org/TR/trace-context-1/
– Zipking B3 Propagation: https://github.com/openzipkin/b3-propagation
Quelle: https://github.com/openzipkin/b3-propagation

27. QAware | 27
Aber wie funktioniert das nur?
■ Schritt 1:
– Requests gehen durch ein API-Gateway
■ Schritt 2:
– Alle Services nutzen eine Tracing-Library
■ Schritt 3:
– Debug Information propagieren

28. Baggage Propagation
QAware | 28
■ W3C Propagation format for distributed context: Baggage
– https://www.w3.org/TR/baggage/
■ Spring Cloud Sleuth (Spring Boot 2.x)
– https://docs.spring.io/spring-cloud-sleuth/docs/current/reference/htmlsingle/spring-cloud-sleuth.html#features-
baggage
■ Micrometer Tracing (Spring Boot 3.x)
– https://micrometer.io/docs/tracing#_micrometer_tracing_baggage_api
=> Wir setzen x-user-debug-log als Baggage Feld im API-Gateway

29. QAware | 29
Aber wie funktioniert das nur?
■ Schritt 1:
– Requests gehen durch ein API-Gateway
■ Schritt 2:
– Alle Services nutzen eine Tracing-Library
■ Schritt 3:
– Debug Information propagieren
■ Schritt 4:
– Logger loggt auf DEBUG, wenn Debug Info
gesetzt ist

30. Logback Turbofilter
QAware | 30
■ Gedacht für: “high performance filtering of logging events”
■ Werden bei jedem Logging statement aufgerufen
– noch vor der Erstellung des LoggingEvent-Objekts
■ Entscheidet ob:
– NEUTRAL: Entscheidung wird nicht getroffen
– ACCEPT: Log Statement wird geschrieben
– DENY: Log Statement wird nicht geschrieben
■ Mehr Infos unter: https://logback.qos.ch/manual/filters.html#TurboFilter

31. QAware | 31

32. QAware | 32
Elementar, mein lieber Watson!
■ Schritt 1:
– Requests gehen durch ein API-Gateway
■ Schritt 2:
– Alle Services nutzen eine Tracing-Library
■ Schritt 3:
– Debug Information propagieren
■ Schritt 4:
– Logger loggt auf DEBUG, wenn Debug Info
gesetzt ist

33. QAware | 33
Zusammenfassung
Service A Service C
API-Gateway
Service B
Service E
Service D
1. API-Gateway dekodiert
Access-Token um User-ID
zu ermitteln
2. Überprüft ob für die
User-Id On-Deman-Debug-
Log aktiviert ist.
3. Setzt x-user-debug-
log als Baggage Header.
6. Leitet x-user-debug-
log als Baggage Header
weiter
5. DebugLogTurboFilter
entscheidet:
FilterReply.ACCEPT
4. Verarbeitet Tracing +
Baggage Header
7. Leitet x-user-debug-
log als Baggage Header
weiter

34. TraceId als HTTP Response Header
curl GET 'https://api.my-awesome-service.de/login'
--header 'Content-Type: application/json'
--header 'Authorization: Bearer ...'
--header 'apikey:my-secret-api-key'
--verbose
QAware | 34
> GET /login HTTP/1.1
> Host: api.my-awesome-service.de
> User-Agent: curl/7.86.0
> Accept: */*
> Content-Type: application/json
> Authorization: Bearer ...
> apikey: my-secret-api-key
< HTTP/1.1 401 Unauthorized
< Vary: Origin
< Vary: Access-Control-Request-Method
< Vary: Access-Control-Request-Headers
< X-TraceId: 20f3cde76728ebf3
< Connection: Keep-Alive
< Keep-Alive: timeout=60, max=100

35. On-Demand-Debug-Logging
QAware | 35
■ Vorteile
– Fehlerdiagnose auf der Umgebung, wo der Fehler passiert
– Schnellere Fehlerdiagnose
– Jeder Request ist eindeutig per TraceId auffindbar
– Debug Logging sofort aktiv, kein Deployment notwendig
– Kein Problem mit zu hohem Log-Volumen
– Kein Problem mit Datenschutz
■ Nachteile
– Jeder Service im Cluster braucht Tracing Support
– Benötigt zur einfachen Umsetzung ein API-Gateway

36. QAware | 36
Verbesserte
Mean Time To Repair

37. Silverado Rotunde

38. qaware.de
QAware GmbH Mainz
Rheinstraße 4 C
55116 Mainz
Tel. +49 6131 21569-0
info@qaware.de
twitter.com/qaware
linkedin.com/company/qaware-gmbh
xing.com/companies/qawaregmbh
slideshare.net/qaware
github.com/qaware