"Szanowny Panie, Pana program działa, ale niestety wolno. Czy da się go przyspieszyć?" Który programista nie spotkał się z takim stwierdzeniem niech pierwszy rzuci kamień. W prezentacji poruszamy tematykę analizy wydajności programów za pomocą narzędzia DTrace.

1. DTrace, czyli jak zobaczyć
to czego nie widać
Wojciech Macek

2. Agenda
● Niska wydajność, co robić?
● Rozwiązanie: DTrace
● Kilka przykładów z życia wziętych
● Agregacja danych i FlameGraph
● Off-CPU time: co program robi gdy nic nie robi
● Kilka słów o Linuksie
● Pytania i (być może) odpowiedzi

3. Problemy z wydajnością
● Program zajmuje 100% czasu procesora
○ Co jest najbardziej czasochłonną operacją?
○ Która ścieżka kodu wykonywana jest
najczęściej?
● Program nie zajmuje 100% czasu procesora
○ Czemu jest wywłaszczany?
○ Na co czeka (dane?)?
○ Czy są jakieś współdzielone blokady?

4. Narzędzie idealne
● Możliwość śledzenia przebiegu programu (kernel i
userspace)
● Podgląd:
○ stosu wywołań funkcji
○ parametrów funkcji
○ wartości zwracanej
● Statystyka, liczenie ilości zdarzeń, histogramów, min/max
● Śledzenie zmian kontekstu, blokad
● Brak ograniczeń ilości śledzonych miejsc/zdarzeń
● Reagowanie na samodzielnie zdefiniowane zdarzenia
● Brak wpływu na wydajność testowanej aplikacji
● Prosta obsługa, wygodne narzędzia, GUI

5. Rozwiązanie: DTrace
● Pierwsze takie narzędzie, powstało dla systemu
Solaris. Obecnie używane w:
○ FreeBSD
○ Solaris
○ macOS
○ NetBSD
○ Linux (Oracle Linux)
● Narzędzie bazujące na “hook’ach” dynamicznie
instalowanych i usuwanych
● Pozwala dynamicznie śledzić wykonanie wątków

6. DTrace - trzy filary
Podsystem (subsystem)
Obszar, który udostępnia
próbki. Podsystemem może być
np. fbt (kernel, w jego skład
wchodzą “probe’y” jądra),
aplikacja (wtedy próbki dotyczą
funkcji userspace) jak i
biblioteki systemowe.
Próbka (probe)
Zdarzenie, które ma być
przechwycone przez DTrace. Na
przykład:
● wejście do funkcji (entry)
● wyjście z funkcji (return)
● próbka zdefiniowana
przez programistę
Akcja (action)
Zdefiniowana przez użytkownika w
skrypcie czynność, która zostanie
wykonana przy uruchomieniu próbki w
danym podsystemie. Na przykład:
● zliczenie ilości wejść
● wyświetlenie stosu wywołań
● podejrzenie parametrów funkcji

7. Rozwiązanie: DTrace
● Wkompilowanie w kernel (FreeBSD)
options KDTRACE_HOOKS
● Inicjalizacja
#kldload dtraceall
● Wyświetlenie listy probe’ów
#dtrace -l
#dtrace -ln 'pid$target:::entry' -p 633
Przykład

8. Skrypty DTrace
Obsługa probe’a
<provider>:<module>:<p-function>:<p-name>
/ <condition> /
{
… user code
}
Zmienne predefiniowane
pid Process ID
tid Thread ID
timestamp Nanosecond timestamp since boot
execname Process name
arg0, ... Function arguments and return value
errno Last syscall failure error code
probefunc Probe function name (3rd field)
probename Probe name (4th field)

9. DTrace: przykład 01
#!/usr/sbin/dtrace -s
fbt::tc_windup:entry
{
stack();
}
Przykład

10. DTrace: przykład 02
syscall:::entry
/execname == "ls"/
{
printf("%s: %sn", execname, probefunc);
}
Przykład

11. DTrace: przykład 03
syscall::read:entry /execname == "ls"/ {
self->track = 1;
printf("%s: %sn", execname, probefunc); }
syscall::read:return /execname == "ls"/ {
self->track = 0;
printf("%s: %sn", execname, probefunc); }
fbt:::entry /execname=="ls" && self->track==1/ {
printf("%s: %sn", execname, probefunc); }
Przykład

12. Agregacje
Format
@name[ keys ] = aggfunc( args );
name Nazwa agregacji
keys Klucz agregacji
aggfunc Funkcja agregacyjna
Funkcje agregacyjne
count Ilość wystąpień
sum(arg) Sumowanie wartości
avg(arg) Średnia wartość
min(arg) Minimalna wartość
max(arg) Maksymalna wartość
lquantize(arg) Histogram liniowy
quantize(arg) Histogram "power-of-two"

13. DTrace: przykład 04
syscall::read:entry
{
@apps[execname] = count();
}
Przykład
@apps[“ls”] += 1;

14. DTrace: przykład 05
/*
* ssize_t read(int fd, void *buf, size_t nbyte);
*/
syscall::read:entry
{
@apps[execname] = quantize(arg2);
}
Przykład

15. DTrace: przykład 06
#!/usr/sbin/dtrace -s
profile-197 /arg0/
{
@stacks[stack()] = count();
}
Przykład

16. FlameGraph
● Graficzne narzędzie do wizualizacji agregacji
● Darmowe, dostępne na GitHub
https://github.com/brendangregg/FlameGraph
● Wygląd:
http://www.brendangregg.com/FlameGraphs/cpu-bash
-flamegraph.svg

17. FlameGraph: użycie
# git clone https://github.com/brendangregg/FlameGraph
# cd FlameGraph
# kldload dtraceall # if needed
# dtrace -x stackframes=100 -n 'profile-197 /arg0/ {
@[stack()] = count(); } tick-60s { exit(0); }' -o
out.stacks
# ./stackcollapse.pl out.stacks | ./flamegraph.pl > out.svg

18. Historia pewnego sterownika
● Chory: sterownik karty sieciowej 40G na
48-rdzeniowym SoC ARMv8
● Objawy: Linux potrafi 36Gb/s a FreeBSD
tylko 20Gb/s
● Diagnoza: <przykład z iperf3>
Przykład

19. Analiza off-CPU

20. DTrace off-CPU
sched:::off-cpu /execname == "iperf3"/
{
self->ts = timestamp;
}
sched:::on-cpu /self->ts/
{
@[ustack()] = sum(timestamp - self->ts);
self->ts = 0;
}
Przykład

21. DTrace Off-CPU
<przykład z MySQL>
Przykład

22. A co z Linuksem?

23. Q&A
Pytania?