Diogo Souza apresentou sobre como reduziu o tempo de execução de um batch de processamento de dados de 3 horas e meia para apenas 5 minutos utilizando Spring Batch e otimizações no código e banco de dados. Ele destacou a importância de simplificar o código, remover partes desnecessárias, escolher o momento certo para cada operação e ser amigo do banco de dados ao otimizar queries e utilizar cache.

1. Batch, Spring, Performance e
outras coisas mais…
TDC SP 2017

2. Firme e forte na amizade

3. Diogo Souza
 Java Dev no PagSeguro
 Aficionado por clean code
 Sim, gosta duma praia arretada!
Blz?

4. “
Como reduzimos o tempo de execução
de um batch de 3:30h para 5 min?

5. O dito cujo…
 Desafios
 Inovação
 Negócio
 Backoffice
 Crescimento

6. Os “x”
crescimento
performance
resiliência
escalabilidade
flexibilidade

7. As dores…
Legado
 Solução própria de batch
 Libs e técnicas obsoletas
 Pensado para funcionar!
Tecnologia
Nunca subestime o poder de
uma tecnologia (e de sua
documentação)!
Custo
 Alto risco em alterações
 Manutenção difícil
 Alto acoplamento

8. O “bicho reclamão”

9. É de autonomia que estamos falando…
💃

10. Qual stack?
3:30h
1

12. Let’s Spring it!
3:30h
2

13. “n” linhas (milhões)
/dia
R
E
A
D
P
R
O
C
E
S
S
W
R
I
T
E
B
D
B
D
B
D
B
D
B
D

14. “n” linhas (milhões)
/dia
R
E
A
D
P
R
O
C
E
S
S
W
R
I
T
EB
D
a la “chunks”
20mil

15. Remova os excessos.
Simplifique.
1:33h
3

16.  Tabelas/Proc’s
 Códigos mortos/redundantes
 Libs e configs não usadas ou
obsoletas
 @Deprecated’s
🔌
Qual o momento certo de cada operação?

17. Seja amigo do seu
banco.
45m
4

18.  Persistir agora ou não?
 Tudo via entity mesmo?
 Queries otimizadas…
 Cache + pagination!
 Não esqueça o AD.

19. “
The amount to increment by when allocating
sequence numbers from the sequence
A arte do allocationSize

20. hibernate.jdbc.fetch_size
hibernate.jdbc.batch_size
vs

21. Mission complete!
5 min e 43 segundos

22. Monitore5

23.  RAM, CPU, etc.
 Onde estão os gargalos?
 JConsole, VisualVM, Probes

24. Que mais?
Spring XD Spring Integration

25. Onde me achar?
◉ @diogosouzac
◉ diogosouza.com.br
Vlew!