O documento descreve a evolução do sistema de publicidade on-line da boo-box ao longo dos anos para lidar com o crescimento exponencial dos dados, desde a otimização do banco de dados MySQL até a adoção de soluções de big data. Ele também discute os desafios enfrentados e as soluções implementadas para melhorar o desempenho e a escalabilidade do sistema.

1. boo-box e MySQL
uma história de evolução continua de um sistema de publicidade
on-line

2. O que fazemos ?
Anúncios em blogs,
sites e redes sociais

3. Onde fazemos ?
•430 mil sites/blogs/perfis em redes
sociais
•60 mil publishers cadastrados
•60M de usuários únicos/mês
•1B de anúncios/mês

4. Como fazemos ?

5. O que isso gera ?
•40 GB dados/dia (raw)
•1.2 TB dados/mês (raw)
•15 GB de informações/dia (agregado)
•450 GB de informações/mês (agregado)

6. •behavioral targeting
•re-targeting
•segmentation
•inventory targets
O que processamos ?

7. Linha do Tempo
0
22,500,000
45,000,000
67,500,000
90,000,000
2009
2010
2011
2012impressões/dia

8. Adicionado índices para otimizar JOIN’s
entre tabelas
Problema no processamento de grandes
volumes de dados
Desafio 1
09/2009

9. Desafio 1
Adicionado índices para otimizar JOIN’s
entre tabelas
09/2009

10. Implementação de um sistema de fila/consumidor
para inserção assíncrona
Crescimento no número de inserções gerando
aumento no tempo de resposta nas APP’s
Desafio 2
12/2009

11. Desafio 2
Implementação de um sistema de fila/consumidor
para inserção assíncrona
12/2009

12. Aumento no enfileiramento de inserções
Desafio 3
03/2010

13. Desafio 3
Modificado ‘engine’ do servidor mestre para ‘blackhole’
03/2010

14. Lentidão na consulta de estatísticas
Desafio 4
07/2010

15. Desafio 4
Propagação do resultado das ‘triggers’ para servidores slave
07/2010

16. Lentidão na inserção de dados mysql (max 4.5K/s)
Desafio 5
01/2011

17. Desafio 5
Troca do sistema de arquivo para XFS (6K/s)
01/2011

18. Lentidão para consulta de dados massivos
(Big Data)
Desafio 6
06/2011

19. Desafio 6
Utilização de Google BigQuery e AWS EMR
06/2011

20. •8 TB de dados agregados
•32 TB em relatórios processados/mês
•35 TB em dados (Raw)
•22 B em fatos gerados pela rede
Cenário Atual

21. Encurtador
•NGINX + Lua + MySQL
•Lógica do ‘shortener’ na camada
MySQL usando Stored Procedures
•20K requests por segundos

22. boas praticas
•Não permitir null no banco de dados,
defina um valor default sempre que
possível
•Usar banco com sql_mode menos
permissivo
•Cuidado com indíces (falta e excessos)

23. MySQL + Memcached
•100% compatível com memcached
•Menor tempo de resposta. será ???
•Gerenciamento de cache simplificado
•Persistência

24. josafa@boo-box.com
br.linkedin.com/in/josafasantos
Perguntas ?
douglas@boo-box.com
about.me/douglasroeder