Este documento apresenta uma introdução sobre como capturar e normalizar dados com Python. Ele discute como usar bibliotecas como Requests e Scrapy para capturar dados de APIs e sites, e como a biblioteca Rows pode ajudar na normalização dos dados em um formato amigável. Também menciona a importância de dados abertos e projetos como Brasil.IO e 5StarData.

1. Capturando
Dados Com
Python
Turicas aka Álvaro Justen
UAI Python!
29 de agosto de 2015, Belo Horizonte/MG

2. Turicas, prazer! =)
{ , , ,
}/turicas
twitter.com github.com youtube.com
slideshare.net
alvarojusten@gmail.com
turicas.info

3. E Vocês?Python?
Crawling/parsing de dados?
Análise/visualização de dados?

4. Valeu, PUG-MG!
o/

5. bit.ly/uaipython-
turicas

6. RoteiroJornalismo de dados
Capturade dados
LIVE CODING
Normalização de dados
LIVE CODING
Dados abertos, Brasil.IO etc.

7. Funil de Dados1. Captura: encontrar e baixar
2. Normalização: colocar em um formato amigável
3. Análise: ver o que tem de bom
4. Visualização: mostrar paraos leigos

8. Funil de Dados
[2]4. Visualização: cerejado bolo
3. Análise: onde ocorrem os insights
2. Normalização: pé no saco
1. Captura: pé no saco [2]

9. Captura + Normalização

10. WARNING:
DANGER ZONE

11. Captura: APIspip install requests
pip install tapioca-facebook

12. Captura: Nem
Tudo São Florespip install splinter
pip install scrapy

14. Normalizaçãopip uninstall beaufitulsoup4
pip uninstall lxml
pip install rows

15. rows
0.1.0 hoje(especialmente pravcs <3)
Contribuições são bem-vindas!
gihub.com/turicas/rows

16. Dados AbertosDados Públicos
Transparência
Empoderamento
dados.gov.br

17. 5 Stars Data
5stardata.info

18. Linked Data
linkeddata.org

20. Brasil.IO
Contribuições são bem-vindas!
github.com/turicas/api.brasil.io
groups.google.com/group/brasil-io
twitter.com/brasil_io
facebook.com/api.brasil.io
#Brasil.IO@ irc.FreeNode.net

21. ?

22. Obrigado! (:
Turicas aka Álvaro Justen
{ , , ,
}/turicas
twitter.com github.com youtube.com
slideshare.net
alvarojusten@gmail.com
turicas.info
bit.ly/uaipython-turicas