Skip to content

Como foi o meu #odhd aqui no Sertão

dezembro 7, 2010

No sábado passado rolou no mundo todo o Open Data Hackaton Day, uma maratona de programação, design e discussão sobre a liberdade de informação e o uso dos dados governamentais em projetos para ampliar a transparência e participação popular. A idéia surgiu cerca de um mês atrás (eu só vi duas semanas atrás) e conseguiu resultar em alguns projetos interessantes.  Enquanto em alguns países, como a Inglaterra, os projetos focavam no que fazer com os dados que o governo já libera em formatos abertos e facilmente processáveis, aqui no Brasil e em diversos lugares do mundo a primeira peleja era para conseguir obter os dados, colocá-los em um formato utilizável por máquina para daí bolar algum aplicativo com tais dados. A dificuldade no Brasil para a obtenção dos dados é tanta que um das atividades mais importantes do dia (e a única da qual consegui contribuir de alguma maneira) foi a redação de um manifesto reivindicando a aprovação do Projeto de Lei 41/2010 que deve, em breve, começar a ser divulgado.

Aqui em Serra Talhada acabou não dando para reunir um grupo, pela coincidência com a semana de provas e pelo calor lembre-se-que-o-sertanejo-deve-ser-um-forte que reduziu o metabolismo de todo mundo. Mas, por teimosia, por curiosidade e para tentar pegar o embalo do dia para marcar o começo de um interesse de pesquisa nessa área, insisti em trabalhar na idéia que tinha falado em um post anterior: criar um mapa dos dados da educação no Brasil, usando indicadores de qualidade como o IDEB (Índice de Desenvolvimento da Educação Básica) e dados de investimento, como os repasses do FUNDEB. Boa parte da semana anterior com a obtenção e preparação dos dados, que  estão espalhados por todo lugar e nos formatos mais diversos, procurando ferramentas para usar na análise dos dados e, por fim, re-aprendendo a mexer no Chuck Norris dos softwares de estatística, o R. A primeira idéia mais óbvia era fazer um mapa coroplético (aprendi o termo nesses dias!) usando a interface de programação (API) do Google Maps ou então a maravilhosa biblioteca Protovis da Universidade de Stanford, mas quando tive tempo para procurar alguma coisa vi que o uso do Google Maps não era tão trivial como eu queria que fosse (ou seja, bastasse colocar o nome da cidade e ele fazia o serviço…) e para fazer esse tipo de mapa, tanto lá quanto no Protovis, eu precisaria arrumar dados dos desenhos das fronteiras dos municípios e convertê-los para um formato específico. Bem, para resumir, isso resultou em mais algumas pelejas, pois os dados que encontrei no IBGE (obtidos e publicados com o meu e o seu dinheiro) estavam em um formato proprietário, projetado para ser usado em um software cujo custo está na casa dos cinco dígitos e eu não consegui arrumar logo um jeito de convertê-los. No dia mesmo do #odhd, tentei a API de visualização do Google, que prometia um pouco da mágica que eu queria antes (só linkar uma planilha com os dados e voilà), mas os resultados foram meio decepcionantes, muito sem sal comparados com o que podia ser feito com o Protovis. Além do mais não dava para colocá-los aqui no WordPress e eu não ia migrar o Beco3 para um hosting próprio de uma hora para a outra só por causa de um gráfico mais ou menos.

Mas aí, eis que ontem, dois dias depois do #odhd propriamente dito, esbarrei em um artigo sobre como fazer visualização em mapas usando R e outro, do mesmo autor, sobre como fazer gráficos animados com R + ImageMagick, e o autor ainda me dava o link de uma fonte perfeita dos dados geográficos que eu estava procurando, “prêt-a-porter”, disponível em diversos formatos, o das das divisões territoriais brasileiras até o nível de município. Enfim, juntando tudo isso depois de apanhar um pouco com o R, consegui fazer alguma coisa para não deixar o #odhd Serra Talhada passar ser um resultado de programação sequer. Então aí vai. Primeiro, um mapinha animado da evolução do IDEB em Pernambuco. Cliquem para vê-lo em movimento:

Evolução do IDEB em Pernambuco de 2005 a 2009

Evolução do IDEB em Pernambuco de 2005 a 2009 (Cliquem para ver em movimento)

(Dito de passagem, é interessante observar que o mapa permite a surpreendente conclusão de que o ensino fundamental da rede pública no Sertão, a região mais pobre do estado, é melhor do que o do Agreste e da Zona da Mata.)

Depois, torrando um pouco mais o processador modesto do meu netbook nessa verão infernal do Sertão, um mapão do IDEB de cada município do Brasil inteiro:

IDEB 2009 por município - Brasil

IDEB 2009 por município, visão do Brasil inteiro, outra paleta de cores

Só com os dados do IDEB daria ainda para fazer várias outras visualizações, como grau de variação da nota entre 2005 e 2009 (aqui a variação do IDEB em Pernambuco) ou entrar mais nos dados obtidos e pensar algo com a diferença das notas de matemática e português. A análise ficaria interessante se desse para usar também dados do investimento em educação. Foi o que tentei fazer usando os dados dos repasses do FUNDEB, mas só tinha os dados de 2010 (falta de paciência de fazer o download manual dos arquivos de cada estado para cada um dos cinco anos anteriores: 5×27 arquivos) e o FUNDEB não corresponde ao investimento total feito em cada município (na verdade é inversamente proporcional ao investimento feito pelos estados), portanto é difícil usá-lo em uma correlação. Então fica na lista de coisas para fazer encontrar um método para incorporar fatores econômicos na análise e poder, por exemplo, destacar municípios cujo avanço na educação vai além do que seria esperado só levando em conta sua riqueza e o volume de investimentos. E também fica para a próxima, incorporar tudo isso num site, usando uma ferramenta como o Protovis, para permitir mais interação e flexibilidade.

Anúncios
4 Comentários leave one →
  1. fevereiro 3, 2011 10:58 pm

    Presente de leitora:
    http://tcarlotti.blogspot.com/2011/02/aquele-abraco.html

    Beijo!

  2. Marcelo Rubens permalink
    maio 9, 2011 7:04 pm

    Caro Leonardo,

    Parabéns pelo resultado de sua peleja transcrita aqui.

    Estou numa luta semelhante a sua para conseguir fazer um mapa usando R, por isso achei este seu post pesquisando na internet. Eu ficaria muito agradecido se você enviasse para o meu e-mail os códigos em R e os arquivos necessários os quais você usou para fazer estes interessantes mapas.

    Desde já agradeço, Marcelo Rubens

    • Leonardo Cisneiros permalink*
      maio 12, 2011 6:07 pm

      Marcelo, posso mandar os códigos sim. Na verdade só tenho a sequência de comandos salva, acabei nem scriptando o procedimento todo. Vou procurar no outro computador onde realizei os procedimento e te envio por email.

      • Marcelo Rubens permalink
        maio 12, 2011 6:23 pm

        Grato! Fico no aguardo.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: