Observatorio:Tecnologia

De Programa Wash
Revisão de 20h48min de 12 de outubro de 2020 por Albuquerque (discussão | contribs) (→‎Cronograma atividades técnicas)
(dif) ← Edição anterior | Revisão atual (dif) | Versão posterior → (dif)
Ir para navegação Ir para pesquisar

TECNOLOGIA

Configurações deste Wiki

Construção do site do Observatório

Cronograma atividades técnicas

Agenda Técnica e Gerencial Detalhada
Plataforma Analítica (BI)
Data Atividades ETL - API +Brasil Referências Responsabilidade
Cadastro de usuário na API http://www.portaldatransparencia.gov.br/api-de-dados/cadastrar-email
http://portaldatransparencia.gov.br/api-de-dados/
Ararigleno
Análise do Manual de Integração API +Brasil http://plataformamaisbrasil.gov.br/images/docs/CGCAT/manuais/Manual_da_Integracao_da_API_Mais_Brasil-Versao_1.1.pdf Ararigleno
Documentação de Serviços https://val-siconv.estaleiro.serpro.gov.br/maisbrasil-api/swagger/index.html Ararigleno
Desenvolvimento do protocolo de comunicação utilizado - REST Pentaho data integration Ararigleno
Desenvolvimento da ODS (data storage) +Brasil Postgress Ararigleno
Desenvolvimento da Malha de Carga Pentaho Data Integration / Postgress Ararigleno
Automatização da Carga Pentaho Data Integration / Postgress Ararigleno
Instalação e configuração da plataforma de visualização do Pentaho (BI) Pentaho Analytics Ararigleno
12.out Disponibilização da ferramenta Pentaho (BI) na internet, ainda sem informações. Ararigleno
Construção do DW do +Brasil Ararigleno
Construção da camada semântica do Olap Ararigleno
Visualização OLAP Ararigleno
22.out
Tela de OLAP
Visualização analítica (OLAP) dos dados do +Brasil em uma feramenta de BI, preparatório para preparação dos dashboards. Ainda não estarão preparados os dashboards.
Ararigleno

Este Projeto do Observatório

Este projeto possui um conjunto de apontamentos de necessidades de soluções tecnológicas que venham dar suporte a consecução do seu objetivo. Transcreveremos a seguir esses apontamentos:


Na seção 3.1 do projeto, encontramos os objetivos específicos do projeto, onde temos os seguintes apontamentos:

  • Identificar e criar um banco de dados dos estados e municípios;
  • Definir parâmetros de modelagem dos dados;
  • Georreferenciar os dados levantados;
  • Trabalhar com dados relacionais e gerar estatísticas;
  • Desenvolver um site sobre o Observatório, descrever o que terá, blog, podcast, vídeos, integração com as redes sociais e as informações institucionais;
  • Montar servidores para receber os conteúdos do Observatório, sendo um de backup, um para o site, um para o sistema e um BI para georeferenciamento;
  • Desenvolver uma plataforma de gestão interativa para registro dos eventos, análise dos dados e compliance, em software livre, similar à que já é empregada no Programa WASH;
  • Promover o registro sistemático de todas as atividades para a execução da Lei Aldir Blanc na plataforma de gestão do Programa WASH.


Na seção 7. do projeto, os entregáveis, temos:

  • Plataformade dados, em formato SQL, para armazenamento dos dados coletados em código aberto de acompanhamento e levantamento de indicadores de estados e municípios na implantação da Lei de Emergência Cultural Aldir Blanc;
  • Inserção de dados na Plataforma do WASH;
  • Desenvolver o site sobre o Observatório.


Vejamos como podemos entender cada item destes apontamentos, começando pelos objetivos específicos:

  • Identificar e criar um banco de dados dos estados e municípios: o sistema deve ter sua base de dados modelada de tal forma a ter seu conjunto de informações organizadas por municípios e por estado. A abrangência do projeto é nacional e o sistema deve ter facilidade de receber dados organizados desta maneira. Por outro lado, deverá prover saídas de relatórios de forma agregada nacionalmente, regionalmente ou por municípios.
  • Definir parâmetros de modelagem dos dados: Modelagem de Dados é a criação de um modelo físico que explique a lógica por traz do sistema, que explique as características de funcionamento e comportamento de um software. A modelagem de dados é a base de criação do Banco de Dados e parte essencial para a qualidade do software. Partimos da ideia de que faeos uma modelagem de dados para Data Warehouse, associado a um banco de dados espacial.
  • Georreferenciar os dados levantados: a disponibilização de um banco de dados espacial associada a uma gerramenta de Sistema de Informações Geográfica (SIG) será o ponto de partida do planejamento tecnológico do projeto. Os dados relativos aos estados e municípios estarão associados ao seu código IBGE, de forma a termos qualquer informação inserida na base já ser um dado georeferenciado.
  • Trabalhar com dados relacionais e gerar estatísticas: o banco de dados terão seus dados de uma forma que eles sejam percebidos pelo usuário como contendo relações. Tal banco de daods relacional pensamos ser parte de um data warehouse, que é um tipo de sistema de gerenciamento de dados projetado para ativar e fornecer suporte às atividades de "business intelligence" (BI), especialmente para análise, consultas e relatórios avançados.
  • Desenvolver um site para o Observatório: o site poderá ser provido pela própria ferramenta de BI, ou através de um CMS específico. Isso deverá ser definido ao longo do projeto.
  • Montar servidores: até o final do primeiro mês de trabalho estará montado o primeiro servidor (servidor de desenvolvimento). Ao longo do desenvolvimento do projeto estaremos especificado e montado o ambiente de produção necessário.
  • Desenvolver uma plataforma de gestão interativa para registro dos eventos, análise dos dados e compliance, em software livre, similar à que já é empregada no Programa WASH: essa atividade já foi fruto de esforço já no primeiro dia de trabalho no projeto. A plataforma de gestão que estamos utilizando é idêntica à do Programa Wash: o wiki. Ela já está configurada para o projeto do Observatório e em utilização.
  • Promover o registro sistemático de todas as atividades para a execução da Lei Aldir Blanc na plataforma de gestão do Programa WASH: a plataforma Wiki já está configurada e disponível, e todos estão sendo incentivados a fazer este registro sistemático de todas as suas atividades.


O entendimento quanto aos entregáveis é o seguinte:

  • Plataformade dados, em formato SQL: o banco de dados será relacional em linguagem SQL.
  • Inserção de dados na Plataforma do WASH: já está sendo realizada, onde a plataforma de gestão (wiki) foi configurada especialmente para as necessidades deste projeto e já está sendo utilizada.
  • Desenvolver o site sobre o Observatório: como descrito na seção anterior (dos objetivos específicos), o site poderá ser provido pela própria ferramenta de BI, ou através de um CMS específico. Isso deverá ser definido ao longo do projeto.