Observatorio:Tecnologia
Revisão de 19h56min de 12 de outubro de 2020 por Albuquerque (discussão | contribs) (→Cronograma atividades técnicas)
TECNOLOGIA |
Índice
Configurações deste Wiki
- ver em configuração do Wiki
Construção do site do Observatório
Cronograma atividades técnicas
Plataforma Analítica (BI) | |||
---|---|---|---|
Data | resultado | Detalhamento | Responsabilidade |
22.out | OLAP dos dados do IBGE | Visualização dos dados do IBGE em formato analítico (OLAP) | Ararigleno |
Plataforma Analítica (BI) | |||
---|---|---|---|
Data | Atividades ETL - API +Brasil | Referências | Responsabilidade |
Cadastro de usuário na API | http://www.portaldatransparencia.gov.br/api-de-dados/cadastrar-email http://portaldatransparencia.gov.br/api-de-dados/ |
Ararigleno | |
Análise do Manual de Integração API +Brasil | http://plataformamaisbrasil.gov.br/images/docs/CGCAT/manuais/Manual_da_Integracao_da_API_Mais_Brasil-Versao_1.1.pdf | Ararigleno | |
Documentação de Serviços | https://val-siconv.estaleiro.serpro.gov.br/maisbrasil-api/swagger/index.html | Ararigleno | |
Desenvolvimento do protocolo de comunicação utilizado - REST | Pentaho data integration | Ararigleno | |
Desenvolvimento da ODS (data storage) +Brasil | Postgress | Ararigleno | |
Desenvolvimento da Malha de Carga | Pentaho Data Integration / Postgress | Ararigleno | |
Automatização da Carga | Pentaho Data Integration / Postgress | Ararigleno | |
15.out | Validação e teste | Postgress | Toda equipe do projeto |
Este Projeto do Observatório
Este projeto possui um conjunto de apontamentos de necessidades de soluções tecnológicas que venham dar suporte a consecução do seu objetivo. Transcreveremos a seguir esses apontamentos:
Na seção 3.1 do projeto, encontramos os objetivos específicos do projeto, onde temos os seguintes apontamentos:
- Identificar e criar um banco de dados dos estados e municípios;
- Definir parâmetros de modelagem dos dados;
- Georreferenciar os dados levantados;
- Trabalhar com dados relacionais e gerar estatísticas;
- Desenvolver um site sobre o Observatório, descrever o que terá, blog, podcast, vídeos, integração com as redes sociais e as informações institucionais;
- Montar servidores para receber os conteúdos do Observatório, sendo um de backup, um para o site, um para o sistema e um BI para georeferenciamento;
- Desenvolver uma plataforma de gestão interativa para registro dos eventos, análise dos dados e compliance, em software livre, similar à que já é empregada no Programa WASH;
- Promover o registro sistemático de todas as atividades para a execução da Lei Aldir Blanc na plataforma de gestão do Programa WASH.
Na seção 7. do projeto, os entregáveis, temos:
- Plataformade dados, em formato SQL, para armazenamento dos dados coletados em código aberto de acompanhamento e levantamento de indicadores de estados e municípios na implantação da Lei de Emergência Cultural Aldir Blanc;
- Inserção de dados na Plataforma do WASH;
- Desenvolver o site sobre o Observatório.
Vejamos como podemos entender cada item destes apontamentos, começando pelos objetivos específicos:
- Identificar e criar um banco de dados dos estados e municípios: o sistema deve ter sua base de dados modelada de tal forma a ter seu conjunto de informações organizadas por municípios e por estado. A abrangência do projeto é nacional e o sistema deve ter facilidade de receber dados organizados desta maneira. Por outro lado, deverá prover saídas de relatórios de forma agregada nacionalmente, regionalmente ou por municípios.
- Definir parâmetros de modelagem dos dados: Modelagem de Dados é a criação de um modelo físico que explique a lógica por traz do sistema, que explique as características de funcionamento e comportamento de um software. A modelagem de dados é a base de criação do Banco de Dados e parte essencial para a qualidade do software. Partimos da ideia de que faeos uma modelagem de dados para Data Warehouse, associado a um banco de dados espacial.
- Georreferenciar os dados levantados: a disponibilização de um banco de dados espacial associada a uma gerramenta de Sistema de Informações Geográfica (SIG) será o ponto de partida do planejamento tecnológico do projeto. Os dados relativos aos estados e municípios estarão associados ao seu código IBGE, de forma a termos qualquer informação inserida na base já ser um dado georeferenciado.
- Trabalhar com dados relacionais e gerar estatísticas: o banco de dados terão seus dados de uma forma que eles sejam percebidos pelo usuário como contendo relações. Tal banco de daods relacional pensamos ser parte de um data warehouse, que é um tipo de sistema de gerenciamento de dados projetado para ativar e fornecer suporte às atividades de "business intelligence" (BI), especialmente para análise, consultas e relatórios avançados.
- Desenvolver um site para o Observatório: o site poderá ser provido pela própria ferramenta de BI, ou através de um CMS específico. Isso deverá ser definido ao longo do projeto.
- Montar servidores: até o final do primeiro mês de trabalho estará montado o primeiro servidor (servidor de desenvolvimento). Ao longo do desenvolvimento do projeto estaremos especificado e montado o ambiente de produção necessário.
- Desenvolver uma plataforma de gestão interativa para registro dos eventos, análise dos dados e compliance, em software livre, similar à que já é empregada no Programa WASH: essa atividade já foi fruto de esforço já no primeiro dia de trabalho no projeto. A plataforma de gestão que estamos utilizando é idêntica à do Programa Wash: o wiki. Ela já está configurada para o projeto do Observatório e em utilização.
- Promover o registro sistemático de todas as atividades para a execução da Lei Aldir Blanc na plataforma de gestão do Programa WASH: a plataforma Wiki já está configurada e disponível, e todos estão sendo incentivados a fazer este registro sistemático de todas as suas atividades.
O entendimento quanto aos entregáveis é o seguinte:
- Plataformade dados, em formato SQL: o banco de dados será relacional em linguagem SQL.
- Inserção de dados na Plataforma do WASH: já está sendo realizada, onde a plataforma de gestão (wiki) foi configurada especialmente para as necessidades deste projeto e já está sendo utilizada.
- Desenvolver o site sobre o Observatório: como descrito na seção anterior (dos objetivos específicos), o site poderá ser provido pela própria ferramenta de BI, ou através de um CMS específico. Isso deverá ser definido ao longo do projeto.