+55 84 3207 1069
Siga-nos
  • Português
  • English

Blog de Automação Industrial da Logique

  • Início
  • Blog
  • Sistema historiador de dados [Case: BR-PlantHistorian]

Sistema historiador de dados [Case: BR-PlantHistorian]

Conheça mais um dos sistemas desenvolvidos por nós da Logique Sistemas que é o futuro dos historiadores de dados!

Em um mundo dominado por milhões de informações geradas todos os dias, quem melhor conseguir se aproveitar destes ganha o lugar mais brilhante ao sol.

Pequenas e médias empresas e até indústrias de maior porte já geram importantes insights com base em uma coleta, armazenamento e, principalmente, análise eficiente dos dados gerados.

Se você quer se aprofundar nesse tema específico, recomendo a leitura do nosso texto sobre Big Data Analytics. E para quem está com os olhos no futuro da Indústria 4.0 leia mais sobre Big Data na Indústria 4.0.

Nesse post iremos te apresentar mais uma solução desenvolvida pelo Logique Sistemas para auxiliar você na tomada de decisões baseada em dados.

Continue lendo e conheça mais sobre o BR-PlantHistorian!

O que é o BR-PlantHistorian?

O BR-PlantHistorian é um historiador de dados de processo industrial otimizado para o armazenamento eficiente de dados de séries temporais.

O sistema se responsabiliza por realizar todo o gerenciamento (coleta, armazenamento, processamento e distribuição) dos dados. O BR-PlantHistorian utiliza técnicas avançadas para manipulação de big data, possibilitando a otimização e gestão avançada da produção.

BR-Plant Historian

Figura 1 – Crescimento da demanda de armazenamento de dados

O desenvolvimento do sistema se deu no contexto de Indústria 4.0 e em consonância com a crescente demanda das indústrias por um armazenamento eficiente.

Vale a pena ressaltar que os sistemas existentes, em geral, não estão preparados para essa realidade. Por isso, o BR-PlantHistorian foi pensado para ser implantado em clouds, sejam elas privadas ou públicas.

Como o BR-PlantHistorian funciona?

O BR-PlantHistorian é um sistema modular composto de diferentes serviços, cada um deles com um conjunto de funcionalidades bem definida.

Possui como premissa principal, ser um sistema escalável horizontalmente que consegue se adaptar às demandas. Sejam estas tanto de quantidade de usuários simultâneos quanto de capacidade de armazenamento.

BR-PlantHistorian

Figura 2 – Arquitetura da solução

Para melhor entendimento, podemos dividir o sistema de armazenamento em três grandes módulos: módulo de coleta e módulo de armazenamento/processamento e módulo de gerenciamento, conforme ilustra a Figura 2 acima.

Entenda mais sobre os dois principais módulos.

Módulo de coleta de dados

Responsável pela coleta dos dados gerados pelos processos industriais.

Neste módulo os dados são ativamente coletado das fontes de dados através de protocolos industriais, como, por exemplo, o OPC DA.

Este módulo deve de preferência ser implantado fisicamente próximo à unidade industrial para melhor desempenho e segurança.

Uma vez que os dados tenham sido coletados, este módulo se encarrega da entrega segura ao servidor de dados que irá armazenár em definitivo.

Além disso, possui buffers persistentes que garantem a entrega dos dados mesmo em cenários catastróficos.

BR-PlantHistorian

Figura 3 – Funcionamento do filtro na coleta (desvio de exceção)

Além da preocupação com coleta e integridade, o módulo de coleta possui filtro de dados (chamado de desvio de exceção). Este permite otimizar o uso da banda de rede informando ao servidor apenas dados relevantes.

Ou seja, dados considerados redundantes e, por conseguinte, desnecessários, podem ser filtrados otimizando o uso do recurso de banda.

Isso permite, inclusive, que o sistema se adeque até a cenários onde não há largura de banda de rede disponível, como caso de plataformas em mar.

Módulo de armazenamento

O módulo de armazenamento de dados é o responsável por armazenar os dados em definitivo. É neste módulo onde encontra-se a maior inovação do BR-PlantHistorian.

Este módulo é, na verdade, constituído por diversos serviços de armazenamento que devem ser implantados em um cluster para dividir a carga de armazenamento dos dados.

 

BR-PlantHistorian

Figura 4 – Exemplo de cluster de servidor de armazenamento

Isso significa que os dados no servidor ficam partilhado entre diversos nós do cluster. Melhorando assim, as características de robustez e performance de acesso aos dados.

Além disso, esta característica distribuída permite que o sistema consiga escalar de acordo com a necessidade. Possibilitando atender desde demandas muito singelas às mais intensas de milhões de usuários simultaneamente.

Algumas das características do BR-PlantHistorian

Robustez

Você pode ser perguntar, e se um serviço ficar indisponível? O que acontece com os dados que este servidor estava responsável?

Para isso existe um um parâmetro do sistema chamado fator de replicação (RF). Assim, cada dado do sistema estará replicado entre diferentes servidores.

Por exemplo, se o fator de replicação for 3, cada dado estará necessariamente replicado em exatos três servidores. Com isso, o sistema suporta que os nós possam se tornar indisponíveis sem que isso gere indisponibilidade do sistema.

O fator de replicação deve ser escolhido de acordo com o número de servidores do cluster e pode ser alterado à medida que a infraestrutura do sistema evolui de acordo com a demanda.

Em adicional, o cluster pode ser composto de máquinas de diferentes data centers e racks. O sistema tem o cuidado de buscar que as replicações ocorram em máquinas de diferentes racks para minimizar que uma falha deste deixe o sistema indisponível.

No caso de cenários de múltiplos data centers em regiões geográficas distintas, cada data center pode ter seu próprio RF. O sistema se encarrega de realizar toda replicação mesmo em data centers distantes fisicamente.

Alta performance

Além de toda preocupação com robustez há também a preocupação com a performance da solução. A característica distribuída também contribui muito para alcançar um excelente desempenho.

Isso ocorre porque no BR-PlantHistorian cada serviço de armazenamento pode receber requisições independentementes. Não existe serviço master, todos respondem da mesma maneira.

Sendo assim, a carga de requisições é dividida entre os nós da rede possibilitando aumentar o desempenho com a adição de novos nós no cluster.

Eficiência no armazenamento

Além de todas as inovações presentes no sistema, o BR-PlantHistorian ainda tem uma excelente taxa de armazenamento.

Isso significa que os dados armazenados são otimizados para ocuparem o menor espaço possível no disco. Mesmo com o armazenamento se tornando cada vez mais barato, em um cenário de big data esta característica ainda é extremamente relevante.

Para se ter uma ideia, no BR-PlantHistorian o armazenamento de um dado numérico incluindo timestamp, qualidade e valor do dado, gasta em média 6 bytes. Isso significa 10 vezes menos do que um banco de dados relacional gastaria.

Mesmo quando comparado com os principais players do mercado o BR-PlantHistorian possui taxas de armazenamento mais atrativas. Isso ocorre graças a uma estrutura de dados otimizada especialmente desenvolvida para armazenamento de série temporais.

Além disso, os dados quando armazenados são submetidos a uma compressão sem perda de informação. Essas características somadas contribuem para os excelentes resultados neste quesito.

Além da compressão de dados sem perda de informação, o usuário pode habilitar a compressão de dados para um determinado dado. Assim, com isso, é possível reduzir ainda mais o espaço em disco utilizado para armazenamento.

Neste caso, o BR-PlantHistorian analisa os dados coletados, em tempo real, e decide de acordo com técnicas inteligente se o dado deve ou não ser armazenado.

BR-PlantHistorian

Figura 5 – Funcionamento Swing Doors

Se o novo dado traz informações novas suficientes que não possam ser inferidas pelo sistema, o BR-PlantHistorian decide por armazenar. Caso contrário, ele descarta o dado. Quando habilitado, o algoritmo permite reduzir em até 95% o espaço de armazenamento necessário.

O BR-PlantHistorian disponibiliza diversos algoritmos de compressão com perdas. O usuário tem a facilidade de escolher o algoritmo adequado para cada tipo de dado. A Figura 4 ilustra o funcionamento do algoritmo Swing Doors, implementado e disponível pelo BR-PlantHistorian.

Módulo de gerenciamento

No topo de toda plataforma está o módulo de gerenciamento do BR-PlantHistorian. Aqui tem mais uma inovação: toda gestão do sistema, desde a coleta do dado é feito por um ambiente unificado web e acessível de qualquer local pela internet.

Com isso, a gestão do sistema fica centralizada e bastante simplificada. Após ter os módulos instalados, nenhuma configuração adicional é necessária ficando todo o resto a carga do módulo de gerenciamento.

BR-PlantHistorian

Figura 6 – Exemplo da interface de gerenciamento

Gerenciamento de tags (dados a serem armazenados), usuários, backups, estatísticas do sistema, monitoramento dos módulos. Todos estes são exemplos de funcionalidades disponíveis no módulo de gerenciamento do BR-PlantHistorian.

Que problemas o BR-Plant Historian está pronto para resolver?

O BR-PlantHistorian vem para se consolidar como uma ferramenta que possibilita armazenar e processar milhões de registros de dados industriais.

Com a crescente demanda por armazenamento de dados, a necessidade de sistemas robustos e capaz de lidar eficientemente com esta demanda se tornou um gargalo para as indústrias.

Em um contexto de técnicas avançadas de processamento/armazenamento distribuído e escalável de dados, que nasce o BR-PlantHistorian.

Podemos concluir assim que o BR-PlantHistorian é um sistema integrado, horizontalmente escalável, que permite o armazenamento e gestão centralizada de dados industriais.

Uma verdadeira revolução em armazenamento industriais de dados!

Quem se utiliza do BR-PlantHistorian atualmente?

O BR-PlantHistorian foi desenvolvido em parceria com a Petrobras e por isso ela é a principal usuária atualmente. Para se ter uma ideia do impacto da solução, apenas a unidade UO-RNCE armazena e processa mais de um milhão e trezentas mil tags!

Ou seja, são mais de um milhão de diferentes dados de diferentes instrumentos e equipamentos armazenados a todo momento.

Com pouco mais de 2 anos de operação, só nesta unidade, o BR-PlantHistorian já armazenou mais de 4 bilhões de registros. Mostrando assim que é capaz de ser utilizado em indústrias de grande porte com demandas estritas de eficiência, robustez e disponibilidade.

Gostaria de saber mais sobre o sistema? Solicite uma conversa com um de nossos técnicos clicando aqui. Ou fale diretamente comigo no debora.silva@logiquesistemas.com.br. Teremos enorme prazer em te ajudar!


Postado por Débora Silva

Um pouco sobre o autor (a): Publicitária, grande apaixonada pela cultura hip hop e analista do processo de Inbound Marketing da Logique Sistemas.


Postagens relacionadas


Receba o nosso feed

Fique por dentro das novidades

Prometemos não enviar spam.
© 2016. «Logique Sistemas». Todos os direitos reservados