Neste guia vamos descifrar o antes e o depois da troca e análise de dados à medida que estes evoluem dos sistemas tradicionais herdados para novas plataformas de dados em cloud. Vamos descobrir o desafio fundamental que os analistas enfrentam, revelar a solução que põe fim a todos os problemas, e finalmente olhar para 4 best practices para pôr a mudança em marcha agora. Soa bem, não achas? Rápido e conciso. Agora vamos ao que interessa.
O desafio: os sistemas legacy tornam difícil a troca e análise de dados.
Todos os CEOs estão de acordo: utilizar os dados como um bem estratégico. Em teoria, eles estão em boa posição para o fazer. Contam com volumes crescentes de dados disponíveis para desenvolver inteligência accionável para impulsionar a tomada de decisões.
No entanto, a maioria das organizações armazena grande parte destes dados em sistemas antigos, alguns dos quais com décadas de existência. Estes sistemas criam silos de informação que tornam difícil para as empresas partilhar e analisar a sua riqueza de dados e criar uma "única fonte de verdade". Ao não contar com única fonte de verdade, a desinformação pode propagar-se, prejudicando a confiança do utilizador e impedindo a capacidade do nível C de tomar decisões críticas.
Isso não quer dizer que não estejam a tentar. Peritos em dados com recursos encontrarão ferramentas e processos para contornar estas barreiras e fazer o seu trabalho. Mas estará longe de ser um cenário ideal.
O próprio ambiente de dados também se tornou mais complexo. Há cerca de 10 anos, o aparecimento da Internet of Things (IoT) e novos conjuntos de dados gerados por sensores levou ao desenvolvimento de novas plataformas como a Hadoop e a Google Big Query. Estas plataformas podiam analisar muitos dados em simultâneo, mas não eram escaláveis.
Além disso, era difícil desenvolver aplicações para eles porque utilizavam línguas específicas e exigiam que os criadores possuíssem competências específicas. A segurança é também uma questão para as empresas que procuram proteger os seus dados sem dificultar a troca de informações.
A solução: uma Plataforma de Dados em Cloud construída propositadamente
Hoje em dia, os dados nem sempre são facilmente partilháveis ou rapidamente acessíveis àqueles que mais precisam deles.
O segredo para enfrentar este desafio é mover os dados para uma plataforma de dados em cloud, onde todos os dados da organização podem ser acedidos, partilhados, analisados e protegidos num único local - uma única versão da verdade.
Para o conseguir, as organizações precisam de adoptar uma abordagem diferente na gestão de dados. Num ambiente herdado tradicional, o armazenamento, a capacidade de computação e as condutas de dados estão interligados, criando silos, seja no local ou em cloud.
Estes três processos devem ser completamente independentes, mas ainda fortemente integrados. São os três componentes mais importantes para levar os dados para o cloud. Se vou tirar dados de sete silos da minha organização, não quero criar sete novos silos num servidor de clouds.
Numa plataforma moderna de dados Cloud, as camadas de armazenamento, computação e serviços são logicamente integradas, mas escalonadas infinita e independentemente. Esta dissociação tem ramificações financeiras significativas. Tradicionalmente, comprar mais poder de computação significava comprar mais armazenamento, porque estão ligados. Uma plataforma de dados em cloud permite às agências construir eficientemente um ambiente que pode escalar um único componente sem afectar outros.
Uma plataforma de dados em cloud é o meio termo entre os lagos de dados (onde os dados brutos são armazenados a granel) e os armazéns de dados que submetem os dados a um processo de transformação, normalizando-os para que possam ser facilmente consumidos. Num repositório de dados, as agências podem combinar dados semi-estruturados, tais como linguagem de marcação extensível (XML) e JavaScript Object Notation (JSON), com dados estruturados num único local para permitir consultas ad hoc, separando assim o armazenamento do poder computacional.
As plataformas de dados prontas para os clouds são escaláveis, permitem o acesso a mais fontes e incorporam melhores análises, levando a uma tomada de decisão mais eficiente e mais rápida. Isto também decompõe os silos intra-agência e inter-agência, uma vez que os dados armazenados em cloud podem mover-se entre agências. Finalmente, a segurança é melhorada e simplificada num ambiente de clouds.
Best Practices: Habilita uma única fonte de Dados
Começa por delinear uma estratégia
Que dados tem no teu ambiente actual e que dados queres mover? Como os vais mover para a plataforma de dados em cloud, e o que vais fazer quando lá estiverem? Qual é a melhor forma de partilhar os dados? Há cinco ou dez anos, a forma mais comum de migração era "levantar e deslocar", ou seja, levar os dados como estão e deslocá-los para a sua nova localização, mas isso é apenas deslocar os dados, não é realmente uma migração. É preciso construir essa fundação e depois construir as aplicações em cima dela. É tudo uma questão de fluxo de trabalho e casos de utilização.
Movimentar os dados e construir protótipos
Uma vez implementada a estratégia, começa a mover os dados numa abordagem faseada que dê prioridade àquilo de que necessita para sair dos dados. Em última análise, o plano deve incluir o máximo de dados possível numa única fonte de verdade, pois quanto mais versões houver, mais confusão haverá. A seguir, apresentamos um protótipo para obter resultados rápidos e que incentivem a adesão.
Confia na segurança
O cloud pode aumentar a segurança dos dados, de acordo com a Estratégia Federal de Cloud Computing, especialmente quando as agências se deslocam ou adicionam controlos à própria camada de dados. Uma plataforma de dados em cloud deve incluir uma estratégia de segurança multi-níveis que trate da encriptação, controlo de acesso, armazenamento de dados e infra-estrutura física, bem como monitorização e alerta. Os analistas de dados enfrentam todos os dias tarefas enfadonhas que atrasam ou atrasam o seu verdadeiro trabalho de análise e compreensão dos dados. Os sistemas herdados, por exemplo, abrandam e dificultam a vida aos analistas.
Obter a adesão da liderança e a aceitação geral.
Este tipo de esforço requer uma mudança cultural, e não apenas tecnológica. Para obter a adesão da liderança, podes utilizar um modelo de custos que mostra como a agência pode fazer mais por menos dinheiro, por exemplo, como os empregados podem ser mais produtivos e obter maior satisfação profissional através da utilização de dados. Para que os empregados cheguem a acordo, mostra-lhes que o acesso a mais dados tornará o teu trabalho mais fácil. Quando se começa a mostrar às pessoas o valor dos dados e o valor de devolver esses dados às pessoas que os criam, começa a mudança cultural.
A necessidade de operações e serviços modernos baseados em dados não é nova. Há muito que as empresas têm vindo a trabalhar para implementar a IA, o cloud, a aprendizagem de máquinas e a RPA para optimizar os seus dados. O desafio tem sido quebrar os silos tradicionais que impedem a partilha de dados dentro e entre empresas e que, como a pandemia da COVID-19 demonstrou, são prejudiciais. Eventos recentes mostraram que a partilha de dados é uma necessidade, não um ideal.
As organizações têm também lutado com o sistema de registo de fontes de dados e de as reunir de uma forma útil e significativa. A abordagem mais eficaz para gerir todos esses dados e criar uma única fonte de verdade é que as empresas os consolidem numa plataforma de dados em cloud em que se torne o sistema de registo para todos.
Referência: Todos os direitos reservados Snowflake