Diz a lenda que não há muito tempo havia uma empresa com um alto nível de excelência invejada por muitos porque tinha os melhores analistas do mercado, as melhores plataformas internas e uma riqueza de dados proprietários com os quais tomava todas as suas decisões. Viveram num mundo idílico, até que de repente os seus concorrentes começaram a ultrapassá-los de uma forma surpreendente.
Mas porquê? Se eles tinham o melhor do melhor, o que mudou? O mundo mudou, e eles eram tão egocêntricos e atentos ao seu próprio umbigo que nem se aperceberam de como trabalhavam bem com os seus dados internos. A peça final do seu maravilhoso puzzle foi: Dados Externos!
No actual ambiente corporativo caracterizado por um ritmo acelerado, o poder das organizações depende da força dos seus dados. Durante a última década, as empresas investiram tempo, dinheiro e recursos na captura, armazenamento e análise dos seus próprios dados.
Enquanto que os dados internos podem mostrar a forma como uma organização pode melhorar as suas operações e relações com os clientes, poucas empresas obtêm a amplitude e o âmbito dos dados necessários para compreender as mudanças do mercado, descobrir a inteligência competitiva emergente e existente, e monitorizar os hábitos dos consumidores.
O que lhes falta são dados externos. Os dados de terceiros ajudam a fornecer melhores percepções para além dos dados que eles próprios geram. Esta análise de conjuntos de dados alargados permite às empresas compreender melhor as tendências globais da indústria, identificar mudanças no mercado antes que os concorrentes possam reagir, analisar o comportamento dos clientes para oferecer novos produtos ou serviços, e prever as vendas com maior precisão.
Numa altura em que todas as decisões estratégicas e financeiras dependem da análise de dados, a questão a colocar é: Porque não utilizamos mais dados?
Forrester relata que 56% dos decisores globais de dados e análises expandiram a sua capacidade de obter dados externos (ou estão em vias de o fazer), enquanto outros 21% esperam fazê-lo nos próximos 12 meses.
Agora, mais do que nunca, é importante complementar os dados internos com conjuntos de dados de terceiros.
Além disso, a Gartner prevê que, até 2022, mais de um terço das grandes empresas (35%) serão vendedores ou compradores de dados em mercados em linha, contra 25% em 2020.
Os dados externos, gerados por indivíduos, empresas e sensores, provêm de uma variedade de fontes e são encontrados numa vasta gama de categorias, incluindo
Comportamento online (pesquisa, redes sociais, utilização de aplicações, tráfego web, geolocalização)
Consumidores (transacções, fidelidade)
Indivíduos (emprego e trabalho, crédito)
Empresas (publicidade, preços, classificações e opiniões, locais de compra)
Eventos (ofícios, satélites e meteorologia, detecção de eventos)
Dados agregados (IoT, rastreadores web, B2B, dados públicos)
Graças a novas fontes de dados relevantes, as organizações podem fazer uma melhor análise de dados, uma modelação mais robusta e também reduzir o tempo necessário para obter informação. Os dados de terceiros também ajudam a validar hipóteses que seriam difíceis de testar sem validação externa.
Três maneiras de desbloquear o valor oculto dos seus dados
Embora os benefícios da utilização de dados externos sejam óbvios, as organizações extraem ainda mais valor dos dados de terceiros quando os integram com dados e análises internas.
Para ilustrar, eis três exemplos que demonstram como os dados externos podem lançar luz sobre o comportamento dos consumidores, a análise financeira e o impacto de eventos globais, independentemente da indústria:
Enriquecimento de dados internos para tomar melhores decisões
As empresas que vendem bens ou serviços de consumo utilizam frequentemente dados internos para compreender as tendências nas suas lojas. Por exemplo, os retalhistas analisam os números das vendas nas lojas para comparar o seu desempenho com as previsões. Dando mais um passo em frente, e se um retalhista combinasse dados climáticos históricos com dados internos para identificar se as alterações climáticas afectam as vendas nas lojas? Para além de analisar as tendências passadas, o retalhista poderia utilizar dados de previsão meteorológica em tempo real para prever que lojas podem ser afectadas pela próxima tempestade ou onda de calor. Esta análise pode fornecer métricas com as quais se podem reajustar as expectativas de vendas em regiões que experimentam mudanças climáticas severas.
Outro exemplo de informação externa útil são os dados de tráfego pedonal. Ao conhecer o número de visitantes diários aos vários estabelecimentos próximos de uma loja, o cientista de dados do retalhista pode começar a modelar o comportamento do consumidor de uma forma que possa prever as vendas da loja. Esta análise pode ajudar a empresa a alocar melhor o inventário para corresponder aos padrões de procura de cada loja.
Por outro lado, as equipas de marketing há muito que utilizam dados de terceiros para detectar as tendências dos consumidores. Ao enriquecerem os dados dos clientes dos sistemas CRM com dados demográficos, dados de compras e comportamentos on-line, os marqueteiros podem fazer compreender melhor os interesses dos seus clientes e as melhores formas de os incentivar a fazer mais negócios com a empresa. As equipas de vendas também podem beneficiar destes ricos dados para melhor direccionar os seus esforços de vendas e acelerar os ciclos de vendas.
Encontrar tendências únicas com dados adicionais
As empresas públicas emitem relatórios trimestrais que informam o público sobre a sua condição financeira e, com base nessa informação, os investidores decidem se compram ou vendem as acções dessa empresa. No entanto, os investidores experientes sabem que um balanço fornece apenas um instantâneo no tempo. É por isso que os fundos de cobertura e outras organizações de serviços financeiros utilizam dados alternativos, ou dados recolhidos de fontes não tradicionais, tais como uma combinação de fluxos de meios de comunicação social, dados de emprego, imagens de satélite e muito mais. A partir destes dados, as organizações financeiras podem prever se uma empresa cotada na bolsa irá cumprir as suas previsões de lucros antes de os valores financeiros tradicionais serem anunciados publicamente.
Por exemplo, a análise financeira utiliza dados de tráfego pedonal, que mostram se os consumidores estão a afluir às lojas de uma empresa ou se existe uma tendência decrescente. Esta informação pode ser sobreposta com dados demográficos para determinar se os consumidores da loja correspondem ao público-alvo daquela empresa. Ao examinar dados anónimos sobre transacções de cartões de crédito, devoluções de produtos e vendas em vários locais, os analistas podem obter uma imagem mais rica da empresa e se os seus números são susceptíveis de subir ou descer no próximo trimestre.
Aproveitar os dados derivados dos eventos para tomar decisões baseadas no ambiente
Para compreender o impacto de eventos globais como a pandemia COVID-19, as organizações de todos os sectores estão a utilizar dados de terceiros para tomar decisões sobre operações, empregados e clientes. Por exemplo, uma empresa de construção está a utilizar os dados da COVID-19 para decidir sobre os encerramentos de locais, localizando as incidências de infecção e relacionando esses locais com os seus locais de construção e o número de empregados que trabalham na área.
Outra empresa de gestão de propriedades está a combinar dados da COVID-19 com os seus próprios dados de ocupação de edifícios para fornecer aos senhorios informações sobre como a propagação da doença pode afectar a recolha de rendas. As empresas com locais físicos estão a obter dados sobre saúde e recuperação de empresas (tais como o número de lojas abertas numa região ou vendas por loja numa região) e a sobrepor estes dados com locais comerciais para tomar decisões sobre a reabertura de escritórios e lojas.
Tendo mencionado todos os benefícios da utilização de dados externos, surge uma questão: o que impede as empresas de os utilizar?
Tradicionalmente, a utilização de dados externos tem sido um desafio.
Obter dados de terceiros pode ser um desafio
Embora as razões para a obtenção de dados externos sejam óbvias, a sua colocação em prática é complicada. Há dois grandes obstáculos que se opõem a muitas organizações:
Os Data Marketplaces tradicionais de dados são confusos.
As metodologias de partilha de ficheiros legados são propensas a erros e inseguras.
Obter informação de sítios tradicionais pode ser avassalador: Como escolher entre a multiplicidade de martes de dados? Por onde começar? Como garantir que fornecedores são fiáveis, que dados serão mais úteis, e que valor cada conjunto de dados tem realmente?
Responder a estas questões implica investir o custo, tempo e esforço para encontrar e seleccionar os dados externos mais relevantes. Tudo se resume a um problema de escalabilidade. Não existe um processo eficiente para contactar cada fornecedor, avaliando os seus dados e adquirindo-os.
As empresas gastam enormes quantidades de dinheiro a contratar equipas para levar a cabo esta tediosa tarefa. Algumas empresas deixam o processo de aquisição de dados para os seus cientistas, retirando-os da tarefa para a qual foram contratados: construir modelos de dados. Outras organizações utilizam intermediários e corretores de dados para facilitar as transacções a partir do mercado de dados. Esta solução, embora vantajosa, não resolve os problemas de dependência das metodologias tradicionais de intercâmbio de dados.
Os fornecedores continuam a utilizar técnicas tradicionais de transferência de ficheiros, tais como servidores FTP ou APIs para transferir dados. Isto envolve frequentemente a cópia de ficheiros e um trabalho intensivo de engenharia para extrair, transformar e carregar os dados (ETL). As APIs podem ser um fardo, tanto para os programadores que têm de resolver múltiplos APIs, como para as equipas de segurança, uma vez que cada API tem diferentes métodos de segurança e autenticação. Além disso, esta interface é ineficiente para a recepção de grandes volumes de dados.
Mas o maior problema com estes métodos de intercâmbio de dados é que resultam sempre em cópias obsoletas de dados que são dispendiosas de adquirir. A transferência manual de dados é propensa a erros e pode levar a potenciais problemas de segurança e conformidade legal. O resultado são dados duvidosos que levam a uma análise deficiente.
No seu conjunto, estes desafios levantam uma questão: Como podem os dados externos ser utilizados à escala sem perder tempo, dinheiro e recursos e sem comprometer a segurança e o cumprimento?
A cloud de dados resolve problemas de partilha de dados
A obtenção e acesso a dados externos não deve demorar mais do que a análise dos próprios dados. As muitas barreiras apresentadas pelos mercados de dados tradicionais e as antigas práticas de partilha de dados precisam de ser removidas. Com uma nova abordagem, as organizações poderão facilmente descobrir e avaliar fontes de dados e cruzar dados externos com dados internos para uma análise rápida.
O Snowflake Data Cloud é a solução que resolve estes problemas. A arquitectura de muticluster de dados partilhados do Snowflake permite que os dados sejam centralizados num único local seguro que liga os clientes, parceiros, fornecedores de dados e serviços de dados do Snowflake a todos os outros fornecedores e áreas da nuvem. Como resultado, os silos e as barreiras tradicionais de acesso aos dados são removidos e as organizações podem beneficiar imediatamente da existência de dados seguros e governados que podem ser partilhados dentro e fora da empresa.
Isto é possível graças à capacidade do Floco de Neve de partilhar dados de forma segura, ou seja, permite o acesso a dados partilhados em tempo real a partir da sua localização original. Nunca são criadas cópias de dados e nunca são feitas transmissões de dados. Os dados não são movidos.
Em vez disso, existe uma versão única, actualizada e centralizada dos dados. Qualquer pessoa a quem seja concedido acesso pode visualizar os dados de uma forma controlada e segura, sem obter a custódia física dos dados. Como todas as alterações são feitas a uma única versão dos dados, os dados permanecem actualizados para todos os consumidores, sem risco de latência para utilizadores simultâneos.
A partilha segura de dados significa que os dados partilhados podem ser imediatamente combinados com os dados existentes para uma análise mais rápida.
Os dados estão disponíveis num formato pesquisável sem necessidade de replicação, transformação ou processamento, tornando os atrasos na análise uma coisa do passado.
Uma vez que o Snowflake é uma plataforma de nuvem agnóstica, o Snowflake permite às organizações o acesso imediato e sem descontinuidades a todos os dados partilhados, independentemente da infra-estrutura, localização geográfica ou fornecedor de nuvem (AWS, Azure ou Google Cloud Platform) de escolha. A Partilha Segura de Dados permite mesmo às organizações partilhar dados com empresas que não têm uma conta Snowflake, tornando-a uma característica global e inclusiva.
Mercado de dados sobre flocos de neve: Um empurrão para uma partilha segura
O Snowflake Secure Data Sharing é a base tecnológica para um Mercado de Dados inovador e sofisticado.
Os consumidores podem aceder a dados de terceiros residentes no Snowflake Data Marketplace em tempo real. Em vez de perderem tempo a procurar fornecedores e a descarregar dados desactualizados, os consumidores podem utilizar o Snowflake para avaliar e aceder facilmente a dados externos em directo, seguros e conformes de forma contínua e instantânea.
Uma vez guardada a tarefa de transformação, o processo de integração de dados externos com os dados existentes será rápido e contínuo.
Agora sim, estamos prontos para a análise de dados!
Além disso, pode melhorar a qualidade dos seus próprios dados com os métodos de enriquecimento disponíveis, sem passar pelos processos tradicionais de cópia e transformação de dados, que consomem tempo e podem levantar preocupações regulamentares e de segurança. Graças ao Snowflake Data Marketplace é possível partilhar conjuntos de dados com fornecedores externos para permitir o enriquecimento de dados e processos populacionais, e as alterações serão partilhadas em segurança directamente na sua conta Snowflake.
Quer esteja a utilizar dados externos para enriquecer a informação para melhorar a sua análise empresarial, ou para ajudar a formar modelos de AI/Machine Learning (ML) em processos de Data Science, os benefícios do Snowflake Data Marketplace são claros.
Facilidade de descoberta: Aproveite a vantagem de ter um único local de acesso a uma grande variedade de conjuntos de dados que podem ser consultados, unidos com dados internos, utilizados na modelação ou adicionados a ferramentas de BI - tudo de forma rápida e fácil.
Dados em tempo real e actualizados: Esqueça as preocupações com dados obsoletos. Quaisquer actualizações feitas pelo fornecedor de dados de terceiros serão imediatamente reflectidas nos seus conjuntos de dados, sem necessidade de intervenção manual ou programação.
Redução de custos: Eliminar despesas gerais desnecessárias de análise relacionadas com o carregamento de dados, transformação, integração e gestão de API. Como não há movimento de dados (apenas acesso a dados), também não há custos de armazenamento de dados de terceiros.
Personalização: Solicite fontes de dados personalizadas e seguras que sejam adaptadas às suas necessidades específicas de informação.
Enriquecer os dados internos: Utilize os serviços de enriquecimento para melhorar a qualidade dos seus próprios dados, partilhando-os com segurança com os fornecedores.
Acesso total: Tem acesso rápido a dados de terceiros a partir de qualquer fornecedor de nuvens relevante.
Com o Snowflake Data Marketplace, a capacidade de aceder com segurança e combinar rapidamente dados de fontes de terceiros garante a entrega de análises mais ricas, melhores percepções e uma tomada de decisão mais informada.
Resta apenas uma pergunta: Está pronto para mobilizar os seus dados?
Referências: Todos os direitos reservados Snowflake