Em uma retrospectiva do que foi previsto de tendências da Engenharia de Dados para 2023 (clique aqui para ler), o Head de Data Engineering e Data Analytics da Keyrus Brasil, Luis Gustavo Scalise, traz insights do comportamento do mercado em relação a cada tema, com honestidade sobre o que realmente foi concretizado e o que não foi mais do que uma moda e fase. A partir de sua análise do mercado, Scalise também faz novas instigações para empresas ficarem atentas em 2024.
Retrospectiva 2023
ML puxando o trem de Advanced Analytics - Foguete ainda não decolou, será que decola algum dia? Muito se fala, mas poucos cases concretos ainda. Espero que mude!
ETL reverso (Reverse ETL) ou qualquer solução que possa ajudar a resolver problemas de “última milha” - Foi menos falado do que esperava, mas parece que se criou uma base mais sólida para ser discutido em 2024.
Observabilidade de dados - Um acerto em cheio! Muito se falou, muitos implementaram e muito ainda se fala sobre. Deve ficar ainda mais forte em 2024!
Reflexões sobre a atuação de Engenheiros de Dados e seus papeis nas empresas:
Os engenheiros de dados utilizarão ainda mais tecnologias proprietárias em nuvem e os produtos SaaS - Acertei mais do que errei. As soluções proprietárias de cloud não fizeram tanto sucesso, mas produtos SaaS foram cerne e seguirão sendo, na minha opinião.
Os engenheiros de dados gastarão menos tempo codificando e mais tempo monitorando (Low Code voltando) - Mais um que ainda não decolou; ainda aposto nisso para 2024, não necessariamente se tratando de Low Code, mas de mais soluções automatizadas.
Os engenheiros de dados mudarão de “equipes de recursos” para “equipes de base” ou times Core - Não vi tanto esse movimento, na verdade não vi movimento algum nesse sentido, errei de longe.
Agora tendo visto como foi 2023, identifico algumas tendências para 2024 (lembrando que elas são de acordo com o que observo no mercado e nas empresas, mas ainda sou um mero mortal).
Insights de 2024
Plataformas multicloud que possuem várias usabilidades e ferramentas devem continuar dominando o mercado. Elas estão tentando expandir cada vez mais seu portfólio para serem um "one stop solution" para dados, desde armazenamento, tratamento e análises avançadas. Se engenharia crescer, ótimo para eles. Se governança crescer, ótimo também. Se AI e ML forem cerne, ótimo também.
ETL Reverso - Sim, aposto de novo nele. Todo mundo (praticamente) durante a pandemia fez seu Lake, tem seus sistemas legados e CRMs. Muito valor pode-se tirar de pegar dados tratados e torná-los transacionais, incorporando aos dados corporativos, descentralizando ou disseminando informação tratada para mais pontos de decisão que não só os end-points plugados no Lake.
Discussão sobre produtos em aplicações e não tecnologia. Isso parece óbvio, mas um sábio uma vez me disse que o óbvio precisa ser dito. Coloco isso até de maneira agnóstica, pois, como comentei acima, muitos já fizeram seu Lake (e suas variantes) e já possuem seu sistema. TI não será o comprador de novas tecnologias, mas sim o negócio em si, ou seja, como a ferramenta auxilia a tomar decisão numa ruptura de estoque, para prever demanda, aumentar a eficiência para capitalizar com créditos de carbono e fazer a política de ESG ser bem-sucedida. Falaremos sobre casos de uso, como ajudar o negócio. Se a tecnologia encaixar, ótimo. Se ela ajudar acelerar a solução, melhor ainda. Hoje a necessidade não é estar na nuvem ou ter a tecnologia de ponta, é estar na ponta da solução.
Quer saber mais e ficar por dentro das tendências? Entre em contato e siga a gente no LinkedIn!