CI&T
[Job - 25610] Mid-Senior Data Engineer (Azure / Databricks), Brasil
CI&T, Brazil, Indiana, United States, 47834
Overview
Somos especialistas em
transformação tecnológica , unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando um(a) Engenheiro de Dados, apaixonado(a) por construir e otimizar soluções de dados em larga escala no ecossistema Azure e Databricks. Sua missão
- Desenhar, desenvolver e manter a espinha dorsal da nossa plataforma de dados, garantindo que nossas informações sejam robustas, confiáveis e prontas para o consumo analítico e estratégico. - Se você é movido(a) por desafios técnicos, tem experiência prática com a arquitetura Medalhão e quer aplicar o poder da IA para otimizar o desenvolvimento, esta é a sua oportunidade. Principais Responsabilidades
Arquitetura de Dados (Medallion): Projetar, implementar e manter pipelines de dados escaláveis e eficientes, gerenciando todo o ciclo de vida dos dados através das camadas Bronze, Silver e Gold na plataforma Databricks. Desenvolvimento e Otimização de Pipelines: Construir e gerenciar fluxos de ETL/ELT complexos utilizando Azure Databricks (PySpark/SQL) e Azure Data Factory, garantindo a ingestão, transformação e armazenamento robusto dos dados. Eficiência com IA no Desenvolvimento: Otimizar ativamente o ciclo de desenvolvimento e a performance dos pipelines, aplicando ferramentas de IA generativa e assistentes de código (ex: Databricks Assistant, GitHub Copilot) para acelerar a entrega e melhorar a qualidade do código. Gerenciamento do Data Lakehouse: Garantir a integridade, consistência e performance do nosso Data Lakehouse, utilizando Delta Lake como camada de armazenamento principal (ACID transactions, schema enforcement, time travel). Modelagem de Dados: Colaborar com analistas e áreas de negócio para desenhar e implementar modelos multidimensionais e agregados (camada Gold), otimizados para consumo de BI e análises avançadas. Integração de Sistemas: Construir e implementar APIs para facilitar a comunicação, ingestão e consumo de dados, garantindo a troca eficiente de informações entre sistemas (ex: Oracle, SQL Server, fontes externas). Colaboração e Governança: Trabalhar de forma colaborativa com equipes multifuncionais (BI, Data Science, Negócios) e aplicar as melhores práticas de engenharia e governança de dados. Requisitos e Ferramentas Essenciais
Experiência Sólida: Experiência como Engenheiro de Dados, com foco principal no ecossistema Azure Cloud. Expertise em Databricks: Conhecimento profundo em Azure Databricks, incluindo Spark, PySpark, Spark SQL e otimização de clusters. Orquestração de Dados: Forte conhecimento em Azure Data Factory (ADF) para criação e gerenciamento de pipelines. Linguagens: Domínio avançado em SQL e Python (voltado para engenharia de dados, ex: Pandas, PySpark). Conceitos Fundamentais: Excelente compreensão dos fluxos de ETL/ELT, arquitetura Medallion (Medallion Architecture) e dos fundamentos do Delta Lake. Modelagem de Dados: Experiência com técnicas de modelagem de dados (dimensional, relacional) e familiaridade com ferramentas como Erwin ou similares. Bancos de Dados: Conhecimento prático em bancos de dados relacionais, como Oracle e SQL Server. Diferenciais
Experiência prática na aplicação de modelos multidimensionais (Kimball) em camadas Gold. Conhecimento em ferramentas de Governança de Dados e Data Catalog (ex: Azure Purview). Experiência com práticas de CI/CD (DevOps) aplicadas a pipelines de dados (ex: Azure DevOps). Vivência com ingestão de dados em tempo real (Streaming) usando Spark Structured Streaming ou Azure Event Hubs. Certificações Azure (ex: DP-203). Benefícios
Plano de saúde e odontológico; Vale alimentação e refeição; Auxílio-creche; Licença parental estendida; Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass; Participação nos Lucros e Resultados (PLR); Seguro de Vida; Plataforma de aprendizagem contínua (CI&T University); Clube de descontos; Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; Curso gestante e parentalidade responsável; Parceria com plataformas de cursos online; Plataforma para aprendizagem de idiomas; E muitos outros Mais detalhes sobre os nossos benefícios aqui:
https://ciandt.com/br/pt-br/carreiras Inclusão e Contato
Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante
apresentar o seu laudo durante o processo seletivo.
Assim, podemos garantir o suporte e as adaptações que você merece.
Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
#J-18808-Ljbffr
Somos especialistas em
transformação tecnológica , unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando um(a) Engenheiro de Dados, apaixonado(a) por construir e otimizar soluções de dados em larga escala no ecossistema Azure e Databricks. Sua missão
- Desenhar, desenvolver e manter a espinha dorsal da nossa plataforma de dados, garantindo que nossas informações sejam robustas, confiáveis e prontas para o consumo analítico e estratégico. - Se você é movido(a) por desafios técnicos, tem experiência prática com a arquitetura Medalhão e quer aplicar o poder da IA para otimizar o desenvolvimento, esta é a sua oportunidade. Principais Responsabilidades
Arquitetura de Dados (Medallion): Projetar, implementar e manter pipelines de dados escaláveis e eficientes, gerenciando todo o ciclo de vida dos dados através das camadas Bronze, Silver e Gold na plataforma Databricks. Desenvolvimento e Otimização de Pipelines: Construir e gerenciar fluxos de ETL/ELT complexos utilizando Azure Databricks (PySpark/SQL) e Azure Data Factory, garantindo a ingestão, transformação e armazenamento robusto dos dados. Eficiência com IA no Desenvolvimento: Otimizar ativamente o ciclo de desenvolvimento e a performance dos pipelines, aplicando ferramentas de IA generativa e assistentes de código (ex: Databricks Assistant, GitHub Copilot) para acelerar a entrega e melhorar a qualidade do código. Gerenciamento do Data Lakehouse: Garantir a integridade, consistência e performance do nosso Data Lakehouse, utilizando Delta Lake como camada de armazenamento principal (ACID transactions, schema enforcement, time travel). Modelagem de Dados: Colaborar com analistas e áreas de negócio para desenhar e implementar modelos multidimensionais e agregados (camada Gold), otimizados para consumo de BI e análises avançadas. Integração de Sistemas: Construir e implementar APIs para facilitar a comunicação, ingestão e consumo de dados, garantindo a troca eficiente de informações entre sistemas (ex: Oracle, SQL Server, fontes externas). Colaboração e Governança: Trabalhar de forma colaborativa com equipes multifuncionais (BI, Data Science, Negócios) e aplicar as melhores práticas de engenharia e governança de dados. Requisitos e Ferramentas Essenciais
Experiência Sólida: Experiência como Engenheiro de Dados, com foco principal no ecossistema Azure Cloud. Expertise em Databricks: Conhecimento profundo em Azure Databricks, incluindo Spark, PySpark, Spark SQL e otimização de clusters. Orquestração de Dados: Forte conhecimento em Azure Data Factory (ADF) para criação e gerenciamento de pipelines. Linguagens: Domínio avançado em SQL e Python (voltado para engenharia de dados, ex: Pandas, PySpark). Conceitos Fundamentais: Excelente compreensão dos fluxos de ETL/ELT, arquitetura Medallion (Medallion Architecture) e dos fundamentos do Delta Lake. Modelagem de Dados: Experiência com técnicas de modelagem de dados (dimensional, relacional) e familiaridade com ferramentas como Erwin ou similares. Bancos de Dados: Conhecimento prático em bancos de dados relacionais, como Oracle e SQL Server. Diferenciais
Experiência prática na aplicação de modelos multidimensionais (Kimball) em camadas Gold. Conhecimento em ferramentas de Governança de Dados e Data Catalog (ex: Azure Purview). Experiência com práticas de CI/CD (DevOps) aplicadas a pipelines de dados (ex: Azure DevOps). Vivência com ingestão de dados em tempo real (Streaming) usando Spark Structured Streaming ou Azure Event Hubs. Certificações Azure (ex: DP-203). Benefícios
Plano de saúde e odontológico; Vale alimentação e refeição; Auxílio-creche; Licença parental estendida; Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass; Participação nos Lucros e Resultados (PLR); Seguro de Vida; Plataforma de aprendizagem contínua (CI&T University); Clube de descontos; Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; Curso gestante e parentalidade responsável; Parceria com plataformas de cursos online; Plataforma para aprendizagem de idiomas; E muitos outros Mais detalhes sobre os nossos benefícios aqui:
https://ciandt.com/br/pt-br/carreiras Inclusão e Contato
Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante
apresentar o seu laudo durante o processo seletivo.
Assim, podemos garantir o suporte e as adaptações que você merece.
Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
#J-18808-Ljbffr