CI&T
[Job-25452] Data Developer (Databricks) Senior, Brazil
CI&T, Brazil, Indiana, United States, 47834
Overview
Somos especialistas em
transformação tecnológica , unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Sua missão
Estamos crescendo rapidamente e em busca de um(a) talentoso(a) e motivado(a) Engenheiro(a) de Dados Sênior para se juntar à nossa equipe e atuar em projetos Databricks. Você desempenhará um papel crucial no desenvolvimento e manutenção de pipelines de dados e infraestrutura escaláveis para impulsionar análises de dados e soluções de aprendizagem de máquina para nossos clientes. Responsabilidades
Desenhar e Desenvolver Pipelines de Dados: Criar pipelines de dados robustos e escaláveis usando Databricks, Apache Spark, PySpark e SQL para transformar e processar grandes conjuntos de dados de forma eficiente. Arquitetura de Dados: Colaborar com arquitetos de dados para projetar modelos e arquiteturas de dados que suportam aplicações de análise de dados e aprendizagem de máquina. Otimização de Desempenho: Monitorar e otimizar o desempenho dos pipelines de dados e fluxos de trabalho existentes para garantir alta capacidade e baixa latência. Colaboração com Stakeholders: Trabalhar em estreita colaboração com cientistas de dados, analistas e partes interessadas do negócio para entender os requisitos de dados e traduzi-los em especificações técnicas. Qualidade e Governança de Dados: Implementar verificações de qualidade de dados e práticas de governança para garantir consistência, precisão e conformidade dos dados. Documentação e Melhores Práticas: Manter documentação abrangente para pipelines de dados e processos, e contribuir para o estabelecimento de melhores práticas dentro da equipe. Mentoria: Fornecer orientação e mentoria para membros juniores da equipe, promovendo uma cultura de aprendizado e colaboração. Requisitos
Experiência em engenharia de dados ou área relacionada, com foco em pipelines de dados e processos ETL. Sólidos conhecimentos na solução Databricks Excelente comunicação em inglês e português, com a capacidade de trabalhar de forma eficaz em um ambiente orientado a equipe e interagir com clientes. Proficiência em Databricks, Apache Spark, SQL, PySpark e Python (ou Scala). Experiência com plataformas de nuvem como Azure, AWS ou GCP, particularmente em relação a soluções de armazenamento e processamento de dados. Experiência com tecnologias adicionais de big data, como Hadoop, Kafka ou Airflow. Forte compreensão dos conceitos de modelagem de dados e experiência com bancos de dados relacionais e NoSQL. Excelentes habilidades analíticas e de resolução de problemas, com a capacidade de solucionar questões complexas de dados. Certificações: Certificação Databricks (por exemplo, Desenvolvedor Certificado Databricks) ou outras certificações relevantes. Familiaridade com frameworks e conceitos de aprendizagem de máquina, além de experiência em integrar engenharia de dados com fluxos de trabalho de aprendizagem de máquina. Conhecimento de ferramentas de visualização de dados (por exemplo, Tableau, Power BI) para ajudar a comunicar insights de forma eficaz. Experiência em ambientes de desenvolvimento Ágil e familiaridade com ferramentas como JIRA ou Confluence. Nossos benefícios
Plano de saúde e odontológico Vale alimentação e refeição Auxílio-creche Licença parental estendida Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass Participação nos Lucros e Resultados (PLR) Seguro de Vida Plataforma de aprendizagem contínua (CI&T University) Clube de descontos Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar Curso gestante e parentalidade responsável Parceria com plataformas de cursos online Plataforma para aprendizagem de idiomas E muitos outros Mais detalhes sobre os nossos benefícios podem ser consultados em ciandt.com.br/carreiras Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante
apresentar o seu laudo durante o processo seletivo.
Assim, podemos garantir o suporte e as adaptações que você merece.
Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
#J-18808-Ljbffr
Somos especialistas em
transformação tecnológica , unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Sua missão
Estamos crescendo rapidamente e em busca de um(a) talentoso(a) e motivado(a) Engenheiro(a) de Dados Sênior para se juntar à nossa equipe e atuar em projetos Databricks. Você desempenhará um papel crucial no desenvolvimento e manutenção de pipelines de dados e infraestrutura escaláveis para impulsionar análises de dados e soluções de aprendizagem de máquina para nossos clientes. Responsabilidades
Desenhar e Desenvolver Pipelines de Dados: Criar pipelines de dados robustos e escaláveis usando Databricks, Apache Spark, PySpark e SQL para transformar e processar grandes conjuntos de dados de forma eficiente. Arquitetura de Dados: Colaborar com arquitetos de dados para projetar modelos e arquiteturas de dados que suportam aplicações de análise de dados e aprendizagem de máquina. Otimização de Desempenho: Monitorar e otimizar o desempenho dos pipelines de dados e fluxos de trabalho existentes para garantir alta capacidade e baixa latência. Colaboração com Stakeholders: Trabalhar em estreita colaboração com cientistas de dados, analistas e partes interessadas do negócio para entender os requisitos de dados e traduzi-los em especificações técnicas. Qualidade e Governança de Dados: Implementar verificações de qualidade de dados e práticas de governança para garantir consistência, precisão e conformidade dos dados. Documentação e Melhores Práticas: Manter documentação abrangente para pipelines de dados e processos, e contribuir para o estabelecimento de melhores práticas dentro da equipe. Mentoria: Fornecer orientação e mentoria para membros juniores da equipe, promovendo uma cultura de aprendizado e colaboração. Requisitos
Experiência em engenharia de dados ou área relacionada, com foco em pipelines de dados e processos ETL. Sólidos conhecimentos na solução Databricks Excelente comunicação em inglês e português, com a capacidade de trabalhar de forma eficaz em um ambiente orientado a equipe e interagir com clientes. Proficiência em Databricks, Apache Spark, SQL, PySpark e Python (ou Scala). Experiência com plataformas de nuvem como Azure, AWS ou GCP, particularmente em relação a soluções de armazenamento e processamento de dados. Experiência com tecnologias adicionais de big data, como Hadoop, Kafka ou Airflow. Forte compreensão dos conceitos de modelagem de dados e experiência com bancos de dados relacionais e NoSQL. Excelentes habilidades analíticas e de resolução de problemas, com a capacidade de solucionar questões complexas de dados. Certificações: Certificação Databricks (por exemplo, Desenvolvedor Certificado Databricks) ou outras certificações relevantes. Familiaridade com frameworks e conceitos de aprendizagem de máquina, além de experiência em integrar engenharia de dados com fluxos de trabalho de aprendizagem de máquina. Conhecimento de ferramentas de visualização de dados (por exemplo, Tableau, Power BI) para ajudar a comunicar insights de forma eficaz. Experiência em ambientes de desenvolvimento Ágil e familiaridade com ferramentas como JIRA ou Confluence. Nossos benefícios
Plano de saúde e odontológico Vale alimentação e refeição Auxílio-creche Licença parental estendida Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass Participação nos Lucros e Resultados (PLR) Seguro de Vida Plataforma de aprendizagem contínua (CI&T University) Clube de descontos Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar Curso gestante e parentalidade responsável Parceria com plataformas de cursos online Plataforma para aprendizagem de idiomas E muitos outros Mais detalhes sobre os nossos benefícios podem ser consultados em ciandt.com.br/carreiras Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante
apresentar o seu laudo durante o processo seletivo.
Assim, podemos garantir o suporte e as adaptações que você merece.
Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
#J-18808-Ljbffr