Pular para o conteúdo principal

Engenheiro(a) de Dados Sr | Spark

Tipo de vaga: Efetivo

Modelo de trabalho: Remoto

Vaga também para PcD

Descrição da vaga

Quer impactar bilhões de vidas com dados?

Vem compartilhar desse sonho conosco! #vempraSemantix

Na Semantix, somos um time de apaixonados por tecnologia, com diferentes graus de experiência e conhecimento, diversas origens, e principalmente 100% motivados a levar inovação e inteligência para nossos clientes através das principais plataformas do mercado.

Responsabilidades e atribuições

  • Atuar no processamento de dados por meio do Spark (Python)
  • Realizar Ingestão Batch utilizando Sqoop
  • Realizar ingestão streaming por meio do NIFI
  • Desenvolvimento de melhorias no ambiente por meio da Linguagem Python
  • Consulta do dado no Hive
  • Disponibilização do dado no Impala para que seja consumido pelo PowerBI.

Requisitos e qualificações

Sqoop, Apache Hue, Oracle Database. AWS, Fundamentos de Big Data, Fundamentos engenharia de software, Hadoop (HDFS, Partionamento), Hive, Impala, NiFi, Power BI, Python, Shell Script, Spark, SQL, SQL em Hive e Impala.

Desejável: Conhecimento/vivência em AWS. Formato de dado Parquet, Pyspark.

Informações adicionais

Benefícios:

  • Vale transporte
  • Vale Refeição
  • Vale Alimentação
  • Seguro saúde
  • Plano odontológico
  • Auxílio Creche
  • Seguro de vida
  • PLR
  • Academy – Área focada no desenvolvimento de soft skills e hard skills afinal temos a preocupação que você continue se desenvolvendo.
  • Curso de inglês e espanhol (in company) - Após 03 meses de empresa.
  • Além disso nossa sede possui um ambiente descontraído com alguns diferenciais como: Mesa de pebolim, videogames e copa com comes e bebes disponíveis. 

 

Olá! Que bom que ter você por aqui! 💎

Você já conhece a Semantix?


Somos uma empresa de dados e Inteligência Artificial brasileira e primeira deep tech do país a entrar na Nasdaq, a bolsa de valores de Nova Iorque!


Com o propósito de impactar bilhões de vidas com dados, a Semantix foi fundada em 2010 no Brasil, e hoje, presente em toda a América, destaca-se por suas soluções no modelo Data Driven. Nossa missão é desenvolver produtos e oferecer serviços centrados em dados para acelerar a transformação digital e aumentar o desempenho dos negócios.


Somos referência na oferta de tecnologia em Big Data, Analytics e Inteligência Artificial e desenvolvemos soluções inovadoras e disruptivas para todos os setores da indústria e serviços.


Nos últimos anos fomos eleitos uma das 25 melhores provedoras de soluções em Inteligência Artificial em todo o mundo e não pararemos aqui!


Então, que tal embarcar nessa nave com a gente e impactar bilhões de vidas com dados?



?