Company logo

Treinamento Big Data Engineer - Predileção para Mulheres | Semantix Academy

SemantixVolunteer
Apply for the job

Job description

ESTÃO ABERTAS AS INSCRIÇÕES PARA O NOSSO PROGRAMA DE FORMAÇÃO BIG DATA ENGINEER que será ministrado através do nosso SEMANTIX ACADEMY!


Você possui interesse em aprender as Techs mais atuais do mercado? Chegou o seu momento!

Nossa missão é impactar bilhões de vidas com dados. Venha compartilhar desse sonho conosco! Aqui na Semantix enxergamos que, com dedicação e senso de dono, todos tenham capacidade de crescimento. O Semantix Academy abre um leque de novas possibilidades para aqueles que já estão inseridos, ou desejam mergulhar no universo Big Data.


Um dos nossos Princípios da cultura Semantix é "Aceite e valorize a diversidade". Caso se sinta confortável em responder as perguntas sobre diversidade no seu cadastro, gostaríamos de saber mais sobre você e te enviar o que estamos realizando neste tema. Para este treinamento, teremos a predileção a formação de mulheres, pois no mercado tech menos de 25% dos cargos são ocupados por mulheres, pensando nisso, 50% das inscrições aprovadas serão para mulheres, queremos ter mais equidade de gêneros na Semantix e no mercado de tech.


Os treinamentos serão publicados através da plataforma Semantix Academy Online, sendo disponibilizados do dia 05/09/2022 até 28/11/2022.


As inscrições estarão abertas do dia 08/08 à 29/08/2022, mas as VAGAS SÃO LIMITADAS. A seleção de alunos será pela plataforma Gupy. Após a inscrição e conclusão do teste, você receberá um e-mail sobre os próximos passos. Caso as vagas já tenham sido preenchidas, fique tranquilo, pois abriremos novas turmas em breve!


Nossas aulas serão ministradas por quem é referência na Semantix. Ao final da capacitação, você poderá ser internalizado pela Semantix, atuando em nossos principais produtos, ou dentro dos nossos clientes. Vem voar com a gente! 🚀


#academySemantix

Responsabilities and assingments

Conteúdo Programático:


Big Data Foundations (Semana 1, 2 e 3):

  • Conhecimento de ferramentas atuais no mercado de Big Data;
  • Criação e funcionamento de um cluster Hadoop para Big Data em Docker;
  • Manipulação de dados com HDFS;  
  • Manipulação de dados com uso do Hive;
  • Otimização de consultas em grandes volumes de dados estruturados e semiestruturados com uso de Hive;
  • Ingestão de dados relacionais para o HDFS/Hive, com uso do Sqoop;
  • Otimização de importação no Sqoop;
  • Exportação de dados do HDFS para o SGBD, com uso do Sqoop;
  • Manipulação de dados com HBase;
  • Operações com Dataframe em Spark para processamento de dados em batch;
  • Uso do Spark SQL Queries para consultas de dados estruturados e semiestruturados.

MongoDB - Básico (Semana 4):

  • Entendimento de conceitos e arquitetura NoSQL e MongoDB;
  • Instalação de cluster MongoDB através de container e Cloud;
  • Manipular coleções, documentos e índices;
  • Realizar diversas pesquisas no MongoDB com diferentes operadores;
  • Fazer uso das interfaces gráficas MongoExpress e MongoCompass;
  • Trabalhar com pipeline de agregações;
  • Entendimento de Replicação e shards.

Redis – Básico (Semana 5):

  • Entendimento de conceitos e arquitetura NoSQL e Redis;
  • Instalação de cluster Redis através de container;
  • Manipulação de diversos tipos de estrutura de dados com Redis-CLI;
  • Implementar paradigma de mensagens Pub/Sub;
  • Configurações básicas de persistência de dados.

Apache Kafka – Básico (Semana 6):

  • Entendimento de conceitos e arquitetura do Kafka e da Confluent;
  • Instalação de cluster Kafka através de container;
  • Gerenciamento de tópicos;
  • Produção e consumo de dados através do console;
  • Entendimento das guias do Control Center;
  • Desenvolvimento de stream com uso do KSQL;
  • Aplicação de KSQL Datagen;
  • Produção e consumo de dados com uso do Schema Registry;
  • Trabalhando com Kafka Connect;
  • Custos com Confluent Cloud;
  • Otimização de parâmetros;
  • Melhores práticas em um cluster Kafka.

Elastic Essential I (Semana 7 e 8):

  • Entendimento de conceitos e arquitetura da Elastic;
  • Instalação de cluster Elastic através de container;
  • Realizar operações de CRUD em índices;
  • Gerenciamento de índices;
  • Alteração de mapeamento e reindex;
  • Desenvolvimento de consultas do tipo term, terms, range, match e multi_match, com uso de bool query;
  • Aplicação de analyzers em atributos;
  • Desenvolvimento de agregações básicas;
  • Ingestão de dados através de beats e logstash;
  • Entendimento das guias do Kibana;

Spark - Big Data Processing (Semana 9, 10 e 11)

  • Uso do Jupyter Notebooks para a criação de projetos em Spark com Python
  • Spark batch intermediario
  • Operações com RDD em Spark para processamento de dados em batch;
  • Uso de Partições com RDD;
  • Operações com Dataset em Spark para processamento de dados em batch;
  • Uso de Dataset em Dataframe e RDD;
  • Comandos avançados com Dataset;
  • Uso do IntelliJ IDEA para a criação de projetos em Spark com Scala;
  • Struct Streaming para leitura de dados do Kafka;
  • Spark Streaming para leitura de dados do Kafka;
  • Otimizações com uso de Variáveis Compartilhadas;
  • Criações de User defined Function;
  • Configurações de Tunning para o Spark Application.

Requirements and qualifications

Requisitos mínimos para o treinamento:

• Conhecimento intermediário de pelo menos uma destas linguagens:

  1. Python (Preferível);
  2. Scala;
  3. Java.

• Conhecimento intermediário em SQL;

• Conhecimento básico em Git.


Computador necessário para o treinamento:

• Sistema operacional Linux ou Windows 10/11 de 64 bits;

• Memória RAM de 8 GB;

• Acesso a internet;

• HD com no mínimo 50 GB de espaço livre.

Additional information

Informações adicionais sobre o Programa de Formação

Plataforma: Semantix Academy Online

Formato: Vídeo aulas, com teoria e exercícios práticos;


Dias e Horário:

• O treinamento estará disponível a partir das 19h do dia 05/09;

• Aulas disponíveis de segunda a sexta as 19h;

• Teremos encontros ao vivo para tirar dúvidas;

• Cada aula tem duração de aproximadamente 2 horas.

•Interação com os alunos e professor através de e-mails e fóruns de dúvidas;

•Carga Horária: 98 Horas (dividido em video aulas e tempo para resolução de exercícios práticos);


Avaliação:

• Após conclusão de cada módulo do treinamento, o aluno irá receber um certificado, caso conclua 100% do módulo e tire uma nota superior a 6 na avaliação.

• O aluno perderá o acesso ao treinamento, nestes casos:

  1. Se não concluir o módulo do treinamento conforme o conteúdo programático;
  2. Se a nota da avaliação do módulo for interior a nota mínima estipulada.

SEJA BEM-VINDO(A) À SEMANTIX

Pessoas excelentes criam uma empresa excelente.

Nossas Pessoas são o nosso maior ativo e são reconhecidas por sua excelência.

 

Aqui, as pessoas estão sempre em primeiro lugar, temos paixão pelo que fazemos, autonomia, colaboração, inovação e simplicidade fazem parte da nossa cultura. Selecionamosdesenvolvemos, e engajamos os nossos profissionais, porque sabemos que os nossos resultados e crescimento exponencial refletem a qualidade do nosso time.

 

Somos uma companhia de donos. Donos se arriscam, buscam os resultados e assumem responsabilidade por suas

escolhas e ações. Aqui temos autonomia e foco na execução.

 

Nosso propósito: Impactar Bilhões de Vidas com Dados



Política de Privacidade para Candidatos



?