Treinamento Big Data Engineer - Predileção para Mulheres | Semantix Academy
Volunteer
Remote
Opportunity also for people with disabilities
Job description
ESTÃO ABERTAS AS INSCRIÇÕES PARA O NOSSO PROGRAMA DE FORMAÇÃO BIG DATA SCIENCE que será ministrado através do nosso SEMANTIX ACADEMY!
Você possui interesse em aprender as Techs mais atuais do mercado? Chegou o seu momento!
Nossa missão é impactar bilhões de vidas com dados. Venha compartilhar desse sonho conosco! Aqui na Semantix enxergamos que, com dedicação e senso de dono, todos tenham capacidade de crescimento. O Semantix Academy abre um leque de novas possibilidades para aqueles que já estão inseridos, ou desejam mergulhar no universo Big Data.
Um dos nossos Princípios da cultura Semantix é "Aceite e valorize a diversidade". Caso se sinta confortável em responder as perguntas sobre diversidade no seu cadastro, gostaríamos de saber mais sobre você e te enviar o que estamos realizando neste tema. Para este treinamento, teremos a predileção a formação de mulheres, pois no mercado tech menos de 25% dos cargos são ocupados por mulheres, pensando nisso, 50% das inscrições aprovadas serão para mulheres, queremos ter mais equidade de gêneros na Semantix e no mercado de tech.
Os treinamentos serão publicados através da plataforma Semantix Academy Online, sendo disponibilizados do dia 27/03/2023 até 19/06/2023.
As inscrições estarão abertas do dia 17/02/2023 à 19/03/2023, mas as VAGAS SÃO LIMITADAS. A seleção de alunos será pela plataforma Gupy. Após a inscrição e conclusão do teste, você receberá um e-mail sobre os próximos passos. Caso as vagas já tenham sido preenchidas, fique tranquilo, pois abriremos novas turmas em breve!
Nossas aulas serão ministradas por quem é referência na Semantix. Ao final da capacitação, você poderá ser internalizado pela Semantix, atuando em nossos principais produtos, ou dentro dos nossos clientes. Vem voar com a gente! 🚀
#academySemantix
Responsibilities and assignments
Conteúdo Programático:
Big Data Foundations (Semana 1, 2 e 3):
- Conhecimento de ferramentas atuais no mercado de Big Data;
- Criação e funcionamento de um cluster Hadoop para Big Data em Docker;
- Manipulação de dados com HDFS;
- Manipulação de dados com uso do Hive;
- Otimização de consultas em grandes volumes de dados estruturados e semiestruturados com uso de Hive;
- Ingestão de dados relacionais para o HDFS/Hive, com uso do Sqoop;
- Otimização de importação no Sqoop;
- Exportação de dados do HDFS para o SGBD, com uso do Sqoop;
- Manipulação de dados com HBase;
- Operações com Dataframe em Spark para processamento de dados em batch;
- Uso do Spark SQL Queries para consultas de dados estruturados e semiestruturados.
MongoDB - Básico (Semana 4):
- Entendimento de conceitos e arquitetura NoSQL e MongoDB;
- Instalação de cluster MongoDB através de container e Cloud;
- Manipular coleções, documentos e índices;
- Realizar diversas pesquisas no MongoDB com diferentes operadores;
- Fazer uso das interfaces gráficas MongoExpress e MongoCompass;
- Trabalhar com pipeline de agregações;
- Entendimento de Replicação e shards.
Redis – Básico (Semana 5):
- Entendimento de conceitos e arquitetura NoSQL e Redis;
- Instalação de cluster Redis através de container;
- Manipulação de diversos tipos de estrutura de dados com Redis-CLI;
- Implementar paradigma de mensagens Pub/Sub;
- Configurações básicas de persistência de dados.
Apache Kafka – Básico (Semana 6):
- Entendimento de conceitos e arquitetura do Kafka e da Confluent;
- Instalação de cluster Kafka através de container;
- Gerenciamento de tópicos;
- Produção e consumo de dados através do console;
- Entendimento das guias do Control Center;
- Desenvolvimento de stream com uso do KSQL;
- Aplicação de KSQL Datagen;
- Produção e consumo de dados com uso do Schema Registry;
- Trabalhando com Kafka Connect;
- Custos com Confluent Cloud;
- Otimização de parâmetros;
- Melhores práticas em um cluster Kafka.
Elastic Essential I (Semana 7 e 8):
- Entendimento de conceitos e arquitetura da Elastic;
- Instalação de cluster Elastic através de container;
- Realizar operações de CRUD em índices;
- Gerenciamento de índices;
- Alteração de mapeamento e reindex;
- Desenvolvimento de consultas do tipo term, terms, range, match e multi_match, com uso de bool query;
- Aplicação de analyzers em atributos;
- Desenvolvimento de agregações básicas;
- Ingestão de dados através de beats e logstash;
- Entendimento das guias do Kibana;
Spark - Big Data Processing (Semana 9, 10 e 11)
- Uso do Jupyter Notebooks para a criação de projetos em Spark com Python
- Spark batch intermediario
- Operações com RDD em Spark para processamento de dados em batch;
- Uso de Partições com RDD;
- Operações com Dataset em Spark para processamento de dados em batch;
- Uso de Dataset em Dataframe e RDD;
- Comandos avançados com Dataset;
- Uso do IntelliJ IDEA para a criação de projetos em Spark com Scala;
- Struct Streaming para leitura de dados do Kafka;
- Spark Streaming para leitura de dados do Kafka;
- Otimizações com uso de Variáveis Compartilhadas;
- Criações de User defined Function;
- Configurações de Tunning para o Spark Application.
Requirements and qualifications
Requisitos mínimos para o treinamento:
• Conhecimento básico de pelo menos uma linguagem de programação
• Conhecimento básico em SQL
Computador necessário para o treinamento:
• Sistema operacional Linux ou Windows 10/11 de 64 bits;
• Memória RAM de 8 GB;
• Acesso a internet;
• HD com no mínimo 50 GB de espaço livre.
Additional information
Informações adicionais sobre o Programa de Formação
Plataforma: Semantix Academy Online
Formato: Vídeo aulas, com teoria e exercícios práticos;
Dias e Horário:
• O treinamento estará disponível a partir das 19h do dia 27/03;
• Aulas disponíveis de segunda a sexta as 19h;
• Teremos encontros ao vivo para tirar dúvidas;
• Cada aula tem duração de aproximadamente 2 horas.
• Interação com os alunos e professor através de e-mails e fóruns de dúvidas;
• Carga Horária: 98 Horas (dividido em video aulas e tempo para resolução de exercícios práticos);
Avaliação:
• Após conclusão de cada módulo do treinamento, o aluno irá receber um certificado, caso conclua 100% do módulo e tire uma nota superior a 6 na avaliação.
• O aluno perderá o acesso ao treinamento, nestes casos:
- Se não concluir o módulo do treinamento conforme o conteúdo programático;
- Se a nota da avaliação do módulo for interior a nota mínima estipulada.
Olá! Que bom que ter você por aqui! 💎
Você já conhece a Semantix?
Somos uma empresa de dados e Inteligência Artificial brasileira e primeira deep tech do país a entrar na Nasdaq, a bolsa de valores de Nova Iorque!
Mas, acima de tudo, aqui dentro, somos feitos de pessoas! Como gostamos de falar: “Nossas pessoas são o nosso maior ativo!”
Com o propósito de impactar bilhões de vidas com dados, a Semantix foi fundada em 2010 no Brasil, e hoje, presente em toda a América, destaca-se por suas soluções no modelo Data Driven. Nossa missão é desenvolver produtos e oferecer serviços centrados em dados para acelerar a transformação digital e aumentar o desempenho dos negócios.
Somos referência na oferta de tecnologia em Big Data, Analytics e Inteligência Artificial e desenvolvemos soluções inovadoras e disruptivas para todos os setores da indústria e serviços.
Nos últimos anos fomos eleitos uma das 25 melhores provedoras de soluções em Inteligência Artificial em todo o mundo e não pararemos aqui!
Então, que tal embarcar nessa nave com a gente e impactar bilhões de vidas com dados?
?
Conheça mais sobre a Semantix