Minha Experiência com a Certificação - Databricks Certified Associate Developer For Apache Spark 3.0

A demanda por profissionais com expertise de desenvolvimento em Apache Spark disparou nos últimos anos com a consolidação da ferramenta como principal componente de processamento das plataformas de dados, o que alavancou a procura por profissionais com certificação, percebi que nos últimos anos a certificação da databricks tem sido muito bem reconhecida por empresas e recrutadores procurando por candidatos qualificados, e eu trabalhando com apache spark de longa data decidi tentar a prova para obter a certificação, neste artigo irei contar minha experiência com a prova, como é o exame, minha preparação e dicas que me ajudaram a passar nesta prova de certificação, vamos nessa…

A Prova 

A prova é composta de 60 questões de múltipla escolha e você terá 120 minutos para responder, na minha experiência o tempo foi suficiente embora sem muita folga, devido este ser um exame “open book” você acaba gastando um tempo considerável na consulta da documentação.

Você precisa atingir pelo menos 70% de aproveitamento para obter a certificação, isto significa que você terá que acertar 42 questões de 60. 

A prova está disponível tanto em Python como em Scala você escolhe a linguagem de programação que quer utilizar no exames durante a marcação, com relação a isto eu sugiro que você escolha a linguagem que esteja mais confortável mas no geral não existe uma grande diferença entre fazer uma linguagem e a outra a única mudança é a linguagem em si mais no geral as perguntas são bem parecidas

O Conteúdo

A prova é bastante focada na API de DataFrames que corresponde a 70% das perguntas sendo uma prova com o título de "desenvolvedor" isto faz todo sentido tendo em vista que grande parte do seu tempo será trabalhando com esta API, os outros 30% das perguntas são voltadas para os elementos básicos da arquitetura do Spark e suas principais características

Minha Preparação 

Minha preparação foi bem rápida e objetiva como já estava bastante confortável com a API de dataframes e arquitetura do Apache Spark acabei apenas relendo alguns capítulos do livro “Learning Apache Spark” o que me permitiu relembrar alguns pontos que não utilizo tão frequentemente no meu dia a dia, eu acredito que sua preparação vai depender bastante da sua experiência com Apache Spark eu por exemplo trabalho com spark desde 2015, o conselho que deixo aqui é não pense que é uma prova simples, mas se você realmente se sente confortável com a API de dataframes spark e entende da arquitetura do apache spark vá em frente e faça o exame. Segundo a databricks é recomendado que você tenha pelo menos 6 meses de experiência com Spark 

Durante o Exame

Confesso que apesar de toda a praticidade a experiência de fazer exames online algumas vezes é frustrante, falo disso em um artigo anterior no nosso site, contudo a Kryterion, empresa responsável pelo exame de certificação da databricks, me surpreendeu positivamente e a experiência foi simplesmente como deveria ser, portanto recomendo! A prova se iniciou no horário marcado sem demora e muito rápido.

Em uma pequena tela do lado direito você tem acesso à documentação do Spark e no lado direito você visualiza a questão, a documentação aparece bastante pequena e é bem difícil até de ler você não terá a opção de busca na documentação o que te limita bastante, 

Dicas Para Se Preparar

Esteja familiarizado com a documentação - durante o exame ter acesso a documentação pode te ajudar a responder às questões, contudo é importante ser rápido pois o tempo é limitado. Saiba por exemplo que dentro dos tópicos as funções são organizadas na documentação em ordem alfabética isso com certeza irá agilizar a sua busca pelas funções 
Esteja acostumado a ler código spark e encontrar erros - muitas das questões do exame irão te pedir qual código está correto e com sintaxe correta, portanto é bastante  importante estar treinado para achar estes erros
Pratique usando o ambiente da databricks
Esteja familiarizado com API de dataframes

Na minha opinião as certificações são grandes instrumentos de aprendizados e validação de conhecimento com a certificação de Associate Developer Apache Spark não é diferente e sem dúvidas se você está interessado em seguir carreira no mundo do big data vale a pena tentar.

Muito obrigado por acompanhar até aqui e te vejo no próximo artigo