Apache Spark Vs Dask Comparação

Apache Spark

O Apache Spark é uma ferramenta popular de computação distribuída para conjuntos de dados tabulares que está se tornando um nome dominante na análise de Big Data atualmente. 

Dask

Geralmente, o Dask é menor e mais leve que o Spark. Isso significa que ele tem menos recursos e, em vez disso, é usado em conjunto com outras bibliotecas, particularmente aquelas no ecossistema numérico do Python. Ele combina com bibliotecas como Pandas ou Scikit-Learn para obter funcionalidades de alto nível.

Línguagem 

O Spark é escrito em Scala com algum suporte para Python e R. Interopera bem com outro código da JVM.

O Dask é escrito em Python e realmente suporta apenas Python. Interopera bem com C / C ++ / Fortran / LLVM ou outro código compilado nativamente vinculado por meio de Python.

Ecossistema

O Spark é um projeto completo que inspirou seu próprio ecossistema. Ele se integra bem a muitos outros projetos Apache.

O Dask é um componente do ecossistema Python maior. Ele combina e aprimora outras bibliotecas como NumPy, Pandas e Scikit-Learn.
Idade e Confiança

O Spark é mais antigo (desde 2010) e se tornou uma ferramenta dominante e confiável no mundo corporativo de Big Data.

O Dask é mais jovem (desde 2014) e é uma extensão da bem confiável pilha NumPy / Pandas / Scikit-learn / Jupyter.

Escopo

O Spark está mais focado nas operações tradicionais de business inteligence, como SQL e aprendizado de máquina leve.

O Dask é aplicado de maneira mais geral tanto em aplicativos de BI quanto em várias situações científicas e personalizadas.

Design Interno

Spark é de mais alto nivel, fornece boas otimizações de alto nível em cálculos aplicados uniformemente, mas sem flexibilidade para algoritmos mais complexos ou sistemas ad-hoc. É fundamentalmente uma extensão do paradigma Map-Shuffle-Reduce.

Dask é de possui uma interface de mais baixo nível, portanto, carece de otimizações de alto nível, mas é capaz de implementar algoritmos mais sofisticados e criar sistemas sob medida mais complexos. É fundamentalmente baseado no agendamento de tarefas genérico.

Escalabilidade

Ambos são altamente escaláveis

APIs DataFrames

O Spark DataFrame possui sua própria API e modelo de memória. Também implementa um grande subconjunto da linguagem SQL. O Spark inclui um otimizador de consultas de alto nível para consultas complexas.

O Dask DataFrame reutiliza a API do Pandas e o modelo de memória. Ele não implementa nem o SQL nem um otimizador de consultas. É capaz de fazer acesso aleatório, operações eficientes de séries temporais e outras operações indexadas no estilo Pandas.

Aprendizado de Máquina

O Spark MLLib é um projeto coeso, com suporte para operações comuns fáceis de implementar com o sistema de estilo Map-Shuffle-Reduce do Spark. As pessoas que consideram o MLLib também podem considerar outras bibliotecas de aprendizado de máquina baseadas em JVM, como H2O, que podem ter melhor desempenho.

O Dask depende e interopera com as bibliotecas existentes, como o Scikit-Learn e o XGBoost. Estes podem ter um desempenho mais familiar ou superior, mas geralmente resultam em um todo menos coeso. Veja o projeto dask-ml para integrações.
Matrizes

Razões pelas quais você pode escolher o Spark

• Você prefere o Scala ou a linguagem SQL
• Você tem principalmente infraestrutura JVM e sistemas legados
• Você deseja uma solução estabelecida e confiável para os negócios
• Você está fazendo análises de negócios principalmente com algum aprendizado de máquina leve
• Você deseja uma solução tudo em um

Razões pelas quais você pode escolher Dask

• Você prefere código nativo ou Python ou possui um grande código legado

Conclusão

Apesar de todas as vantagens do apache spark alguns projetos podem ser beneficiar da flexibilidade do dask e do fato dele integrar com importantes bibliotecas de machine learning e análise de dados como: NumPy, Pandas Scikit-learn etc... sem dúvida é mais uma importante tecnologia para ficar de olho e considerar em seus projetos de big data

Espero que este conteúdo tenha te ajudado

Obrigado!

Referência: Dask - https://docs.dask.org/en/latest/spark.html