Cadernos de Questões

Provas Favoritas

Filtros Salvos

Foram encontradas 10 questões.
#3699835

O Processamento MapReduce é o paradigma fundamental para o processamento distribuído de Big Data em clusters.
Um cientista de dados usou essa técnica para processar milhões de logs de auditoria, em que a fase Map já emitiu pares chavevalor intermediários (ex: (UsuárioID, 1)).
De acordo com modelo MapReduce, assinale a opção que apresenta a função exata e sequencial da fase Shuffle & Sort que é crítica para preparar os dados para a posterior agregação na fase Reduce.

  • Coletar a saída intermediária dosMappers,transportar, particionar e ordenar esses pares chave-valor, garantindo que todas as ocorrências de uma mesma chave sejam agrupadas e enviadas ao mesmoReducer.
  • Coletar os dados brutos da fonte de dados distribuída e aplicar a função de filtragem inicial (Map) em cada nó de processamento.
  • Aplicar a função de agregação de redução (Reduce) nas chaves recebidas, calculando a soma final em uma única operação.
  • Persistir a saída final no HDFS e coordenar a distribuição de blocos entre osDataNodes do cluster.
  • Realizar o split lógico dos arquivos de entrada em blocos menores e garantir a tolerância a falhas através da replicação automática.
Fale com IAgo
IAgo - Assistente IAProva
IA
Olá! Sou o IAgo, seu assistente aqui no IAProvatec 😊
Veja como posso te ajudar:
Agora