Тест по программе ДПО Большие Данные

Тест по программе ДПО Большие Данные в рамках реализации программы ИТ-классы в московских школах

Задание 1

Что такое spark shell?

Задание 2

Какая связь между MapReduce и YARN?

Задание 3

Формат данных Parquet хорошо подходит для...

Задание 4

Что такое узкая зависимость?

Задание 5

Возможно ли изменить максимальную емкость HDFS без перезапуска всего кластера?

Задание 6

Пример замены 8-ядерного 32ГБ сервера 32 ядерным 128ГБ является примером:

Задание 7

Как расшифровывается RDD?

Задание 8

Вы обрабатываете следующий набор данных: Rammstein|Mutter|2001 Rammstein|Sonne|2001 Rammstein|Du hast|1997 Madonna|Like a Prayer|1989 MR Job должна сохранить вывод в 2 Avro файлах: 1-й файл должен содержать все песни до1996, и 2-й с 1996. Возможно ли достичь это и как?

Задание 9

Какие типы узлов представлены в HDFS

Задание 10

5. Какое значение примет переменная N после выполнения следующего Scala кода: val N = List(1, 2, 3, 4).map( x => x).reduce( _ * _) Напишите ответ в виде целочисленного значения.

Задание 11

Зачем нужно переопределять метод hashCode() при реализации интерфейса WritableComparable?

Задание 12

Сколько места на диске займет файл в HDFS размером 10 MB с фактором репликации 4 размером блока 128 MB?