1) Короткий ответ

Narrow (узкие) операции в Spark не требуют перемещения данных между узлами кластера, в то время как wide (широкие) операции вызывают shuffle — дорогостоящий процесс перераспределения данных.

2) Сравнение характеристик:

* Зависимости данных:

* Narrow: Каждая партиция родительского RDD/DataFrame используется только одной партицией дочернего (1:1)

* Wide: Каждая партиция родителя может использоваться множеством партиций дочернего RDD (1:many)

* Перемещение данных:

* Narrow: Данные обрабатываются локально на каждом узле (no shuffle)

* Wide: Требуется обмен данными между узлами (shuffle)

* Производительность:

* Narrow: Быстрые, минимальные накладные расходы

* Wide: Медленные, требуют сериализации, сетевого ввода-вывода и дисковых операций

3) Примеры операций:

Narrow операции:

```python

# Narrow transformations - не вызывают shuffle

filtered_df = df.filter(col("age") > 18) # Фильтрация

mapped_df = df.select("name", "age") # Проекция

with_column_df = df.withColumn("age_plus", col("age") + 1) # Добавление колонки

```

Wide операции:

```python

# Wide transformations - вызывают shuffle

grouped_df = df.groupBy("department").agg(avg("salary")) # Группировка

joined_df = df1.join(df2, "id") # Join

distinct_df = df.distinct() # Уникальные значения

sorted_df = df.orderBy("name") # Сортировка

```

4) Визуализация зависимостей:

```python

# Narrow dependency (pipeline)

rdd1 = sc.parallelize([1, 2, 3, 4, 5])

rdd2 = rdd1.map(lambda x: x * 2) # Narrow

rdd3 = rdd2.filter(lambda x: x > 5) # Narrow

# Wide dependency (shuffle required)

rdd4 = rdd3.groupBy(lambda x: x % 2) # Wide

```

5) Оптимизационные стратегии:

* Для narrow операций: Spark автоматически объединяет их в stages для pipeline execution

* Для wide операций: Требуется создание новых stages, оптимизация через partitioning и broadcast

Рекомендация: Минимизируйте wide операций, используйте broadcast join для маленьких таблиц, применяйте эффективное партиционирование данных.

6) Follow-up вопросы:

* Как определить будет ли операция narrow или wide?

* Ответ: По наличию требований к перераспределению данных (grouping, joining, sorting)

* Как уменьшить стоимость shuffle?

* Ответ: Увеличением уровня параллелизма, использованием эффективных сериализаторов, фильтрацией данных на ранних стадиях

7) Практический совет (2 шага на неделю):

1. Проанализируйте Spark UI: Запустите ваш Spark job и в Spark UI найдите stages с shuffle — это укажет на wide операции.

2. Оптимизируйте один запрос: Найдите запрос с groupBy или join и попробуйте уменьшить объем shuffle через предварительную фильтрацию или изменение порядка операций.