1) Короткий ответ
Parquet — это формат колоночного хранения для эффективного чтения данных, в то время как Delta Format — это надстройка над Parquet (и другими форматами), которая добавляет возможности транзакций, управления метаданными и обработки как пакетных, так и потоковых данных.

2) Сравнение: Delta Format vs Parquet

• Архитектура и возможности:

  • Parquet: Статический формат хранения. Оптимизирован для чтения, поддерживает предикатную фильтрацию, схему данных.

  • Delta Format: Слой поверх Parquet с транзакционным журналом (transaction log). Добавляет ACID-транзакции, upserts, удаления, управление схемой, time travel.

• Производительность и операции:

  • Parquet: Отлично подходит для ETL-пайплайнов "write-once, read-many". Нет встроенной поддержки обновлений — нужно перезаписывать файлы.

  • Delta Format: Оптимизирован для частых обновлений (MERGE, UPDATE, DELETE) через механизм "copy-on-write". Z-Ordering и автоматическая компактизация файлов улучшают производительность.

• Надёжность и управление данными:

  • Parquet: Нет встроенных механизмов согласованности при параллельной записи. Возможны конфликты "last write wins".

  • Delta Format: Гарантирует ACID-свойства, версионность данных (time travel), аудит изменений.

Рекомендация: Используйте Parquet для статических данных в пайплайнах "write-once". Выбирайте Delta Format для часто изменяющихся данных, когда нужны транзакции, upserts или unified batch/streaming обработка.

5) Пример кода (операция UPDATE)

Обычный Parquet (требуется полная перезапись):

python

# Читаем, фильтруем, перезаписываем
df = spark.read.parquet("data.parquet")
updated_df = df.withColumn("status", 
              when(col("id") == 1, "processed").otherwise(col("status")))
updated_df.write.parquet("data_updated.parquet")

Delta Format (эффективное обновление):

python

from delta.tables import *

delta_table = DeltaTable.forPath(spark, "data_delta")
delta_table.update(
    condition = "id = 1",
    set = {"status": "'processed'"}
)

6) Follow-up (вопросы интервьюеров + короткие ответы):

• В чем главный недостаток Delta Format?

  • Ответ: Сложность (дополнительный слерой абстракции) и производительность на write-операциях.

• Можно ли конвертировать Parquet в Delta?

  • Ответ: Да, одной командой: CONVERT TO DELTA.

7) Практический совет (2 шага на неделю):

1. Протестируйте обновления: Создайте два датасета — в Parquet и Delta Format. Выполните операцию UPDATE для 10 записей из 1 млн и сравните время выполнения и объем обработанных данных.

2. Используйте Time Travel: Для Delta-таблицы создайте несколько версий, затем выполните запрос: SELECT * FROM delta_table VERSION AS OF 1 чтобы увидеть исторические данные.