1) Короткий ответ

Данные поступали в систему в различных форматах, но преимущественно это были структурированные и полуструктурированные данные через API, файлы в облачном хранилище и потоковые источники.

2) Основные источники и форматы данных:

* API (REST/gRPC): JSON, XML — данные от внешних сервисов и партнеров

* Файловые хранилища (S3/GCS):

* Parquet, Avro — для оптимизированной аналитической обработки

* CSV, JSON — сырые данные от бизнес-приложений

* XML — данные от legacy-систем

* Потоковые данные:

* Kafka — события пользовательских действий, логи

* Kinesis — метрики и телеметрия

* Базы данных:

* CDC-потоки из PostgreSQL (Debezium)

* SQL-дампы из устаревших систем

3) Процесс обработки входящих данных (3 ключевых этапа):

1. Валидация и профилирование: Проверка схемы, качества и целостности данных

2. Первичная обработка: Конвертация в единый формат (обычно Parquet)

3. Оркестрация: Управление пайплайнами через Airflow с мониторингом SLA

Пример обработки JSON из API:

```python

@task

def process_api_data():

# Получение данных из API

response = requests.get('https://api.service.com/data')

raw_data = response.json()

# Валидация схемы

validated_data = validate_schema(raw_data)

# Конвертация в DataFrame и сохранение в S3

df = spark.createDataFrame(validated_data['records'])

df.write.parquet('s3://raw/api_data/')

return df.count()

```

4) Сравнение форматов хранения:

* Parquet:

* Плюсы: Колоночный формат, высокая степень сжатия, эффективные запросы

* Минусы: Сложность потоковой записи

* JSON:

* Плюсы: Гибкость, человекочитаемый формат

* Минусы: Большой объем, высокая стоимость парсинга

* Avro:

* Плюсы: Компактный бинарный формат, схема в заголовке

* Минусы: Сложность отладки

Рекомендация: Используйте Parquet для аналитических нагрузок и Avro для потоковой передачи данных.

6) Follow-up вопросы:

* Как обрабатывали невалидные данные?

* Ответ: Quarantine-бакет с уведомлениями и репроцессингом

* Какие были объемы данных?

* Ответ: 10-50 ГБ ежедневно, пиковые нагрузки до 100+ ГБ

7) Практический совет (2 шага на неделю):

1. Проанализируйте источники данных: Составьте матрицу входящих данных вашего проекта с указанием форматов, объемов и SLA.

2. Создайте пайплайн валидации: Настройте автоматическую проверку входящих данных на соответствие схеме с алертами о проблемах.