Amazon DynamoDB — NoSQL база данных в облаке

1. Что такое DynamoDB и NoSQL

DynamoDB — это key-value и документная база данных, запущенная AWS в 2012 году. В отличие от реляционных СУБД, она не требует фиксированной схемы: каждый элемент может хранить свой набор атрибутов.

• Полностью управляемая — не нужно ставить сервер, настраивать кластер или делать бэкапы.
• Серверная (serverless) — платишь только за потреблённые ресурсы.
• Миллисекундная задержка — стабильная латентность даже при миллионах запросов.
• Мультирегиональность — репликация между несколькими регионами AWS.

Когда выбирать DynamoDB

2. Основные понятия: таблицы, элементы, атрибуты

Модель данных DynamoDB проще реляционной:

• Таблица — набор однотипных элементов (аналог таблицы в SQL).
• Элемент — единица хранения данных (аналог строки).
• Атрибут — отдельное поле элемента (аналог колонки).

Пример элемента в JSON-представлении — такой же формат использует API DynamoDB:

{
  "user_id": "u-1001",
  "name": "Анна",
  "age": 28,
  "city": "Москва",
  "orders": [
    {"id": "o-1", "sum": 1500},
    {"id": "o-2", "sum": 3200}
  ]
}

3. Ключи: partition key и sort key

Каждый элемент таблицы должен иметь уникальный первичный ключ. Ключ бывает двух типов:

Partition key (ключ партиции) определяет, на какую физическую партицию попадёт элемент. Sort key (ключ сортировки) упорядочивает элементы внутри партиции.

-- создание таблицы orders
-- partition key: user_id (строка)
-- sort key:      order_id (строка)
{
  "TableName": "orders",
  "KeySchema": [
    {"AttributeName": "user_id", "KeyType": "HASH"},
    {"AttributeName": "order_id", "KeyType": "RANGE"}
  ],
  "BillingMode": "PAY_PER_REQUEST"
}

4. Типы данных и атрибуты

DynamoDB поддерживает скалярные типы, множества и документные структуры:

{
  "id": {"S": "item-1"},
  "price": {"N": "1900.50"},
  "tags": {"SS": ["electronic", "sale"]},
  "meta": {"M": {"color": {"S": "black"}}},
  "active": {"BOOL": true}
}

5. API чтения и записи: PutItem, GetItem

С DynamoDB работают через низкоуровневый API по HTTP. Кажется операция — отдельный метод:

Для атомарного увеличения счётчика в DynamoDB есть операция ADD в выражении обновления. Она не требует читать текущее значение:

// UpdateItem: увеличить "views" на 1
// Expression: ADD views :inc
// AttributeValues: { ":inc": {"N": "1"} }

6. Query vs Scan

Query ищет элементы по точному значению partition key (и, при желании, по условию на sort key). Scan просматривает всю таблицу. Это принципиально разные по цене операции:

-- Query: все заказы пользователя u-1001
-- KeyConditionExpression: user_id = :uid
-- AttributeValues: { ":uid": {"S": "u-1001"} }

-- Query с фильтром по sort key
-- KeyConditionExpression: user_id = :uid AND order_id > :oid
-- AttributeValues: { ":uid": {"S": "u-1001"}, ":oid": {"S": "o-100"} }

Scan читает каждый элемент таблицы и потому стоит дорого. Его лучше избегать в продуктовой среде:

-- Scan: все элементы, где city = "Москва"
-- FilterExpression: city = :c
-- AttributeValues: { ":c": {"S": "Москва"} }

7. Вторичные индексы: GSI и LSI

Если нужно искать по атрибуту, который не входит в первичный ключ, используют вторичные индексы. DynamoDB автоматически поддерживает их в актуальном состоянии.

• GSI (Global Secondary Index) — индекс с собственным ключом, строится над всей таблицей. Создаётся в любой момент.
• LSI (Local Secondary Index) — индекс с тем же partition key и другим sort key. Создаётся только при создании таблицы.

-- создание GSI "UsersByCity"
-- partition key: city
// AttributeDefinitions: city (S)
// GlobalSecondaryIndexes:
//   UsersByCity: { city (HASH) }
//   ProjectionType: ALL

8. Автомасштабирование и ёмкость

Производительность DynamoDB измеряется в единицах ёмкости:

-- режим Provisioned: 5 RCU и 5 WCU с автоскейлингом
{
  "TableName": "orders",
  "BillingMode": "PROVISIONED",
  "ProvisionedThroughput": {
    "ReadCapacityUnits": 5,
    "WriteCapacityUnits": 5
  }
}

9. Модель оплаты: on-demand и provisioned

DynamoDB поддерживает два режима биллинга:

10. DynamoDB из Python (boto3)

Официальный SDK для Python — boto3. Установи пакет и сконфигурируй учётные данные AWS:

pip install boto3

aws configure        # введи Access Key и Secret Key

import boto3
from boto3.dynamodb.conditions import Key, Attr

dynamodb = boto3.resource("dynamodb", region_name="eu-west-1")
table = dynamodb.Table("orders")

# запись элемента
table.put_item(Item={
    "user_id": "u-1001",
    "order_id": "o-1",
    "sum": 1500,
    "city": "Москва",
})

# чтение по ключу
resp = table.get_item(Key={"user_id": "u-1001", "order_id": "o-1"})
print(resp.get("Item"))

# query по partition key
resp = table.query(KeyConditionExpression=Key("user_id").eq("u-1001"))
for item in resp["Items"]:
    print(item)

Частичное обновление и атомарный счётчик:

table.update_item(
    Key={"user_id": "u-1001", "order_id": "o-1"},
    UpdateExpression="SET city = :c ADD views :one",
    ExpressionAttributeValues={":c": "Москва", ":one": 1},
)

docker run -d -p 8000:8000 amazon/dynamodb-local

boto3.resource("dynamodb",
    endpoint_url="http://localhost:8000",
    region_name="us-east-1")

11. DynamoDB Streams и Lambda

Streams дают упорядоченный поток изменений таблицы (вставки, обновления, удаления). Событие содержит «до» и «после» записи — это удобно для аудита, кеширования и реактивных пайплайнов:

table.enable_streams = dict(
    StreamViewType="NEW_AND_OLD_IMAGES"
)

def handler(event, context):
    for rec in event["Records"]:
        if rec["eventName"] == "INSERT":
            item = rec["dynamodb"]["NewImage"]
            print(item["user_id"]["S"])

• поток включается на уровне таблицы;
• сообщения хранятся 24 часа;
• потребители: Lambda, EventBridge, трансформация из Kinesis.

12. Глобальные таблицы

Глобальные таблицы (DynamoDB Global Tables) — мультирегиональная репликация для низкой задержки и переживания сбоев региона:

• таблица активна сразу в нескольких регионах;
• запись в любом регионе синхронизируется в остальные;
• чтение обычно идёт из ближайшего региона;
• репликация автоматическая и почти в реальном времени.

import boto3
client = boto3.client("dynamodb")
client.update_table(
    TableName="users",
    ReplicaUpdates=[{"Create": {"RegionName": "eu-central-1"}}],
)

13. Резервное копирование и PITR

Восстановление после случайного удаления — обязанность любого хранилища:

# точечное восстановление (point-in-time recovery) — до 35 дней назад
boto3.client("dynamodb").update_continuous_backups(
    TableName="users",
    PointInTimeRecoverySpecification={"PointInTimeRecoveryEnabled": True},
)

# ручной снимок таблицы
aws dynamodb create-backup \
  --table-name users \
  --backup-name manual-2026-09-19

• автоматические backups не отключаются;
• PITR восстанавливает в новую таблицу (media/имя), прошлое не перезаписывается;
• восстанавливай регулярно и проверяй целостность данных.

14. Проектирование: single-table design

В классических БД одна сущность — таблица. В DynamoDB принят single-table design: несколько сущностей в одной таблице через составные ключи:

PK            | SK           | атрибуты
USER#u1       | PROFILE      | name, email
USER#u1       | ORDER#o1     | product, total
USER#u1       | ORDER#o2     | product, total

Так один Query получает профиль и заказы пользователя одной операцией:

table.query(
    KeyConditionExpression=Key("PK").eq("USER#u1"),
)

• группируй по шаблону ENTITY#ID;
• по каждому сценарию доступа проектируй GSI (раздел 7);
• жертвуй «чистой» нормализацией ради скорости чтения.

15. Транзакции и атомарные операции

Когда несколько записей должны измениться вместе, используй транзакции (до 100 элементов, до 4 МБ):

# атомарный инкремент без транзакции
table.update_item(
    Key={"PK": "ORDER#o1"},
    UpdateExpression="SET total = total + :d",
    ExpressionAttributeValues={":d": Decimal("99.90")},
)

• TransactWriteItems — атомарный набор insert/update/delete/condition: либо всё фиксируется, либо ничего;
• TransactGetItems — согласованное чтение нескольких ключей;
• ConditionExpression — «вставь только если атрибута нет» (защита от затирания);
• для одного атрибута дешевле атомарные инкременты ADD/UpdateExpression.

table.transact_write(TransactItems=[
    {"Put": {"Key": {"PK": {"S": "ORDER#o1"}}, ...}},
    {"Update": {"Key": {"PK": {"S": "USER#u1"}}, "UpdateExpression": "SET total = total + :d", ...}},
])

16. Экспорт в S3 и аналитика

Для аналитики без нагрузки на боевую таблицу используй on-demand экспорт в S3:

aws dynamodb export-table-to-point-in-time \
  --table-name orders --s3-bucket bucket-name \
  --s3-prefix dynamodb-export --export-format DYNAMODB_JSON

• экспорт не тратит read-capacity и не блокирует запись;
• данные попадают в Parquet/JSON в S3 — читаются Athena, DuckDB, Spark;
• для периодичности — EventBridge по расписанию.

# Athena: запрос прямо по экспортированным файлам
SELECT user_id, COUNT(*) FROM "orders_export"
GROUP BY user_id;

17. Инфраструктура как код: Terraform

Таблица и автополя, созданные в консоли, исчезнут при следующем пересоздании окружения. Опиши DynamoDB в Terraform:

resource "aws_dynamodb_table" "orders" {
  name         = "orders"
  billing_mode = "PAY_PER_REQUEST"
  hash_key     = "PK"

  attribute {
    name = "PK"
    type = "S"
  }
}

• billing_mode = "PAY_PER_REQUEST" — оплата по нагрузке без провижина;
• автоскейлинг: aws_appautoscaling_policy — min/max capacity;
• всё ревьюится в PR, восстанавливается из кода — никаких «заклинаний из консоли».

terraform plan
terraform apply

18. Типовые паттерны решений

Пара проверенных подходов на DynamoDB:

# TTL включается на консоли/в Terraform
ttl {
  enabled        = true
  attribute_name = "ttl"
}

• если пишут в один ключ слишком часто — добавляй шарды и агрегируй при чтении;
• глобальные индексы читают каждый max по своей стоимости — не плоди без нужды.

19. DAX: кэш перед таблицами

Хит-чтения на горячих ключах ускоряют трафик и снижают стоимость — для этого есть DynamoDB Accelerator (DAX):

# подмена endpoint'а: остальной код не меняется
session = boto3.session.Session()
client = session.client("dynamodb",
    endpoint_url="https://mycluster.dax-cluster.amazonaws.com")

• DAX кэширует в памяти узлов кластера, раздавая до «микромиллисекунд»;
• strongly consistent read обходит кэш — учитывай в архитектуре;
• не кэшируй то, что меняется каждую секунду (счётчики, текущие цены).

20. Наблюдаемость: CloudWatch и троттлинг

Троттлинг — симптом, а не причина. Следи за метриками и реагируй:

aws cloudwatch get-metric-statistics \
  --namespace AWS/DynamoDB --metric-name ThrottledRequests \
  --dimensions Name=TableName,Value=products \
  --statistics Sum --period 300 --start-time ... --end-time ...

• on-demand и autoscaling гасят пики при резких скачках;
• повторные ошибки на запись — индикатор «горячего» partition;
• AccessDenied рядом с троттлингом — проблема прав, а не ёмкости.

21. IAM: минимум прав для таблицы

Приложению не нужны права администратора DynamoDB:

"Effect": "Allow",
"Action": ["dynamodb:GetItem", "dynamodb:Query",
           "dynamodb:PutItem"],
"Resource": "arn:aws:dynamodb:...:table/users"

• ограничь по ключам через Condition (например, dynamodb:LeadingKeys для tenant'ов);
• раздели роли: сервисная (своя таблица) и аналитическая (read-only);
• секреты — в Secrets Manager, ключи ротируй.

22. Кейс: переезд из реляционной БД

Миграция RDBMS → DynamoDB — это переписывание модели данных, а не «замена СУБД»:

1. один PK+SK на сущность (single-table) и индексы под все сценарии запросов;
2. денормализация: вложенные списки заказов вместо JOIN;
3. двусторонняя запись: параллельно пишем в старую и новую БД, сверяем выборочно;
4. переключение через feature flag и стоп-условие по расхождению ≤ 0.01%.

def migrate(row):
    item = {"PK": f"USER#{row.id}", "SK": "META",
            "name": row.name, "order_count": len(row.orders)}
    table.put_item(Item=item)

Что дальше

Ты разобрался с моделью DynamoDB: ключами, атрибутами, API, индексами и работой из Python. Рекомендуемый следующий шаг — изучить документную NoSQL базу MongoDB, чтобы сравнить подходы, и понять, как DynamoDB встраивается в облачную архитектуру в уроках FastAPI и Docker. Основы моделирования данных NoSQL разобраны в базовом курсе SQL.

← Вернуться к курсам