Data Engineer Case Study 面试：实时推荐系统数据架构（Netflix/Amazon 真题）

面试真题来源：Netflix/Amazon Data Engineer 系统设计面试
难度：Hard | 考察领域：System Design / Architecture
核心考点：实时数据处理、推荐系统、特征工程、大规模数据架构

面试场景

这是 Netflix/Amazon DE 面试中非常经典的一道 Case Study 题：

题目：设计一个支持实时推荐系统的数据架构

面试官通常会给你一个真实的业务场景，要求你设计完整的数据处理架构。这道题考察的是你对实时数据处理、推荐系统、特征工程、大规模数据架构的全面理解。

业务需求分析

核心业务场景

在 Netflix/Amazon 这样的平台，推荐系统需要支持：

实时特征更新：用户行为发生后，推荐特征需要实时更新
离线特征计算：基于历史数据的用户画像和物品特征
高并发查询：推荐引擎需要毫秒级查询用户特征
A/B 测试：支持不同推荐策略的实验和对比

关键约束条件

数据量：日均数十亿用户行为事件
查询延迟：P99 < 50ms
可用性：99.99% SLA
一致性：最终一致性可接受

整体架构设计

┌─────────────────────────────────────────────────────────────────┐
│                         Client Layer                            │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐             │
│  │  Web/Mobile │  │   SDK/API   │  │  Recommendation│            │
│  │  (行为采集)  │  │  (特征查询)  │  │  Service     │             │
│  └──────┬──────┘  └──────┬──────┘  └──────┬──────┘             │
└─────────┼────────────────┼────────────────┼─────────────────────┘
          │                │                │
          ▼                ▼                ▼
┌─────────────────────────────────────────────────────────────────┐
│                         Processing Layer                        │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐             │
│  │   Kafka     │  │  Flink/Spark│  │  Feature    │             │
│  │ (实时采集)   │  │ (实时计算)   │  │  Store      │             │
│  └─────────────┘  └─────────────┘  └─────────────┘             │
└─────────────────────────────────────────────────────────────────┘
          │                │                │
          ▼                ▼                ▼
┌─────────────────────────────────────────────────────────────────┐
│                         Storage Layer                           │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐             │
│  │  Redis      │  │   HBase     │  │   Hive/     │             │
│  │ (实时查询)   │  │ (历史数据)   │  │   Iceberg   │             │
│  └─────────────┘  └─────────────┘  └─────────────┘             │
└─────────────────────────────────────────────────────────────────┘

详细设计方案

1. 特征采集层

数据源：

用户行为：点击、浏览、购买、评分等
物品特征：商品属性、类别、价格等
上下文信息：时间、地理位置、设备等

采集方案：

使用 Kafka 作为消息队列，支持高吞吐、低延迟
数据格式采用 JSON，包含事件基本信息

# 示例事件结构
event = {
    "event_id": "evt_123456",
    "user_id": "user_789",
    "event_type": "click",
    "item_id": "product_123",
    "properties": {
        "category": "electronics",
        "price": 99.99,
        "duration": 15  # 秒
    },
    "timestamp": "2026-07-31T10:30:00Z"
}

2. 实时处理层

实时计算引擎：

使用 Apache Flink 进行实时流处理
支持窗口聚合、状态管理、Exactly-Once 语义

特征计算逻辑：

用户特征：最近浏览商品、购买历史、偏好类别
物品特征： popularity、类别分布、价格区间
上下文特征：时间、地理位置、设备等

# Flink 实时特征计算示例
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.common import WatermarkStrategy

env = StreamExecutionEnvironment.get_execution_environment()

# 实时计算用户最近浏览商品
stream = env.from_source(...)

# 滑动窗口聚合
windowed_stream = stream.key_by(lambda x: x.user_id) \
    .window(TumblingEventTimeWindows.of(Time.seconds(300))) \
    .process(MyWindowProcessFunction())

# 输出到 Feature Store
windowed_stream.add_sink(...)

3. 特征存储层

存储架构：

Redis Cluster：存储实时查询的热点特征
HBase：存储历史特征和追溯数据
Feature Store：统一特征管理平台

数据分区策略：

按 user_id 哈希分桶，保证同一用户的数据在同一节点
按时间分区，支持历史数据查询和回溯

4. 推荐服务层

API 设计：

提供 gRPC 接口，支持高并发查询
缓存层使用 Redis，热点数据毫秒级响应

查询示例：

# 推荐服务查询示例
def get_recommendations(user_id, limit=10):
    # 查询用户特征
    user_features = feature_store.get_user_features(user_id)
    
    # 查询物品特征
    item_features = feature_store.get_item_features()
    
    # 计算推荐分数
    recommendations = recommend_model.predict(
        user_features, item_features, limit
    )
    
    return recommendations

关键技术决策

为什么选择这个方案？

性能：Redis 缓存层保证 P99 < 50ms 查询延迟
可扩展性：Kafka + Flink 架构支持水平扩展
成本：冷热数据分离，Redis 只存热点数据
一致性：Flink Exactly-Once 语义保证数据不丢失

技术选型对比

方案	优势	劣势	适用场景
Kafka + Flink	高吞吐、低延迟	运维复杂	实时特征更新
Spark Streaming	生态丰富	延迟较高	批量特征计算
Redis	极低延迟	容量有限	热点数据缓存
HBase	海量数据	查询复杂	历史数据存储

面试官追问

常见追问问题

如果数据量增加 10 倍，架构如何调整？
- Kafka 增加 Partition 数量
- Flink 增加并行度
- Redis Cluster 增加节点
如果要求多租户隔离，如何实现？
- 数据隔离：按 tenant_id 分区
- 资源隔离：独立 Kafka Topic、独立 Redis 集群
如果某个组件宕机，如何保证系统可用性？
- Kafka：Replica 机制
- Flink：Checkpoint + Savepoint
- Redis：主从 + 哨兵

面试技巧

回答框架

澄清需求：明确业务场景和技术约束
架构设计：画出架构图，说明每个组件的职责
技术选型：解释为什么选择某个技术
权衡分析：讨论方案的优缺点

高分回答要点

数据量级：主动提到日均数十亿事件
延迟要求：P99 < 50ms 查询延迟
一致性：最终一致性 vs 强一致性
容错机制：Kafka Offset + Checkpoint

本文整理自真实 Data Engineer 面试经验，架构设计经过实际验证。

💡 需要面试辅导？

如果你对准备技术面试感到迷茫，或者想要个性化的面试指导和简历优化，欢迎联系 Interview Coach Pro 获取一对一辅导服务。