AI Infrastructure Engineer 面试对比：OpenAI、Anthropic、xAI、Meta AI 和 AI Startup 怎么准备

AI Infrastructure Engineer 这类岗位近两年非常热，但面试准备并不清晰。OpenAI、Anthropic、xAI、Meta AI、Glean、Perplexity、Harvey、Scale AI 都可能招聘类似背景的人，但每家公司考法不一样：有的偏 coding，有的偏 system design，有的偏 ML systems，有的偏 performance，有的偏 product infra。

很多北美华人候选人会把 AI infra 面试误解成“会 LLM 概念 + 刷 LeetCode”。这远远不够。AI infra 面试真正考的是：你能不能把模型、数据、服务、调度、延迟、吞吐、成本、安全和可观测性放到一个生产系统里思考。

这篇文章会横向对比几类 AI infra 面试风格，并给出准备路线。

AI Infra 岗位到底在做什么

AI infrastructure 不是只训练模型，也不是只调用 API。常见工作包括：

model serving / inference platform
batch scheduling / GPU utilization
feature and data pipeline
evaluation and monitoring
prompt / context management
retrieval and indexing
agent runtime
developer tools
safety / abuse detection infra
reliability and cost optimization

所以面试也会跨多个方向：SDE coding、ML coding、system design、distributed systems、performance、project deep dive、behavioral / culture。

不同公司的面试风格

公司类型	常见重点
OpenAI	工程化 coding、debugging、ML-adjacent coding、project depth
Anthropic	open-ended coding、AI infra system design、culture / safety、project deep dive
xAI	快速 screen、take-home、hands-on coding、exceptional project
Meta AI	AI-enabled coding、infra design、behavioral、high scale
Glean / Harvey	enterprise search、document ACL、RAG、product infra
Perplexity	search / feed / trending queries、ranking、personalization
Scale AI	data pipeline、classification / embedding services、human-in-the-loop

这意味着你不能用同一套答案面所有 AI 公司。你需要先判断岗位偏哪一层。

Coding：从算法题变成工程题

AI infra coding 常见题型：

dynamic batching
tokenizer / parser
request scheduler
cache / KV store
memory file system
log validation
graph / DFS / BFS
debugging existing code
AI-assisted coding
NumPy / ML building blocks

OpenAI 和 Anthropic 更可能考 open-ended engineering coding；xAI 和 startup 更可能考能快速交付的小系统；Meta AI 可能出现 AI-assisted coding，要求你使用 AI 但不能盲信 AI。

准备重点：

先定义状态和接口
写可扩展的第一版
主动补 tests
能 debug failed tests
能解释 AI suggestion 是否正确
能处理 follow-up，而不是推倒重写

AI infra coding 不一定要求你实现 Transformer，但会要求你理解系统中的数据流和状态。

ML Coding：重点是可测试实现

ML Engineer 或 AI infra 岗可能会有 ML-adjacent coding，比如：

用 NumPy 实现 normalization、top-k、sampling
写 evaluation metric
处理 batch / shape
实现简单 tokenizer
分析模型输出或数据质量
debug training / inference 相关代码

这类题不要背概念，要能写清楚：

input shape
output shape
edge cases
numerical stability
time / memory complexity
test cases

如果你说会 ML，但写不出稳定的 NumPy 代码，面试会很危险。

System Design：AI Infra 的 8 个核心模块

AI infra system design 不应该只说 load balancer + service + database。一个成熟回答通常要覆盖：

Request Layer：auth、rate limit、request validation
Queue / Scheduler：priority、batching、timeout、backpressure
Model Serving：model loading、GPU allocation、multi-model routing
Data / Retrieval：chunking、embedding、index update、permission filter
Cache：prompt cache、KV cache、embedding cache、result cache
Reliability：retry、fallback、circuit breaker、graceful degradation
Observability：latency、GPU utilization、queue depth、error rate、quality metrics
Safety / Security：tenant isolation、audit log、abuse detection、data retention

不同公司会偏不同模块。Anthropic 可能追问 safety 和 reliability，Perplexity 可能追问 ranking 和 freshness，Glean / Harvey 可能追问 ACL 和 document access，xAI 可能追问快速交付和 demo，Meta 可能追问 high scale。

Dynamic Batching 是高频核心题

如果你准备 AI infra，一定要理解 dynamic batching。核心问题是：请求长度不同、结束时间不同，如何持续填满 batch，提高 GPU utilization，同时控制 latency。

你要能讲：

request queue
slot assignment
sequence state
stop token / max token
timeout
batch refill
result callback
fairness
priority
backpressure

这类题非常适合区分“只知道 LLM 概念”和“真的懂 inference system”的候选人。

RAG / Enterprise Search：权限是分水岭

Glean、Harvey、Perplexity、Scale AI 等公司经常涉及 RAG、document processing、search、recommendation。很多候选人会把回答简化成 embedding + vector DB + LLM，这是不够的。

你需要讲：

document ingestion
chunking strategy
embedding generation
hybrid search
reranking
citation
freshness
permission filtering
deleted document invalidation
tenant isolation
audit log

尤其是 enterprise 场景，ACL 比模型本身更关键。如果一个用户能搜到没有权限的文档，系统就失败了。

Project Deep Dive：把你的项目翻译成 AI infra 信号

AI infra 面试很看项目。你需要把经历讲成下面这些信号：

scale：请求量、数据量、模型量、用户量
reliability：SLA、incident、fallback
performance：latency、throughput、GPU / CPU / memory
cost：batching、cache、resource utilization
quality：evaluation metric、monitoring、feedback loop
security：permission、privacy、audit
ownership：你具体推动了什么

即使你过去不是做 LLM，也可以把 backend、data platform、ML platform、search、recommendation、observability 项目转译成 AI infra 相关经验。

Culture / Behavioral：AI 公司问得更深

AI 公司 behavioral 往往不只是常规 BQ。它可能问：

为什么做 AI
如何看待 safety 和 speed 的取舍
遇到模型输出有风险怎么办
如何处理研究和工程目标冲突
如何在不确定方向下推进
你如何判断一个 AI feature 是否值得上线

答案要具体。不要只说“我重视 safety”。你可以从 evaluation、red teaming、rollback、logging policy、human review、abuse detection、privacy review 这些工程动作切入。

30 天准备路线

第 1 周：Engineering Coding

练 dynamic batching、scheduler、cache、file system、parser、debugging repo。重点是状态管理和测试。

第 2 周：ML Coding

练 NumPy、metrics、sampling、batching、shape handling、tokenizer、data validation。

第 3 周：AI Infra System Design

练 inference API、model serving platform、RAG system、enterprise search、trending queries、classification pipeline、evaluation platform。

第 4 周：Project Deep Dive + Culture

准备 2 个项目深挖，一个偏 infra，一个偏 product / ML。再准备 AI safety、ambiguity、conflict、ownership 的故事。

需要 AI infra 专项 mock？

AI infra 面试横跨 coding、ML、distributed systems、project deep dive 和 behavioral。Interview Coach Pro 可以按 OpenAI、Anthropic、xAI、Meta AI、Glean、Perplexity、Harvey、Scale AI 的风格做专项 mock，帮你把已有项目转译成 AI infra 面试信号。