AI 应用速查
主流大模型选型全表 + API 接入要点 + 提示词框架 + RAG 与合规落地：AI 应用开发者与选型决策速查。
模型全景与选型
国内外主流模型能力、上下文与价格对照
OpenAI GPT 系列通用模型
OpenAI 的旗舰通用模型家族：从 GPT-4o、GPT-4.1 到 GPT-5 世代，覆盖文本与图像理解、工具调用与结构化输出，是 API 生态的事实基准。
DeepSeek 系列（V3 / R1）
深度求索的旗舰模型：DeepSeek-V3 是通用对话 MoE 模型，DeepSeek-R1 是推理模型且开放权重；API 走 OpenAI 兼容协议，以性价比著称。
Anthropic Claude 系列模型
Anthropic 的模型家族按 Haiku（快省）、Sonnet（均衡）、Opus（旗舰）三档划分，以长上下文、编码与工具使用见长，Messages API 为独立协议。
阿里通义千问 Qwen 系列
阿里云的通义千问家族：API 侧有 qwen-max/qwen-plus/qwen-turbo 等档位，开源侧有 Qwen2.5、Qwen3、Qwen-VL、Qwen3-Coder 等，覆盖语言、视觉与代码。
OpenAI o 系列推理模型
面向复杂推理的模型线（o1、o3、o4-mini 等）：先在内部生成思维链再作答，数学、代码与多步推理更强，延迟与成本也更高。
Google Gemini 系列（Pro / Flash）
Google 的多模态旗舰家族：Pro 面向高难任务、Flash 主打低延迟低成本，超长上下文与原生多模态是卖点，经 Gemini API 或 Vertex AI 接入。
编码智能体（Coding Agent）
面向工程的编码代理：Claude Code、OpenAI Codex、GitHub Copilot、Qwen3-Coder、DeepSeek 系等，核心能力是仓库级理解 + 工具循环（读文件、跑测试、改代码）。
多模态大模型（图片/音频输入）
原生多模态模型能直接读取图片、截图、PDF 页图与音频：GPT-4o/GPT-5、Gemini、Claude、Qwen-VL/Omni、GLM-4V 等，输入形态支持 URL 或 base64。
开源与闭源模型选型对比
闭源（GPT/Claude/Gemini）能力上限高、零运维；开源（Qwen/Llama/DeepSeek 等开放权重）可私有化、可微调、成本自主。选型要看数据合规、能力需求与总拥有成本的组合。
上下文窗口（Context Window）
模型单次请求可容纳的 token 总量（输入+输出口径因厂商而异）。窗口大不代表记得牢：超长输入的中间信息容易被忽略，且全部按 token 计费。
嵌入模型（Embedding）选型
把文本映射成向量的模型，是检索、RAG、聚类与去重的地基。选型看中文效果、维度与成本、最大输入长度，以及能否本地私有化。
Meta Llama 开源系列
影响力最大的开放权重模型家族：Llama 3.1（8B/70B/405B）、3.3 70B、Llama 4 系列等，可自托管、微调并受社区许可约束，本地生态工具最全。
推理模型与通用对话模型的差异
推理模型（o 系列、R1、GLM 推理系）先内部推理再作答，适合难题但慢且贵；对话模型快而便宜。按任务难度做路由是业界标准做法。
模型评测：LMArena / SWE-bench / MMLU
读榜要会拆：LMArena 是人工盲测偏好排名，SWE-bench 测真实仓库修 bug，MMLU/GPQA 测知识与高难推理。榜单受提示格式与推理预算影响，只能做初筛。
智谱 GLM 系列
智谱 AI 的旗舰家族：GLM-4 系与 GLM-4.5 等覆盖对话、代码与工具调用，同时有开权重版本；API 经 open.bigmodel.cn 提供 OpenAI 兼容接口。
月之暗面 Kimi 系列（K2 等）
月之暗面的模型线：moonshot-v1 长上下文系列（8k/32k/128k）起家，K 系列推理模型与 K2 开放权重 MoE 逐步接棒，API 兼容 OpenAI 协议。
重排模型（Rerank）
对初筛候选（如向量召回 top50）做精细相关性打分再取 top-k，是提升 RAG 质量性价比最高的一步；常用 bge-reranker、Cohere Rerank、Qwen-Ranker 等交叉编码器。
图像生成模型（文生图）
主流文生图与改图：GPT Image（gpt-image-1）、Google Imagen、开源 Stable Diffusion / FLUX、Midjourney，以及国内即梦、通义万相等，按张或按分辨率计费。
选型决策框架：任务-模型匹配
四层过滤选模型：能力（推理/多模态/长文）→ 合规（数据能否上云出域）→ 成本与延迟预算 → 工程性（协议兼容、限流、SDK）。筛出 2-3 个候选后用业务题小样盲测定案。
字节豆包大模型（Doubao）
字节跳动（火山引擎）的豆包系列：覆盖对话、视觉与语音，大版本以 1.5、1.6 等世代迭代，主打高并发吞吐与中文场景性价比。
语音识别与合成（ASR / TTS）
语音链路 = ASR 转写 + TTS 合成：Whisper 系开源转写与各家云 ASR；TTS 从 OpenAI TTS、Azure 到 CosyVoice、ElevenLabs，多按音频时长或字符计费。
百度文心 ERNIE 系列
百度的大模型家族（ERNIE 4.0/4.5 等世代），经智能云千帆平台提供 API、微调与数据工具链，在中文知识问答与政企场景落地较早。
MoE 与稠密模型：架构差异
MoE（混合专家）用稀疏激活把总参数做大而不等比增加算力（DeepSeek-V3、Qwen3、Mixtral 等）；稠密模型每个 token 都过全部参数。前者省算力、费显存。
视频生成模型（文生/图生视频）
视频生成已进入可用期：OpenAI Sora、Google Veo、快手可灵、MiniMax 海螺、Runway 等；工程上多为异步任务，时长以数秒级片段为主，按秒或按次计费。
腾讯混元大模型（Hunyuan）
腾讯的混元系列：覆盖对话（Turbo 等）、推理（T1 等）与视觉生成，经腾讯云大模型 API 接入，另有面向微信生态的集成能力。
MiniMax 系列（M1 / M2）
MiniMax 的模型家族：文本模型（M1/M2 等，部分开放权重）、语音合成与视频生成（海螺）多线并行，覆盖对话、配音与短视频生成场景。
Mistral 系列与 Mixtral MoE
法国 Mistral AI 的模型家族：Mistral Large/Small、Mixtral MoE、Codestral 等，权重多可自托管，API 经 api.mistral.ai 提供且兼容 OpenAI 风格。
接入与 API 要点
鉴权、流式、并发与常见参数
Chat Completions 接口（/v1/chat/completions）热门
最通用的对话补全协议：POST JSON（model + messages），返回 choices[0].message.content；由 OpenAI 定义后成为行业事实标准，被绝大多数厂商兼容。
流式输出（SSE）
stream=true 时服务端以 text/event-stream 逐块推送增量：每行 data: {json}，OpenAI 系以 data: [DONE] 结束。首字延迟（TTFT）显著改善，聊天体验的关键。
OpenAI 兼容接口生态
大量厂商与推理框架提供 /v1/chat/completions 兼容端点（DeepSeek、DashScope、智谱、Kimi、OpenRouter、Ollama、vLLM 等），迁移通常只需换 base_url + 模型名 + key。
采样参数：temperature / top_p / penalty
temperature 控制随机性（0 稳定、越高越发散），top_p 为核采样；frequency/presence penalty 抑制重复但对结构化任务有副作用。抽样类任务建议两者只调一个。
函数调用（Tool Calling）
让模型输出结构化工具调用请求（name + arguments JSON），你的代码执行后把结果回填，再请求模型生成最终答复——Agent 的底层机制，支持一次返回多个并行调用。
限流（Rate Limit）与 429 处理
限流维度常见两类：RPM（每分钟请求数）与 TPM（每分钟 token 数），429 响应带 x-ratelimit-* 剩余量头与 retry-after 建议等待秒数（以官方为准）。
Anthropic Messages API
Claude 的官方接口：POST https://api.anthropic.com/v1/messages，system 为顶层参数，max_tokens 必填，流式返回按事件类型（message_start、content_block_delta 等）。
API 鉴权头速查（Bearer / x-api-key / api-key）
三家主流鉴权风格：OpenAI 与兼容生态用 Authorization: Bearer；Anthropic 用 x-api-key（另需版本头）；Azure OpenAI 用 api-key。头名写错是最常见的 401 原因。
消息角色：system / user / assistant / tool
messages 数组的角色语义：system（或 developer）定义行为约束，user 是用户输入，assistant 是模型历史输出（含工具调用请求），tool 回填工具执行结果。
结构化输出（json_schema / JSON Mode）
约束模型输出符合 JSON Schema：OpenAI 提供 response_format 的 json_schema（strict）与 JSON mode；Anthropic 常用强制工具调用变通。适合抽取、分类、入库场景。
API 常见错误码速查
排错看状态码定位大类：400 请求结构错；401 鉴权失败；403 权限/区域；404 模型或路径不存在；429 限流/配额；500/503 服务端故障（可重试）。
Token 计数与 tiktoken
计费与截断以 token 为单位：OpenAI 系可用 tiktoken 精确计数（cl100k_base、o200k_base 等编码），其他厂商用各自 tokenizer 或 API 返回 usage 反推。
max_tokens 与输出截断
限制单次响应生成长度（新接口中部分改名为 max_completion_tokens）。它约束输出而非输入；被截断时 finish_reason=length，内容可能是不完整 JSON。
多模态请求：图片输入格式
视觉模型请求中 content 变为数组：OpenAI 风格 {type:image_url, image_url:{url}}（URL 或 data URI），Anthropic 风格为 image source（base64/URL）；图片按分辨率折算成输入 token。
官方 SDK 用法速记（Python / Node.js）
官方 SDK 封装鉴权、重试、超时与流式迭代：Python 用 openai / anthropic 包，Node.js 用 openai / @anthropic-ai/sdk；排错时可开日志看原始请求。
Ollama 本地模型服务
一键跑开源模型的本地运行时：pull/run 即可对话，默认监听 11434 端口，同时提供原生 /api/chat 与 OpenAI 兼容的 /v1/chat/completions。
vLLM 部署 OpenAI 兼容服务
生产级开源推理引擎：PagedAttention 与连续批处理带来高吞吐，vllm serve 一条命令即得 OpenAI 兼容端点（默认 8000 端口），取代逐条推理的脚本方案。
OpenAI Responses API（新一代接口）
OpenAI 主推的新接口：统一对话与智能体能力，原生支持内置工具（联网搜索、文件检索、代码解释器）与状态化会话，输入输出为 items 结构。
Embeddings 接口（/v1/embeddings）
文本转向量：POST /v1/embeddings，body {model, input}（input 支持字符串数组），响应 data[].embedding 与输入顺序一致，是检索与聚类流水线的入口。
重试与指数退避（Exponential Backoff）
对可恢复错误重试要带指数退避加抖动：等待约 1s、2s、4s 递增并叠加随机抖动，设最大次数；4xx 中的参数类错误重试没有意义。
base_url 自定义与企业网关
把 SDK 的 base_url 指向自建网关（one-api / LiteLLM / Higress AI 网关等），统一多模型接入、密钥托管、配额与审计——企业内落地 LLM 的标准形态。
Gemini generateContent 接口
Google 的模型调用接口：POST .../v1beta/models/{model}:generateContent，请求体用 contents[].parts[]，支持 systemInstruction、tools 与多模态行内数据。
批量接口（Batch API）
面向离线大批量任务的异步通道：提交 JSONL（每行一个请求），平台在时限内处理（多数为 24 小时窗口），普遍提供约 5 折折扣（以官网为准）。
Azure OpenAI 接入差异
企业合规常用通道：用部署名（deployment）替代模型名，端点为 {resource}.openai.azure.com/openai/deployments/{deployment}/...，api-version 查询参数必填，鉴权走 api-key 或 Entra ID。
文件上传与引用（Files API）
先把文档或数据集上传换取 file_id，再在请求中引用：用于批处理输入、微调数据集与文件检索。上传即数据驻留，注意用途专属性与生命周期管理。
OpenRouter 聚合网关
一个 key 调用多家模型（旗舰闭源与开源托管），统一 OpenAI 协议与计费口径，适合多模型比价、快速试验与容灾，代价是引入第三方依赖与一定溢价。
实时语音 API（Realtime / 语音到语音）
双向实时语音对话接口：OpenAI Realtime（WebSocket/WebRTC）与 Gemini Live 等，支持流式音频、打断（barge-in）与函数调用，按音频 token 或时长计量。
提示词框架与技巧
结构化提示、角色设定与常见模式
思维链（Chain-of-Thought）
引导模型先分步推理再给结论：对数学、多跳问答、逻辑分析提升明显。对推理模型（o 系/R1）不必手动加，其内部已有推理过程。
System 提示设计（行为底座）
system 提示定义角色的长期行为：角色、边界、语气、格式与安全规则五块。它是产品行为的底座，需版本管理与回归测试。
少样本示例（Few-Shot）
在提示词里给 2-5 个输入输出样例，让模型模仿标签体系与输出格式。对分类、抽取、改写等格式敏感任务效果显著。
Agent 系统提示（工具与停止条件）
Agent 系统提示四要素：工具清单与用途、决策规则、停止与转人工条件、输出纪律（报告已执行动作）。高风险动作必须挂程序级审批。
CO-STAR 提示词框架
结构化的提示词模板：上下文 Context、目标 Objective、风格 Style、语气 Tone、受众 Audience、输出格式 Response 六要素，适合写作、汇报与信息型任务。
角色设定（Role Prompting）
在 system 或开头给模型设定角色、经验与回答规范。角色主要校准视角、术语与风格；内部数据与细节仍需通过上下文注入。
ReAct 模式（推理 + 行动）
让模型交替执行推理（Thought）与行动（Action）并观察结果（Observation），循环逼近答案——现代工具调用与 Agent 的思想原型。
输出格式规范与样例
给输出定格式时，一个字段级样例胜过一段文字描述；约束 JSON 时同时禁止额外文字与 Markdown 围栏，并在程序侧做 schema 校验。
文档问答提示（引用与拒答）
文档问答的两个关键约束：每条结论标注出处、没有依据时明确拒答。配合引用溯源可审计，拒答可显著降低编造。
信息抽取提示（防编造）
抽取任务的三个关键规则：明确定义字段、找不到允许 null、禁止猜测。输出配 JSON 结构，程序侧做 schema 校验与抽检。
结构化标记：XML / Markdown / JSON
用标记语言组织复杂提示：XML 标签隔离任务、文档与输出格式（Anthropic 官方推荐）；Markdown 适合人读长文；JSON 适合机器消费与字段级约束。
约束与指令清晰度（含负面指令）
把要求写成可验收的约束：数量、长度、格式、禁止项，并对冲突约束设优先级。负面指令（不要写 X）遵守率低，尽量改写为正面要求（只输出 Y）。
长上下文的位置效应（Lost in the Middle）
长输入中段信息的召回率明显低于头尾：关键指令与问题放开头或结尾，重要文档放最前；超长内容优先分块检索而非整篇塞入。
摘要提示（分层与信息保全）
摘要任务的稳定做法：规定层次（一句话 + 要点）、规定长度、点名必须保留的信息（数字、日期、专有名词），长文先分块再汇总。
代码生成提示
生成可用代码的关键约束：语言与版本、运行环境与依赖、输入输出契约、错误处理，并要求附带测试用例；生成后在沙箱运行验证。
分隔符与上下文隔离
把指令与待处理内容用固定分隔符隔开（---、###、XML 标签、代码围栏），防止模型把数据当指令执行，也避免长文与要求互相污染。
提示链（Prompt Chaining）
把复杂任务拆成多个顺序步骤，每步输出作为下一步输入：抽取 → 加工 → 生成。中间产物可人工/程序校验，失败可局部重试。
分类提示（封闭标签集）
分类任务先定全标签集（封闭集合），给每类一句定义与边界案例，要求只从集合中选一个；可要求置信度并设复核阈值。
提示词评测（回归与对比）
用固定题集评测提示词版本：每条包含输入与通过标准；新旧版本同批对比，人工或 LLM 评审打分。起步 20-50 条覆盖主路径与边界即可。
提示词版本管理
提示词是代码：进版本库、走评审、带变更记录，并配一套固定评测集；每次修改跑同一批题目对比效果，上线可灰度可回滚。
Text-to-SQL 提示
自然语言转 SQL：把 schema（表、字段、枚举值与含义）注入提示，限定方言与只读范围，要求只输出一条可执行 SQL，生成后先校验再执行。
CRISPE 提示词框架
另一套知名模板：Capacity and Role（角色）、Insight（洞察/背景）、Statement（任务陈述）、Personality（个性）、Experiment（多版本尝试），适合探索性与创意任务。
自洽性投票（Self-Consistency）
同一问题多次采样（temperature>0），对结果投票取多数——用多样性换正确率，对数学与推理题有效，代价是调用成本成倍上升。
Least-to-Most（由易到难分解）
把复杂问题拆成由简到繁的子问题序列，逐个解决，后面的子问题可以引用前面的答案，最后汇总——适合多步推理与组合型任务。
提示词模板与变量插值
把提示词做成带占位符的模板（{style}、{text}），运行时注入变量。工程要点：变量值要校验与包裹，防止用户输入里的花括号或指令破坏模板。
Step-Back 提示（先抽象后退）
先让模型退一步找出问题背后的通用原理或规律，再基于规律解答原问题；对物理、数学与策略类难题，比直接求解更稳。
元提示（让模型改进提示词）
用一段提示词让模型先澄清需求，再生成规范提示词（角色、任务、输入、输出格式、示例、边界）。适合把粗糙需求变成可复用模板。
RAG 与知识库
切分、向量化、召回与评测要点
RAG 全流程（检索增强生成）
RAG 的五段流水线：解析 → 切分 → 向量化 → 检索（含重排）→ 生成。质量杠杆排序通常是：切分与重排 > 向量模型 > 生成模型。
文档解析：入库前的格式清洗
RAG 的第一道工序：把 PDF/Word/HTML 还原成可切分的文本与结构。解析质量直接决定召回上限，扫描件需先 OCR、双栏与表格需特殊处理。
递归字符切分（Recursive Splitter）
主流默认方案：按分隔符层级（段落 → 换行 → 句号 → 逗号）递归尝试，尽量在语义边界断开，超长才降级到更小单位。
向量库选型：pgvector / Milvus / Qdrant / FAISS
选型看四个维度：数据规模、过滤需求（元数据筛选）、运维成本、与现有系统的一致性要求。小规模复用 Postgres 最省事，超大规模或用独立服务，FAISS 只是库不是数据库。
混合检索与 RRF 融合
向量检索抓语义、BM25 抓关键词（专有名词、编号、错误码），两路各取 top 后用 RRF（倒数排名融合）合并——只看排名不看分数，天然规避两路分数量纲不同的问题。
固定长度切分（字符/Token 窗口）
最直接的切分法：按固定字符数或 token 数滑窗切开。实现简单稳定，对格式规整的文本够用；起点建议 512-1024 token、10-20% 重叠。
HNSW 向量索引：参数与召回权衡
HNSW（分层可导航小世界图）是当前主流的近邻索引：查询快、召回高，代价是吃内存。核心参数 M、efConstruction 决定建索引质量，efSearch 决定查询时的召回与延迟取舍。
扫描件 OCR 与版面分析
扫描 PDF/图片先 OCR 再入库：PaddleOCR、Tesseract、RapidOCR 是常见选择，版面分析（PP-Structure 等）能恢复阅读顺序与表格区域，OCR 结果需抽检才敢进索引。
相似度度量：cosine / 内积 / L2
向量检索的度量方式必须与模型用法一致：归一化向量上内积等价于余弦；未归一化时三种度量排序会不同。索引算子（如 vector_cosine_ops）选错，检索质量会明显变差。
元数据过滤：把权限与范围带进检索
给每个块带上部门、密级、时间、文档类型等元数据，检索时先过滤再近邻（pre-filter），把权限、时效、范围约束下沉到查询层，避免答非所问与越权。
检索评测指标：Hit Rate / MRR / nDCG
RAG 优化不能凭感觉：Hit Rate 看“相关内容是否被召回”，MRR 看“第一条相关结果排多前”，nDCG 看整体排序质量。先建 50-100 条标注评测集再调参。
结构化切分（按标题层级）
利用文档自身结构（Markdown 标题、HTML 标签、Word 样式）切分，并把标题路径写成元数据；检索命中后可按章节回溯，也能按章节过滤。
表格抽取：从版式到结构化数据
表格是知识库里最容易丢失的信息：规则抽表（pdfplumber/camelot）适合边框清晰的表，无边框/复杂表用版面模型或 LLM 兜底，产出统一转 Markdown 或 CSV 再入库。
父子块检索（Small-to-Big）
检索用小粒度（子块）保证命中精度，返回用大粒度（父块/整节）保证上下文完整：子块存向量，父子通过 id 关联，命中后回溯父块送给模型。
RAG 端到端评测（RAGAS 思路）
除检索指标外，还要评生成质量：忠实度（答案是否都来自上下文）、答案相关性、上下文精确率/召回率。RAGAS 等框架用 LLM 当裁判，把主观质量变成可回归的数字。
知识库增量更新与失效治理
文档会改、会删、会过期：用内容哈希 + 文档指纹做增量（没变不重算），删除/更新要同步清向量；再配有效期与巡检任务，防止旧版本答案继续被召回。
切分重叠（Overlap）与去重
相邻块重叠一段文本，避免答案正好落在切分边界被截断；重叠 10-20% 起步，配合内容哈希去重防止近重复块霸占召回。
IVF / PQ 量化索引：省内存的大规模方案
IVF 用聚类把向量分桶、查询只扫部分桶；PQ 把向量切片量化压缩，能把内存降一个数量级。适合千万级以上、内存敏感的离线或大规模场景，需接受少量精度损失。
查询改写与 HyDE
用户问句与文档陈述句存在表述鸿沟：查询改写（补全指代、口语转书面）与 HyDE（先让模型生成假想答案再拿它去检索）都能显著提升召回，尤其适合短查询。
引用溯源：让每条结论可核对
让模型输出行内引用标记（如 [1][2]），前端把标记映射回原文片段与链接：既方便核对、降低幻觉风险，也是面向合规审计的硬需求。
语义切分（Semantic Chunking）
按语义边界而非字符数切分：先分句，再计算相邻句向量相似度，在相似度骤降处断开。块内主题更一致，代价是计算量与边界稳定性。
BM25 关键词检索基线
BM25 是几十年验证过的词频检索算法：按词频与逆文档频率打分，配 k1/b 参数。中文需先分词（ik、jieba 等），是最便宜也最难被完全替代的检索基线。
多查询扩展（Multi-Query）
让模型把一个问题改写成多条不同角度的查询，分别检索后取并集或 RRF 融合——用查询多样性换召回覆盖，缓解单条查询视角单一导致的漏检。
GraphRAG：知识图谱增强检索
把实体与关系抽成图（人、产品、条款之间的连接），检索时沿图扩展相关实体：擅长多跳问答（“A 的负责人还管什么”）与全局性问题，代价是构建复杂。
多模态 RAG：图片、表格与图表
知识库里大量信息在图和表里：用多模态 embedding（CLIP 类）做图搜图，或让多模态模型为图片生成描述文本再参与文本检索；表格转结构化文本同样是多模态处理。
成本与上下文管理
Token 计量、缓存与成本优化
Token 计价机制：输入与输出分开算
主流 API 按 token 分段计费：输入（prompt）与输出（completion）单价不同，输出通常显著更贵；缓存、批处理、长上下文另有独立价档。做成本模型先搞清楚这几层价格结构。
OpenAI 提示缓存：自动命中前缀
OpenAI 对请求前缀自动做缓存：相同前缀（≥1024 token 量级）重复出现时，命中部分按折扣输入价计费，无需改代码；对“固定系统提示 + 动态用户内容”的形态天然友好。
Anthropic 显式缓存：cache_control 标记
Anthropic 需要显式标记缓存断点：在 content 块上加 cache_control，把长文档、工具定义等固定内容标记为可缓存；写入按上浮价、读取按大幅折扣计费，按官方文档为准。
模型分级路由：让小模型干粗活
按任务难度分层：轻任务（分类、改写、抽取）走小模型，常规任务走中档，只有难题才上旗舰。同一产品里三档并存，成本能压一个数量级，前提是有路由与兜底。
输出 token 更贵：把生成关进笼子
输出单价通常是输入的几倍（以厂商官网为准），且输出长度由模型逐字生成、控制难度更大。限制输出是性价比最高的降本手段：约束格式、设上限、禁止客套。
批处理 API：非实时任务打折扣
把批量任务（转写、分类、审核、离线评测）提交到批处理接口，异步执行完成，价格通常按标准价打折（以厂商官网为准）；代价是不能实时、有完成时限窗口。
usage 用量对账：成本监控第一步
每次响应都带 usage 字段（输入/输出/缓存明细 token 数），把它按用户、功能、模型维度落库聚合，才能回答“钱花在哪了”——没有用量数据一切降本都是盲调。
缓存命中率设计：前缀稳定是第一原则
缓存收益 = 命中率 × 折扣幅度：把请求结构设计成“长稳定前缀 + 短动态后缀”，把变量（时间、用户 ID、随机数）全部后置，命中率可以从几十趴拉到 90%+。
上下文压缩：信息密度优先
上下文不是越长越好：token 计费线性、注意力稀释、无关内容干扰。压缩手段包括去重、抽取式筛选、结构化摘要与只送相关段落——目标是用最少 token 承载任务所需信息。
max_tokens 与输出上限
max_tokens 是单次输出的硬上限，也是成本刹车：按任务输出长度的 P95 乘 1.5 左右设置，配合 finish_reason 判断是否被截断，截断要有重试或降级逻辑。
长上下文成本：窗口不是免费的
超长上下文有三个代价：token 线性计费、注意力质量衰减（中间遗忘）、部分厂商对长上下文设更高单价档。缓存与检索缩减输入才是正解，而不是无脑堆窗口。
Embedding 成本：按输入计量与去重
向量化按输入 token 计费（以官网为准），单价低但量大：知识库初始化时几百万 chunk 一次算完。控制成本靠三条——批量请求、内容哈希去重、只对变化文档重算。
Gemini 上下文缓存：显式与隐式
Gemini 提供显式上下文缓存（预先把大段内容存为缓存对象、请求里引用）与面向重复前缀的隐式缓存；对“同一大文件反复查询”的批次任务，命中后按折扣输入价计费。
会话摘要式记忆：滚动摘要
长对话不能无限带历史：把早期对话滚动压缩成结构化摘要（决议、待办、关键事实），近期若干轮保留原文——摘要负责“记得”，原文负责“细节”。
单请求 Token 预算设计
上下文窗口是上限不是目标：把窗口拆成预算——固定提示、检索资料、历史、输出、工具回包预留——按预算裁剪，而不是塞满再说。
重试与失败成本控制
失败重试要花钱：超时、限流、网络抖动都会重发请求，重复计费。策略是超时分级、指数退避加抖动、幂等键防重复提交，并对重试率设监控。
成本看板与月度预算
把成本拆到可行动的维度：功能、模型、租户、缓存命中率、批处理占比——看板的目的不是好看，而是找出“本周该优化哪一项”。
自托管 TCO：利用率决定一切
自托管开源模型的总成本 = 硬件折旧/租赁 + 电力 + 运维人力 + 空闲浪费：GPU 利用率低于一定水平时，总成本高于直接调用 API。适合稳定高吞吐或数据敏感场景。
滑动窗口：保留最近 N 轮
最简单可控的记忆策略：只带最近 N 轮原文，窗口外内容丢弃或交给摘要。计算量恒定、行为可预期，是摘要策略的兜底与基线。
流式输出与提前取消的成本
流式（SSE）让用户边看边等，同时在用户主动停止、超时或页面关闭时可立刻中断连接——模型停止生成，后续输出 token 不再计费，是长回答场景的省钱阀。
多租户配额与告警
给每个用户/租户设 token 与费用配额：周期重置、软硬双阈值（80% 告警、100% 拦截），防止单个租户或异常脚本把全站预算烧穿。
重排成本：按 query-doc 对计费
重排模型（Cohere Rerank、bge-reranker 等）按查询与候选文档对计量（或按 token）：候选从 50 扩到 200，成本大致线性上升。先用向量粗排收窄候选，再重排精挑。
图片输入的 Token 计量
视觉模型的图片按分辨率折算成 token：图片被切成图块（tile）计费，图越大 token 越多。压缩分辨率、裁剪无关区域、避免重复传图是主要优化手段。
缓存失效与版本控制：改了前缀就是新缓存
任何前缀改动（哪怕一个字符）都会导致缓存失效重建：模板要做版本号管理，滚动发布时新旧版本并存一段时间，避免全量请求同时转型、反复付写入成本。
向量存储成本：内存才是大头
向量库成本主要不是磁盘而是内存：HNSW 图索引常驻内存，768-1536 维向量加图结构，千万级就是几十 GB。用副本数、量化压缩与生命周期策略控制。
图像生成计量：按张与分辨率
文生图按“张 + 分辨率 + 质量档”计费：大尺寸高质量单张更贵；编辑/变体接口另算。控制手段是预览小图定稿、批量前先小样、把重生成次数纳入预算。
stop 序列：让模型在该停的地方停
stop 参数指定停止串（最多若干个，各家上限不同）：生成到指定内容立即终止，能防止模型“说完正事再客套”。适合模板化输出与多段拼接场景，但要防误伤。
语音成本：转写按分钟、TTS 按字符
语音链路两段计费：语音转写（STT）按音频时长分钟计，文字转语音（TTS）按输入字符/音频时长计，实时语音会话按分钟双向计。裁静音、控时长、复用文本是关键。
合规与安全
数据合规、提示注入防护与内容安全
《生成式人工智能服务管理暂行办法》要点
面向境内公众提供生成式 AI 服务的核心监管规则（2023-08-15 施行）：语料与模型来源合法、内容治理、标识、投诉机制；舆论属性或社会动员能力的服务还需安全评估与算法备案。
提示注入防护：内容不是指令
提示注入分两类：用户直接注入（“忽略之前的指令”）与间接注入（网页/文档/邮件里藏着指令，被检索进上下文后执行）。原则：一切外部内容都按“不可信数据”处理。
API Key 管理：绝不进前端
密钥泄露是最高频的 AI 事故：Key 只存服务端（环境变量/密钥管理服务），按环境与用途拆分、配最小额度、定期轮换、监控异常用量，并扫描代码库防误提交。
个保法（PIPL）在 AI 场景的要点
《个人信息保护法》（2021-11-01 施行）贯穿 AI 全链路：告知同意、最小必要、敏感信息单独同意、自动化决策透明与拒绝权、影响评估（DPIA）、个人权利响应。
深度合成与 AIGC 内容标识
深度合成规定（2023-01-10 施行）与《人工智能生成合成内容标识办法》（2025-09-01 施行）要求：生成内容要有显式标识（用户可感知）与隐式标识（文件元数据），两者都要做。
PII 脱敏：发送与入库前的最小化
把个人信息在进入模型/知识库之前处理掉：正则+NER 识别手机号、身份证、银行卡、邮箱、地址，做掩码或假名化；脱敏要覆盖输入、日志、向量库三条链路。
Agent 工具调用安全：最小权限
Agent 的危害面来自工具：能读文件就能外传、能调接口就能下单。防护原则是最小权限清单 + 参数强校验 + 敏感动作二次确认 + 出口限制，绝不把高危工具暴露给未经审核的模型决策。
算法备案与安全评估流程
具有舆论属性或社会动员能力的算法服务（含生成合成类）需在算法备案系统登记，并做安全评估。《互联网信息服务算法推荐管理规定》与生成式 AI 暂行办法共同构成义务来源。
AI 审计日志：记什么、留多久、怎么防篡改
审计日志要能回答“谁在何时用什么模型做了什么、被拦了什么”：记录调用元数据、工具操作、策略命中与处置；留存满足不少于 6 个月的硬要求，同时日志本身要脱敏、可防篡改。
越狱防护：不靠提示词保密
越狱通过角色扮演、编码混淆、多轮铺垫绕过安全策略；防护要分层：输入侧检测、系统提示最小化秘密、输出侧过滤、敏感能力审计，并维护红队用例回归集。
TC260 生成式 AI 安全基本要求
《生成式人工智能服务安全基本要求》（TC260-003，2024-02-29 发布）给出可操作的安全基线：语料来源与标注、模型安全、安全措施（关键词库、检测、拒答）都列了最低要求。
数据安全法与网络安全法的 AI 义务
数安法（2021-09-01 施行）要求数据分类分级、重要数据保护与风险评估；网安法（2017-06-01 施行）确立等级保护与日志留存不少于六个月——AI 系统的训练数据与运行日志都在射程内。
欧盟 AI Act：风险分级与时间表
欧盟《人工智能法案》（2024-08-01 生效）按风险分级监管：不可接受风险被禁止、高风险承担重义务、有限风险需透明度披露；GPAI 通用模型另有单独义务。出海产品需按时间表对表。
生成内容过滤与误报治理
输出过滤是最后一道闸：分类器+规则双通道扫描生成内容，命中按级别处置（拦截/改写/加提示/转人工），同时设计申诉与误报反馈回路，避免“一刀切”把正常业务拦死。
AI 网关：集中审计与治理入口
所有模型调用统一走企业网关：密钥托管、鉴权配额、用量审计、缓存与路由、内容安全、成本归集——散落的直连调用无法治理，网关是合规与降本的落点。
开源模型许可证：可下载不等于可商用
开源模型的许可差异极大：Apache-2.0/MIT 宽松友好，部分厂商自定义许可（社区许可）带有可接受使用政策与规模阈值条款，还有仅限研究用途的权重——商用前逐条读原文。
训练/微调语料合规：来源、授权与台账
语料是模型合法性的根：暂行办法要求来源合法、不侵犯知识产权；含个人信息要过个保法；外包标注要管住数据流向。实操上，一份可追溯的语料台账比任何声明都管用。
数据出境：用境外模型 API 的合规判断
把用户数据传输给境外模型 API 就是数据出境场景：先判断是否含重要数据/个人信息量级，选择安全评估、标准合同备案或认证路径；《促进和规范数据跨境流动规定》（2024）设了豁免场景。
内容审核 API 接入要点
接入审核接口做输入输出双向检查：输入侧拦违规请求（省 token 又防注入），输出侧把生成内容过一遍分类；关注类别字段、阈值、同步延迟与降级策略。
训练与生成内容的版权风险
两头都有风险：训练侧是语料授权（爬取内容的合法使用），生成侧是输出可能与既有作品实质性相似。实务对策：来源留档、输出相似度检测、投诉响应通道、平台条款遵守。
红队评测：上线前必须自己打自己
红队是对抗性测试：构建越狱、注入、泄露、偏见等用例集，自动+人工执行，修复后回归。学术基准（AdvBench、HarmBench 等）给参考，业务自建用例才是防线主体。
GDPR 与 AI：权利、评估与自动化决策
面向欧盟用户时 GDPR 全面适用：处理需要合法性基础，自动化决策（第 22 条）受限制，用户享有访问/删除/反对等权利，高风险处理需 DPIA——训练数据与推理数据两头都要管。
数据投毒与模型供应链风险
投毒有两个入口：训练侧（污染微调数据让模型学会错误行为）与检索侧（往知识库塞入错误/恶意内容影响答案）。加上模型权重来源不明，供应链每一环都要校验。
AI 安全事件响应：熔断、留证、复盘
预先准备好事件响应：内容事故、数据泄露、密钥泄露、模型滥用、服务中断各有预案；关键能力是“快速熔断开关 + 完整日志 + 上报路径”，事发时没有开关等于没有预案。
模型卡：能力、限制与变更的公开说明
模型卡（Model Card）用固定结构说明模型的用途、训练数据概况、评测结果与已知局限：既是内部评审依据，也是对外披露与采购尽调的标配材料，监管文档要求也指向它。