第 02 章：模型能力边界

zjc 于 2026-01-02 发布

这是《LLM 应用开发零基础实战指南》的独立章节版。本章从概念、实操和生产排查三个视角展开，代码块保留了原书可直接运行的版本。选型的第一步不是找“最强模型”，而是判断任务是否适合模型，以及模型出错时业务能否承受。本章讨论 LLM 的能力边界、适用任务和工程降级方案。

一个实用原则：让模型处理模糊性和语言理解，让程序处理确定性计算、权限和事务。

上下文窗口表示单次请求能容纳的输入和输出 token 数，不等于模型能可靠使用所有内容。

上下文窗口
  |-- system
  |-- 历史消息
  |-- 检索资料
  |-- 工具结果
  |-- 用户问题
  +-- 输出预留

常见问题：

工程做法：

保留：任务指令、当前问题、相关资料、必要状态
压缩：历史摘要、工具结果摘要
丢弃：过期轮次、重复文档、无关日志

模型参数中的知识来自训练数据，存在截止时间、语料偏差和错误事实。

生产系统不要依赖“模型记得”，而要让答案基于当前上下文。

LLM 输出的 confidence 字段不一定等于真实概率。它可以作为辅助信号，但不能作为唯一风控依据。

{
  "intent": "refund",
  "confidence": 0.92,
  "evidence": "用户提到申请退款和订单号"
}

更可靠的策略：

同一个 Prompt 在不同模型、不同版本、不同服务商上可能表现不同。

可能变化：

版本管理建议：

应用版本
  +-- Prompt 版本
  +-- 模型版本
  +-- 检索配置版本
  +-- 工具 schema 版本
  +-- 评测集版本

升级模型时必须跑回归评测，不能只看几条人工体验。

token 是 LLM 系统的主要资源。

总成本 = 输入 token 价格 * 输入量 + 输出 token 价格 * 输出量

影响延迟的因素：

优化顺序通常是：减少无效上下文、限制输出长度、增加缓存、选择合适模型，再考虑并发和批处理。

模型没有天然的企业权限边界。它会按上下文生成内容，不会自动理解“这个用户不能看哪些数据”。

常见风险：

边界设计：

数据读取：按用户权限过滤
工具调用：最小权限 + 白名单
输出展示：字段级脱敏
关键动作：独立审批流

模型不可用不代表业务必须停摆。

主模型
  -> 失败/超时
     -> 备用模型
        -> 仍失败
           -> 规则模板
              -> 人工客服

降级策略：

LLM 擅长理解、归纳、改写和结构化，但不擅长精确计算、实时事实、强规则校验和自主承担高危决策。生产系统要控制上下文、外置知识、校验输出、隔离权限，并为模型不可用准备降级路径。边界清楚后，模型能力才能被安全放大。