在线翻译中长句切分与上下文保持方法

先识别真实句界，再按语义切分

长文本在线翻译的关键，不是把字符平均分段，而是让每个请求尽量包含完整语义单元，同时不超过接口限制。可执行方案是：保护缩写、网址和括号结构，识别候选句界，再按分句和 token 上限生成片段。

句号并不总是句尾。英文中的 e.g.、U.S.、3.14，以及网址、文件名中的点号，都可能触发误切分；引号和括号内部的标点也不能直接当作边界。

• 强标点（.、?、!）后出现空格、大写字母或新段落时，标记为候选句界。
• 句号两侧都是数字时保留，例如 3.14；符合缩写模式时也保留，例如 U.S.。
• 匹配网址、路径和文件名后，将其整体标记为不可切分区域。
• 括号或引号尚未闭合时，不在内部标点处切分，除非业务规则明确允许。

Unicode 标准 UAX #29规定了字素簇、词和句子的通用边界规则，但它不负责完整的语义分句。连接词、条件从句和依存关系仍需语言规则或句法分析处理。工程上可采用三级回退：优先在完整句子间切分；无法满足长度限制时退到分号或冒号；仍超限时再退到逗号或空格。

初始参数可以设为每片段1,000～2,000个字符，但字符数不是可靠的 token 预算。实际调用前应使用目标服务的分词器或试请求测量；同一段中文、英文、代码和网址，在不同 tokenizer 中占用的 token 数可能不同。

用有限重叠保留指代关系

指代消解，就是判断“它”“该方法”或“这一结果”究竟指向哪个实体。只按完整句子切开，仍可能丢掉前文定义，因此需要让当前请求看到一小段前文；重叠内容只用于理解，不能再次写入最终译文。

• 前文重叠：先带入前文1～3句，适合技术说明和操作文档。
• 比例重叠：可从片段长度的10%～20%开始测试，适合句长差异较大的文本。
• 摘要上下文：保留已定义实体、条件、结论和术语，适合超过数万字的文档。
• 术语表：固定产品名、API 名称、变量名和缩写，避免用增加上下文来弥补术语漂移。

具体做法是把输入分成“上下文区”和“翻译区”，并在提示或接口参数中写明“只翻译翻译区”。程序只保存翻译区结果。若一个片段包含5句，下一片段重叠前一片段末尾2句，则合并时只写入下一片段新增的3句；不要按返回时间合并，要按片段编号排序。

重叠比例不是越大越好。它会增加输入 token、费用和延迟，且最终效果取决于语言、文本类型、模型上下文窗口和接口计费规则。技术文档优先保留定义句、最近一次明确出现的实体和条件句；营销文案还要保留修饰对象与语气。

把翻译请求固定成可重试的数据结构

token 是分词器把文本编码后的离散单位，实际接口通常按 token 或字符限制输入。SentencePiece和BPE都是常见分词方法；不同服务的编码方式不同，不能用一个平台的 token 数直接推算另一个平台的容量。

每个请求至少保存以下字段：

• 文档编号、片段编号、源语言和目标语言。
• 上下文区、当前翻译区和术语表。
• 接口名称与版本，例如 Google Cloud Translation Advanced API v3或Microsoft Translator Text API v3.0。
• 请求时间、响应状态、耗时、重试次数和返回内容。

这些接口的最大输入长度、上下文能力、计费和限流规则取决于服务版本与账户配置，不能把某个平台的上限当成通用标准。失败请求可采用指数退避，例如等待时间按1、2、4秒递增，并设置最大重试次数；具体上限应服从服务商文档。写入结果时使用片段编号或请求唯一标识去重，避免重试造成重复译文。

用边界检查和指标验收结果

质量检查应集中在切分边界，而不是平均抽查每个片段。每个边界抽取前后各1～2句，检查代词、时态、语气，以及“但是”“如果”“因此”“该方法”等跨句结构。

• 比较术语表与译文，检查同一产品名或 API 名称是否出现多个译法。
• 检测重复句、重复段，以及未闭合的括号、引号和 HTML 标签。
• 验证片段编号连续、顺序正确，失败请求能否单独重试。
• 对代词做定向评审：明确“它”指向的实体、条件适用的动作和定义覆盖的术语。

SacreBLEU可用于有参考译文时的可复现实验，但它主要衡量表面匹配，不能单独证明指代正确。没有参考译文时，可建立20～50个边界样本，人工标注实体指向、条件范围和术语一致性，再比较不同重叠参数；样本数量应按项目规模调整，不应把这一范围当成质量标准。

1. 保护缩写、小数、网址、文件名和未闭合括号。
2. 按强标点、分句和弱标点生成候选边界。
3. 以1,000～2,000字符作为起始范围，并用目标接口实际分词结果校验 token。
4. 加入前文1～3句或10%～20%重叠，附术语表和片段编号。
5. 记录接口版本、耗时、状态和重试次数，失败时按编号重试。
6. 只合并每个片段新增的译文，完成术语、指代、标签和顺序检查。