分词标记

定义

分词标记以字符或空白在书写中区分单位。它是可见惯例，不与所有语言词界或任何物理间隔同一。

深入理解

分词标记是在某书写传统中有约定划分作用的点、线或空白，不是所有物理缝隙。它可帮助阅读，却不简单复制口语或语法词界，编辑补的空格还须同原件标记区别。

石面断裂不是约定分隔；句末点也需按传统辨功能。无空格不证明语言未分词，按空白拆搜索串也未解决所有语言。into与in to可能变语法读法，说明标记选择和单位分析有关，但不使每空白都成为普遍词证。

思考如何推进

1. 确定原件传统与单位
2. 记录可见符号或规定空白
3. 区别原标与编辑所补
4. 比较语法及音系词界
5. 检算法分界和阅读功能

例子

虚构铭文校本保留居中圆点，并解释该传统中它们用于区分单位而非句末。实际读法仍需相关铭文材料。

反例与界限

石面断裂造成空缺，并非约定的分隔功能，不单凭两字不相连就成为分词标记。

与相近概念的区别

与一般空白、标点、换行、损坏及抽象词界分开。

研究与应用

铭文和文字研究记录来源，阅读任务另测帮助；计算分词需语言条件。

作用与限制

可支持快速切分，也可能将一种正字单位置为唯一语言单位。

共鸣

小点或空白打断字流，让一种分法变可见。

为什么收录这个概念

把划界手段同被划的单位分开，可比较不同材料技术。

从中文阅读出发

汉语连续写法不等没有词，加入空格可以有教学目的却非发现天然刀口。

历史背景与来源范围

Okasha2002不列所有古史；Unicode2026指导计算词界与可见分隔有别。

实践、术语命名与中文译名的历史须分别核对。本稿不由一个相似例子推出中文术语的首例。

已整理的历史背景

Okasha2002年说明罗马不列颠铭文既有连续写法，也有分隔点。空格是历史惯例，不是书写不可免特征。Unicode2026年切分指导另分计算词界，需按语言调整且不必对应可见分隔符。

历史分析的结论与边界

标记可助读却不定语言词的全部定义；视觉布局、正字惯例与切分程序分开。

保留的例子及适用范围

自拟例：into与in to可有语法理解差异，不只是间距变；按空白拆词的搜索工具未因此解决一切语言分词。

图谱中已有的联系

AT-DEP7-0004 · AT-NAR-W0200 · AT-CORE-238-054 · AT-CORE-239-053

来源与查阅范围

下列记录保留原资料的书目名称。所列页码不表示本轮重新阅读全文或独立核验其中全部引文。

• Metzler Lexikon Sprache, 6. Aufl. · Worttrenner
• Saenger, P. (1997), Space Between Words
• Elisabeth Okasha (2002): Spaces Between Words: Word Separation in Anglo-Saxon Inscriptions.

  The Cross Goes North, S. 339–350; Summary. Druck 2002, online 2023.

• Unicode Standard Annex #29: Unicode Text Segmentation, Revision 49.

  Unicode 18.0.0, 1. September 2026; Abschnitt 4 Word Boundaries.

德文原条目与来源 → · 英文原条目与来源 →

引用本条

Reich, Michael（编）：分词标记，AT-DEP7-0009。语言图谱，Release 17.1.0，中文完整条目稿 0.57.0。引用时请注明访问日期及译稿审校状态。