MICHAEL REICH · 语言图谱

AT-CORE-238-049 · 完整条目稿 0.57.0

多模态(multimodality)

基础概念必要基础

定义

语言、图像、声音、手势和空间等表达方式的相互配合。

深入理解

多模态考察语言、图像、声音、版面、目光、动作及空间怎样共同组织意义,不是把独立通道简单相加。图像可补充话语,也可反驳它;声音可强化确定性,也可保留疑惑。模式的分类依理论,资源是否可及亦须检验。房间布局会改变视线与移动,但圆圈不保证平等发言,排排坐也不自动禁止异议;材料条件、赋予的意义和实际互动须分开。总体艺术的统一体验也不证明真理或自由政治认同,更多媒介未必带来更多理解。

思考如何推进

  1. 确定资源及模式划分。
  2. 分析时间与空间配合。
  3. 辨认互补、重复或冲突。
  4. 检查可及性和实际使用。
  5. 区分设计意图与可观察后果。

例子

讲课者说“这个过渡”,同时指向一条彩色曲线并放慢声音。词语、手势、图形与韵律共同确定所指。

反例与界限

一个页面碰巧放着文字和与其无关的装饰图像。多种媒介并列,本身不足以证明存在分析上相关的多模态意义建构。

与相近概念的区别

不同于技术上聚合多媒体、单纯插图、通感或所有跨媒介关系;本条关注具体功能耦合。

研究与应用

多模态研究可用声像、版面和场所观察检验分工;建筑风格本身不证明使用者政治立场。

作用与限制

耦合可提供新联系,也可能制造遮蔽;美感强度不等于认识充分。

共鸣

几种资源相遇,意义可能在它们之间生成,也可能发生争执。

为什么收录这个概念

提供分析资源协作的工具,不把媒介数量当作价值尺度。

从中文阅读出发

汉字、字母、图像、字幕与语音不是可简单一一换算的通道;三语都须考虑感官可及条件。

历史背景与来源范围

历史比例理想、艺术乌托邦、技术整合及集体愿望分开,不把古代人体尺度当普遍标准。

实践、术语命名与中文译名的历史须分别核对。本稿不由一个相似例子推出中文术语的首例。

已整理的历史背景

达尔文同时考察声音与身体动作所表达的情绪,可作为多模态问题的较早比较,但没有给出现代的模态理论。感官通道、约定的表意资源和身体动作不一定是同一种分析单位。本图谱把表意资源的类型与它们在具体交际中的协同区分开。达尔文的讨论有助于突破只看言语的表达观;书写、图像、图表和数字界面的分类,仍须依靠后来的理论和明确的界定。这里不把邻近的历史分析写成现代术语的起源。

历史分析的结论与边界

仅仅几个渠道并不能建立功能上描述的多模态意义构建。

词源与概念史

“多模态”在此对应现代的 multimodality。出版社记录确认 Kress 与 van Leeuwen 的 Multimodal Discourse 于 2001 年出版,但这不是术语首例的证明;达尔文的早期表达研究只是历史比较,不是该现代术语的来源。

这是既有原条目字段,与中文术语史须分别判断。

图谱条目的编辑形成与来源

未解决的关系网络 → core-概念 审查 → Metzler/HWRh交叉检查 → ATLAS 238

已接受的来源修订(四个后续修订包)

四个来源修订包已于2026年11月12日获准并在本地纳入。词源与概念史仅在注明范围内核对。新注明日期的后续核查不取代原先未记录的核对日期。这些修订不一概确立绝对最早用例,也不等于独立专家审校。

较早表述(保留的前一版本)

技术核心术语;个别词源学审查待定

较早表述(保留的前一版本)

达尔文在语音和身体运动方面的处理 表达 对 多模态 提供了有用的早期比较,但它并未定义一种现代的模式理论。感官通道、传统的表示资源和身体动作并不一定是一个分析单位。因此,阿特拉斯应该将该概览中关于意义生成资源的通用 问题 与特定交流事件中与之相关的 并列连接 进行区分。达尔文有助于挑战对 表达 的完全口头解释;他无法确定书写、图像、图表或数字界面应如何分类。需要晚期的来源和明确的定义才能理解 外延。历史见证属于一个相邻的解释实践,其英文理论标签及其相互竞争的范围仍未解决。

  • Kress / van Leeuwen: Multimodal Discourse, Verlagsseite

    书目、内容介绍与2001年版本

    来源与适用范围

    依据出版社书目和方法介绍,不声称本轮通读全书,也不确立绝对优先权。

    按注明范围核查文献;本次整合不另声称重新阅读原件。 · 2026-11-12

  • Darwin: Expression of the Emotions

    转录版本:纽约1899年版;声音与身体表达,尤其第四章

    来源与适用范围

    原作发表于1872年,现有转录不冒充该年原印本。保留为较早比较笔记,不据此建立现代模态理论。

    按注明范围核查文献;本次整合不另声称重新阅读原件。 · 2026-11-12

已接受的来源修订(六个修订包)

六个来源修订包已于2026年11月12日获准并已纳入本阅读版。恢复的历史文献保留较早核对日期,不一概声称已重新核对原件。有限范围的词源或概念史说明不确立绝对最早用例。独立专家审校仍待完成。

  • Charles Darwin, The Expression of the Emotions in Man and Animals, New York: D. Appleton, 1899; Gutenberg transcription

    Chapters I–II: multiple means of expression

    较早记录的核对日期: 2026-10-05.

    原资料的核对范围记录

    Selected historical witness, not a complete genealogy or a first English attestation. Atlas comparisons and applications are original editorial interpretations. The inspected transcription identifies the 1899 Appleton edition, not a collated 1872 first edition. Darwin’s causal speculations, clinical descriptions and racial generalisations are not adopted as current findings.

已接受的来源澄清

词源和概念史与图谱条目的编辑形成过程分别说明。编辑对照或早期图谱检查点,不是术语的历史首见证据。个别证据尚缺时,继续明确标注。

图谱中已有的联系

AT-DEP1-0008 · AT-DEP5-0007 · AT-DEP6-0018

来源与查阅范围

下列记录保留原资料的书目名称。所列页码不表示本轮重新阅读全文或独立核验其中全部引文。

德文原条目与来源 → · 英文原条目与来源 →

引用本条

Reich, Michael(编):多模态(multimodality),AT-CORE-238-049。语言图谱,Release 17.3.9,中文完整条目稿 0.57.0。引用时请注明访问日期及译稿审校状态。