← 返回单词列表

cross-attention

noun 编号: C03952

机器学习中的一种注意力机制：让一组输入去关注另一组不同的输入。

💡 记忆钩子

把它想成两排人隔着桌子互相核对：一排提出要找什么，另一排提供可查的信息。两排不是同一组，因此从“跨过去看另一组信息”发展出 cross-attention 这一概念。

📝 学习建议

先把它和 self-attention 对照记忆：self-attention 在同一组输入内部关注，cross-attention 则连接两组不同的输入。

📖 中文释义

noun

core 跨序列注意力

📖 在这种注意力机制中，查询来自一组输入，而键来自另一组输入；前者借此从后者提取相关信息。它常用于让一个序列参考另一个序列，例如解码器参考编码器提供的表示。

💡 常见句型是“the cross-attention layer connects one sequence to another”或“the decoder uses cross-attention to attend to the encoder output”。它主要出现在机器学习论文、模型文档和技术讨论中，通常指一个机制或模块。不要误写成查询和键都来自同一序列；那通常描述的是 self-attention。

uncountable

The decoder uses cross-attention to retrieve information from the encoded input.

解码器通过跨序列注意力从编码后的输入中提取信息。

Each decoder block contains a cross-attention layer.

每个解码器模块都包含一个跨序列注意力层。

🌳 词源

由 cross（跨越、交叉）和 attention（注意力）组成，字面上是“跨组注意力”。

From cross- + attention.

🔄 变式

cross attention alternative

🏷 单词标签 & 词根