“那正好。”楼天城喝了口咖啡。
“我们现在在做一个东西,需要你这个方向的人。”
他转身走向白板,拿起马克笔,刷刷刷写了一串公式。
林之远凑过去看。
那是一个注意力权重的数学表达式。
所谓“注意力机制”,通俗地说,就是让AI在处理一段信息时,能像人类一样,自动把目光聚焦在最重要的部分,而不是平均分配精力。
但这个公式和他在论文里见过的不一样。
传统的注意力机制,是让AI在翻译时“回头看”原文。
比如翻译一句英文时,每写一个中文词,都回头看看英文原句里哪个词最相关。
而白板上这个公式,做的事情完全不同:它让一句话里的每个词,都去“看”这句话里的其他所有词。
The content is not finished, continue reading on the next page