多模态

Douwe Kiela

道韦·基拉

RAG · Hateful Memes

Douwe Kiela 是语言与多模态学习研究者，也是早期 RAG 论文的共同作者。他参与的工作关注模型如何利用参数之外的信息，以及文本和图像之间的关系怎样影响理解。

在 RAG 研究中，团队把可检索的文档集合与生成模型结合，让回答可以依赖外部段落，而不只依靠模型训练时记住的内容。这为可更新知识库与语言生成之间的连接提供了实验框架。

他作为第一作者发表的 Hateful Memes 则构造了一类必须结合图文才能判断的任务：单独看文字或图片可能没有问题，组合后含义才改变。研究通过这种设计减少模型只抓住单一模态线索的机会，更直接地检验跨模态理解能力。