©PaperWeekly 原创 · 作者 | 陈思硕
单位 | 北京大学
研究方向 | 自然语言处理
引言
论文题目：
Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models
https://arxiv.org/abs/2402.07865
项目主页：
https://github.com/TRI-ML/prismatic-vlms
Q2：图片预处理策略该用 lettebox padding, resize&crop，还是简单的 naive resize？
Instruct-tuned LMs lead to VLMs that are more verbose, prone to hallucination, and generally less specific in their response.
▲ LLaMa-2 base 充当基座的模型在各下游任务上和 Vicuna-v1.5 这个 instruct-tuned 版本充当基座的模型效果基本相当
▲ LLaMa-2 base 充当基座的模型比 Vicuna-v1.5 这个 instruct-tuned 版本充当基座的模型幻觉更少
▲ 纯语言的安全数据几乎不影响各种多模态下游任务的量化指标（左），但能增强对话的安全性，降低种族主义等有害倾向（右）。
训练数据：在 LLaVa-v1.5 的数据基础上添加图像多样性高的 LRV-Instruct 数据集带来的提升显著。
这本宝藏”大模型黑书“对 Transformer 架构及其在 NLP 任务中的应用介绍得很深入，覆盖了文本分类、序列标注、语义角色标注、少样本和零样本学习等应用场景和 BERT、RoBERTa、ELECTRA、T5、GPT-3、GPT-4 等一系列基于Transformer 架构的代表性预训练模型，而且每章都包含 Huggingface Transformers 代码实例，非常适合新入行者快速上手，资深 NLPer 们备一本随时参考也是极好哒～
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者
