HyperAIHyperAI

Command Palette

Search for a command to run...

Qwen2-VL:在任意分辨率下提升视觉-语言模型对世界的感知能力

Abstract

我们推出Qwen2-VL系列,这是对先前Qwen-VL模型的全面升级,重新定义了传统视觉处理中预设固定分辨率的范式。Qwen2-VL引入了“朴素动态分辨率”(Naive Dynamic Resolution)机制,使模型能够根据输入图像的不同分辨率,动态地将其转换为不同数量的视觉标记(visual tokens)。这一方法显著提升了模型生成视觉表征的效率与准确性,更贴近人类的感知过程。此外,模型还集成了多模态旋转位置编码(Multimodal Rotary Position Embedding, M-RoPE),有效实现了文本、图像与视频之间位置信息的融合。我们采用统一的处理范式来应对图像与视频输入,进一步增强了模型的视觉感知能力。为探索大规模多模态模型的潜力,Qwen2-VL深入研究了大规模视觉语言模型(Large Vision-Language Models, LVLMs)的缩放规律。通过在模型规模(涵盖20亿、80亿和720亿参数版本)与训练数据量两个维度上同步扩展,Qwen2-VL系列取得了极具竞争力的性能表现。尤为突出的是,Qwen2-VL-72B模型在多个多模态基准测试中表现与GPT-4o、Claude3.5-Sonnet等领先模型相当,超越了其他通用型多模态模型。代码已开源,地址为:https://github.com/QwenLM/Qwen2-VL


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供