一觉醒来，Mistral多模态Pixtral Large和le Chat又发布了~

作者

mistral.ai今天发布了124B的多模态模型Pixtral Large（已开源）以及一个多模态AI助手le Chat，支持PDF理解、网络搜索、Canvas、AI Agent、图片生成。

AI助手le Chat

le Chat 赋予了新的多模态能力：
  • 带引文的网页搜索
  • 用于构思、在线编辑和导出的Canvas
  • 最先进的文档和图像理解技术，由 新的多模态Pixtral Large提供支持
  • 图像生成
  • 通过推测性编辑实现更快的响应
以下是 le Chat 与目前市场上领先的聊天和搜索助手（ChatGPT、Claude、Perplexity）的比较：

web搜索能力

Canvas能力：不再局限于双向对话，借助 LLM 强大的推理能力，您可以直接修改、编辑或转换内容。

快速准确的文档理解：可以处理大型、复杂的 PDF 文档和图像，进行分析和总结

Pixtral Large

Pixtral Large一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，展示了前沿级别的图像理解能力。特别是，该模型能够理解文档、图表和自然图像，同时保持了 Mistral Large 2 领先的纯文本理解能力。

  • 在 MathVista（用于评估视觉数据的复杂数学推理）上，Pixtral Large实现了 69.4% 的准确率，优于所有其他模型。

  • 为了评估复杂图表和文档的推理能力，我们使用 ChartQA 和 DocVQA 评估性能，其中 Pixtral Large 超越了 GPT-4o 和 Gemini-1.5 Pro。

  • Pixtral Large 在 MM-MT-Bench 上展示了竞争能力，表现优于 Claude-3.5 Sonnet（新版）、Gemini-1.5 Pro 和 GPT-4o（最新版）。

多语言OCR和推理示例

Prompt:
I bought the coffee and the sausage. How much do I owe? Add a 18% tip.
Response:
To calculate the total amount you owe, including the 18% tip, follow these steps:
Calculate the cost of the coffee and the sausage:
2x Latte Macchiato: 2 * 4.50 CHF = 9.00 CHF1x Schweinschnitzel: 22.00 CHFTotal cost for coffee and sausage: 9.00 CHF + 22.00 CHF = 31.00 CHFCalculate the 18% tip:
Tip: 31.00 CHF * 0.18 = 5.58 CHFAdd the tip to the total cost:
Total amount owed: 31.00 CHF + 5.58 CHF = 36.58 CHFSo, you owe a total of 36.58 CHF.
图表理解

Prompt:
When did things start to go wrong for dark dragon?
Response:
The training loss for the “dark-dragon-50” model starts to exhibit significant instability around the 10,000 steps mark. There is a noticeable spike in the loss value at this point, and the instability continues with another major spike around the 20,000 steps mark. These spikes indicate that the training process for the “dark-dragon-50” model began to encounter issues starting around the 10,000 steps mark.

其它

Prompt:
Which companies use models made by Mistral AI?
Response:
The companies that use models made by Mistral AI, as shown in the image, are:
BNP ParibasBraveCloudflareCMA CGMFront
https://mistral.ai/news/pixtral-large/https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411https://mistral.ai/news/mistral-chat/

推荐阅读

  • • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO

  • • 一篇搭建AI大模型应用平台架构的全面指南

  • • RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！

  • • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。

（文：PaperAgent）

发表评论