Apple 发布 Ferret 7B 多模态大型语言模型 （MLLM）

Apple 最近推出了 Ferret 7B，这是一种复杂的大型语言模型 （LLM），代表了人工智能领域向前迈出的重要一步。这项新技术证明了 Apple 对推进 AI 的承诺，并将公司定位为科技行业的强大参与者。Ferret 7B 旨在与 iOS 和 macOS 流畅集成，充分利用 Apple 强大的芯片，确保用户享受流畅的体验。

Ferret 7B 的突出特点是其多模态功能，使其能够解释和创建结合图像和文本的内容。这一突破超出了传统基于文本的 AI 模型的功能。Ferret 7B 的功能在 Google 5.2 编码模型和 MixL 8X 7B 等系统中得到了展示，这些系统建立在 Apple 的 MLX 平台上并利用其独特的工具。

• Ferret模型 – 混合区域表示 + 空间感知视觉采样器可在 MLLM 中实现细粒度和开放的词汇引用和基础。
• GRIT 数据集 （~1.1M） – 一个大规模、分层、稳健的地面和参考指令调优数据集。
• Ferret工作台 – 一个多模态评估基准，共同需要参考/接地、语义、知识和推理。

即将到来的 iOS 18 备受关注，预计将更全面地整合 AI，可能会改变用户与 Apple 设备的交互方式。人工智能的进步与苹果的芯片架构之间的合作可能会为iOS和macOS用户带来一个更有凝聚力和更强大的生态系统。

苹果Ferret 7B MLLM

对于那些对Ferret 7B 的技术性能感兴趣的人，Apple 开发了Ferret长凳，这是专门为该型号设计的基准测试工具。该工具将帮助开发人员和研究人员评估模型在各种情况下的效率和灵活性。

苹果的人工智能方法以创建实际应用程序为中心，为其设备的用户提供切实的好处。该公司对这一战略的奉献精神从其决定将Ferret 7B 开源、为研究目的提供代码和检查点中可以清楚地看出。此举鼓励了人工智能社区内的进一步创新和协作。

训练像Ferret 7B 这样的复杂模型需要大量资源，而 Apple 通过使用 NVIDIA A100 GPU 在这方面进行了投资。这体现了公司在AI研发方面的深度投入。

Apple 多模态大型语言模型 （MLLM）

重要的是要注意 7B 和较大的 13B 版本之间的差异。7B可能是为iOS设备量身定做的，在性能与移动硬件的限制之间取得平衡。这一战略决策符合苹果对用户体验的关注，确保人工智能的改进直接使用户受益。

# 7B
python3 -m ferret.model.apply_delta \
    --base ./model/vicuna-7b-v1-3 \
    --target ./model/ferret-7b-v1-3 \
    --delta path/to/ferret-7b-delta
# 13B
python3 -m ferret.model.apply_delta \
    --base ./model/vicuna-13b-v1-3 \
    --target ./model/ferret-13b-v1-3 \
    --delta path/to/ferret-13b-delta

使用和许可声明：数据和代码仅供研究使用。它们也仅限于遵循 LLaMA、Vicuna 和 GPT-4 许可协议的用途。该数据集是 CC BY NC 4.0（仅允许非商业用途），使用该数据集训练的模型不应用于研究目的之外。

随着Ferret 7B LLM 的发布，苹果在 AI 领域迈出了大胆的一步。此次发布展示了该公司的技术实力及其对创建强大、用户友好的人工智能的承诺。这一发展旨在增强设备功能并丰富用户交互。随着苹果继续投资于人工智能，我们可以期待看到更多的创新，这些创新将显着影响我们与技术的互动方式。