发生了什么
苹果机器学习团队提出了一种名为Internalized Visual Thinking (IVT)的新框架，旨在解决多模态大语言模型在视频推理中因视觉思维链（Visual CoT）带来的高计算开销问题。
IVT是一种后训练框架，它通过联合优化文本预测和视觉思维过程，使模型在训练阶段学习视觉思考，而在推理时直接进行推理，无需生成中间推理图像。
为什么重要
当前多模态模型依赖视觉思维链进行空间、时间和具身环境的推理，虽然直观但计算成本高，尤其对于主动视频推理任务。IVT通过将视觉思考内化，有望在保持推理能力的同时显著降低推理开销，提升效率。
这一方法可能推动视频推理模型在实时应用中的部署，如自动驾驶、机器人交互等场景，因为更低的推理延迟和资源消耗是关键。
关键事实
IVT是一种后训练框架，用于多模态大语言模型。
IVT联合优化文本预测和视觉思维，使模型在训练时学习视觉思考。
IVT旨在减少推理时生成中间图像带来的计算开销。
接下来看什么
IVT框架的具体实现细节和实验效果尚未公布，需关注后续论文或技术报告。
该框架是否能在不同视频推理任务中保持性能，并显著提升效率，值得进一步验证。