本报讯（融媒体中心 李玉凤）近日，北京经开区企业京东开源了实时视频视觉语言交互模型JoyAI-VL-Interaction。这是全球首个全栈开源的interaction（交互）模型和系统，并获得vLLM-Omni（vLLM社区推出的全模态模型推理框架，支持文本、图像、视频和音频处理）的原生支持。

　　“它让大模型从‘一问一答’走向‘边看边说’，开发者基于这套框架，可以快速搭建能持续观察、自主判断、即时响应的实景AI助手，有望推动AI在物理世界发挥巨大作用，为人类生产和生活带来全新变革。”京东有关负责人表示，京东开源的JoyAI-VL-Interaction，就是让AI像人一样持续“在场”：边看、边记、边判断，并在关键时刻主动回应，或选择性地交接给后台Agent。

　　相比传统模型，JoyAI-VL-Interaction具备主动判断能力，而非被动回答。传统模型需要用户提问后才处理画面，而JoyAI-VL-Interaction能持续观察视频流，自主决定何时说话、何时保持沉默。例如，用户设定“裁判出示红牌时提醒我”，模型就会持续监控画面，事件发生时自动预警，无需用户再追问“刚才发生了什么”。传统方案往往要等视频完整上传后才分析，但在安防预警、实时翻译、直播解说、操作指导等场景中，延迟几秒就会影响体验和价值。JoyAI-VL-Interaction直接面向实时视频流，画面一变化即可响应。该模型可实现适时智能体委托，同时保持观察和交互。JoyAI-VL-Interaction具备后台任务委派机制，当遇到代码生成、工具调用、复杂推理等任务时，可交由后台大模型或Agent处理。前台模型继续值守现场，后台处理完毕后无缝接回对话。这构成一套“前台实时助手+后台智能大脑”的协作系统：前台负责在场，后台负责重活，有望开启AI与人类协作的新范式。

　　在实时视频流中，JoyAI-VL-Interaction每秒都会做一次判断，比如继续观察、保持沉默，发现关键事件、主动回应，遇到复杂任务，交给后台 Agent 处理。这意味着，“什么时候说话”不再只靠外部规则或定时触发，而是成为模型自己学会的能力。

　　“对实时交互来说，会说话很重要，会沉默也同样重要。”该负责人介绍道，“一个好的AI助手，不应该一直打扰用户，而应该知道什么时候该出现，什么时候该安静，以及什么时候自己解决，什么时候交由Agent解决。”

　　他表示，很多开源模型只提供基础推理能力。开发者如果要真正用起来，还需要自己处理视频接入、语音交互、记忆模块、前后端协同等工程问题。JoyAI-VL-Interaction 开源的是完整技术栈，包括模型权重、交互数据集、训练方案和完整可部署系统，可以帮助开发者更快从模型研究走向真实场景落地。JoyAI-VL-Interaction支持摄像头、直播流、监控流等多种视频输入，也支持语音输入输出、可视化界面、长期记忆、后台模型接口和vLLM 部署方案。ASR、TTS、可视化界面、后台模型、外部工具和业务模块，都可以按需替换。开发者可以接入自己的语音服务、Agent、API、业务系统或前端界面。

　　“换句话说，JoyAI-VL-Interaction不是封闭产品，而是一套开放框架。它既可以用于研究，也可以改造成安防监控、老人小孩看护、直播讲解、电商导购、操作指导、AI眼镜、无障碍辅助等实时AI助手。”该负责人表示，在评测中，JoyAI-VL-Interaction覆盖监控预警、实时计数、实时翻译、时间感知、直播导览解说等真实流式场景。在这些与视觉触发的主动响应、实时性高度相关的58个真人盲评案例中，JoyAI-VL-Interaction对比其他视频通话助手，总体胜率达77.6%以上。