近日，上海交通大学浦江国际学院教师邹桉课题组在端侧人工智能与实时计算领域取得系列研究进展。课题组参与完成的4篇论文分别被实时计算领域顶级会议IEEE Real-Time Systems Symposium（RTSS 2026）和自然语言处理旗舰会议Annual Meeting of the Association for Computational Linguistics（ACL 2026）录用。其中，3篇论文被RTSS 2026录用（CCF-A类，本届录取率14.3%），1篇论文被ACL 2026录用（CCF-A类，本届录取率19%），并入选人工智能开源平台Hugging Face推出的每日论文推荐榜单（Daily Papers）。
四篇录用论文的相关研究在上海交通大学高效计算硬件与系统实验室进行，围绕端侧大模型轻量化、硬实时任务与AI推理混合调度、异构系统模式切换以及通信——计算协同调度等关键问题展开，覆盖从模型优化到系统调度的多个层面，初步形成了面向端侧AI高效计算的完整研究链条。其中，实验室学生以第一作者身份完成2篇论文，并作为主要合作者参与另外2篇论文研究工作。
实验室负责人，浦江国际学院副教授邹桉表示：“端侧AI的规模化部署需要算法、架构与系统的协同设计。实验室围绕模型轻量化和端侧软硬件系统开展了一些初步探索，很高兴相关成果得到同行认可。未来，我们将继续聚焦模型轻量化与端侧软硬件系统设计的交叉方向，探索更加高效、可靠的端侧智能计算技术。”
论文介绍
1、RiverLLM——轻量化退出机制
第一作者：浦江国际学院博士生沈颖涛。
大语言模型生成每个词元（token）需经过数十层神经网络。简单词元在浅层即可正确回答，后续层级存在冗余。“早期退出”（Early Exit）让简单词元提前跳过部分层级，但在解码器专用架构（Decoder-Only）中会遇到键值缓存（KV Cache）缺失问题——跳过的层级未生成历史状态，后续词元缺少依赖信息。现有方案要么重算延迟高，要么精度受损。
River-LLM提出“无缝退出”机制，用4-bit量化的轻量级“KV共享退出河流”替代被跳过的骨干层，自动生成并保留缺失的KV Cache，无需额外恢复；同时利用解码块内的状态转移相似性辅助退出决策。实验表明，在Llama3.1 8B等模型上，River-LLM实现1.71倍至2.16倍实际推理加速，生成质量接近原始模型。这一轻量化设计使中小尺寸模型有望在端侧流畅运行。
2、PAST——面向端侧混合负载的实时调度
第一作者：浦江国际学院硕士生倪银晨；合作者：浦江国际学院博士生许元锴。
当AI推理与硬实时任务（如感知、控制）共存于同一端侧芯片时，传统实时调度依赖静态最坏情况分析，常采取保守的资源预留，导致本就稀缺的GPU/NPU算力浪费。
PAST提出 “地图-定位-导航”调度机制：离线构建“时序地图”，建模任务执行进度与剩余时间；运行时“定位”任务在地图中的位置，动态识别“安全窗口”——在不影响实时任务截止期限的前提下，插入推理任务。在NVIDIA Jetson AGX Orin平台实验表明，PAST在不造成实时任务超时的情况下，将AI实时推理吞吐量提升最高12倍，显著提高芯片利用率。
3、RAMP——面向端侧场景变化的模式切换
第一作者：自动化学院博士生陈锦涛；合作者：浦江国际学院博士生许元锴、硕士生倪银晨。研究工作与计算机学院副教授马叶涵合作。
端侧自主系统在不同场景下对计算资源需求不同——前方空旷时跟踪优先，出现障碍时避障需更多资源。两种单独可调度的模式，在切换过程中可能因新旧任务争抢资源而影响可调度性。
RAMP构建 “模式切换图”（MSG） ，预先评估哪些模式切换在异构平台上仍能保持可调度性。运行时根据场景选择切换路径，并建立跨模式响应时间分析框架，分析自悬挂分段任务模型下的可调度性。在四旋翼无人机硬件在环仿真中，RAMP比静态设计取得更好控制性能，为资源动态变化的端侧场景提供可行调度方案。
4、PECS——面向端到端控制任务的协同调度
第一作者：自动化学院博士生赵子同；合作者：浦江国际学院博士生许元锴。研究工作与计算机学院副教授马叶涵合作。
无人机集群等端侧场景中，每个控制周期需经历五个阶段：上行无线传输、CPU预处理、GPU感知推理、CPU控制计算、下行无线传输——横跨无线网络和多核CPU/GPU，各阶段调度语义不同。
PECS发现：感知配置（如ROI大小）同时影响上行数据包大小、CPU预处理负载和GPU推理负载，三者共同影响端到端延迟及控制性能。基于此，PECS建立端到端任务模型，并提出 “下行链路优先级部分提升”（DPPP）机制，改善轻量级下行控制指令的传输效率。在基于AirSim和RT-WiFi的硬件在环仿真中，PECS效果优于现有方案，验证了端到端协同调度在资源受限端侧系统中的有效性。
作者简介
沈颖涛
学院电子科学与技术专业四年级博士生
研究方向为神经网络轻量化推理，曾获DAC青年学者称号（2022 DAC Young Fellow）。
倪银晨
学院计算机科学与技术专业二年级硕士生
研究方向为异构平台实时计算系统。曾获国家奖学金、嵌入式系统软件研究比赛三等奖。
许元锴
学院电子科学与技术专业三年级博士生
研究方向为异构与低功耗平台实时调度，曾获ACM SIGBED学生个人研究比赛一等奖。
邹桉
副教授、博士生导师，IEEE高级会员
于美国圣路易斯华盛顿大学获电子工程博士学位。研究方向为计算机体系结构、嵌入式系统、人工智能硬件加速与低功耗设计。近年来在异构计算平台实时调度、AI算法轻量化与硬件加速、微秒级功耗管理等领域取得系列成果。
