星流计算（NovuInfra，全称为浙江星流计算科技有限公司）近期完成NovuWing™ Runtime新一轮性能验证。作为NovuWing Agent Native Compute架构的核心运行时组件，NovuWing Runtime将Agent ID、Session ID和生命周期状态纳入运行时管理，并通过SharedKV、Agent-aware KV Scheduling及分层内存协同，减少多轮Agent场景中的重复Prefill。

本轮核心测试采用Traffic Y工作负载。Traffic Y是基于GitHub开源agentic-swarm-bench生成的典型Agent工作负载。在同一硬件、同一模型和同一Traffic Y请求清单下，以vanilla vLLM + native APC为公开基线，跨实例场景平均TTFT由34.81秒降至11.89秒，下降65.8%；TTFT p50由32.83秒降至11.84秒，下降63.9%。这表明，即使保留vLLM本地Prefix Cache，跨实例共享仍能进一步释放上下文复用价值。

在216个多轮Agent请求组成的swarm场景中，平均TTFT由17.53秒降至3.61秒，下降79.4%；Cached Prompt覆盖率由39.2%升至92.4%，增加53.2个百分点。完整回放任务耗时由45.0分钟缩短至20.1分钟，整体下降55.3%。

图1｜Traffic Y同环境测试：NovuWing Runtime与vanilla vLLM + native APC的TTFT对比

跨实例复用不仅要快，更要保证状态一致性。测试中的36次外部跨实例查询均完整命中19,600 Token共享前缀，没有出现部分命中、状态回滚或不完整加载。对于Attention与Mamba/SSM混合模型，这一点尤其关键。

在此基础上，NovuWing Runtime进一步引入Sliding Shared-KV Windows（滑动共享KV窗口），将“逻辑共享缓存容量”与“GPU page-lock容量”解耦：不再长期锁定整个共享内存池，而只动态注册当前参与GPU数据交换的窗口，并通过引用计数和TTL/LRU管理生命周期。

图2｜Sliding Shared-KV Windows：以有限page-lock工作集支撑更大的逻辑共享KV缓存（摘自星流计算内部技术文档）

最终两轮跨实例mean TTFT分别为11.97秒和11.81秒，与整池固定Pin基线12.01秒处于同一性能水平；Cold Prime TTFT约39.0–39.2秒，与整池固定Pin基线41.51秒相比，也未出现性能回退，甚至还略有提升。最为关键的是，系统在基本保持原有性能水平的同时，摆脱了“逻辑缓存越大、需长期Pin住的内存也越大”的约束，为更大规模共享KV缓存提供了更灵活的内存管理方式。

针对缓存路径中的重复数据移动，Runtime同时引入index-aware store-skip：冗余replacement store由2,413次降至0，store register/unregister调用由1,524次降至253次，减少83.4%，进一步降低窗口注册、释放和重复DMA带来的系统开销。

这些结果表明，企业Agent时代的性能优化正在从单纯提升GPU峰值能力，转向对KV Cache、上下文状态和多级内存的系统级协同。NovuWing Runtime希望让已经完成的计算持续复用，并将KV Cache提升为面向Agent生命周期的运行时资源。

测试说明：核心基线对比采用相同硬件、相同模型与相同Traffic Y请求清单。Traffic Y为基于agentic-swarm-bench构造的合成工作负载，用于可重复模拟多轮Agent与共享前缀特征，不等同于所有真实生产流量；不同公开研究系统因软硬件、模型和工作负载不一致，本文不采用跨环境绝对跑分直接比较。

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。

责任编辑：kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com