Paged Attention文章目的仅供自己回忆或记录用,因此不会写得太详细
WhatPaged Attention是一种vllm采用的技术,我的理解是提高内存利用率一种方法
Problemkv cache需要的内存不是恒定的,decod
2026-01-07