别笑,你也坚持不到第二关
01
07
Paged Attention Paged Attention
Paged Attention文章目的仅供自己回忆或记录用,因此不会写得太详细 WhatPaged Attention是一种vllm采用的技术,我的理解是提高内存利用率一种方法 Problemkv cache需要的内存不是恒定的,decod
2026-01-07
2 / 2