利用生命週期之快取記憶體LRU策略

Abstract

隨著單一晶片中運算核心的效能以及數量快速地增加，晶片外部主記憶體的頻寬限制已成為運算核心效能成長的阻礙，末級快取記憶體(last-level cache)可以有效的減少運算核心與主要記憶體之間的延遲斷層。然而，在末級快取記憶體中，通常都是使用近期最少被使用(LRU)演算法來管理快取中的資料，但是LRU對於程式含有大量的單一次使用或是短期使用的資料將會衍生許多快取失誤。因此，許多關於快取記憶體管理的研究想要解決以上問題。 在此篇論文中，我們提出依資料的生存時間來調整近期最少使被使用演算法之提升機制 (promotion) 的概念，以達到提升常使用資料的生存時間。針對程式中的輾轉現象 (thrashing)，我們增加少量的硬體資源提升我們的方法，並有效的解決此現象。最後，實驗結果呈現出依生存時間來調整LRU演算法之提升機制在減少晶片外的頻寬和快取失誤的比率有不錯的表現。

The traditional LRU replacement policy is susceptible to memory-intensive workloads with large non-reuse or short-term data like thrashing applications and scan applications. For such workloads, the majority of cache blocks don’t get any cache hits during residing in the cache. Therefore, LRU causes inefficient use of cache space. Cache performance can be improved by reducing the interference from short-term block. So the lifetime of other block is increased and it can contribute to cache hit. We propose the Lifetime-aware LRU Promotion Policy and show that changing the promotion policy can effective reduce cache miss in the last-level cache for memory intensive workloads. Our promotion policy dynamically adjusts promotion strategy and increases the lifetime of useful cache blocks. We also improve our promotion policy to fix thrashing benchmark. The experimental results show that our proposal reduces the average MPKI by 6% and 9% over EAF and DIP, respectively. In multicore, we also improve the performance and reduce the MPKI.