Optimizing OS support for dynamic page placement in heterogeneous memory architectures

João de Quinhones Levy Albuquerque Póvoas

Key information

Authors:

João de Quinhones Levy Albuquerque Póvoas (João de Quinhones Levy Albuquerque Póvoas)

Supervisors:

João Pedro Faria Mendonça Barreto (João Pedro Faria Mendonça Barreto)

Published in

June 5, 2024

Abstract

O rápido crescimento de aréas como aprendizagem automática, computação em nuvem e computação de alto desempenho tem pressionado as soluções de memória existentes. Sistemas de memória heterogênea, utilizando tecnologias como Memória Persistente e Compute Express Link, emergiram como uma solução promissora para reduzir custos em sistemas que requerem uma maior capacidade de memória principal. No entanto, os sistemas de hierarquização de memória existentes frequentemente sofrem devido a elevada complexidade ou especificidade, dificultando a sua integração em sistemas como o kernel do Linux. Apresentamos o Glide, um sistema de hierarquização de memória pragmático e eficaz que adere ao princípio de construir sobre os mecanismos pre-existentes no sistema operativo. O Glide introduz um novo mecanismo de rastreamento de acessos a páginas que atribui pontuações com base no comportamento observado e um sistema dinâmico que distingue entre páginas quentes e frias conforme as suas pontuações, permitindo tomar decisões informadas sobre a colocação das páginas. O Glide adota uma nova abordagem para a migração no caminho crítico para equilibrar a sobrecarga do sistema e a capacidade de resposta, utilizando a sua informação de pontuação para envenenar seletivamente páginas NUMA, a fim de confirmar a atividade de acesso estimada. A implementação do Glide integra-se diretamente no sistema AutoNUMA atual, garantindo uma melhoria geral do seu desempenho sem comprometer os benefícios já fornecidos pelo AutoNUMA. A nossa avaliação mostra que o Glide supera os sistemas de hierarquização de memória mais avançados em vários cenários, demonstrando uma melhoria de até 2,2x em comparação com o Memtis. The rapid growth of data-intensive workloads in machine learning, cloud computing, and high-performance computing has strained existing memory solutions. Heterogeneous memory systems, leveraging technologies like Persistent Memory and Compute Express Link, have emerged as a promising solution to bridge the gap between DRAM and traditional non-volatile memory. However, existing memory tiering systems often suffer from complexity and specificity, hindering their widespread adoption and integration into the Linux Kernel source code. We present Glide, a pragmatic and effective memory tiering system that adheres to the principle of building upon standard operating system mechanisms to facilitate broad adoption. Glide introduces a novel page access tracking mechanism and a dynamic score threshold calculation to make informed decisions about page placement, optimizing memory utilization and system performance. Glide takes a new approach to critical path migration to strike a balance between system overhead and responsiveness by utilizing its scoring information to selectively NUMA poison pages in order to confirm their estimated access activity. Glide’s implementation seamlessly integrates with the current AutoNUMA system, ensuring that it enhances overall performance without compromising the benefits already provided by AutoNUMA. Our evaluation shows that Glide outperforms state-of-the-art memory tiering systems in various workloads, demonstrating an improvement of up to 2.2x compared to Memtis.