Кэш процессора: зачем он нужен и как устроен

Когда ядру нужны данные, оно сначала проверяет L1. Если данные там есть – это называется попаданием (hit), и запрос выполняется почти мгновенно. Если данных нет, происходит промах (miss), и запрос уходит на следующий уровень – в L2, затем в L3, и только в самом худшем случае – в оперативную память.

Каждый промах кэша стоит процессору драгоценных тактов простоя, поэтому разработчики компиляторов и алгоритмов стараются писать код так, чтобы обращения к памяти были предсказуемыми и последовательными – это повышает долю попаданий и напрямую влияет на реальную скорость программы.

Чтобы кэш работал эффективно, важно не только, где хранить данные, но и как их искать и чем жертвовать при нехватке места.

Ассоциативность определяет, в какое место кэша может попасть конкретная строка данных. При прямом отображении каждому адресу соответствует ровно одна ячейка кэша, что просто в реализации, но приводит к частым конфликтам. Полностью ассоциативная организация позволяет разместить строку в любом свободном месте, что снижает число конфликтов, но усложняет и удорожает поиск. Компромиссом стала множественно-ассоциативная организация, где кэш делится на группы (наборы), а строка может занять любое место внутри своей группы 

.

Когда кэш заполнен и нужно освободить место под новые данные, применяется алгоритм вытеснения. Самый распространённый – LRU (Least Recently Used), при котором вытесняется строка, которая дольше всех не использовалась. Такой подход опирается на ту же временную локальность и статистически даёт лучший результат, чем случайный выбор.

Отдельный вопрос – политика записи. При сквозной записи (write-through) каждое изменение данных в кэше сразу дублируется в оперативной памяти, что просто, но медленно. При обратной записи (write-back) изменения сохраняются только в кэше и переносятся в память лишь при вытеснении строки, что значительно быстрее, но требует дополнительного механизма отслеживания “грязных” (изменённых) строк.

Когда у процессора несколько ядер, у каждого из них свой L1 и L2, но данные из одного и того же участка памяти могут одновременно лежать в кэшах разных ядер. Если одно ядро изменит эти данные в своём кэше, а другое продолжит читать устаревшую копию, программа начнёт работать неправильно.

Для решения этой проблемы используется протокол когерентности кэшей, самый известный из которых – MESI. Название складывается из первых букв четырёх состояний, в которых может находиться строка кэша: изменённая (Modified) – данные обновлены только в этом кэше; эксклюзивная (Exclusive) – данные совпадают с памятью и есть только здесь; разделяемая (Shared) – копия есть в нескольких кэшах одновременно; недействительная (Invalid) – данные устарели и должны быть перечитаны. Когда одно ядро получает право изменить строку, соответствующие копии в других кэшах могут быть переведены в недействительное состояние. Если другому ядру позже понадобятся эти данные, актуальная строка будет получена через механизм когерентности - например, из другого кэша или, при необходимости, из более низкого уровня памяти.

Долгое время увеличить объём кэша можно было только одним способом – расширить площадь кристалла, отведённую под SRAM. Но площадь кристалла ограничена и стоит дорого, а перегружать её кэшем в ущерб вычислительным блокам невыгодно. Ответом на эту проблему стала технология трёхмерного кэша, при которой дополнительный слой памяти размещается не рядом с ядром, а прямо над ним.

Практическую реализацию этого подхода первой массово применила компания AMD в технологии 3D V-Cache. Поверх обычного вычислительного кристалла процессора устанавливается отдельный кристалл, целиком состоящий из SRAM – фактически дополнительный слой L3. Соединение между двумя кристаллами происходит через сквозные кремниевые переходы (TSV, Through-Silicon Vias) – тончайшие вертикальные проводники, которые пронизывают кремний насквозь и обеспечивают прямой контакт медь-к-меди без использования припоя. Такая связь получается на порядок быстрее и энергоэффективнее, чем если бы дополнительная память располагалась рядом на подложке.

Практический выигрыш от такого решения – резкое увеличение объёма L3 без увеличения площади самого вычислительного кристалла: дополнительный слой SRAM способен добавить порядка 64 мегабайт к уже имеющемуся кэшу. Обратная сторона технологии – рост тепловыделения на единицу площади, ведь под слоем памяти оказывается менее удобный путь для отвода тепла от ядер, а также более сложный и дорогой процесс производства, требующий точного совмещения кристаллов. 

Прирост производительности от увеличенного кэша заметен далеко не всегда одинаково – он сильно зависит от характера нагрузки. В играх, где движок держит в памяти большие и часто пересчитываемые структуры данных (например, объекты игрового мира), увеличенный L3 способен дать ощутимый прирост частоты кадров, потому что снижает число обращений к куда более медленной оперативной памяти. При компиляции больших проектов и в задачах с крупными наборами данных для работы нейросетевых моделей объём кэша также напрямую сказывается на скорости, поскольку сокращает количество промахов при обходе больших массивов весов или объектных файлов.

При этом многие повседневные нагрузки - офисные приложения, веб-браузинг или простые скрипты – часто получают гораздо меньший прирост от очень большого L3, чем игры или специализированные вычислительные задачи. Это не означает, что весь их рабочий набор помещается в L1 или L2: он может быть значительно больше. Просто производительность таких приложений часто ограничивается другими факторами, поэтому дополнительная ёмкость L3 не всегда даёт заметное ускорение.

Кэш остаётся одним из главных инструментов борьбы с разрывом скоростей между процессором и памятью, и производители продолжают искать способы нарастить его объём без увеличения площади кристалла. После успеха 3D V-Cache в L3 инженеры AMD уже прорабатывают возможность подобного вертикального наложения и для кэша второго уровня , а конкуренты изучают собственные варианты трёхмерной упаковки чипов. По мере замедления роста тактовых частот совершенствование иерархии памяти, увеличение объёма кэша и развитие трёхмерной упаковки становятся одними из важных способов повысить производительность процессоров без простого увеличения частоты или радикальной смены микроархитектуры.