Nvidia представила первую стабильную версию фреймворка TensorRT LLM 1.0.
Блог
Qualcomm представила новое поколение CPU Snapdragon X2 Elite и X2 Elite Extreme.
Разбираем популярные форматы хранения весов LLM.
Все о PyTorch, TensorFlow, ONNX и других бэкендов для инференса LLM.
Все о передовых механизмах ускорения инференса FlashAttention и PagedAttention.
Solidigm выпустила новое поколение корпоративных SSD D7-PS1010 с инновационной системой охлаждения.