Обзор SGLang: открытый движок инференса, конкурирующий vLLM.
Блог
У движка инференса ИИ llama.cpp появился встроенный веб-интерфейс.
Что такое диффузионные языковые модели и почему они лучше трансформеров.
Как работает архитектура State Space Models и почему она лучше трансформеров.
Обзор возможностей NVIDIA Tesla P40 для запуска локальных языковых моделей в LM Studio.
GLM‑4.6 – 355 млрд параметров, 200 K контекста и агентные возможности.