Google Coral NPU — ИИ-чипы для open-source разработки

Компания Google представила Coral NPU — открытую платформу для разработки аппаратных ИИ-ускорителей и программных инструментов для их использования с основными фреймворками машинного обучения. Coral NPU предназначен для создания максимально энергоэффективных SoC-решений, пригодных для использовании в сегменте Edge-вычислений, IoT и потребительских портативных устройств, таких как наушники, умные часы и очки дополненной реальности. Проект распространяется под лицензией Apache 2.0 и доступен для открытого коммерческого использования.

Coral NPU рассчитан на создание портативных и компактных ИИ-устройств с высокими требованиями к минимальному энергопотреблению. В базовой инженерной реализации Coral NPU обеспечивает производительность в 512 GOPS при энергопотреблении всего в нескольких милливатт. Архитектура процессора может гибко модифицироваться производителями SoC под выполнение конкретных задач. Первым производителем, начавшим производство собственных ИИ-чипов на базе технологии Coral NPU, стала компания Synaptics, которая анонсировала линейку процессоров Astra SL2610 с подсистемой Torq NPU.

Технологию Coral NPU можно применять для таких ИИ-задач, как:

• Обработка изображений и звука, распознавание лиц и объектов;
• Инференс больших языковых моделей;
• Визуальный поиск и транскрипция речи, живой перевод, выделение ключевых слов;
• Управление жестами и голосовыми командами;
• Определение активности пользователя и контекста окружающей среды (дома, на улице, ходьба, бег, сон).

Процессор Coral NPU использует 32-разрядную архитектуру RISC-V RV32IMF_Zve32x с четырехступенчатым конвейером, поддержкой SIMD-операций для 128-битных векторов и локальной памятью ITCM/DTCM (8 KB/32 KB). В архитектуру Coral NPU входят три взаимосвязанных компонента:

• Ядро для скалярных вычислений — легковесный фронтэнд на языке C, управляющий потоками данных и обеспечивающий режим run-to-completion для низкого энергопотребления;
• Векторный SIMD-сопроцессор — поддерживает векторные расширения RVV v1.0 и позволяет одновременно выполнять несколько операций с большими объемами данных;
• Матричный сопроцессор — оптимизирован для MAC-операций и ускоряет нейронные вычисления.

Вместе с Coral NPU, Google также предоставила полный набор инструментов для работы со своей технологией, в частности, компиляторы ИИ-моделей (IREE, TFLM), компилятор программ на языке C и симулятор NPU, поддержку фреймворков TensorFlow, JAX и PyTorch и универсальное промежуточное представление моделей с последующей трансляцией в низкоуровневые инструкции RISC-V через LLVM.

Выпустить в Open-Source такой перспективный проект, как Coral NPU — это весьма смелый шаг со стороны Google, поскольку эта платформа уже вызвала интерес множества компаний и гарантировано будет использоваться в разработке передовых портативных и IoT-устройств с ИИ-функциями, где важен тонкий баланс между энергоэффективностью и производительностью. А благодаря гибкой архитектуре и зрелому программному стеку, Coral NPU может стать основой и более технологичных решений.