<img
itemprop="thumbnail"
class="medium-image"
src="https://www.linux.org.ru/images/23880/1000px.jpg"
alt="FastFlowLM 1.0"
srcset="images/23880/500px.jpg 500w, https://www.linux.org.ru/images/23880/original.png 800w"
sizes="100vw" style="position: absolute; max-height: 90vh"

width=1000 height=563>

FastFlowLM предназначен для NPU архитектуры AMD XDNA2 и [ поддерживает семейства Ryzen AI Strix Point, Strix Halo, Kraken Point и Gorgon Point ]( https://github.com/ROCm/FastFlowLM ) . Проект позволяет запускать на NPU языковые и vision-language модели, модели распознавания речи, embeddings и MoE. Заявлена поддержка контекстного окна вплоть до 256 тыс. токенов для некоторых моделей. Размер самого runtime составляет около 17 МБ.

Основные изменения FastFlowLM 1.0:

( [ читать дальше... ]( https://www.linux.org.ru/news/ai/18357231#cut ) )