<img
itemprop="thumbnail"
class="medium-image"
src="https://www.linux.org.ru/images/23849/1000px.jpg"
alt="Языковая модель с 28,9 млн параметров заработала на ESP32-S3"
srcset="images/23849/500px.jpg 500w, https://www.linux.org.ru/images/23849/original.jpg 800w"
sizes="100vw" style="position: absolute; max-height: 90vh"

width=1000 height=1000>

Разработчик Вячеслав Сербов, выступающий под псевдонимом slvDev, [ продемонстрировал ]( https://x.com/slvDev/status/2080322138410524737 ) полностью локальную генерацию текста на микроконтроллере ESP32-S3. Созданная им языковая модель содержит 28,9 млн параметров и выдаёт около 9,9 токена в секунду, не обращаясь к серверу или другим внешним вычислительным ресурсам. Сгенерированные короткие рассказы выводятся на подключённый OLED-дисплей.

( [ читать дальше... ]( https://www.linux.org.ru/news/ai/18353997#cut ) )