В этом году исследователи из Google Brain опубликовали статью под названием [Exploring the Limits of Language Modeling][1] (Исследование границ языкового моделирования), в которой была описана языковая модель, позволившая значительно снизить перлексию (с примерно 50 до 30) на словаре [One Billion Word Benchmark][2].

В этом посте мы расскажем про самый низкий уровень этой модели — представление символов.

![][3]

[Читать дальше →][4]

[1]: http://arxiv.org/abs/1602.02410
[2]: http://arxiv.org/abs/1312.3005
[3]: https://habrastorage.org/files/b69/453/00a/b6945300aef84a09ab2363823e8c3d1c.png
[4]: https://habrahabr.ru/post/318454/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut