Neural Turing Machines
Jan. 14th, 2016 08:12 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
kaipahttp://arxiv.org/pdf/1410.5401v2.pdf
А вот это что-то новенькое в плане идеи (самой статье больше года), с обоснованием, зачем, и даже формулами. Суть в том, что к нейронной сети добавили внешнюю память, в которую каждый узел может читать и писать. Куда писать, и как читать определяются некоторой функцией распределения (то есть узел читает и пишет во всю память сразу, но с разными весами), которая тренируется так же, как и сама сеть.
Такая модификация позволяет гораздо эффективнее (по сравнению с другими известными архитектурами NN) "решать" задачи, требующие память, например сортировку. И, по-видимому, является Тьюринг-полной (авторы ссылаются на известную статью 1995г о Тьюринг-полноте рекурентных нейронных сетей Зигельмана и Зонтага, но доказательство там нестрогое).
А вот это что-то новенькое в плане идеи (самой статье больше года), с обоснованием, зачем, и даже формулами. Суть в том, что к нейронной сети добавили внешнюю память, в которую каждый узел может читать и писать. Куда писать, и как читать определяются некоторой функцией распределения (то есть узел читает и пишет во всю память сразу, но с разными весами), которая тренируется так же, как и сама сеть.
Такая модификация позволяет гораздо эффективнее (по сравнению с другими известными архитектурами NN) "решать" задачи, требующие память, например сортировку. И, по-видимому, является Тьюринг-полной (авторы ссылаются на известную статью 1995г о Тьюринг-полноте рекурентных нейронных сетей Зигельмана и Зонтага, но доказательство там нестрогое).
