![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
kaipaПопытался понять, какая теория стоит за deep learning.
Вот статья с громким названием: Theoretical Motivations for Deep Learning. Конспект какой-то обзорной лекции на тему. В ней я нашел ровно три мотивации:
1. Проклятье размерностей (curse of dimensionality). Нейронные сети позволяют с этим справиться, "выиискивая" в многомерных разряженных данных многообразия меньших размерностей. Это сильная мотивация, хотя у меня есть сомнения насчет полноты и т.д. Выражаясь проще, нет способа оценить, насколько хорошо нейронная сеть это делает и не теряется ли важная информация. Нет в принципе.
2. Распределенные представления. Суть в том, что данные кластеризуются на разных уровнях общности. При обработке естественного языка или изображений это позволяет получить аналогию семантических связей и классов, разной степени близости. Более подробно тут. Это круто, это на самом деле работает, разные уровни семантики и т.д. И хотя непосредственно к нейронным сетям это не относится, но именно в нейронных сетях это получилось хорошо сделать.
3. Проблема выпуклости, как они ее назвали. Суть в том, что в отпимизационных невыпуклых задачах больших размерностей обычно очень много локальных экстремумов, и все мягкие алгоритмы, включая нейронные сети, в них с удовольствием застревают. (от себя: в традиционных алгоритмах, Монте-Карло, например, всегда можно оценить вероятность найти экстремум, и ее зависимость от объема выборки, а в мягких -- нельзя). Далее идет обсуждение, что "на самом деле" в задачах большой размерности больше сёдел, чем экстремумов, а сёдла не мешают. Но надо отдать должное, заканчивают честно: "It’s only an empirical validation and there is no proof that the results apply to optimization of neural networks. "
Вот так с нейронными сетями всегда, на уровне эмпирики вроде бы работают, а как и почему -- никто не знает. Некоторые даже "верят", что нейронные сети Тьюринг-полны, хотя строгого доказательства этого, насколько я знаю, не существует.
Все это не значит, что солидное теоретическое обоснование не появится, но пока что многообещающих практических результатов существенно больше, чем понимания, почему это работает. Удивительная ситуация для науки. Одни считают, что это состояние физики в начале XX века, когда появилось много экспериментальных результатов, а теории, их объясняющей, не было. Другие -- что откат в Древний Египет, когда практики было достаточно, а теория не была нужна.
Пока все идет к тому, что нейронные сети, как и человеческий мозг, будут давать приблизительные, но достаточно хорошие результаты для определенных классов задач. Этакий аналог интуиции, от которой требуется не точность, а скорость и глубина. Там же где нужна строгость и точность, останутся более жесткие алгоритмы. Вполне разумная перспектива.
Вот статья с громким названием: Theoretical Motivations for Deep Learning. Конспект какой-то обзорной лекции на тему. В ней я нашел ровно три мотивации:
1. Проклятье размерностей (curse of dimensionality). Нейронные сети позволяют с этим справиться, "выиискивая" в многомерных разряженных данных многообразия меньших размерностей. Это сильная мотивация, хотя у меня есть сомнения насчет полноты и т.д. Выражаясь проще, нет способа оценить, насколько хорошо нейронная сеть это делает и не теряется ли важная информация. Нет в принципе.
2. Распределенные представления. Суть в том, что данные кластеризуются на разных уровнях общности. При обработке естественного языка или изображений это позволяет получить аналогию семантических связей и классов, разной степени близости. Более подробно тут. Это круто, это на самом деле работает, разные уровни семантики и т.д. И хотя непосредственно к нейронным сетям это не относится, но именно в нейронных сетях это получилось хорошо сделать.
3. Проблема выпуклости, как они ее назвали. Суть в том, что в отпимизационных невыпуклых задачах больших размерностей обычно очень много локальных экстремумов, и все мягкие алгоритмы, включая нейронные сети, в них с удовольствием застревают. (от себя: в традиционных алгоритмах, Монте-Карло, например, всегда можно оценить вероятность найти экстремум, и ее зависимость от объема выборки, а в мягких -- нельзя). Далее идет обсуждение, что "на самом деле" в задачах большой размерности больше сёдел, чем экстремумов, а сёдла не мешают. Но надо отдать должное, заканчивают честно: "It’s only an empirical validation and there is no proof that the results apply to optimization of neural networks. "
Вот так с нейронными сетями всегда, на уровне эмпирики вроде бы работают, а как и почему -- никто не знает. Некоторые даже "верят", что нейронные сети Тьюринг-полны, хотя строгого доказательства этого, насколько я знаю, не существует.
Все это не значит, что солидное теоретическое обоснование не появится, но пока что многообещающих практических результатов существенно больше, чем понимания, почему это работает. Удивительная ситуация для науки. Одни считают, что это состояние физики в начале XX века, когда появилось много экспериментальных результатов, а теории, их объясняющей, не было. Другие -- что откат в Древний Египет, когда практики было достаточно, а теория не была нужна.
Пока все идет к тому, что нейронные сети, как и человеческий мозг, будут давать приблизительные, но достаточно хорошие результаты для определенных классов задач. Этакий аналог интуиции, от которой требуется не точность, а скорость и глубина. Там же где нужна строгость и точность, останутся более жесткие алгоритмы. Вполне разумная перспектива.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2016-01-12 11:16 am (UTC)Ну да, аналогии там почти никакой, но это и не очень важно. Нет задачи построить так же, как в мозгу, есть задача решать те же задачи, что и решает мозг. Вот в HTM аналогия есть, но толку пока нет.