kaipa: (Default)
[personal profile] kaipa
В процессе прохождения онлайн-курса по нейронным сетям посмотрел немного по сторонам и был немало удивлен, что в отечественной науке были и есть даже целые две научные школы (московская и красноярская) с сильными результатами, полученными примерно одновременно с американцами, но имеющими более твердый теоретический фундамент. Когда я интересовался этой темой в конце 90х, мне казалось, что вся наука "там".

В первую очередь тут стоит отметить Александра Ивановича Галушкина, в своей монографии 1974г "Синтез многослойных систем распознавания образов" подытоживший результаты исследований в 60х годах и в том числе обосновавший метод обратного распространения ошибки ("backpropagation" в иностранной литературе) для обучения нейронных сетей. Английская википедия об этом почему-то не знает, упоминая только диссертацию Пола Вербоса того же года. Впрочем, приоритет тут не сильно важен, это я так, на полях. Куда интереснее, на мой взгляд, что подход советской и наследовавшей ей российской школы был более системным. Например, нейронные сети определяются следующим образом: "Нейронные сети – частный вид объекта управления в адаптивной системе с аналитическими методами настройки коэффициентов (адаптации)". Акцент на задачах управления сильно отличается от более современных определений. Отсюда вытекают и другие частные вопросы:
- Какая наиболее эффективная с точки зрения ресурсов функция активации
- Как функции оценки ошибки влияют на скорость сходимости
- Как оценить не только сходимость, но и точность на данной итерации обучения (то есть при ограниченном наборе примеров для обучения оценить точность и надежность для произвольного входа).
и др.
Эти вопросы жизненно важны для задач управления, но не столь существенны для распознавания изображений, речи или предсказательных систем -- типичных примеров применения нейронных сетей сегодня.

Галушкин, к сожалению, в прошлом году умер, до последних дней продолжая заниматься исследованиями в области нейроматематики, публикуя работы и преподавая на Физтехе и в ВШЭ. Он и его группа занимался и сетями с памятью, и сетями переменной топологии -- в общем, на переднем крае. Предисловие к его последней крупной книге "Нейронные сети: основы теории" написал патриарх Лотфи Заде. Хорошее представление о текущем состоянии и перспективах дает статья-доклад 2014г ""О методах настройки многослойных нейронных сетей""

Красноярская научная школа сейчас представлена группой А.Н. Горбаня и Е.М.Миркеса, которые в числе прочего предложили проект стандарта для нейросетевых систем. Причем красноярская школа в большей степени отталкивается от задач динамики химических и биологических систем, для решения которых они и используют аппарат нейронных сетей.

Date: 2017-01-16 05:38 pm (UTC)
From: [identity profile] imageman72.livejournal.com
Прикольно. Мне, конечно, тоже хотелось бы разобраться хоть с малой частью современных нейросетей, но, видимо, в этой жизни мне это не суждено.

Date: 2017-01-16 05:54 pm (UTC)
From: [identity profile] ushastyi.livejournal.com
Мне вот тоже захотелось получше разобраться и пощупать эту тему, поэтому я перед НГ записался на курс https://www.coursera.org/learn/neural-networks

Толково построен, там немного математики (но нужно хотя бы помнить и понимать, что такое линейные и нелинейные функции, дифференцируемость, частные производные), упор делается на объяснение и понимание принципов. Небольшие задания на Octave позволяют и заставляют поиграться с моделями вживую, что закрепляет материал.

Date: 2017-01-16 09:19 pm (UTC)
From: [personal profile] lzh
Была ещё киевская школа, занимавшаяся специальным видом нейросетей; они скрывались под названием «метод группового учёта аргументов» (group method of data handling). Не знаю, выжили ли они на пост-советском пространстве, но в диаспоре есть и сейчас на Западе умеренно заметны.

Date: 2017-01-17 09:38 am (UTC)
From: [identity profile] ushastyi.livejournal.com
http://www.machinelearning.ru/wiki/index.php?title=Метод_группового_учета_аргументов

Насколько я понимаю, это не специальный вид нейросетей, а специальный вид построения регрессионных моделей, альтернативный нейросетям. В частности, в отличие от нейросетей, структура/сложность модели там не задается, а вычисляется в процессе обучения (для нейросетей тоже есть подходы обучения с гибкой структурой, но базовый сценарий предполагает заданную структуру -- количество слоев и нейронов в ней). Достаточно интересно, и, похоже, что как минимум лет 10-15 после развала СССР направление выживало. Осталось ли что-то после смерти Ивахненко (https://ru.wikipedia.org/wiki/Ивахненко,_Алексей_Григорьевич) трудно сказать. У нас-то количество студентов-аспирантов, которые занимаются вычислительной математикой (именно математикой, а не программированием) сократилось на порядок, там, наверное, не лучше.

Date: 2017-01-18 10:06 am (UTC)
From: [identity profile] russhatter.livejournal.com
1. Спасибо!
2. Ну вот умеете Вы завернуть в конфетку очень неприятные по сути вещи. Я про эту формулировку. Слишком красивую, чтобы быть полной правдой.
Эти вопросы жизненно важны для задач управления, но не столь существенны для распознавания изображений, речи или предсказательных систем -- типичных примеров применения нейронных сетей сегодня.

Date: 2017-01-18 10:24 am (UTC)
From: [identity profile] ushastyi.livejournal.com
А что именно неприятного?

Вот смотрю я классическую статью "Learning Internal Representations By Back Propagating Errors" (https://d3c33hcgiwev3.cloudfront.net/_f769dac2dfe1f9171ebc85265ac03093_Learning-representations-by-back-propagating-errors.pdf?Expires=1484092800&Signature=P66k96uGfuFlpKAuNUXToHx8hNsznKjXgp7mLadidokLV-NQAbkR238ihrXWsnGThxQCWAvThL-LZPOdIa7kKvobbdxVK9eyqECZ6ql788J8OdOIYLfqkFegr4Bul8tj1foR24H82dL6ygD~06kdZR1bQ8BlxY1i4dB5gfJtlzY_&Key-Pair-Id=APKAJLTNE6QMUY6HBC5A) -- там только сам алгоритм и сопуствующая ему математика, а о свойствах, сходимости и т.п. -- общие слова. Я как-то искал общие результаты по аппроксимации нейронными сетями (тут (http://ushastyi.livejournal.com/248444.html)) -- тоже только отечественная школа.

У меня такое чувство, что это некоторая часть математической культуры. Вычислительная математика как наука у нас традиционно была сильнее из-за более слабой электронной базы. Грубо говоря, там где американцы могли просто увеличить вычислительную мощность, нам приходилось модифицировать алгоритм или доказывать о нем какие-то полезные свойства. Я с этим сталкивался и в проектах ВЦ РАН.

Date: 2017-01-18 10:59 am (UTC)
From: [identity profile] russhatter.livejournal.com
Ну как?
Вы привели очень сильно сглаживающую формулировку - а на самом деле имеется страшнейший конфликт. Если конкретно разбираться: а что можно использовать? - да, ничего, только vision - я не умею адекватно переводить это англицкое слово. И чем конкретнее и квалифицированне разбираться - тем меньше остаток. Только запах, только взгляд...
И добра этого в нашей "некоторой части математической культуры" не просто много, а очень много, не только Вы "сталкивались". (Почему я так уверен в данном случае - я же совершенно не эксперт в данной области? Да потому как раз, что видел это множество раз, "сталкивался"...) Можно сказать, что ничего другого-то и нет.
Математическая культура - она есть, есть технологическая - она, может, и есть, но где-то не тут и не про нашу честь... Академики, что с них взять?
А брутальные ребята, решающие конкретные задачи - они непригодны для усвоения абстрактного материала, поданного в сугубо теоретической форме. Они не по этой части. Поэтому сначала наши что-то придумывают, потом до этого же догадываются и это осваивают ТАМ - при этом ТАМ они ещё и сами работают, и придумывают ещё кое-что оригинальное - а потом оно оттуда сюда приезжает в виде готовой технологии. И нет из этого дурного круга никакого выхода.
Edited Date: 2017-01-18 11:04 am (UTC)

Date: 2017-01-18 11:06 am (UTC)
From: [identity profile] ushastyi.livejournal.com
А вот Вы о чем. Что я слишком мягко это обрисовал :)

Думаю все же, что такая ситуация не везде. Например, в динамическом программировании -- тоже очень себе вычислительная математика -- там у Беллмана теории и математики выше крыши. Но это 50-60е. Возможно, потом культура работы с вычислительными моделями стала падать.

А про порочный круг верное замечание. Я помню, Вы об этом и раньше писали. Не знаю, стоит ли об этом так переживать, или принять это положение вещей. Вон, например, японцы -- они сами ничего не придумывают в плане нового (это сильное утверждение, но как тренд), но какие они инженеры, не в последнюю очередь из-за дотошности и внимания к деталям!
Edited Date: 2017-01-18 01:04 pm (UTC)

Date: 2017-01-18 02:11 pm (UTC)
From: [identity profile] russhatter.livejournal.com
Мы ведь с Вами не обсуждаем, что технологическая культура ТУТ кое-как старается отрываться от плинтуса, и даже где-то кое-где у нас порой отрывается. Но это - процесс, а не состояние. Ваше предложение "принять положение вещей", как я его понимаю, это: ну и пусть технологическая культура живёт своей жизнью, а академическая - своей.
Тут ведь какая вывернутся ситуация: эта "тенденция" - не "настоящая", а деструктивная обманка. Её "разрушить" - на деле означает не деструктивное, а конструктивное деяние, серия деяний: сделать что-то надо, поднять задницу со стула...
Зачем, кому надо признавать импотенцию за норму? Что от этого может быть хорошего?

Date: 2017-01-19 05:11 pm (UTC)
From: [identity profile] ushastyi.livejournal.com
Просто Вы пишете, что "нет из этого дурного круга никакого выхода". Если это так, то какой смысл рефлексировать?

Мне кажется, что утверждение о том, что технологические культура у нас на уровне плинтуса -- не совсем верное. Я не думаю, что в авиации и атомной энергетике это так. Проблема в большей степени есть в новых областях (скажем, в IT), где нет старых инженерных школ (или их влияние недостаточно в связи с взрывным ростом отрасли), а новые формировались из людей, не имевших соответствующего опыта и образования.

Вот есть такой Анатолий Левенчук, знаете, наверное. Он читает курсы по системной инженерии. Там много банальщины, но есть как минимум одна принципиально важная мысль, которую он иллюстрирует примером из своей юности. Если его обобщить, то смысл в том, что на вопрос "почему/как это работает/не-работает так" есть много разных ответов, в зависимости от того, на каком уровне мы рассматриваем систему. Инженеры, системные инженеры и математики на один и тот же вопрос могут дать принципиально разные и не пересекающиеся ответы, каждый из которых будет верен в своем контексте.

В вычислительной математике и ИТ наше образование традиционно готовит математиков или системных инженеров. Но не "просто инженеров". Отсюда больший перекос в математическую культуру по сравнению с инженерной или технологической. Наверное, это следствие того, повторюсь, что во время бурного роста отрасли система образования (переживавшая отнюдь не лучшие времена) не смогла на это адекватно отреагировать.

Инженерные школы в других областях тоже просели, наверное, но там была база, люди, которые передают опыт. А в нашей области этого почти не было.

Date: 2017-01-19 07:41 pm (UTC)
From: [identity profile] russhatter.livejournal.com
Просто удивительно. Удивительно не то, что мои наблюдения и информация противоречат Вашим взглядам, удивительно что это происходит практически по каждому отдельному предложению.
Чтобы не плодить объекты для ругани, давайте я буду хвалить то, где у Вас наблюдается уныние.

И начну издалека: не знаю, знаете ли Вы эту байку. Когда американцы запускали проект ENIAC -то, что сейчас принято считать первым компьютером, перед ними стоял выбор: делать на механике или на электричестве. К тому времени инженерная мысль уже решила главную проблему, стоявшую в предыдущие два-три века: они уже научились делать усилитель механического сигнала, так что механический вариант задачи был реализуем, и даже существенно дешевле. Американцы выбрали дорогущий электрический - потому, что технологически он был намного проще!
Вывод:
а) там, где основная работа выполняется на электрической базе, а не на механической - технологии проще;
б) там, где основаная работа выполняется на компьютерах, технологии радикально проще традиционных "физических".

Соответственно, на новых площадках уровень технологической культуры удовлетворителен и даже больше - что я и наблюдаю. Там, где я работаю, я очень доволен этим уровнем; полагаю что и в Я - к которому я вообще-то неровно отношусь - вряд ли сильно хуже.
Ну вот. А остальное я комментировать не хочу: там много унылого, и это как раз совершенно бессмысленно.

Возвращаясь к академикам. На настоящее время это гильдия весьма и весьма бесполезная. Люди в ней при чём хорошие, замечательные. Некоторые - так вообще, внедряются! ...Вот только надо хоть немного посмотреть со стороны производства, как это происходит - прийти в полное уныние. Не смотрят эти люди со стороны производства, не смотрят, даже самые лучшие. Не потому это происходит, что люди дурные - неписнные законы гильдии это фактически запрещают. Это - не совсем уж только точка зрения, я полагаю, это очень даже хорошо измеримое явление - стоит только его начать систематически измерять... И Вы предлагаете не обращать на него внимание, считать, что это нормально?

Ну-ну.
Edited Date: 2017-01-19 07:42 pm (UTC)

Date: 2017-01-20 11:06 am (UTC)
From: [identity profile] ushastyi.livejournal.com
Да, что-то тут не так, если настолько противоречат. Наверное, я ошибаюсь, но пока не понимаю, в чем.

Байку с ЭНИАКом я интерпретирую тоже по-своему. Ээлектрическая и механическая база -- это все физика. А инженеры-физики всегда отличались (и отличаются) большой изобретательностью и чутьем. Вспомните историю Фейнмана о том, как считали бомбу. Я думаю, что уже тогда было понятно, что за электричеством будущее. Электромеханические IBM-ы уже были несколько лет. В случае с ранней вычислительной техникой технологическая культура досталось в наследство. Первые компьютеры делали инженеры-математики и инженеры-электротехники (электротехническая школа Мура).

В с случае с ИТ ситуация и похожая, и нет. Пока это бала маргинальная область, то с ней вполне справлялись и справляются инженеры-математики. Но когда отрасль стала стремительно расти, произошел провал. Причем не только у нас, но у нас не смогли адекватно отреагировать. С одной стороны, попытка перенести технологическую культуру в ИТ из инженерии не получается (мифический человеко-месяц). С другой, готовить для ИТ инженеров-математиков -- это overqualfied . Потребовалось немало лет, чтобы на Западе смогли выработать адекватный способ воспроизводства инженеров-программистов и сформировать соответствующую технологическую культуру. Дальше я повторюсь, что у нас это сделать не успели потому, что в 80е запрос на программистов и ИТ был еще невысок, а в 90е он стал расти экспоненциально (на Западе это происходило более плавно).

Я думаю, что ситуация в нашей области постепенно выправляется. Тот же Я хороший пример, но хороший потому, что там очень сильный состав (одних мехматовцев там сколько -- это круто, но это же over-qualified). Другой пример -- базовые кафедры ИТ-компаний в университетах и т.п.

Про академиков и производство я мало что могу сказать, так как не сталкивался близко с производством. Насколько я понимаю, проблема не только в академиках и "законах гильдии", как Вы это называете, но в разрыве связей. Скажем, в советское время были вертикальные промышленные министерства, типа МАП. Они занимались интеграцией и управлением процессом от науки до конечного продукта. Возможно, что при упразднении этих министерств было потеряна связность, и восстановить ее peer-to-peer не смогли.

Date: 2017-01-20 06:31 pm (UTC)
From: [identity profile] russhatter.livejournal.com
Огорчили Вы меня этим всем разговором, очень...
Вы выглядите, как эскперт, говорите, как эксперт, пахнете, как эскперт. Но не эксперт. Не годны. Эту грустную весть я Вам говорю из-за очень хорошего к Вам расположения - иначе прошёл бы мимо.
При чём пока/если сами не догадаетесь, что что-то не в порядке, всё так и будет.

Date: 2017-01-20 06:53 pm (UTC)
From: [identity profile] ushastyi.livejournal.com
Спасибо за откровенность и Ваше хорошее расположение. Для меня это важнее, чем грустная весть.

Date: 2017-01-20 07:01 pm (UTC)
From: [identity profile] russhatter.livejournal.com
Извиняйте, если что. У меня, сами видите, приборы, что они показывают, я то и говорю. Или молчу - если надо.
И ведь даже если я сейчас плох - вроде бы нет, но предположим - всё равно про Вас всё, получается, измерено избыточно точно.

Profile

kaipa: (Default)
kaipa

April 2017

S M T W T F S
       1
2345678
9101112131415
16171819202122
23242526272829
30      

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 21st, 2017 04:46 pm
Powered by Dreamwidth Studios