Записки на полях

Оказывается, пока многие, включая меня, хлопают ушами, в прошлом году произошел качественный перелом в Deep Learning: машинный алгоритм впервые превзошел человека в распознавании лиц (ссылки в журнале ailev). Это уже даже не шахматы.

Я начал копать, что же случилось за последние годы, а именно (как считает ailev) c 2012г, когда начался бурный рост публикаций, денег и результатов в этой области. Похоже, что накопилась критическая масса и прорвало. А дальше положительная обратная связь. Чем больше интереса -- тем больше денег, чем больше денег -- больше результатов, больше результатов -- больше интереса и далее по спирали. Причем, рост возможностей нейронных сетей обусловлен в основном использованием более оптимальных топологий и способов обучения, нежели чем ростом вычислительных ресурсов (GPA, параллелизм и т.п.). То есть развитие качественное. В списке прогнозов будущего развития от экспертов в области эта мысль звучит неоднократно.

Большой прогресс происходит не только в "статических" сетях, но и сетях с памятью, вроде RNN и LSTM.

Об уровне интереса к теме можно судить по представительности Deep Learning Summit, ближайший из которых состоится через три недели в Сан-Франциско.

Причем, практически все результаты и алгоритмы свободны и открыты, что еще более подогревает интерес и позволяют большему числу людей включиться в работу. Образованная недавно компания OpenAI (в числе спонсоров, кстати, неутомимый Илон Маск) ставит своей целью нести все это добро людям. Отрадно, что это все двигается талантливой молодежью, тот же Ilya Sutskever -- Research Director OpenAI -- автор ряда очень сильных результатов (список работ), например известного вот этого, ему еще нет и 30 лет.

Впрочем, я не снимаю своего мнения, озвученного в ряде комменатриев, что к пониманию, как работает мозг, к моделированию мышления, к знанию, как создать сильный AI, эти успехи нас не приближают. Те же RNN, которые научились посимвольно генерировать текст -- это суррогат знания, китайская комната. Мне кажется, что научились, наконец, пользоваться инструментом, придуманным уже добрые полсотни лет назад, и сейчас происходит (но пока не проходит) эйфория от успехов и результатов. К интеллекту и мышлению это пока не очень относится, но как компоненты и кирпичики чего-то большего (см. нейросетевой конструктор) -- это очень нужно, важно, и на самом деле сделает компьютеры гораздо "умнее". Как роботы заменили людей на производстве, так и прорывные Deep Learning / AI технологии могут заменить (и уже заменяют) людей там, где раньше это не представлялось возможным.

С точки зрения перспективы, мне все же интуитивно кажется, что иерархаические структуры типа HTM Хокинса должны быть лучше, но результатов там пока серьезных нет, что объясняется не столько плохой идеей, сколько сложностью имплементации.

Другая интересная смежная тема -- это нейроэволюция, что в данном контексте означает эволюцию (топологии) нейронной сети или генетическое программирование.

В общем, я сильно загрузился темой (спасибо блогу ailev), и собираюсь подтянуть свои знания в этой области. Попытка поставить опенсорсную библиотеку MXNet, чтобы покрутить какие-то примеры, сходу не прошла. Ребята знатные извращенцы: чтобы поставить системные библиотеки opencv они предлагают использовать... Ruby, который мне совсем не дался, из исходников я собрать все, не сразу (старый MacOS), но смог, но с R это пока не задружило (MXNet есть в версии для Питона, R и Julia -- из них R мне ближе). Через месяц буду в Штатах, куплю себе "The Master Algorithm", а то самая свежая книжка в этой области у меня из середины 90х, а с тех пор мир изменился неузнаваемо.

Прочитал интересную статью на хабре, в которой автор рассказыает, как он извлек классификатор из "чужой" нейронной сети, и встроил в свою собственную. Статья достаточно техническая, и для незнакомых с областью многие детали будут непонятны, но главное идея. Автор называет ее нейропластичностью, по аналогии с нейропластичностью нашего мозга, способного при необходимости соединять разные нейро-подсистемы новым образом.

В комментариях спрогонзировали интересное развитие и будущую бизнес-идею. Опыт автора статьи (и других статей на которые он ссылается) говорит о том, что в принципе возможно собирать из разных нейронных сетей, натренированных на определенные задачи, новые сети. С дополнительной настройкой и дообучением. То есть можно предположить, что в будущем будут доступны нейро-сетевые конструкторы, то есть уже готовые тренированные сети для решения локальных задач, из которых можно будет собирать сеть для чего-то более сложного. Тренировка и настройка стоят дорого (процессорного времени в первую очередь), например, сеть, которую он взял для трепанации, тренировали три недели, поэтому возможно такие сети будут коммерчески продаваться.

Вроде бы идея не кажется сложной, но если заработает, то будет мета-системный переход в нейронных сетях. Уже сейчас полно библиотек для создания сети "на коленке". А при наличии готовых сетей-кубиков порог вхождения сниизится, нейронные сети станут не hi-tech технологией, а просто utility. Я впечатлен.

На geektimes опубликована интересная серия статей про историю противостояния Каспарова и шахматных компьютеров. Заключительной статьи пока нет, но вдруг я пропущу и забуду.

1. Каспаров – Deep Thought. Игра в одни ворота (1989)

2. Первые обидчики. Fritz и Genius (1994-1995)

3. Каспаров против Deep Blue. Часть I: черный ящик (1996)

4. Каспаров против Deep Blue. Часть II: Филадельфийский эксперимент (1996)

В следующем матче в 1997г с усовершенствованным Deep Blue Каспаров проиграл (статья об этом, видимо, еще будет), но примерно до середины 2000х лучшие гроссмейстеры все еще сражались с компьютерами примерно на равных. Есть "закон Мура для шахмат", по которому считается, что удвоение вычислительной мощности вдвое увеличивает силу шахматной программы на 30 пунктов рейтинга Эло. Если учесть, что каждые полтора-два года производительность удваивается, то за 10 лет компьютеры "умнеют" минимум на 300 пунктов, что ОЧЕНЬ много. А если добавить к этому постоянное совершенствование алгоритмов, то понятно, что в шахматах у человека уже шансов нет. Лучшие шахматные программы на довольно скромных четырехпроцессорных компьютерах играют в силу 3300+, тогда как лучшие гроссмейстеры "всего лишь" 2800-2900.

Гроссмейстеры все еще могут что-то противопоставить шахмтаным программам только в середине партии, так как дебюты машина "знает" лучше, а для эндшпилей (5 и 6, а недавно и 7 фигур) рассчитали полные эндшпильные таблицы. Компьютеры не допускают тактических ошибок, и могут быть обыграны только стратегически. Но это еще надо уметь.

Впрочем, интересно было бы сравнить силу компьютеров и человека при равном энергопотреблении. Есть ощущение, что человек тут будет все еще впереди. С другой стороны, я играл или играю примерно в силу второго взрослого разряда (1700-1800). Шахматная программа в моем макбуке меня уже стабильно обыгрывает. Даже если я не допускаю явных ошибок и зевков, так как играю между делом. По-моему, дважды мне удалось сделать ничью. Оба раза позиционную (с повторением ходов).

Кстати, на днях, разбирая книги, нашел книгу по лингвистической геометрии, технологии, которую придумала группа Ботвинника, о которой я писал пару лет назад. Начал было разбираться тогда, но не хватило времени или желания. Суть в том -- что эта технология позволяет радикально, на порядки, сократить дерево перебора. Во всяком случае, так считают авторы.

(продолжение)

Классический пример, но мне понравилось.

Time flies like an arrow. Fruit flies like a banana.

Google Translate: Время летит, как стрела. Плодовые мушки, как банан.
Яндекс-Переводчик, то же самое: Время летит, как стрела. Плодовые мушки, как банан.
Переводчик MacOS, некоторые вариации и без запятых: Время летит как стрелка. Фруктовые мухи как банан.
Translate.ru, пытается поразить эрудицией: Время летит как стрела. Дрозофилы как банан.
Webtran.ru, добавили запятые, но мушка стала мухом: Время летит, как стрела. Дрозофил, как банан.

Все, сдаюсь.

Интересно, что разницу между time flies и fruit flies понимают все, хотя я могу представить летающий фрукт, но что like может быть и союзом и глаголом -- никто. Почему?

Еще пара экспериментов, Гугл:
Fruit flies to the basket: Плодовые мушки к корзине
Fruit flies into the basket: Фрукты летят в корзину

Ага, все же может, если захочет.

Яндекс на оба варианта выдал обреченно: Плодовые мушки в корзину.

Мне не удалось из переводчиков "выжать" вариант, где like бы использовался в качестве глагола. Почему все так грустно? Мне казалось, что машинный перевод сильно продвинулся за последнее время.

Какое-то время назад я написал коротенький пост "Об аналогиях", но на днях взглянул на это несколько с другой стороны. Все это примитивно до безобразия, но как-то раньше не задумывался.

Аналогия может быть обманчива для иллюстрации каких-то свойств объекта или следствий, так как отбрасывает другие свойства, которые могут быть существенными. Но аналогия отлично работает, чтобы показать, какими свойствами объект точно не обладает, или какие выводы точно не следует делать. Грубо говоря, аналогией надо пользоваться с осторожностью, чтобы иллюстрировать, что из А следует B. Но почти наверняка аналогией можно показать, что из А не следует C. Почему так?

Аналогия -- это модель, совпадающая или сходная по некоторому подмножеству признаков с исходным явлением или объектом. Можно сказать, что аналогия -- это необходимое условие существования исходного явления или объекта. Поэтому доказав что-то про аналогию, выяснив какое-то следствие, мы лишь подтверждаем необходимые условия, что добавляет правдоподобия, но ничего не доказывает. Однако, если удается на аналогии опровергнуть какие-то свойства или следствия, то в силу необходимости это опровержение будет верно и для исходного явления.

А теперь пара примеров аналогий и загадка: Что иллюстрируют эти аналогии? (кто читал первоисточник -- тем будет не интересно).

1. Представьте, что на Земле произошла катастрофа, все живое уничтожено, все строения разрушены, атмосферу сдуло, органика быстро разложилась. Более-менее сохранились только дороги. ( Read more... )

2. Представьте, что ученым-исследователем конца XIX или начала XX века попал в руки современный компьютер или несколько, на которых установлены и работают какие-то программы, например, "Пасьянс" или "Тетрис", или "Цивилизация". Пусть это будет лаптоп на батарейках. Исследователи стали пытаться понять, как он работает.( Read more... )

Наверное, многие знают этот мысленный эксперимент, но я о нем прочитал впервые. В книге Хоукинса он описан более ярко, чем на википедии, поэтому я перескажу, следуя его изложению.

Представьте себе комнату, в которой стоит стол со стулом, и на столе лежит толстый справочник с инструкциями. В справочнике написаны некоторые инструкции по манипуляции с китайскими иероглифами. Типа, "если иероглиф выглядит так, а следующий за ним -- так, то пишем такой иероглиф на чистом листе". И т.д. Кроме того на столе есть много бумаги, карандаши, ластики и т.д. За столом сидит человек, не знающий китайского, например вы.

Через окошко вам передают несколько листочков с текстом на китайском. И вы, пыхтя и отдуваясь, начинаете по инструкциям их сравнивать, записывать на листочки, стирать, записывать на следующие и т.д., пока инструкция не скажет, что вы закончили. Последний листочек вы передаете обратно.

А за окошком стоит китаец, который написал рассказ и вопросы к нему, и на вашем листочке прочитал ответы, подробные и вдумчивые. Китаец совершенно точно сделает вывод, что вы умеете читать, писать и понимать по-китайски, хотя это, очевидно, совсем не так.

Если вы вдруг не знакомы с этим экспериментом, то в этом месте разумно задать вопрос: а что мы хотим продемонстрировать, собственно? ( а вот что )