BigData в ЦРУ

[kaipa]

Интересная презентация CTO CIA: http://www.businessinsider.com/cia-presentation-on-big-data-2013-3?op=1

Ключевые моменты он выделяет совершенно верно -- это и объем, и важность контекста, и сложность извлечения данных, и незнание a priori, что именно будет нужно, поэтому лучше собирать все и хранить вечно. Технически это уже не проблема. Проблема в анализе, и тут он видит большую пользу в средствах автоматического анализа, типа Watson (видимо, он имеет ввиду айбиэмовский супер-компьютер, хотя я не очень понимаю, каким он сюда боком, он больше похож на огромную экспертную систему). Скорее всего, для поиска корреляций и, что более существенно, отклонений от них, будут использоваться алгоритмы типа HTM. Кстати, я искал, кто и где использует HTM -- и натыкался на статьи с домена .mil.

Ну и, главное, зачем. ЦРУ видит свою миссию в том, чтобы иметь возможность анализировать ВЕСЬ интернет и любую другую сенсорную информацию, поступающую с мобильных устройств и прочего, и предоставлять данные и средства анализа как сервис своим сотрудникам. Из нового для меня, он утверждает, что уже существующие fingerprint-технологии позволяют определить человека по походке, как ее "чувствует" сенсор движения в смартфоне (определить в том смысле, что связать с существующим профайлом, или идентефицировать два сигнала походки, как принадлежащие одному человеку). В общем, то, о чем несколько лет назад был написан фантастический рассказ, чем многие рекламные сети уже давно "балуются", ЦРУ начинает воплощать в жизнь по-настоящему. Будущее приходит.

Гугл или Файсбук, кстати, не самые полные источники или сенсоры пользовательского поведения. Компании вроде RadiumOne, которые строят агрегированные профайлы из разных источников, "знают" о людях гораздо больше. А если ЦРУ получит возможность связать все данные, включая мобильных и телефонных операторов, воедино, то в нашем цифровом мире от всевидящего ока спрятаться будет невозможно.

Comments

[fat-crocodile.livejournal.com]

Это не страшилка, но и не правда жизни
Это некоторая экстраполяция тенденций. Вся техническая сторона уже почти готова, вопрос только в том, будет ли она так использоваться, и это совсем не обязательно. Атомное оружие достаточно давно позволяет уничтожить человечество -- но оно таким образом пока что не применяется.

[ushastyi.livejournal.com]

Ну вот CTO CIA практически прямым текстом говорит, что они это будут использовать. И мэр Нью Йорка тоже прямым текстом говорит, что следить с дронов будут, и к этому надо привыкать. То есть то, что можно было назвать тенденцией, становится планом на будущее. Так что.

[fat-crocodile.livejournal.com]

тут же вопрос не только в том, будут следить или нет
вопрос, что дальше будут делать

например, в рассказе фигурирует некий "средний человек" -- очевидно, это миф, не удастся всех или большинство затолкать в одну группу, или эта группа получится слишком расплывчатой. Групп будет много. Количество денег ограничено, следить за всеми подозрительными у них агентов не хватит, сажать всех подозрительных -- тем более. Особенно если дело доходит до суда и они его проигрывают. False positive для них не проходит бесплатно. И т.п.

[ushastyi.livejournal.com]

Ну за каждым следить, конечно, нет смысла. Есть смысл выявлять отклонения от поведения. Причем как внутри группы, так и для конкретного человека. Есть смысл строить шаблоны поведения для "плохих". И сравнивать с этим шаблоном для выявления потенциальных "плохих". Это все возможно и не очень сложно, были бы ресурсы. Речь не идет о том, чтобы сажать всех подозрительных, но о том, что понятие privacy полностью исчезает, и можно следить за любым, не отходя от компьютера. И если для интернет-компаний людей идентифицировать запрещено, они могут оперировать только понятиями типа "посетитель с такой-то кукой", то для CIA и любых государственных структур такого ограничения нет, и они будут знать, что это именно ты. Государство получает возможность полностью контролировать своих граждан. И вряд ли оно упустит такую возможность, потому что это и "национальная безопасность", и налоги, и прочее. Мечта любого менеджера иметь полностью прозрачную картину того, что происходит в подконтрольной ему структуре.

[fat-crocodile.livejournal.com]

Вот я как раз и говорю, что "норм", отклонения от которых нужно считать будет очень много. Не получится единой "средней" нормы. Шаблоны для "плохих" -- да, но там же тоже очевидная проблема. Предположим, что "плохих" 0.0001 от популяции (террористов всё-таки довольно мало). Предположим, что наш тест даёт уверенность 99%... Мы помрём под шквалом false positive, которые придётся разбирать вручную. И хотел бы я посмотреть на социометрический тест, дающий больше чем 99%.

Пример приведён в самом рассказе, там где про ракеты -- оно на полную фигню среагировало. С точки зрения героя это, конечно, очень печально. Но с точки зрения государства это так же печально. Они тратят время и силы на работу с пустым материалом, и при этом ещё делают свою страну менее привлекательной -- народ бежит в Мексику.

А прайваси да, можно практически забыть. Но менеджер, конечно, не будет видеть картину, она просто слишком велика. Людей много. Он будет видеть посчитанные значения неких агрегированных параметров.