Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта - Черняк Леонид

Трансферное обучение

Всё нынешнее глубокое обучение относится к категории обучения с учителем (supervised DL), ставшего новой классикой. Оно обладает несколькими врожденными недостатками. По определению для него требуются чрезвычайно большие объемы данных на этапе обучения и соответственно большие вычислительные мощности. В ряде случаев требуется такая вычислительная мощность, что решение сопряженно с существенными энергетическими затратами, но полученная при этом модель способна решать только одну задачу, что снижает эффективность. То есть модель, обученная для решения одной задачи настолько специальна, что не может быть полезной для решения другой задачи, для нового решения потребуются новые данные для обучения и новые затраты на обучение. Избавлением от этого врожденного недостатка станет модифицированный тип DL, который получил название transfer learning (TL), его можно перевести как «обучение с переносом», но чаще используют кальку английского термина «трансферное обучение». TL отличается тем, что «знание», полученное при тренировке модели, сохраняется для последующего повторного использования, чем напоминает обучение человека, с той разницей, что машинное знание не имеет ничего общего с человеческим, оно не может служить источником для самостоятельной деятельности. Знание в данном случае сводится к возможности полного или частичного использования ранее обученной модели для решения новой задачи. TL повышает эффективность DL при условии родственности решаемых задач. Если модель обучена на распознавание кошек, то она окажется бесполезной для распознавания собак.

Общие идеи относительно возможностей TL и сам термин предложила известная специалист в этой области Лорин Пратт еще в 1993 году, но путевку в жизнь этому направлению в DL дал Эндрю Ын в своем ставшем широко известным выступлении на конференции Neural Information Processing Systems (NIPS) 2016. По его мнению, TL должно стать следующим стимулом для коммерческого успеха после обучения с учителем.

На данный момент видится несколько стратегий внедрения TL. Это может быть прямое использование заранее обученной модели (pre-trained models) для определенной области приложений, например NLP. Пользователям уже доступны такие специализированные как BERT, YOLO, GloVe, UnsupervisedMT и другие. Или же можно тем или иным способом воспользоваться обученной моделью для частичного экстрагирования сведений из ранее натренированного набора данных с тем, чтобы потом перенести их другую модель.

Генеративно-состязательные сети

В конце октября 2018 года на аукционе Кристи за 432 тысячи долларов был продан живописный портрет вымышленного художника Эдмона Белами из серии «Семейство Белами». Но кисть мастера этого холста не касалась, он представлял собой распечатку, созданную средствами AI. Этот успех подтвердил описанный в главе 1 Эффект AI: «Любое поражающее воображение достижение из области AI, при ближайшем рассмотрении оказывается рутинным результатом трудов математиков, инженеров и других специалистов, лишенным какого-либо собственного разума». Творцами портрета оказалась трое французов, составляющие группу Obvious, название которой переводится как «очевидно» и даже «тривиально», а их инструментом креативно-состязательная сеть (Creative Adversarial Network, CAN). Такая сеть способна создавать изображения, внешне неотличимые от созданий художников. Произведенные посредством CAN картины вполне можно признать формально прошедшими графическую версию теста Тьюринга, разумеется, это не означает, что машина научилась рисовать в полном смысле этого слова.

Сети CAN служат дальнейшим развитием генеративно-состязательных сетей (Generative adversarial network, GAN), о них говорят, что CAN – это GAN, способные мыслить креативно. Однако участники Obvious не склонны наделять их разумом, на их сайте мы находим: «… мы используем машинное обучение с тем, чтобы воспроизводить действия человека алгоритмами, основанными на статистических методах. Мы используем эти алгоритмы либо для оптимизации, выполняя сложные вычисления, либо для масштабирования, например, в чатботах, либо то и другое совместно. Алгоритмы могут быть обучены посредством идентификации общих свойств, присущих данным, со скоростью, превышающей человеческие возможности. Мы называем это Augmented Intelligence (AuI) и это совсем не похоже на то, что представляется в фантазиях».

GAN придумал в 2014 Ян Гудфеллоу будучи аспирантом, после чего моментально превратился в культовую фигуру AI (AI celebrity), теперь его именуют не иначе как GANfather (отец GAN). Ключевая мысль, заложенная Гудфеллоу в GAN, заключается в том, что в них не одна, как принято, а сразу две сети тренируются на одном и том же наборе данных. Первую называют генератором, она создает по возможности реалистичные изображения, в то время как вторая – дискриминатор – сравнивает их с исходными и фильтрует неудачные. Полученные дискриминатором результаты далее используются для обучения генератора. Очень важно, чтобы усилия обеих сетей были сбалансированы. Такое единство креативного и критического начала очень типично для творческих партнеров, например, автора и редактора, художника и критика. Можно сказать, что GAN добавила к распознавательным способностям машин еще способность, условно говоря, к воображению. Сети GAN переводят машинное обучение на новый уровень, сегодня сети обучаются с учителем (supervised learning) на колоссальном объеме учебных данных, а создание GAN стало серьезным шагом к обучению без учителя (unsupervised learning).

Уже сегодня GAN используют в крупнейших ядерных центрах для прогнозирования поведения частиц. Есть еще множество иных серьезных направлений, но на данный начальный момент популярны два: улучшение качества изображений, что критично в тех случаях, когда сложно получить требуемое качество в процессе съемки, например, в медицине (Photo-Realistic Single Image Super-Resolution), и создание изображений по текстовым описаниям (Text to Image Synthesis).

Глава 7 Роботы и умные машины

Самое старое изображение механического воина-андроида удалось обнаружить в 1935 году через 800 лет после его создания, это случилось при исследовании альбома архитектора Виллара де Оннекура (Villard de Honnecourt, 1195–1266). В XIII веке в Европе наметился подъем интереса к механике и даже к идее вечного двигателя, не случайно в этом же альбоме еще есть эскиз такого механизма. Самый известный из подобных рабочих альбомов, принадлежавших художникам и архитекторам, конечно же «Атлантический кодекс» Леонардо да Винчи, и в нем тоже среди тысяч рисунков. создававшихся на протяжении 40 лет, есть наброски двух автоматизированных устройств: повозки, датируемый 1478 годом, и рыцаря, относящийся к 1495.

Свою конструкцию робота-воина да Винчи разделил, как бы мы сегодня сказали, на две подсистемы: в одну входила нижняя часть тела – щиколотки, голени, колени и бедра, а в другую руки и плечи. Для управления первой подсистемой Леонардо предполагал внешний программатор, а механизм управления второй разместил непосредственно в грудной клетке. Воссозданная недавно реплика этого рыцаря находится во флорентийском музее Леонардо, а его именем названа одна из самых совершенных роботизированных хирургических систем da Vinci Surgical System. Это тоже робот, но он отнюдь не похож на андроида – робот-хирург многорук как Шива, он снабжен четырьмя руками: одна из них держит видеокамеру, передающую изображение оперируемого участка, две воспроизводят совершаемые хирургом движения, а четвертая служит для вспомогательных действий. Система da Vinci Surgical System при всей ее сложности всего лишь умный помощник оперирующего, лишенной автономии, всеми манипуляциями управляет врач, видящий в увеличенном масштабе трехмерное изображение оперируемого участка и действующий хирургическими инструментами посредством джойстиков.

Таков зримый результат изменения представления о роботах за прошедшие 500 лет – от мечты о железном человеке до робота-ассистента, узкоспециализированного на определенном приложении. Иногда, когда встречаются рекламы фильмов про андроидов типа «Терминатор», сознается впечатление, что их создатели и зрители отстали в своем развитии на полтысячи лет.