Чем знаменателен 1964 год для искусственного интеллекта в россии
Чем знаменателен 1964 год для искусственного интеллекта в россии
В 1954 г. в МГУ начал свою работу семинар «Автоматы и мышление» под руководством академика Ляпунова А. А. (1911-1973), одного из основателей российской кибернетики. В этом семинаре принимали участие физиологи, лингвисты, психологи, математики. Принято считать, что именно в это время родился искусственный интеллект в России. Как и за рубежом, выделились два основных направления — нейрокибернетики и кибернетики «черного ящика».
В 1954-1964 гг. создаются отдельные программы и проводятся исследования в области поиска решения логических задач. В Ленинграде (ЛОМИ — Ленинградское отделение математического института им. Стеклова) создается программа АЛПЕВ ЛОМИ, автоматически доказывающая теоремы. Она основана на оригинальном обратном выводе Маслова, аналогичном методу резолюций Робинсона. Среди наиболее значимых результатов, полученных отечественными учеными в 60-е годы, следует отметить алгоритм «Кора» М. М. Бонгарда, моделирующий деятельность человеческого мозга при распознавании образов. Большой вклад в становление российской школы ИИ внесли выдающиеся ученые Цетлин М. Л., Пушкин В. Н., Гаврилов М. А, чьи ученики и явились пионерами этой науки в России (например, знаменитая Гавриловская школа).
В 1965-1980 гг. происходит рождение нового направления — ситуационного управления (соответствует представлению знаний, в западной терминологии). Основателем этой научной школы стал проф. Поспелов Д. А. Были разработаны специальные модели представления ситуаций — представления знаний [Поспелов, 1986].
При том что отношение к новым наукам в советской России всегда было настороженное, наука с таким «вызывающим» названием тоже не избежала этой участи и была встречена в Академии наук в штыки [Поспелов, 1997]. К счастью, даже среди членов Академии наук СССР нашлись люди, не испугавшиеся столь необычного словосочетания в качестве названия научного направления. Двое из них сыграли огромную роль в борьбе за признание ИИ в нашей стране. Это были академики А. И. Берг и Г. С. Поспелов.
Только в 1974 году при Комитете по системному анализу при президиуме АН СССР был создан Научный совет по проблеме «Искусственный интеллект», его возглавил Г. С. Поспелов, его заместителями были избраны Д. А. Поспелов и Л. И. Микулич. В состав совета входили на разных этапах М. Г. Гаазе-Рапопорт, Ю. И. Журавлев, Л. Т. Кузин, А. С. Нариньяни, Д. Е. Охоцимский, А. И. Половинкин, О. К. Тихомиров, В. В. Чавчанидзе.
По инициативе Совета было организовано пять комплексных научных проектов, которые были возглавлены ведущими специалистами в данной области. Проекты объединяли исследования в различных коллективах страны: «Диалог» (работы по пониманию естественного языка, руководители А. П. Ершов, А. С. Нариньяни), «Ситуация» (ситуационное управление, Д. А. Поспелов), «Банк» (банки данных, Л. Т. Кузин), «Конструктор» (поисковое конструирование, А. И. Половинкин), «Интеллект робота» (Д. Е. Охоцимский).
В 1980-1990 гг. проводятся активные исследования в области представления знаний, разрабатываются языки представления знаний, экспертные системы (более 300). В Московском университете создается язык РЕФАЛ.
Уровень теоретических исследований по искусственному интеллекту в России ничуть не ниже мирового. К сожалению, начиная с 80-х гг. на прикладных работах начинает сказываться постепенное отставание в технологии. На данный момент отставание в области разработки промышленных интеллектуальных систем составляет порядка 3-5 лет.
История развития искусственного интеллекта в СССР и России
Предпосылки к возникновению науки
Появление предпосылок искусственного интеллекта (период с 1943 года по 1955 год)
Два аспиранта факультета математики Принстонского университета, Марвин Минский и Дин Эдмондс, в 1951 году создали первый сетевой компьютер на основе нейронной сети. В этом компьютере, получившем название Snare, использовалось 3000 электронных ламп и дополнительный механизм автопилота с бомбардировщика В-24 для моделирования сети из 40 нейронов. Аттестационная комиссия, перед которой Минский защищал диссертацию доктора философии, выразила сомнение в том, может ли работа такого рода рассматриваться как математическая, на что фон Нейман, по словам современников, возразил: «Сегодня — нет, но когда-то будет». В дальнейшем Минский доказал очень важные теоремы, показывающие, с какими ограничениями должны столкнуться исследования в области нейронных сетей.
2.2 Философские предпосылки
На саму возможность мыслить о понятии «Искусственный интеллект» огромное влияние оказало рождение механистического материализма, которое начинается с работы Рене Декарта «Рассуждение о методе» (1637) и сразу в след за этим работы Томаса Гоббса «Человеческая природа» (1640). Рене Декарт предположил, что животное — некий сложный механизм, тем самым сформулировав механистическую теорию. И тут важно понимать, чем отличается именно механистический материализм, от античного материализма, взгляды которого запечатлены в работах Аристотеля, и последующего диалектического материализма(Гегель, Фейрбах) и исторического материализма(Карл Маркс, Фридрих Энгельс, В. И. Ленин). Дело в том, что механистический материализм направлен на механистическое происхождение организмов, в то время как античный материализм направлен на механистическое происхождение природы, а диалектический и исторический материализм относится к проявлениям механизма в обществе. Поэтому понятно, что без понимания механистичности в организмах не могла идти речь о понимании искусственного интеллекта даже в самом примитивном смысле, а наличие механистичности природы и общества выходят за рамки области об искусственном интеллекте, и строго говоря не являются необходимыми предпосылками.
Рождениеискусственного интеллекта (1956 год)
В Принстонском университете проводил свои исследования еще один авторитетный специалист в области искусственного интеллекта, Джон Маккарти. После получения ученой степени Маккарти перешел в Дартмутский колледж, который и стал официальным местом рождения этой области знаний. Маккарти уговорил Марвина Минского, Клода Шеннона и Натаниэля Рочестера, чтобы они помогли ему собрать всех американских исследователей, проявляющих интерес к теории автоматов, нейронным сетям и исследованиям интеллекта.
Они организовывали двухмесячный семинар в Дартмуте летом 1956 года. Всего на этом семинаре присутствовали 10 участников, включая Тренчарда Мура из Принстонского университета, Артура Самюэла из компании IBM, а также Рея Соломонова и Оливера Селфриджа из Массачусетсского технологического института.
Два исследователя из технологического института Карнеги, Аллен Ньюэлл и Герберт Саймон, буквально монополизировали все это представление. Тогда как другие могли лишь поделиться своими идеями и в некоторых случаях показать программы для таких конкретных приложений, как шашки, Ньюэлл и Саймон уже могли продемонстрировать программу, проводящую рассуждения логик-теоретик, в отношении которой Саймон заявил: «Мы изобрели компьютерную программу, способную мыслить в нечисловых терминах и поэтому решили почтенную проблему о соотношении духа и тела».
Вскоре после этого семинара программа показала свою способность доказать большинство теорем, труда Рассела и Уайтхеда Principia Mathematica. Сообщали, что Рассел пришел в восторг, когда Саймон показал ему, что эта программа предложила доказательство одной теоремы, более короткое, чем в Principia. Редакторы Journal of Symbolic Logic оказались менее подверженными эмоциям; они отказались принимать статью, в качестве соавторов которой были указаны Ньюэлл, Саймон и программа логик теоретик.
Дартмутский семинар не привел к появлению каких-либо новых крупных открытий, но позволил познакомиться всем наиболее важным деятелям в этой научной области. Они, а также их студенты и коллеги из Массачусетсского технологического института, Университета Карнеги-Меллона, Станфордского университета и компании IBM занимали ведущее положение в этой области в течение следующих 20 лет.
Возможно, дольше всего сохранившимся результатом данного семинара было соглашение принять новое название для этой области, предложенное Маккарти, — искусственный интеллект. Возможно, лучше было бы назвать эту научную область «вычислительная рациональность», но за ней закрепилось название «искусственный интеллект».
Анализ предложений по тематике докладов для Дартмутского семинара позволяет понять, с чем связана необходимость преобразовать искусственный интеллект в отдельную область знаний.
Почему нельзя было бы публиковать все работы, выполненные в рамках искусственного интеллекта, под флагом теории управления, или исследования операций, или теории решений, которые в конечном итоге имеют цели, аналогичные искусственному интеллекту? Или почему искусственный интеллект не рассматривается как область математики?
Ответом на эти вопросы, во первых, является то, что искусственный интеллект с самого начала впитал идею моделирования таких человеческих качеств, как творчество, самосовершенствование и использование естественного языка. Эти задачи не рассматриваются ни в одной из указанных областей. Во-вторых, еще одним ответом является методология.
Искусственный интеллект — это единственная из перечисленных выше областей, которая, безусловно, является одним из направлений компьютерных наук (хотя в исследовании операций также придается большое значение компьютерному моделированию), кроме того, искусственный интеллект — это единственная область, в которой предпринимаются попытки создания машин, действующих автономно в сложной, изменяющейся среде.
История развития искусственного интеллекта в СССР и России
Семен николаевич корсаков (1787—1853) ставил задачу усиления возможностей разума посредством разработки научных методов и устройств, перекликающуюся с современной концепцией искусственного интеллекта, как усилителя естественного. В 1832 году С. Н. Корсаков опубликовал описание пяти изобретённых им механических устройств, так называемых «интеллектуальных машин», для частичной механизации умственной деятельности в задачах поиска, сравнения и классификации. В конструкции своих машин Корсаков впервые в истории информатики применил перфорированные карты, игравшие у него своего рода рол ь баз знаний, а сами машины по существу являлись предтечами экспертных систем[7]. В СССР работы в области искусственного интеллекта начались в 1960-х годах. В Московском университете и Академии наук был выполнен ряд пионерских исследований, возглавленных Вениамином Пушкиным и Д. А. Поспеловым. В 1964 году была опубликована работа ленинградского логика Сергея Маслова «Обратный метод установления выводимости в классическом исчислении предикатов», в которой впервые предлагался метод автоматического поиска доказательства теорем в исчислении предикатов. В 1966 году В. Ф. Турчиным был разработан язык рекурсивных функций Рефал. До 1970-х годов в СССР все исследования ИИ велись в рамках кибернетики. По мнению Д. А. Поспелова, науки «информатика» и «кибернетика» были в это время смешаны, по причине ряда академических споров. Только в конце 1970-х в СССР начинают говорить о научном направлении «искусственный интеллект» как разделе информатики. При этом родилась и сама информатика, подчинив себе прародительницу «кибернетику». В конце 1970-х создаётся толковый словарь по искусственному интеллекту, трёхтомный справочник по искусственному интеллекту и энциклопедический словарь по информатике, в котором разделы «Кибернетика» и «Искусственный интеллект» входят наряду с другими разделами в состав информатики. Термин «информатика» в 1980-е годы получает широкое распространение, а термин «кибернетика» постепенно исчезает из обращения, сохранившись лишь в названиях тех институтов, которые возникли в эпоху «кибернетического бума» конца 1950-х — начала 1960-х годов[8]. Такой взгляд на искусственный интеллект, кибернетику и информатику разделяется не всеми. Это связано с тем, что на Западе границы данных наук несколько отличаются[9].
История развития искусственного интеллекта в России
Затраты развитых стран, особенно США, Китая, а также Евросоюза, на технологии искусственного интеллекта растут ударными темпами. Между тем, вплоть до последнего времени Россия оставалась едва ли не последней из крупных стран, не имеющих собственной стратегии развития технологий ИИ. Ситуация начала меняться лишь в конце 2019 года, когда была утверждена «Национальная стратегия развития искусственного интеллекта на период до 2030 года».
Национальная стратегия определяет две ключевые точки развития ИИ в России — 2024 и 2030 годы. Предполагается, что к первой дате страна значительно улучшит позиции в этой сфере, а к 2030 году ликвидирует отставание от развитых стран и добьется мирового лидерства в отдельных направлениях, связанных с ИИ. Внедрять технологии ИИ российские власти планируют в том числе через государственные национальные проекты.
К приоритетам развития ИИ в России относится:
Ускорение технологического развития РФ за счет увеличения количества организаций, осуществляющих технологические инновации, до 50% от их общего числа;
Обеспечение ускоренного внедрения цифровых технологий в экономику и социальную сферу;
Создание в базовых отраслях экономики, прежде всего в обрабатывающей промышленности и агропромышленном комплексе, высокопроизводительного экспортно ориентированного сектора, развивающегося на основе современных технологий и обеспеченного высококвалифицированными кадрами.
Стратегия также обозначает ряд задач, которые необходимо решить для успешного развития технологий ИИ в России, в числе которых:
Создание высокопроизводительных рабочих мест;
Обеспечение конкурентоспособных условий труда для специалистов в сфере ИИ;
Привлечение специалистов из-за рубежа;
Поддержка экспорта продуктов и услуг, созданных с использованием ИИ;
Создание стимулов для развития корпоративной науки и исследований;
Формирование комплексной системы безопасности при создании, развитии, внедрении и использовании технологий ИИ.
Хотя в Стратегии заявлено, что «Российская Федерация обладает существенным потенциалом для того, чтобы стать одним из международных лидеров в развитии и использовании технологий искусственного интеллекта», достижение этой цели в краткосрочной и среднесрочной перспективе выглядит маловероятным. Ключевым препятствием на пути России в число мировых лидеров в сфере ИИ может стать недостаточное финансирование, особенно на фоне Китая и США.
Первоначально на развитие проектов в области искусственного интеллекта планировалось выделить 125 млрд рублей, из которых почти 90 млрд из бюджета. Однако, существенные коррективы в планы российского правительства внесла эпидемия коронавируса, в результате чего размер федерального финансирования проектов, связанных с ИИ, заметно снизился. Как следствие на 2021-2024 гг. на развитие ИИ в России планируется потратить лишь 29,4 млрд рублей бюджетных средств и 6,9 млрд из внебюджетных источников. Крупнейшие внебюджетные затраты придутся на разработку ПО, поддержку исследований, а также «Популяризацию и развитие сообществ».
Между тем искусственный интеллект уже сейчас используется в России при решении самых разных задач. Например, Сбербанк применяет его при выдаче кредитов, Яндекс – в развитии беспилотного транспорта и в голосовом помощнике «Алиса», Мail.ru – в коммуникациях, Ростех – в сфере производства, а МВД – при распознавании лиц для обеспечения безопасности на улицах Москвы.
ИИ все чаще используется в производственных системах предприятий и основных бизнес-процессах. Ожидается, что к 2024 году в разработку технологий и процессов ИИ будут внедрять 75% предприятий, а 86% предприятий перейдут на ИИ к 2025 году. Судя по опыту Huawei, основанному на более чем 600 проектах, использование ИИ в производственных системах принесет промышленникам огромную пользу.
Huawei применяет ИИ ко всем своим основным бизнес-процессам. ИИ применялся более чем в 200 сценариях, таких как продажи, НИОКР, производство, поставка и доставка, и создал более 10 000 цифровых сотрудников для Huawei.
В Шэньчжэне было разработано решение для систематического управления дорожным движением на базе искусственного интеллекта, основанное на обратной связи в режиме реального времени о дорожных условиях и на опыте экспертов. Загруженность дорог уменьшилась на 8%, а средняя скорость транспортных средств увеличилась на 6,21%.
ИИ также оптимизирует процессы и способствует инновациям. Например, благодаря синергии между облаком, 5G, искусственным интеллектом и периферийными вычислениями беспилотные летательные аппараты могут интеллектуально проверять электросети, шахты, порты и другие объекты инфраструктуры, которые являются жизненно важными для города, что приводит к 80-кратному повышению эффективности их работы.
История нейронных сетей в СССР
Сегодня нейронные сети широко известны благодаря достижениям таких учёных как Джеффри Хинтон, Йошуа Бенджио и Ян ЛеКун. Но далеко не все открытия в области коннекционизма сделаны на Западе. Над нейронными сетями начиная с конца 50-х годов активно работали и в Советском союзе, хотя за исключением специалистов сегодня немногие знают о подробностях этих исследований. Поэтому мы решили напомнить о работе советских учёных, рассказав историю отечественного коннекционизма. 
Учёные Галушкин А.И. и Ивахненко А.Г.
1960-е стали золотым веком советской науки. К 1975 году ¼ от всего количества учёных в мире работала в СССР, при этом большое внимание уделялось точным наукам, плоды которых часто имели прикладное значение. Не обходили стороной и кибернетику, в которой видели огромный потенциал. Под влиянием военного и учёного Анатолия Китова она была реабилитирована после недолгой «опалы». Шла работа в области автоматического управления, машинного перевода, сетевых технологий… Сейчас бы мы сказали, что в СССР существовала целая школа искусственного интеллекта!
В рамках кибернетики развивалось и направление, которое мы привыкли называть нейросетевым. Юрген Шмитхубер, создатель известной нейросетевой архитектуры LSTM, известный в наши дни также как историк глубокого обучения, часто ссылается в своих выступлениях на вклад советских учёных в становление этого направления.
В 60-ые годы в СССР большими тиражами выходило несколько серьёзных тематических изданий, и, судя по наукометрической статистике, изрядная доля мировых коннекционистских исследований издавалась именно на русском языке. Коннекционизм в какой-то момент оказался настолько популярен, что им занялись не только в метрополии, но и в других городах и республиках, например в Армении и Грузии. К сожалению, пока что оцифрована лишь небольшая доля публикаций тех лет, большинство работ можно найти только в оффлайн-библиотеках.
«Шла машина из Тамбова» или чем занимался Маккарти в СССР
«Там на полу был небольшой робот, и он передвигался согласно произносимым вслух командам. А затем мы вернулись в офис директора, где стоял длинный стол, уставленный вазами с фруктами, хачапури и превосходным грузинским коньяком».
Помимо Одессы, Киева и Тбилиси, делегация посетила Баку, Москву, Минск, Ленинград и несколько других городов союзных республик. В Москве Маккарти встретился со своим старым знакомым — академиком Андреем Ершовым. Коллеги познакомились в декабре 1958 года в Великобритании на Конференции по автоматизации мыслительных процессов. После визита в Москву Маккарти в сопровождении Ершова отправился в новосибирский Академгородок, откуда через Москву вернулся домой (в реалиях холодной войны, когда Новосибирск был одним из полузакрытых научных центров, Ершову стоило больших трудов согласовать этот визит).
Отношения между Ершовым и Маккарти, судя по их переписке, были вполне дружеские, а не только профессиональные. Например, Маккарти в одном из писем просит Ершова прислать запись песни «Шла машина из Тамбова». Или вот другой пример: когда Маккарти гостил в Союзе, в рабочей группе Международной федерации по обработке информации произошёл конфликт относительно стандартов разработки языка Алгол 68. Тогда Никлаус Вирт откололся от большинства и начал работу над языком Паскаль. Маккарти и Ершов сочинили и записали в ответ на это шуточную песню, которую адресовали «раскольникам». Маккарти привёз запись на плёнке на очередное заседание рабочей группы. Произведение исполнялось, как вспоминали авторы, на мелодию «русской народной песни» «Это не я, глупышка» (на самом деле имеется в виду песня «It ain’t me, babe» Боба Дилана). У песни был и английский, и русский варианты. Приведём припев последнего:
Подайте нам язык другой,
Чтобы не было в нем обмана,
Чтоб на нем могла писать
Любая обезьяна…
Нет, нет, нет, — это не наш язык…
Через три года Маккарти ещё раз приехал в Академгородок — теперь уже на два месяца и в качестве сотрудника Вычислительного центра: он прочитал курс по верификации программ в Новосибирском университете. В ходе одной из поездок Маккарти познакомился с Александром Кронродом, который работал над шахматной программой, наследницей которой стала знаменитая «Каисса», и договорился о проведении первого в мире шахматного матча между компьютерными программами. В этом матче в 1967-м году советская шахматная программа, разработанная в Институте теоретической и экспериментальной физики, победила программу Стэнфордского университета со счётом 3-1.
Алексей Ивахненко и «Метод группового учёта аргументов»
В 1965-м году в издательстве «Мир» впервые увидел свет перевод на русский язык книги Фрэнка Розенблатта «Принципы нейродинамики». Учитывая, что оригинал вышел в 1962-м, можно предположить, что переводить её начали почти сразу после английской публикации. Одним из самых горячих поклонников подхода, использованного Розенблаттом, в СССР стал Алексей Григорьевич Ивахненко. Он начал заниматься перцептронами ещё до выхода этой книги и был знаком с ранними публикациями Розенблатта. В момент выхода перевода «Принципов нейродинамики» Ивахненко уже был признанным учёным, его книга «Техническая кибернетика», вышедшая до перевода принципов нейродинамики, не только выдержала два издания на русском языке, но также была опубликована на английском, немецком, болгарском, польском и румынском. 
Киев: Гостехиздат УССР, 1962
Научный интерес Ивахненко к самоорганизующимся системам проявился ещё в 1950-е годы: в 1959 году он успешно собрал и испытал собственную версию перцептрона — машину «Альфа», названную, по всей видимости, в честь α-перцептрона Розенблатта. С 1963 года Ивахненко работал под руководством знаменитого академика Виктора Михайловича Глушкова. Впрочем, в отношениях учёных не всё было гладко: в 1959 году Глушков пишет письмо коллеге, что в книге Ивахненко «сделана попытка объявить элементарные самонастраивающиеся системы более высокими кибернетическими устройствами, чем вычислительные машины, которые якобы способны реализовать лишь жёсткие алгоритмы». Похоже, Глушков обвинял Ивахненко в желании «подмять под себя кибернетику». Хотя, судя по другим свидетельствам, конфликт не был таким серьёзным, каким мог показаться. Один из сотрудников Ивахненко, Михаил Шлезингер, до работы с учёным был сотрудником института Глушкова, где занимался ничем иным, как симуляцией нейронных сетей на цифровой электронной машине «Киев»! Даже после перехода Ивахненко под руководство Глушкова работы над нейронными сетями не были прекращены. То есть, несмотря на разногласия, учёные продолжали работать вместе. Скорее всего, Глушков боялся, что приоритет будет неверно отдан развитию нейрокомпьютеров, с помощью которых большинство задач, особенно прикладных, на тот момент решить было нельзя. То есть, он скорее ратовал за правильное распределение ресурсов, чем за прекращение работы над нейронными сетями. Кстати, разногласия Глушкова и Ивахненко касались актуального и на сегодняшний день противопоставления символьного подхода и коннекционизма. Представителей последнего в СССР называли сторонниками «недетерминистического» подхода (в терминах Ивахненко — «подхода самоорганизации») в противовес «детерминистическому» символьному подходу. Споры эти в СССР, как и на Западе, носили весьма ожесточённый характер.
Важным результатом, полученным Ивахненко, стало создание и развитие «Метода группового учёта аргументов» (МГУА), одного из первых в истории алгоритмов глубокого обучения. Как и для Якова Цыпкина, для Ивахненко самообучение распознающей системы обозначало «процесс автоматического, то есть проходящего без вмешательства человека, установления границы, разделяющей пространство входных сигналов и признаков на области, отвечающие отдельным образам». Уже в начале 1970-х годов Ивахненко и его коллегам удавалось обучать восьмислойные нейронные сети, в основе которых лежал искусственный нейрон, основанный на интерполяционном полиноме Колмогорова — Габора.
Некоторые исследователи на Западе примерно в то же время или несколько раньше Ивахненко обучали сети с одним промежуточным слоем. Например, этим занимались коллеги Розенблатта Сэм Виглион (Sam S. Viglione) и Роджер Дэвид Джозеф (Roger David Joseph), в честь которых получил своё название алгоритм Джозефа — Виглиона. Однако сети Ивахненко, содержащие восемь слоёв, явно опережали своё время. Впрочем, сами подходы, использованные им в МГУА и Виглионом с Джозефом, отдалённо напоминают друг друга. Алгоритм Джозефа — Виглиона шаг за шагом генерирует и оценивает двухслойные нейронные сети с прямым распространением, автоматически идентифицируя небольшие подмножества признаков, которые обеспечивают лучшую классификацию примеров из обучающей выборки. Полученные сети затем подвергаются валидации (проверке) на части данных, не включенных в обучающую выборку. В МГУА в нейронную сеть на каждом шаге добавляются дополнительные слои, обучаемые с использованием регрессионного анализа (таким образом, МГУА восходит к методам, разработанным ещё в XIX веке в работах Лежандра и Гаусса). Затем применяется процедура сокращения слоя. Для этого точность предсказаний каждого из нейронов оценивается при помощи валидационной выборки, а затем наименее точные нейроны удаляются.
Книга «Предсказание случайных процессов», написанная Ивахненко в соавторстве с Валентином Лапой и увидевшая свет в 1969 году, стала своеобразным компендиумом техник, исследовавшихся советскими коннекционистами, а книга 1971-го года «Системы эвристической самоорганизации в технической кибернетике» содержит не только подробное описание МГУА, но и множество примеров его применения для решения прикладных задач. В этой книге Ивахненко писал:
«Уже в 1990-м году кибернетические системы автоматизированного управления производством (в масштабе завода, отрасли и всей страны) сократят потребность в рабочей силе на 50%, то есть, рабочая неделя может быть снижена до трёх рабочих дней».
Удивительно, как Ивахненко удалось угадать важнейшие тренды в развитии вычислительной техники!
Скриншот из книги с предполагаемой хронологией достижений ИИ.
Ивахненко А.Г., Лапа В.Г. «Предсказание случайных процессов», издательство «Наукова думка», 1971 г..
В его книге можно увидеть и грядущее торжество персональных компьютеров, и триумфальное шествие интернета, и даже тенденцию на всё более тесное сращивание человека с машиной, ярко проступившую в эпоху смартфонов и носимых устройств. Кстати, у уже упоминавшегося нами Александра Кронрода, советского теоретика искусственного интеллекта, в книге «Беседы о программировании» затронута даже тема бессмертия, которой посвящена целая глава. Автор говорит, что старение — это «чужеродный, посторонний организму процесс», и далее излагает концепцию запрограммированного старения. Сторонниками этой идеи являются многие современные трансгуманисты.
Хотя нейросетевые модели наших дней, лежащие в основе новой коннекционистской весны, лишь отдалённо похожи на сети, построенные при помощи МГУА, именно данный метод в некоторой степени стал поворотным пунктом в коннекционистских исследованиях. Исследователями в полной мере был осознан тот факт, что обучение глубоких нейронных сетей в принципе возможно, и что именно их использование может обеспечить прорывные результаты в решении тех или иных задач машинного обучения. Многие работы Ивахненко и его коллег были переведены на английский язык, и отсылки к ним мы можем увидеть в современных работах по глубокому обучению. Метод группового учёта аргументов используется исследователями и в наши дни, хотя занимается им лишь небольшое количество специалистов на территории бывшего СССР и в «дальнем зарубежье». Кстати, несмотря на непопулярность метода, его реализация даже есть на гитхабе.
«Метод без названия» от Александра Галушкина
В августе 1974-го года тиражом 8 000 экземпляров вышла книга Александра Ивановича Галушкина, тогда — сотрудника МФТИ, под названием «Синтез многослойных систем распознавания образов». С точки зрения современной терминологии название книги можно понимать как «Обучение многослойных нейронных сетей». Книга Галушкина стала первым систематическим изложением идей учёного, развитых им и его коллегами в предшествующие годы.
Москва: Энергия, 1974
Первые публикации Галушкина на тему создания и обучения многослойных нейронных сетей относятся к 1971—1973 годам. Учёный прекрасно знал о работах западных коннекционистов. Полюбуйтесь списком систем распознавания образов, который приводит Галушкин в своей книге: Mark-I, Mark-II, Papa, Kybertron, Altron, Konflex, Albert-1, Adalin, Madalin, Minos-2, Illiak-2, Illiak-3, Tobermory, GHILD, Astropower, Adapt-1, Adapt-2, DSK, Ziklop-1, Simisor, Auditran, Shubocs, Gaku и др.
Галушкин рассматривает использование в нейронных сетях функций активации, отличных от функции Хевисайда и сигнума (обозначается «sgn», функция знака, имеющая три возможных значения: 0, 1 и −1). Необходимость применения функций с континуумом решений у Галушкина обосновывается следующим образом:
«Экспериментальное исследование данного алгоритма показало, что скорость сходимости при нахождении некоторой локальной моды мала, и причиной этого является применение в многослойной системе распознавания с двумя решениями, которые в значительной степени «загрубляют» информацию о градиенте функционала вторичной оптимизации при квантовании входного сигнала. В связи с этим основным предметом исследования являлась двухслойная система распознавания, по структуре подобная описанной выше, но состоящая из линейно-пороговых элементов с континуумом решений».
В итоге выбор автора останавливается на арктангенсе, умноженном на 2/π для приведения значений функции к диапазону (−1;1). График арктангенса, как и график популярных в наши дни логистической функции и гиперболического тангенса, является сигмоидой.
Галушкин рассматривает задачу обучения нейронной сети в качестве задачи градиентного спуска. Он применяет цепное правило для вычисления градиента, подробно рассматривает случай обучения сетей с двумя обучаемыми слоями, а также коротко показывает, как следует решать задачу в случае многослойных сетей и сетей с рекуррентными связями, но не даёт используемому им методу какого-либо собственного названия. При этом вопрос конкретной топологии сетей в книге практически не затрагивается, зато уделено внимание сетям с переменным числом слоёв: Галушкин описывает подход, напоминающий МГУА с послойным обучением и постепенно наращиваемыми слоями. Автор также приводит результаты множества экспериментов по обучению сетей с различными параметрами процесса обучения, стремясь оценить их влияние на сходимость модели. Кроме математических моделей, Галушкин совместно с В. Х. Наримановым ещё в начале 1970-х годов сконструировал собственную версию аппаратного перцептрона.
Александр Иванович Галушкин продолжал работу над нейросетевыми технологиями до самого конца своей жизни и был одним из наиболее ярких лидеров этого направления в Советском союзе, а затем и в России, на протяжении более чем сорока лет. В 2007 году издательство Springer Science & Business Media выпустила книгу Галушкина «Теория нейронных сетей» [Neural Networks Theory] на английском языке с вводными словами Лотфи Заде, Сюнъити Амари и одного из знаменитых пионеров нейросетевого подхода Роберта Хехта-Нильсена (Robert Hecht-Nielsen, 1947—2019). В новом тысячелетии работы Галушкина неоднократно выходили в международных научных изданиях и оказали влияние на состояние современной нейросетевой науки.
Терминология имеет значение
В те годы и в западном, и в советском мире нейроны не называли нейронами: у Розенблата в «Принципах нейродинамики» они называются модулями (units), а то, что мы сейчас знаем как «нейросети», в советской традиции имело несколько других названий. Многослойный перцептрон (multilayer perceptron) у Ивахненко назывался многорядным, вместо нейронов учёный использовал термин «переменные», вместо сети — «фильтр». У Галушкина сеть называлась «системой распознавания», нейрон — «линейно-пороговым элементом», а обученная сеть (то есть сеть, предназначенная только для выполнения [inference]) — «сетью с разомкнутым контуром». Почему учёные старались не использовать слово «нейрон»? А потому, что это отсылка к биологическому прототипу — нейрону в коре головного мозга. Слои — это тоже вполне нейробиологический термин, унаследованный от слоёв клеток коры головного мозга, поэтому у Ивахненко перцептрон — многорядный.
Тенденции «биологизаторства» в СССР противостояли философы. Они видели в его проявлении редукционизм, сведение системы более высокой ступени организации к системе более низкой ступени. Точно так же, как жизнь человека нельзя свести к одним лишь биологическим процессам, нельзя даже в далёком приближении приравнивать вычислительную модель к реальному нейрону. Такая тенденция была характерна и для западной школы, но для советской школы она была более ярко выражена. Учёные подвергались большому давлению со стороны философов, которые критиковали любую попытку назвать какой-то технический предмет термином из арсенала биологов. Да и сами коннекционисты боялись повторять в названиях имена биологических прототипов, потому как это могло не только ввести людей в заблуждение, но и в ряде случаев исказить представление о самой научной работе. К счастью, табу на слово «нейроны» в информатике не помешало учёным вести исследования в области нейронных сетей.
Другой термин, достойный внимания — это «техническая кибернетика». Учёные, занимавшиеся вычислительной техникой в 1960-х, после смерти Норберта Винера не продолжили ассоциировать себя с кибернетикой. В Советском союзе же, вопреки распространённому мнению, что она была запрещена, кибернетика расцветала. Гонения на неё продолжались всего несколько месяцев, до момента, когда признанный специалист в области кибернетики, инженер-полковник Анатолий Китов написал статью «Основные черты кибернетики». Парадоксальным образом Советский союз стал центром мировой кибернетики. Когда в 60—70-ые годы у нас говорили об этой области, на Западе среди информатиков о ней уже мало кто вспоминал. Причём развивалась именно техническая кибернетика. Предметную область так назвали, чтобы отмежеваться от винеровского понятия кибернетики, которое подразумевало применение её техник в социальных науках. Техническая кибернетика изучала только технические системы управления.
***
Советская коннекционистская традиция, в отличие от западной, была непрерывной. И Галушкин, и Ивахненко занимались своими разработками до последнего времени (Александр Галушкин умер несколько лет назад, а Алексей Ивахненко — в начале 2000-х). Да и их коллеги в других институтах продолжали исследования в области коннекционизма. Правда, бюджеты, выделяемые на это направление, были довольно скромны, так как оно не считалось мейнстримным (появились другие, более перспективные направления, перетянувшие на себя основную часть ресурсов; к их числу относились базы знаний, функциональное и логическое программирование, экспертные системы, обработка естественного языка на основе регулярных грамматик и т. д.).
Из-за того, что советские коннекционисты работали с маленькими бюджетами, им не удалось достичь быстрого прогресса, как на Западе в 1980-е. Несмотря на то, что советские учёные благодаря работам Галушкина были знакомы с методом обратного распространения ошибки уже в 1970-е годы, это не привело к появлению крупных прикладных проектов в области нейронных сетей, подобных созданию системы распознавания рукописных почтовых индексов в США. С другой стороны, не было и периода полной приостановки исследований в области искусственных нейронных сетей.
Непросто, пожалуй, найти в истории науки другой подход, для утверждения которого потребовались бы столь длительные и повторяющиеся усилия такого количества учёных, работавших зачастую в изоляции друг от друга. И всё-таки в итоге лёд тронулся, и нейронные сети возвратились в область видимости основного направления науки.