Фон нейман что открыл в информатике
Принципы построения и работы ЭВМ Джона фон Неймана
Человек, сформулировавший знаменитые принципы фон Неймана, родился в 1903 г. в Будапеште. Выходец из еврейской семьи, Янош Лайош Нейман, с детства проявлял задатки будущего математика, физика, химика.
В 30-х годах преподавал в Германии под именем Иоганна фон Неймана. Расцветающий нацизм и приглашение от американцев подтолкнули молодого ученого к решению перебраться в США. Там он окончательно стал Джоном.
Работал в Принстоне, в университете и Институте перспективных исследований. Одно время там же работал по близкой тематике Алан Тьюринг. Один из создателей информатики в современном виде. Повлияли ли на Джона работы последнего, достоверно неизвестно.
Принципы Джона фон Неймана
Ученый был специалистом широкого профиля, но в историю вошел как создатель новационной архитектуры компьютера. Радикально нового с тех пор не придумали.
Понятие «архитектура» означает необходимую организацию «железа» и программ для оптимального решения задач. При этом учитываются финансовые затраты, область приложения, функционал, комфортность в работе.
Не стоит путать со «структурой». Последняя не столь глобально описывают внутренние связи. Уточняет взаимодействие деталей устройства.
Идея возникла, когда фон Нейман занялся анализом недостатков первой электронной машины ENIAC (1944 г.). Сделанные ранее в Германии образцы были электромеханическими, на реле.
Концепция создания усовершенствованной ЭВМ EDVAC была представлена в 1946 г. Новшество заключалось в следующем:
Утверждается двоичная система счисления как наиболее логичная и простая для реализации в компьютере. В дальнейшем нововведение дало возможность работать не только с цифрами, но и с текстами, графикой, видео / звуком.
Для проведения операций используется программа, включающая выполняемые одна за другой команды. Последняя в последовательности сигнализирует об окончании процесса. В нашем понимании – это программирование.
Программы и данные размещаются в памяти ЭВМ, преобразовываясь в двоичный код (см. п. 1). Производимые над ними операции схожи, соблюдается однородность. Машина самостоятельно корректировала программу сообразно запрошенным операциям.
Ячейкам памяти присваиваются конкретные адреса. Таким образом вводятся переменные.
Команды могут исполняться не только последовательно, но допускается переход с соблюдением условия. Так, например, может запускаться циклическая обработка данных.
Качественным улучшением по сравнению с ЭНИАКом стала легкость загрузки программ. Последние больше не являлись компонентом устройства и без труда менялись.
Принцип построения и работы ЭВМ фон Неймана
Заносимые в память команды (программа) содержат информацию о необходимом действии и адреса требуемых данных. Также вводятся идентификатор ячейки для введения память результата (если нужно).
АЛУ отвечает за исполнение команды. Итог операции отправляется в память или на вывод. ВЗУ сходно с устройством вывода тем, что используется для недолгого хранения параметров. Только содержит информацию в непонятном для оператора формате. Исключительно для машины.
Если кратко, основной функцией АЛУ является поддержка незатейливых действий: арифметических, логических, перемещением данных. Еще анализируется результат. Решения по анализу принимаются УУ.
УУ предназначено для отправки указаний непосредственно отдельным деталям и получения от них подтверждений. Следит за очередностью выполнения команд и за их исполнением вообще.
Заключение
Фон Нейман привнес неоценимые новшества в создание машин электронного класса. Благодаря придуманной им схеме, улучшенный калькулятор (каковым являлся ЭНИАК) превратился со временем в инструмент обработки любой информации. При этом их «железный» состав изменился слабо. Электронные лампы, например, заменили на полупроводники.
УУ и АЛУ скомпоновали в моноблочный центральный процессор. Значительные качественные изменения претерпело ОЗУ. Возрос объем. Гораздо удобней стали аппараты ввода и вывода. Но принципиальных подвижек пока нет.
С другой стороны, заслуги представляются несколько преувеличенными. Основы «принципов» рождались в результате дискуссий с коллегами. Но в опубликованных итогах оказалась одна фамилия. Но безусловна роль фон Неймана как систематизатора. А на титул первооткрывателя он и не претендовал.
ДЖОН ФОН НЕЙМАН СОЗДАТЕЛЬ АРХИТЕКТУРЫ ЭВМ
Джон фон Нейман (von Neumann) (1903 — 57) — американский математик. Внес большой вклад в создание первых ЭВМ и разработку методов их применения.
В возрасте 20—30 лет, занимаясь преподавательской работой в Германии, он внес значительный вклад в развитие квантовой механики — краеугольного камня ядерной физики, и разработал теорию игр — метод анализа взаимоотношений между людьми, который нашел широкое применение в различных областях, от экономики до военной стратегии. На протяжении всей жизни он любил поражать друзей и учеников своей способностью производить в уме сложные вычисления. Он делал это быстрее всех, вооруженных бумагой, карандашом и справочниками. Когда же фон Нейману приходилось писать на доске, он заполнял ее формулами, а потом стирал их настолько быстро, что однажды кто-то из его коллег, понаблюдав за очередным объяснением, пошутил: «Понятно. Это доказательство методом стирания».
Джон фон Нейман наиболее известен как человек, с именем которого связывают архитектуру большинства современных компьютеров (так называемая архитектура фон Неймана), применение теории операторов к квантовой механике (алгебра фон Неймана).
Фон Нейман получил степень доктора философии по математике (с элементами экспериментальной физики и химии) в университете Будапешта в 23 года.
В 1930 году фон Нейман был приглашён на преподавательскую должность в американский Принстонский университет.
Был одним из первых приглашённых на работу в основанный в 1930 году научно-исследовательский Институт перспективных исследований, также расположенный в Принстоне, где с 1933 года и до самой смерти занимал профессорскую должность.
Интерес фон Неймана к компьютерам в какой-то степени связан с его участием в сверхсекретном Манхэттенском проекте по созданию атомной бомбы, который разрабатывался в Лос-Аламосе, шт. Нью-Мексико. Там фон Нейман математически доказал осуществимость взрывного способа детонации атомной бомбы. Теперь он размышлял о значительно более мощном оружии — водородной бомбе, создание которой требовало очень сложных расчетов.
Однако фон Нейман понимал, что компьютер — это не больше, чем простой калькулятор, что — по крайней мере потенциально — он представляет собой универсальный инструмент для научных исследований. В июле 1954 г., меньше чем через год после того, как он присоединился к группе Моучли и Эккерта, фон Нейман подготовил отчет на 101 странице, в котором обощил планы работы над машиной EDVAC. Этот отчет, озаглавленный «Предварительный доклад о машине EDVAC» представлял собой прекрасное описание не только самой машины, но и ее логических свойств. Присутствовавший на докладе военный представитель Голдстейн размножил доклад и разослал ученым как США, так и Великобритании.
Благодаря этому «Предварительный доклад» фон Неймана стал первой работой по цифровым электронным компьютерам, с которым познакомились широкие круги научной общественности. Доклад передавали из рук в руки, из лаборатории в лабораторию, из университета в университет, из одной страны в другую. Эта работа обратила на себя особое внимание, поскольку фон Нейман пользовался широкой известностью в ученом мире. С того момента компьютер был признан объектом, представлявшим научный интерес. В самом деле, и по сей день ученые иногда называют компьютер «машиной фон Неймана».
Читатели «Предварительного доклада» были склонны полагать, что все содержащиеся в нем идеи, в частности, принципиально важное решение хранить программы в памяти компьютера, исходили от самого фон Неймана. Мало кто знал, что Моучли и Эккерт говорили о программах, записанных в памяти, по крайней мере за полгода до появления фон Неймана в их рабочей группе; большинству неведомо было и то, что Алан Тьюринг, описывая свою гипотетическую универсальную машину, еще в 1936 г. наделил ее внутренней памятью. В действительности, фон Нейман читал классическую работу Тьюринга незадолго до войны.
В 1936—1938 годах Алан Тьюринг защищал в институте под руководством Алонзо Чёрча докторскую диссертацию. Это случилось вскоре после публикации в 1936 году статьи Тьюринга «О вычислимых числах в применении к проблеме разрешимости» (англ. On Computable Numbers with an Application to the Entscheidungs problem), которая включала в себя концепции логического проектирования и универсальной машины. Фон Нейман, несомненно, был знаком с идеями Тьюринга, однако неизвестно, применял ли он их в проектировании IAS-машины десять лет спустя.
Будучи экспертом в математике ударных волн и взрывов во время Второй мировой войны фон Нейман работал консультантом Лаборатории баллистических исследований (Army Ballistics Research Laboratory) Управления боеприпасов Армии США. По приглашению Оппенгеймера Фон Нейман был привлечен к работе в Лос-Аламосе над Манхеттэнским проектом начиная с осени 1943 года, где он работал над расчетами сжатия плутониевого заряда до критической массы путем имплозии.
Расчеты по этой задаче требовали больших вычислений, которые поначалу осуществлялись в Лос-Аламосе ручных калькуляторах, потом на механических табуляторах IBM 601, где использовались перфокарты. Фон Нейман, свободно разъезжая по стране, собирал информацию из разных источников о текущих проектах по созданию электронно-механических (Bell Telephone Relay-Computer, компьютер Mark I Говарда Айкена в Гарвардском университете использовался Манхеттенским проектом для расчетов весной 1944 г.) и полностью электронных компьютеров (ENIAC использовался в декабре 1945 года для расчетов по проблеме термоядерной бомбы).
Фон Нейман помогал в разработке компьютеров ENIAC и EDVAC, внес вклад в развитие науки о компьютерах в своей работе «Первый проект отчёта о EDVAC», где представил научному миру идею компьютера с программой хранимой в памяти. Эта архитектура до сих пор носит название архитектуры фон Неймана, и долгие годы реализовывалась во всех компьютерах и микропроцессорах.
После окончания войны фон Нейман продолжил работу в этой области, разрабатывая высокоскоростной исследовательский компьютер IAS-машину в Принстонском университете, который предполагалось использовать для ускорения расчетов по термоядерному оружию.
Первый успешный численный прогноз погоды был произведен в 1950 году с использованием компьютера ENIAC командой американских метеорологов совместно с Джоном фон Нейманом.
Умер фон Нейман в возрасте 54 лет от саркомы.
В честь Фон Неймана был назван компьютер JOHNNIAC, созданный в 1953 году в Корпорации RAND.
Нейман Джон
Содержание
Биография
Достижения
Первая работа фон Неймана по аксиоматической теории множеств вышла в свет в 1923 году. Она называлась «К введению трансфинитных ординальных чисел». Она была опубликована в трудах Сегедского университета. Фон Нейман разработал свою систему аксиом и изложил ее в докторской диссертации и двух статьях. Диссертация сильно заинтересовала А. Френкеля, которому поручили отрецензировать ее. Несмотря на то, что он не смог разобраться в ней полностью, он пригласил к себе фон Неймана. Он Френкель попросил его написать популярную статью, в которой излагались бы новый подход к проблеме и следствия, извлекаемые из его. Фон Нейман написал такую работу, назвав ее «К вопросу об аксиоматическом построении теории множеств». Она была опубликована в 1925 году а «Journal fuer Mathematik». Фон Нейман построил замечательную систему аксиом теории множеств, такую же простую, как гильбертовая для евклидовой геометрии. Система аксиом фон Неймана занимает немногим более одной страницы печатного текста. В 1925 фон Нейман получает диплом инженера-химика в Цюрихе и успешно защищает диссертацию «Аксиоматическое построение теории множеств» на звание доктора философии в Будапештском университете. Молодой доктор отправляется совершенствовать свои знания в Геттингенский университет, где в то время читали лекции люди, чьи имена стали гордостью науки: К. Рунге, Ф. Клейн, Э. Ландау, Д. Гильберт, Э. Цермело, Г. Вейль, Г. Минковский, Ф. Франк, М. Борн и другие. Приглашенными лекторами были Г. Лоренц, Н. Бор, М. Планк, П. Эренфест, А. Пуанкаре, А. Зоммерфельд.
В период 1927 по 1929 годы фон Нейман выполнил основополагающие работы трёх больших циклов: по теории множеств, теории игр и математическому обоснованию квантовой механики.
В 1927 фон Нейман написал статью «К гильбертовой теории доказательства». В ней он исследовал проблему непротиворечивости математики.
В 1928 фон Нейман написал работу «К теории стратегических игр», в которой доказал теорему о минимаксе, ставшей краеугольным камнем возникшей позже теории игр. В своей теореме фон Нейман рассматривает ситуацию, когда двое играют в игру, по правилам которой вигрыш одного игрока равен проигрышу другого. При этом каждый игрок может выбирать из конечного числа стратегий. При этом игрок считает, что противник действует наилучшим для себя образом. Теорема фон Неймана утверждает, что в такой ситуации существует «устойчивая» пара стратегий, для которых минимальный проигрыш одного игрока совпадает с максимальным выигрышем другого. Устойчивость стратегий означает, что каждый из игроков, отклоняясь от оптимальной стратегии лишь ухудшает свои шансы и, ему приходится вернуться к оптимальной стратегии.
Фон Нейман доказал эту теорему, обратив внимание на её связь с теорией неподвижных точек. Позже были найдены доказательства, использующие теорию выпуклых множеств. В работе «Об определении через трансфинитную индукцию и родственных вопросах общей теории множеств»(1928), фон Нейман вновь возвращается к проблеме введения ординальных чисел, и дает строгое аксиоматическое изложение теории.
В работе «Об одной проблеме непротиворечивости аксиоматической теории множеств» фон Нейман показал, что одна из «нетрадиционных» аксиом в предложенной им системе выводима из аксиом других систем. Поскольку обратная выводимость была доказана раньше, то результат означал, что его «необычная» аксиома эквивалентна обычным в других системах.
В 1929 году фон Нейман пишет работу «Общая спектральная теория эрмитовых операторов».
В 1929 году фон Нейман получает приглашение прочитать в течении одного семестра цикл лекций в Принстонском университете. В США фон Нейман впервые оказался в 1930 году. Вскоре после приезда Иоганн фон Нейман для многих коллег становится просто Джонни. В 1931 году фон Нейман окончательно расстается с Гамбургским университетом, чтобы принять профессуру в Принстоне.
В 1934 году выходит в свет статья «Об алгебраическом обобщении квантовомеханического формализма», написанная в соавторстве с П. Иорданом и Е. Вигнером.
Незадолго до первого визита в Принстон фон Нейман женился на Мариэтте Кевуши, а в 1935 году у них родилась дочь Марина.
В 1936 фон Нейман совместно с Дж. Биркгофом пишет статью «Логика квантовой механики».
Первыми профессорами Института высших исследований в Принстоне стали Освальд Веблен (в 1932 году) и Альберт Эйнштейн (1933). В том же 1933 этой высокой чести был удостоен и Джон фон Нейман.
Нейман и ЭВМ
Фон Нейман много работал над самовоспроизведением автоматов и смог доказать возможность самовоспроизвдения конечного автомата, обладавшего 29 внутренними состояниями.
Во второй половине 1930-х годов совместно с Ф. Дж. Мюрреем Нейман опубликовал ряд работ по кольцам операторов, положив начало так называемой алгебре Неймана, которая впоследствии стала одним из главных инструментов для квантовых исследований. В 1937 Нейман принял гражданство США. Во время Второй мировой войны служил консультантом в атомном центре в Лос-Аламосе, где рассчитал взрывной метод детонации ядерной бомбы и участвовал в разработке водородной бомбы. В марте 1955 стал членом американской комиссии по атомной энергии.
Из 150 трудов Неймана лишь 20 касаются проблем физики, остальные же равным образом распределены между чистой математикой и ее практическими приложениями, в том числе теорией игр и компьютерной теорией.
Нейману принадлежат новаторские работы по компьютерной теории, связанные с логической организацией компьютеров, проблемами функционирования машинной памяти, имитацией случайности, проблемами самовоспроизводящихся систем. В 1944 Нейман присоединился к группе Мокли и Эккерта, занятой созданием машины ENIAC, в качестве консультанта по математическим вопросам. Тем временем в группе началась разработка новой модели, EDVAC, которая, в отличие от предыдущей, могла бы хранить программы в своей внутренней памяти. В 1945 Нейман опубликовал «Предварительный доклад о машине EDVAC», в котором описывалась сама машина и ее логические свойства. Описанная Нейманом архитектура компьютера получила название «фон Неймановской», и таким образом ему было приписано авторство всего проекта. Это вылилось впоследствии в судебное разбирательство о праве на патент и привело к тому, что Эккерт и Мокли покинули лабораторию и основали собственную фирму. Тем не менее «архитектура фон Неймана» была положена в основу всех последующих моделей компьютеров. В 1952 Нейман разработал первый компьютер, использующий программы, записанные на гибком носителе, MANIAC I.
Секретом успеха Неймана иногда считают его «аксиоматический метод». Он рассматривал предмет, сконцентрировавшись на его основных свойствах (аксиомах), из которых вытекает все остальное.
Одной из утопических идей Неймана, для разработки которой он предлагал использовать компьютерные расчеты, было искусственное потепление климата на Земле, для чего преполагалось покрыть темной краской полярные льды чтобы уменьшить отражение ими солнечной энергии. Одно время это предложение всерьез обсуждалось во многих странах. В 1956 Комиссия по атомной энергии наградила Неймана премией Энрико Ферми за выдающийся вклад в компьютерную теорию и практику.
Многие идеи фон Неймана ещё не получили должного развития, например, идея о взаимосвязи уровня сложности и способности системы к самовоспроизведению, о существовании критического уровня сложности, ниже которого система вырождается, а выше обретает способность к самовоспроизведению. В 1949 выходит работа «О кольцах операторов. Теория разложения».
Джон фон Нейман был удостоен высших академических почестей. Он был избран членом Академии точных наук (Лима, Перу), Академии деи Линчеи (Рим, Италия), Американской академии искусств и наук, Американского философского общества, Ломбардского института наук и литературы, Нидерландской королевской акдаемии наук и искусств, Национальной академии США, почетным доктором многих университетов США и других стран.
Принципы фон Неймана (Архитектура фон Неймана)
В 1946 году Д. фон Нейман, Г. Голдстайн и А. Беркс в своей совместной статье изложили новые принципы построения и функционирования ЭВМ. В последствие на основе этих принципов производились первые два поколения компьютеров. В более поздних поколениях происходили некоторые изменения, хотя принципы Неймана актуальны и сегодня.
По сути, Нейману удалось обобщить научные разработки и открытия многих других ученых и сформулировать на их основе принципиально новое.
Принципы фон Неймана
Самым главным следствием этих принципов можно назвать то, что теперь программа уже не была постоянной частью машины (как например, у калькулятора). Программу стало возможно легко изменить. А вот аппаратура, конечно же, остается неизменной, и очень простой.
Для сравнения, программа компьютера ENIAC (где не было хранимой в памяти программы) определялась специальными перемычками на панели. Чтобы перепрограммировать машину (установить перемычки по-другому) мог потребоваться далеко не один день. И хотя программы для современных компьютеров могут писаться годы, однако они работают на миллионах компьютеров после несколько минутной установки на жесткий диск.
Как работает машина фон Неймана
Программы и данные вводятся в память из устройства ввода через арифметико-логическое устройство. Все команды программы записываются в соседние ячейки памяти, а данные для обработки могут содержаться в произвольных ячейках. У любой программы последняя команда должна быть командой завершения работы.
Команда состоит из указания, какую операцию следует выполнить (из возможных операций на данном «железе») и адресов ячеек памяти, где хранятся данные, над которыми следует выполнить указанную операцию, а также адреса ячейки, куда следует записать результат (если его требуется сохранить в ЗУ).
Арифметико-логическое устройство выполняет указанные командами операции над указанными данными.
Из арифметико-логического устройства результаты выводятся в память или устройство вывода. Принципиальное различие между ЗУ и устройством вывода заключается в том, что в ЗУ данные хранятся в виде, удобном для обработки компьютером, а на устройства вывода (принтер, монитор и др.) поступают так, как удобно человеку.
УУ управляет всеми частями компьютера. От управляющего устройства на другие устройства поступают сигналы «что делать», а от других устройств УУ получает информацию об их состоянии.
Управляющее устройство содержит специальный регистр (ячейку), который называется «счетчик команд». После загрузки программы и данных в память в счетчик команд записывается адрес первой команды программы. УУ считывает из памяти содержимое ячейки памяти, адрес которой находится в счетчике команд, и помещает его в специальное устройство — «Регистр команд». УУ определяет операцию команды, «отмечает» в памяти данные, адреса которых указаны в команде, и контролирует выполнение команды. Операцию выполняет АЛУ или аппаратные средства компьютера.
В результате выполнения любой команды счетчик команд изменяется на единицу и, следовательно, указывает на следующую команду программы. Когда требуется выполнить команду, не следующую по порядку за текущей, а отстоящую от данной на какое-то количество адресов, то специальная команда перехода содержит адрес ячейки, куда требуется передать управление.
Закат архитектуры фон Неймана, о котором вы еще не слышали и что будет дальше?
За последние тридцать лет компьютеры настолько стали популярны, что успели изменить многие процессы в жизни человека и соответственно общества. С каждым годом, согласно закону Мура, они приобретают все больше вычислительных способностей, что позволяет им решать все более сложные задачи. Уже сегодня компьютеры столкнулись с рядом ограничений, которые не позволяют нам решать задачи из фильмов про будущее. Так ли будет и дальше, есть ли предел у современной архитектуры и что нам делать, если такой стремительный рост в дальнейшем невозможен?
На изображении отладочная плата с расположенными чипами Loihi.
Классическая архитектура фон Неймана
“Бутылочное горлышко” архитектуры фон Неймана.
Все классические компьютеры обладают так называемой архитектурой фон Неймана.
Рис. 1. The decline of von Neumanns architecture
Недостатком такой архитектуры является тот факт, что данные из области памяти цикл за циклом должны передаваться в область вычислительного юнита и обратно. Интерфейс, связывающий вычислительный юнит и память компьютера, ограничен в своей пропускной способности. Даже тот факт, что современные процессоры имеют несколько уровней кэша непосредственно в вычислительном юните, не решает проблему. Данный подход усугубляется необходимостью аккумулировать и структурировать данные для полного заполнения буфера вычисляемых операций. Можно привести метафору с поездом: пока все пассажиры не займут именно свои места в поезде, поезд никуда не поедет.
Физические ограничения материалов
Согласно закону Мура, количество транзисторов удваивается примерно каждые два года при уменьшении стоимости их производства. Реализуется этот факт посредством уменьшения размера транзистора. Уменьшение размеров транзистора приводит нас к еще одному ограничению: их размеры обусловлены физическими свойствами материалов из которых они производятся.
Реалии представляются таким образом, что этот закон начинает испытывать давление со стороны “законов физики микромира”.
Рис. 2. Уменьшение размеров транзистора приводит к ошибкам в его производстве
Тут мы сталкиваемся сразу с несколькими сложностями:
Отказоустойчивость и брак в производстве
Задумывались ли вы, как производят младшие модели процессоров и чипов для видеокарт? Вы наверное подумаете, что есть специально выделенные команды, которые разрабатывают каждый год новый упрощенный чип. На самом деле процесс выглядит по-другому. Компания разрабатывает один максимально мощный чип. Его устройство выглядит, как некая повторяющаяся архитектура. Обратите внимание на то, что практически все элементы дублируются, как и в авиации.
Рис. 3. Блок схема процессора Xeon
Это сделано для того, чтоб в том случае, если в каком-то блоке выйдет из строя большое количество транзисторов из-за брака во время производства, этот блок можно было отключить, а процессор целиком остался в рабочем состоянии. Как вы понимаете, производство процессоров очень дорогое, и одна из причин этого большой процент брака. Процент брака кристаллов для 28-ядерных процессоров Intel Xeon составляет до 65 %. Если у конечного процессора не работает один из блоков памяти или одно из ядер не проходит TDP тест, его отключают, а процессор упаковывают в коробку “младшей модели”.
Подход хороший, но он требует отключения очень больших блоков: в случае отказа нескольких транзисторов, которых в одном ядре может быть семьсот миллионов. То есть отказ 0.000000001% транзисторов приводит к потере 10% и более производительности устройства.
Если предположить, что мы можем создавать блоки, основанные на ста транзисторах при количестве этих самых блоков более миллиона мы бы получили значительный прирост отказоустойчивости в чипе. Это значит, что при выходе из строя небольшого количества транзисторов мы бы теряли очень маленький процент блоков от их общего числа. Этот подход сильно бы удешевил стоимость производства, и топовый чип стоил бы уже не, как малолитражный автомобиль, а как хорошая рубашка.
Потребление электроэнергии и размер суперкомпьютеров
В современном мире, когда мобильный телефон обладает вычислительными способностями компьютера пятилетней давности и при этом работает от аккумулятора, нам кажется, что мы почти достигли предела в уменьшении потребления энергии компьютерами. Но, если мы сравним вычислительные способности суперкомпьютера IBM Summit, его размеры и потребляемые им объемы энергии с мозгом мыши, окажется, что он неимоверно большой и очень неэффективный.
Рис 4. IBM Power System AC922, IBM POWER9 22C 3.07GHz, NVIDIA Volta GV100, Dual-rail Mellanox
EDR InfiniBand, 2.41 million cores, 148.6 petaflops
Пиковая потребляемая мощность: 13 000 000 W
Размеры: 4,608 nodes * 0.2 m^3 = 920 m^3
Мозг мыши способен обрабатывать куда более сложные задачи при потреблении всего 1-5 ватт.
Online learning and continuous-flow
Тут хочется сказать больше об алгоритмах, нежели об архитектуре, хотя в данном контексте алгоритмы продиктованы архитектурой. Современный компьютер хорошо справляется с дискретными данными, когда есть, пускай и большое количество, но все же порционных, конечных, желательно целочисленных данных, тут он может себя проявить очень хорошо. Но вот, когда речь заходит о последовательностях, непрерывности, бесконечно малых или бесконечно больших значениях, тут мы пытаемся найти некое приближение. В результате мы интерпретируем наши данные в последовательность дискретных кадров, дробим, разделяем и обрабатываем каждый фрейм как нечто статическое и конечное.
Да, сейчас существуют различные подходы bi-directional soft attention (см. BERT) для того, чтобы связывать эти самые кадры в работе с языковыми моделями. Также современные подходы машинного обучения лишены возможности обучаться непосредственно в процессе решения поставленной задачи. Это все еще две различные задачи.
Параллелизм и масштабируемость
Возвращаясь к архитектуре фон Неймана, мы видим, что весь поток данных проходит через некий вычислительный центр, то есть по сути еще одно узкое горлышко. Количество ядер в современных чипах растет, но вслед за этим возникает и новая проблема: сперва данные нужно распараллелить, а после синхронизировать результаты. То есть, если у вас множество независимых входных сигналов и они не связаны между собой ни во времени, ни в контексте, множество ядер процессоров и ядер видеокарт хорошо справляются с этой задачей. Но в том случае, если у вас большой входной сигнал, то задача параллелизма вычислений, синхронизации результатов может занять большую часть этих самых вычислений.
Оригинал статьи
В следующей статье я рассказываю как решают все перечисленные сложности по средствам Neuromorphic архитектуры.