Мозги эволюционировали, чтобы делать больше с меньшими затратами. Возьмем крошечный мозг насекомого, который имеет менее миллиона нейронов, но демонстрирует разнообразие поведения и более энергоэффективен, чем существующие системы искусственного интеллекта. Эти крошечные мозги служат моделями вычислительных систем, которые становятся все более сложными по мере того, как миллиарды кремниевых нейронов могут быть реализованы на оборудовании.
Секрет достижения энергоэффективности заключается в способности кремниевых нейронов учиться общаться и формировать сети, как показали новые исследования лаборатории Шантану Чакрабартти, профессора Клиффорда У. Мерфи из Департамента электротехники и электротехники Престона М. Грина. Системная инженерия в Вашингтонском университете инженерной школы Маккелви в Сент-Луисе.
Их результаты были опубликованы 28 июля 2021 года в журнале Frontiers in Neuroscience .
В течение нескольких лет его исследовательская группа изучала подходы к динамическим системам, чтобы устранить разрыв в производительности нейронов и сетей и разработать план для систем ИИ, столь же энергоэффективных, как и биологические.
Предыдущая работа его группы показала, что в вычислительной системе нейроны с пиками создают возмущения, которые позволяют каждому нейрону «знать», какие другие нейроны вызывают пики, а какие реагируют. Это как если бы все нейроны были заключены в резиновый лист, образованный энергетическими ограничениями; одиночная рябь, вызванная всплеском, создаст волну, которая затронет их всех. Как и все физические процессы, системы кремниевых нейронов имеют тенденцию самооптимизироваться к своему наименее энергетическому состоянию, при этом на них также влияют другие нейроны в сети. Эти ограничения вместе образуют своего рода вторичную коммуникационную сеть, где дополнительная информация может передаваться через динамическую, но синхронизированную топологию пиков. Это похоже на то, как резиновый лист колеблется в синхронизированном ритме в ответ на множественные шипы.
В последнем исследовании Чакрабартти и докторант Ахана Гангопадхьяй показали, как нейроны учатся улавливать наиболее энергоэффективные возмущения и волновые структуры в резиновом листе. Они показывают, что если обучение направлено на разреженность (меньшая энергия), это похоже на то, что электрическая жесткость резинового листа регулируется каждым нейроном так, что вся сеть вибрирует наиболее энергоэффективным образом. Нейрон делает это, используя только локальную информацию, которая передается более эффективно. Связь между нейронами становится возникающим явлением, обусловленным необходимостью оптимизации использования энергии.
Этот результат может иметь важные последствия для того, как могут быть спроектированы нейроморфные системы искусственного интеллекта. «Мы хотим учиться у нейробиологии», - сказал Чакрабартти. «Но мы хотим иметь возможность использовать лучшие принципы нейробиологии и кремниевой инженерии».
Исторически сложилось так, что нейроморфная инженерия - моделирование систем искусственного интеллекта в биологии - была основана на относительно простой модели мозга. Возьмите несколько нейронов, несколько синапсов, соедините все вместе, и вуаля, он… если не живой, то по крайней мере он способен выполнять простую задачу (например, распознавать изображения) так же эффективно или даже более эффективно, чем биологический мозг. Эти системы построены путем соединения памяти (синапсов) и процессоров (нейронов), каждый из которых выполняет свою единственную задачу, как предполагалось, работающей в мозге. Но этот подход «одна структура к одной функции», хотя его легко понять и смоделировать, упускает из виду всю сложность и гибкость мозга.
Недавние исследования мозга показали, что задачи не так четко разделены, и могут быть случаи, когда одна и та же функция выполняется разными структурами мозга или несколькими структурами, работающими вместе. «Появляется все больше и больше информации, показывающей, что этот редукционистский подход, которому мы следовали, может быть неполным», - сказал Чакрабартти.
Ключом к созданию эффективной системы, способной учиться новому, является использование энергии и структурных ограничений в качестве среды для вычислений и коммуникаций или, как сказал Чакрабартти, «оптимизация с использованием разреженности».
Ситуация напоминает теорию шести степеней Кевина Бэкона: проблема - или ограничение - состоит в том, чтобы установить связь с актером, подключив шесть или меньше человек.
Чтобы нейрон, физически расположенный на одном кристалле, был наиболее эффективным: задача - или ограничение - выполнить задачу в пределах отведенного количества энергии. Для одного нейрона может быть более эффективным связываться через посредников, чтобы добраться до целевого нейрона. Проблема состоит в том, как выбрать правильный набор «дружественных» нейронов среди множества возможных вариантов. Введите энергетические ограничения и разреженность.
Подобно уставшему профессору, система, в которой энергия ограничена, также будет искать наименее стойкий способ выполнить поставленную задачу. В отличие от профессора, система искусственного интеллекта может протестировать все свои возможности одновременно, благодаря методам наложения, разработанным в лаборатории Чакрабартти, в которой используются методы аналоговых вычислений. По сути, кремниевый нейрон может пробовать все маршруты связи одновременно, находя наиболее эффективный способ подключения для выполнения поставленной задачи.
В данной статье показано, что сеть из 1000 кремниевых нейронов может точно определять запахи с помощью очень небольшого количества обучающих примеров. Долгосрочная цель - поиск аналогов в мозге саранчи, которая, как было доказано, хорошо разбирается в запахах. Чакрабартти сотрудничал с Барани Раманом, профессором кафедры биомедицинской инженерии, и Срикантом Сингаманени, профессором Лилиан и Э. Лайл Хьюз, факультет машиностроения и материаловедения, чтобы создать своего рода киборг-саранчу - человека с двумя мозгами. , кремниевый, соединенный с биологическим.
«Это был бы самый интересный и удовлетворительный аспект этого исследования, если и когда мы сможем соединить две области», - сказал Чакрабартти. «Не только физически, но и функционально».
