Обозначены две проблемы во взаимодействии символьных и коннекционистских архитектур

1. Вертикальная интеграция
вычислительных архитектур:
проблема медиатора
© Yehor Churilov 2016

2. Формулировки
1. Проблема архитектурного медиатора
Между разнообразиями состояний сенсорного уровня сознания и высших
когнитивных функций существует масштабный разрыв, который не может
быть эффективно закрыт только взаимодействием между двумя
архитектурными слоями и требует введения концептуально самостоятельного
архитектурного слоя.
2. Проблема высоты интеграционной платформы
Повышение мощности когнитивной способности требует повышения уровня
интегрированости архитектур

3. Немного матчасти
Символьный подход (SA)
• Оперирует чётко раздёленными
информационными объектами –
символами
• Операции: формальный
логический вывод, одни знаки из
других
• Выводится из языка или хорошо
коррелирует с ним
• Независим от носителя и
времени
Коннекционистский подход (CA)
• Знание - распределённое
состоянии сети
• Операции: самоорганизация
сети, динамика глобальных
состояний
• Хорошо соотносится с
аппаратом восприятия и
соответствующими задачами
• Зависим от носителя и от
времени (embodiment)
Сейчас существуют два доминирующих подхода к представлению знания и построению ИИ:
1) символьный или когнитивистский против 2) эмерджентного или коннекционистского*.

4. Причины и мотивы гибридизации
в искусственных системах
Мотивы
1. Компенсировать текущие или
принципиальные недостатки отдельных
подходов
2. Уменьшить совокупную сложность
3. «Переиспользование кода» - уменьшение
затрат на теорию и имплементацию
4. Биологическая адекватность
5. Управлять большим разнообразием
символьных репрезентаций, чем
позволяют чисто символьные архитектуры
6. Лучше понимать когнитивные системы,
чем позволяют чисто коннекционистские
архитектуры
7. Достичь функциональной целостности,
необходимость в которой понимается
осознанно или интуитивно
Причины
1. Изначально нехолистичный подход к
исследованию и реализации когнитивных
систем (психология/cognitive science vs
нейробиология)
2. Неустранимые ограничения в знании и
понимании мозга и сознания,
соответственно – доступность только
частных представлений и реализаций
3. Неравномерное развитие исследований и
технологий
4. Изначальное доминирование
логицистических представлений,
символьного подхода
5. Нехватка вычислительных и/или
организационных мощностей для
реализации

5. Классификация гибридных систем*
a) Unified hybrid systems - использования чисто
коннекционистских систем для реализации в том
числе символьных моделей. Ранние эксперименты с
локалистскими представлениями, “radical
connectionism” [Dorffner 1996]
b) Transformational hybrid systems, они же unified
systems – отдельно сетка отдельно символьный
процессор, между ними транспорт данных.
“Function-replacing” [Goonatilake and Khebbal 1995].
Федерирование систем, в терминах ISO 14258
c) Modular hybrid systems – сложное взаимодействие
модулей с различными архитектурами, с обратными
связями между ними
* Согласно McGarry K. et al - Hybrid Neural Systems. From Simple Coupling to
Fully Integrated Neural Networks, 1999.

6. Для организма любая когнитивная функция
целостна в плане исполнения. «Гибридов» нет*
* Такое определение зависит от рамок системы и качества различения. Для локальных целей данного
изложения вводится противопоставление «негибридной» естественной и «гибридных» искусственных систем.

7. Вертикальнаяинтеграцияв случаекогнитивныхсистем
Верхний уровень
Средний уровень
Нижний Уровень
«Вертикальная» ось – это ось различения
уровней абстракции состояний, от большого
разнообразия сигналов или действий внизу, до
малого разнообразия необходимых целевых
результатов вверху.
«Горизонтальная» ось – это ось совмещения
компонентов одного операционного масштаба.
Количество уровней скорее прагматический
выбор и зависит от необходимости и
возможности управлять процессом
преобразования сигналов. Каждый уровень
обозначает совокупность операций некоторого
порядка, имеющие близкий жизненный цикл,
сходного масштаба данные и пр.
Вертикально интегрированная система – это целостная реализация некой когнитивной функции «снизу доверху».
В гибридных системах такая диспозиция существует по факту, но концептуально не определяется.
North
South

8. Символьные
архитектуры
Медиаторы?
Коннекционистские
архитектуры
Символьные архитектуры оперируют наиболее
обобщёнными состояниями: символами,
взятыми из языка или формальных систем.
Нейросети могут иметь дело с большим
разнообразием, аналогично перцептивному
аппарату животных и человека.
Гибридные системы объединяют эти подходы
каким-то образом. (В EntArch нет концепции
«гибридов», есть south-bound architectures, north-
bound architectures, enterprise bus. Бизнес
понимается лучше?)
«Медиаторы» здесь выделены, но в
современной науке и инженерии никак особым
образом не оформляются. По факту, state-of-the-
art это двухуровневая архитектура. См. дальше.
Вертикальнаяинтеграцияв случаекогнитивныхсистем
Высшие представления и функции
Первичные восприятия

9. Полная модель вертикально-интегрированной архитектуры
Символьные
архитектурыМедиаторы?
Коннекционистские
архитектуры
Направление уменьшения разнообразия
Системы «чисто на
нейросетях»
CA машина человек
«Чисто» символьные
системы
SA машиначеловек
тут провал
Расширив границы когнитивной системы, получим целостный архитектурный инвариант с отдельными
делегируемыми частями, различными в той или иной реализации
Гибридные системы SA машинаCA машина smth

10. Тезисы о целостной архитектуре
1. Необходимость воплощения. Приближение уровня когнитивной способности
искусственного агента к уровню человека требует воплощения (embodiment) ИА в
среде с эффективным разнообразием, сравнимым со средой человеческого
социума в некоторой сумме
2. Доминирование коннекционизма. Необходимость интенсивной вычислительной
работы с высочайшим уровнем разнообразия состояний ведёт к тому, что
коннекционистский подход будет превалировать. ANN – это частный случай
коннекционистской вычислительной модели
3. Неустранимость символьного подхода. Человек мыслит символами, потому для
человеко-машинного взаимодействия символьные архитектуры не могут быть
исключены из стека. BCI тут помогут только отчасти, т.к. передача распределённых
состояний не исключает и не отключает рацио, нуждающегося в символам
4. Наличие масштабного разрыва. Символьные архитектуры стремятся оперировать
разнообразием O(mind), тогда как коннекционистские архитектуры стремятся к
пределу O(brain). Очевидно, что O(mind) << O(brain), и это указывает на наличие
масштабного разрыва.
5. Необходимость архитектурного медиатора. Увеличение когнитивной способности
вертикально интегрированных архитектур потребует введения как минимум ещё
одного концептуально-обособленного уровня управления разнообразием,
который закроет этот масштабный разрыв.

11. К формулировке проблем
вертикальной интеграции
Mind здесь понимается в терминах логического
позитивизма, как процессор языка
Brain – в терминах физикализма, как 4D-
макрообъект, состоящий из объективно
регистрируемых пространственных элементов и
физических состояний
Понятия и обозначающие их элементы языка появляются, как
результат многократного и целесообразного обобщения
большого количества перцептивных микросостояний –
конструирования макропозиций из микропозиций.
А также через абстрагирование – целесообразное устранение
нерелевантных частей спектра.
В результате этого процесса сигнальное разнообразие
уменьшается на многие порядки, что и выражает формула
O(mind) << O(brain)
Развитие символьных или коннекционистских архитектур для
сокращения масштабного разрыва упирается в необходимость
введения в модели конструктов, не укладывающихся в ту или
иную парадигму. Их непротиворечивое введение будет
связано с концептуальными компромиссами, а их невведение
застопорит разработку.
4. Наличие масштабного разрыва.
Символьные архитектуры стремятся
оперировать разнообразием O(mind), тогда
как коннекционистские архитектуры
стремятся к пределу O(brain) Очевидно, что
O(mind) << O(brain), и это указывает на
наличие масштабного разрыва.

12. 1. Проблема архитектурного медиатора
Между разнообразиями состояний
сенсорного уровня сознания и высших
когнитивных функций существует
масштабный разрыв, который не
может быть эффективно закрыт только
взаимодействием между двумя
архитектурными слоями и требует
введения концептуально
самостоятельного архитектурного слоя.
Символьные
архитектуры
Коннекционистские
архитектуры
Архитектурный
медиатор

13. Enterprise Architectures
Images: http://www.simcrest.com/blog/BlogEntry/35
Эволюция
Вызовы
1. Увеличение количества исходных данных, средств и
способов представления, обработки, доставки, количества
производителей…
2. Усложнение связности
3. Проблемы управляемости…
“Business Logic Tier” – инфраструктурный элемент, не
видный «снаружи» системы. Данные снизу, решения
сверху. Но он несёт на себе всё больше нагрузки.
В стеке целостной когнитивной системы этот элемент
сейчас концептуально не оформлен.

14. Что такое «интеграция»?
Интеграция (в терминах ISO 14258) это форма
взаимодействия систем, когда они обмениваются
экземплярами сущностей из одной исполняемой
модели или концептуальной схемы, без
трансформаций и дополнительных интерфейсных
усилий. Интегрированность означает общность
вычислительной платформы до какого-то уровня в
стеке. Для современных гибридных систем это
уровень структур вычислительной среды или языка
программирования, на котором они реализованы.
System 1 System 2
Common
Data Model
h

15. 2. Проблема высоты интеграционной платформы
Повышение мощности когнитивной
способности требует повышения
уровня интегрированости архитектур
Символьные
архитектуры
Коннекционистские
архитектуры
Архитектурный
медиатор
Коннекционистские
архитектуры
Символьные
вычисления
Архитектурный
медиатор
Коннекционистские
представления
Репрезентационный
медиатор
Символьные
представления
?
модульнаяинтеграция

16. Подход к решению
Две фазы
1. Решение проблемы архитектурного медиатора через введение
концептуально самостоятельного уровня представления. Основной элемент
– многомасштабный паттерн внимания, связывающий первичные
обобщения коннекционистских репрезентаций с высокогенерализованными
категориями, онтологическими элементами символьных репрезентаций.
2. Облегчение проблемы высоты интеграционной платформы через
унификацию вычислений на метаконнекционистском основании.
«Радикальный коннекционизм» - использование хорошо масштабируемых
распределённых представлений для реализации всего спектра операций. Но,
возможно, не ANN, а сетей более высоких порядков, где элементами
выступят более сложные вычислительные органоиды.

17. Спасибо!
Егор Чурилов, Минск
yehor.churilov@gmail.com