5. Относительно роли синапсов в работе памяти см. Nabavi S et al. (2014). Engineering a memory with LTD and LTP, Nature 511: 348–352; Bailey CH, Kandel RR (1993). Structural changes accompanying memory storage, Annu Rev Physiol 55: 397–426.

6. Hopfield J (1982). Neural networks and physical systems with emergent collective computational abilities, Proc Natl Acad Sci USA 9: 2554. Поскольку каждый элемент имеет много связей (синапсов) с соседними, в разные моменты времени он может участвовать во многих различных ассоциациях.

7. Хотя правило Хебба полезно для формирования ассоциаций, один из его теоретических недостатков в том, что оно нечувствительно к порядку событий. В экспериментах давно доказано, что животные обладают строгой восприимчивостью к порядку сенсорных стимулов; собака Павлова, например, ни за что не сформирует ассоциативную связь, если подача мяса предшествует звонку. Аналогично у животного развивается стойкое отвращение к лакомой пище, если всего один раз после поглощения лакомства оно испытает тошноту, однако, если поменять стимулы местами (сначала тошнота, потом пища), это не повлечет за собой отторжения. Здесь может существовать параллель на биофизическом уровне: изменения синаптической силы зависят от порядка пресинаптической и постсинаптической активности. Если входной сигнал от А предшествует возбуждению нейрона B, синапс усиливается. Если входной сигнал от А поступает после того, как клетка B возбудится, синапс ослабевает. Это правило обучения принято называть пластичностью, зависимой от времени импульса, или правилом временной асимметрии Хебба; оно указывает на значимость сопряжения импульсов по времени. Если конкретнее, то асимметричное правило временно усиливает связи предсказательного характера: если А упорно возбуждается до возбуждения B, это может рассматриваться как успешное предсказание и потому усилиться. См. Rao RP, Sejnowski TJ (2003). Self-organizing neural systems based on predictive learning, Philos Transact A Math Phys Eng Sci 361 (1807): 1149–1175.

8. Основные концепции, на которых строится глубокое обучение, известны уже более 30 лет. См. Rumelhart DE, Hinton GE, Williams RJ (1988). Learning representations by back-propagating errors, Cognitive Modeling 5 (3): 1. Ключевые открытия в родственной области примерно того же времени см. также Yann LeCun (Яна Лекуна), Yoshua Bengio (Йошуа Бенжио) и Jürgen Schmidhuber (Юргена Шмидхубера).

9. Carpenter GA, Grossberg S (1987). Discovering order in chaos: Stable self-organization of neural recognition codes, Ann NY Acad Sci 504: 33–51.