Влияние дискретности синаптических сигналов на динамику сбалансированных нейронных сетей
DOI:
https://doi.org/10.7242/2658-705X/2024.4.3Ключевые слова:
полное среднеполевое описание, квадратичные нейроны – пороговые интеграторы, диффузионное приближение, дробовой шумАннотация
В 2024 году Нобелевская премия по физике присуждена за работы, которые заложили фундамент развития машинного обучения на базе искусственных нейронных сетей. Это событие можно считать публичным признанием роли
математических моделей, подобных модели Хопфилда, и привлечения математического аппарата статистической физики и квантовой механики для описания коллективной динамики в них. Несмотря на то, что медиатором динамики сети нейронов являются дискретные синаптические сигналы, теоретическое описание эндогенного шума в таких сетях строится в рамках диффузионного приближения. Такой подход имеет существенный недостаток, поскольку фактически дискретный набор сигналов представляется в виде непрерывного гауссова шума. Оказывается, что результатом такого подхода является фактическая «слепота» полученных уравнений к некоторым режимам коллективной динамики системы: в частности, к возможности гистерезисных переходов между асинхронной и колебательной динамикой в сбалансированной нейронной
сети с разреженной системой связей. В статье описывается недавно введенный формализм полного среднего поля, учитывающий эффективный синаптический дробовой шум в разреженной сети спайковых нейронов. Также обнаружены и раскрыты два механизма возникновения глобальных колебаний в системе в зависимости от степени разреженности сети. Разработанный формализм был протестирован на двух моделях динамики нейрона: квадратичные нейроны – пороговые интеграторы (quadratic integrate-and-fire neurons) и модели Морриса–Лекара.
Библиографические ссылки
Press release. NobelPrize.org. Nobel Prize Outreach AB 2024. [Электронный ресурс] – URL: https://www.nobelprize.org/prizes/physics/2024/press-release/ (дата обращения: 30.10.2024).
Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proceedings of the National Academy of Sciences. – 1982. – Vol. 79. – № 8. – P. 2554–2558.
Ott E., Antonsen T.M. Low dimensional behavior of large systems of globally coupled oscillators // Chaos: An Interdisciplinary Journal of Nonlinear Science. – 2008. – Vol. 18. – № 3. – P. 037113.
Watanabe S., Strogatz S.H. Constants of motion for superconducting Josephson arrays // Physica D. – 1994. – Vol. 74. – № 3–4. P. 197–253.
Gong C.C., Zheng C., Toenjes R., Pikovsky A. Repulsively coupled Kuramoto-Sakaguchi phase oscillators ensemble subject to common noise // Chaos: An Interdisciplinary Journal of Nonlinear Science. – 2019. – Vol. 29. – № 3. – P. 033127.
Carter B. Op Amps for Everyone (3rd Edition). – Newnes, 2009. – 615 p.
Blanter Ya.M., Büttiker M. Shot noise in mesoscopic conductors // Physics Reports. – 2000. – Vol. 336. – № 1. – P. 1–166.
Lucente D., Viale M., Gnoli A., Puglisi A., Vulpiani A. Revealing the Nonequilibrium Nature of a Granular Intruder: The Crucial Role of Non-Gaussian Behavior // Physical Review Letters. – 2023. – Vol. 131. – № 7. – P. 078201.
Hammond C. Cellular and Molecular Neurophysiology (4th Edition). – Academic Press, 2015. – 444 p.
Tuckwell H.C. Introduction to theoretical neurobiology: Vol. 2, Nonlinear and Stochastic Theories. – Cambridge: Cambridge University Press, 1988. – 265 p.
Lefort S., Tomm C., Floyd Sarria J.C., Petersen C.C. The excitatory neuronal network of the C2 barrel column in mouse primary somatosensory cortex // Neuron. – 2009. – Vol. 61. – № 2. – P. 301–316.
Prieto J.J., Peterson B.A., Winer J.A. Morphology and spatial distribution of GABAergic neurons in cat primary auditory cortex (AI) // Journal of Comparative Neurology. – 1994. – Vol. 344. – № 3. – P. 349–382.
Sik A., Penttonen M., Ylinen A., Buzsaki G. Hippocampal CA1 interneurons: an in vivo intracellular labeling study // Journal of Neuroscience. – 1995. – Vol. 15. – № 10. – P. 6651–6665.
Richardson M.J.E., Swarbrick R. Firing-Rate Response of a Neuron Receiving Excitatory and Inhibitory Synaptic Shot Noise // Physical Review Letters. – 2010. – Vol. 105. – № 17. – P. 178102.
Iyer R., Menon V., Buice M., Koch C., Mihalas S. The Influence of Synaptic Weight Distribution on Neuronal Population Dynamics // PLoS Computational Biology. – 2013. – Vol. 9. – № 10. – P. e1003248.
Goldobin D.S., di Volo M., Torcini A. Discrete synaptic events induce global oscillations in balanced neural networks // Physical Review Letters. – 2024. – Vol. 133. – №23. – P. 238401.
Gutkin B. Theta Neuron Model // Encyclopedia of computational neuroscience. Springer. – 2022. – P. 3412–3419.
Morris C., Lecar H. Voltage Oscillations in the Barnacle Giant Muscle Fiber // Biophysical Journal. – 2010. – Vol. 35. – № 1. – P. 193–213.
Gerstner W., Kistler W. M., Naud R., Paninski L. Neuronal Dynamics. – Cambridge: Cambridge University Press, 2014. – 578 p.
Brunel N., Hakim V. Fast global oscillations in networks of integrate-and-fire neurons with low firing rates // Neural Computation. – 1999. – Vol. 11. – № 7. – P. 1621–1671.
Kuramoto Y. Chemical oscillations, waves, and turbulence. – Berlin: Springer, 1984. – 158 p.
Daido H. Order Function and Macroscopic Mutual Entrainment in Uniformly Coupled Limit-Cycle Oscillators // Progress of Theoretical Physics. – 1999. – Vol. 88. – № 6. – P. 1213–1218.
Klinshov V.V., Kirillov S.Y. Shot noise in next-generation neural mass models for finite-size networks // Physical Review E. – 2022. – Vol. 106. – P. L062302.
Klinshov V., Smelov P., Kirillov S.Y. Constructive role of shot noise in the collective dynamics of neural networks // Chaos: An Interdisciplinary Journal of Nonlinear Science. – 2023. – Vol. 33. – № 6. – P. 061101.
