“Обратное распространение ошибки” - это наиболее часто используемый в настоящее время алгоритм обучения НС. И хотя он имеет большое количество недостатков, которые можно представить одним предложением: “На самом деле вы никогда не сможете предугадать результат использования метода обратного распространения”, он имеет большой успех в применении и не настолько сложен, как другие методы.

Он разработан для обучения многослойных (слой- отдельная группа нейронов)прямонаправленных (соединительные каналы между нейронами однонаправлены, и нет обратных связей) нейронных сетей (по другому – многослойных персептронов).

Данный метод обучения относится к классу методов обучения с учителем, то есть мы уже имеем желаемый вид реакции сети на входное воздействие, и использует градиентные функции расчета ошибки (определяемую по разнице между действительными и желаемыми значениями выходов сети) для коррекции весовых коэффициентов на входах нейронов. Подобный алгоритм не является самым быстродействующим, однако среди остальных алгоритмов, разработанных для прямонаправленных НС, он один из самых быстрых.

Книжка по обратному распространению:

Rumelhart, D. E. and McClelland, J. L. (1986): Parallel Distributed Processing: Explorations in the Microstructure of Cognition (volume 1, pp 318-362). The MIT Press.