SUN'IY NEYRON TARMOQLAR: Arxitektura, Matematik Asos va Zamonaviy Qoʻllanishlar
Keywords:
neyron tarmoq, perceptron, backpropagation, CNN, RNN, LSTM, Transformer, gradient tushish, aktivatsiya funksiyasi, chuqur oʻqitish.Abstract
Ushbu maqolada sunʻiy neyron tarmoqlarning (ANN) matematik asoslari, asosiy arxitektura turlari va oʻqitish algoritmlari tizimli bayon etilgan. Perceptrondan tortib transformer modellarigacha boʻlgan rivojlanish yoʻli, aktivatsiya funksiyalari, backpropagation algoritmi va gradient tushish usullari formulalar bilan koʻrsatilgan. Konvolyutsion (CNN), rekurrent (RNN/LSTM) va diqqat mexanizmiga asoslangan (Transformer) tarmoqlar taqqoslab oʻrganilgan. Natijalar shuni koʻrsatdiki, Transformer arxitekturasi NLP va kompyuter koʻrishi vazifalarida CNN va RNN ga nisbatan 3–12% yuqori aniqlik koʻrsatadi. Maqola neyron tarmoqlar nazariyasini chuqur oʻrganmoqchi boʻLgan muhandis va tadqiqotchilar uchun moʻljallangan
References
1.McCulloch W.S., Pitts W. (1943). A logical calculus of the ideas immanent in nervousactivity.Bulletin of Mathematical Biophysics, 5(4), 115–133.
2.Rosenblatt F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386–408.
3. Rumelhart D.E., Hinton G.E., Williams R.J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536.
4. Hochreiter S., Schmidhuber J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
5. LeCun Y., Bengio Y., Hinton G. (2015). Deep learning. Nature, 521, 436–444.
6. Vaswani A. et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS), 30.
7. Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press, Cambridge, MA.
