普通注意力机制的原理 人的注意力往往集中在视线的正中间，专注于那一小部分重要的内容。模型怎么去注意到那些重要的内容呢？我们喂给模型的数据是一个个矩阵或张量，要想让模型重点关注到某些信息，一个直观的想法就是让这些地方的数值变得更大。注意力机制就是这样一个过程，通过加权求和的方法，赋予不同的输入元素以不同的权重，重要的信息权重大，重点关注，不重要的信息…
前言 之前一直有整理几年来所看所学的深度学习 / 机器学习知识的想法，但是总会因为各种各样的原因耽搁，今天决定开坑，从头把这些知识梳理一下，先想到哪里写哪里，框架先搭好，后面在回顾过程中逐渐完善。 [alert]latex公式没有正常渲染则刷新一下[/alert] 前馈神经网络（Forward Neural Network, FNN） FNN 是最…