Jiajun Lin's List: neural network

• y=x-Jg\g

  • Backslash or left matrix divide

• Mean squared error = 239.077 (regression)
   Squared correlation coefficient = 0.996521 (regression)

  • used to evaluate the approximation perforance

• 用BP逼近非线性函数，如何提高训练精度
   
   (1)调整网络结构
   增加网络的层数可以进一步降低误差，提高精度但会使网络复杂化，从而增加网络的训练时间。精度的提高实际上也可以通过增加隐层神经元的数目来获得，其效果更容易观察和掌握，所以应优先考虑。
   
   (2)初始值选取
   为了使误差尽可能小 ，需要合理选择初始权重和偏置，如果太大就容易陷入饱和区，导致停顿 。一般应选为均匀分布的小数，介于 (-1，1) 。
   
   (3)学习速率调整
   学习速率的选取很重要 ，大了可能导致系统不稳定，小了会导致训练周期过长、收敛慢，达不到要求的误差。一般倾向于选取较小的学习速率以保持系统稳定，通过观察误差下降曲线来判断。下降较快说明学习率比较合适，若有较大振荡则说明学习率偏大。同时，由于网络规模大小的不同，学习率选择应当针对其进行调整。采用变学习速率的方案，令学习速率随学习进展而逐步减少，可收到良好的效果。
   
   (4)期望误差
   期望误差当然希望越小越好，但是也要有合适值

• Each weight vector has two components
• The first part of a weight vector is its data
• the second part of a weight vector is its natural location
• In the case of colors
• is of the value (0,6,0)

3 more annotations...

• repmat(x,1,totalW)
• 43        dist = 1/(sqrt(2*pi)*sigN).*exp( sum(( ([I( : ), J( : )] - repmat(ri, totalW,1)) .^2) ,2)/(-2*sigN)) * etaN;

  • 和lecture notes上的算法不一样

• axis off;

1 more annotation...

• 这里直接给出M的式子：（从高中的解析几何就可以很容易的得到了，也可以参考后面Moore的ppt）

  
• 我们在前面乘上一个该点所属的类别y（还记得吗?y不是+1就是-1），就可以得到支持向量的表达式为：y(wx + b) = 1
• 两种方式，一种是用曲线去将其完全分开，曲线就是一种非线性的情况，跟之后将谈到的核函数有一定的关系
• 另外一种还是用直线，不过不用去保证可分性
• 我们可以为分错的点加上一点惩罚，对一个分错的点的惩罚函数就是这个点到其正确位置的距离
• 紫色的线表示分错的点到其相应的决策面的距离
• C是一个由用户去指定的系数，表示对分错的点加入多少的惩罚，当C很大的时候，分错的点就会更少，但是过拟合的情况可能会比较严重，当C很小的时候，分错的点可能会很多，不过可能由此得到的模型也会不太正确，
• 果使用某些非线性的方法，可以得到将两个分类完美划分的曲线
• 我们可以让空间从原本的线性空间变成一个更高维的空间，在这个高维的线性空间下，再用一个超平面进行划分
• 所以SVM是一种不太容易over-fitting的方法

8 more annotations...