2018-8-6

个人前置条件：

• 已经将《统计学习方法》《机器学习实战》一刷80%

• 西瓜书一刷50%，tensorflow实战一刷70%

• kaggle上参与过titanic(Top 6%)和数字识别(Top 12%)

• 比较了解pandas，numpy，matplotlib，seaborn，tensorflow，sklearn

x

知识点记录

1. softmax以及其特性（数值越大越武断，越小越均等） 单纯加减常量，softmax后不变

2. one-hot编码、交叉熵(非对称)

3. SGD技巧

• 
  

  
  

  均值为0 同方差

  

• 初始化随机，方差要小

• Momentum 动量，保留上一步梯度下降运动的趋势 M=0.9M+0.1M

• 学习速率递减（多种多样的递减方法……）

  
  

  

• Ada 降低对超参数的敏感度，但没有momentum更准确

• 对小型模型，出现问题先降学习速率

1. train dev test

2. 模型水平提高可信（Rule of 30）至少多预测对30个样本
   大于3万个实例作为验证集，精确到十分位0.1%

sklearn所学

代码

os.listdir(folder)

作者：MWhite
链接：https://www.jianshu.com/p/4bff2284a682
x