分类目录归档:Machine Learning

[Coursera Machine Learning 笔记]III. Linear Algebra Review

基本的线性代数。
两个行列数相同的矩阵才能加减。

Matrix x Vector -> Vector
m x n n x 1 m-dimensional vector

Properties:
1.矩阵乘法 A X B != B X A

2.矩阵乘法满足 A x B x C = A x (B x C) = (A x B) x C
但是a b c 的排列顺序不能换!

3.Identity Matrix : n x n且 只有左对角不为0
A x I = I x A = A 当 I 为 Identity Matrix

4.Inverse
if A is an m x m matrix, and if it has an inverse,
A x A(-1) = A(-1) x A = I

5.Transfer
B = Transfer A
-> Bi,j = Aj,i

[Coursera Machine Learning 笔记]II.Linear Regression with one Variable.

组成
Trainning Set -> h函数,用于处理数据(Hypothesis,和字面意思无关)
Hypothesis: h(x) = kx + b
k\b : Parameters

How to choose Parameters?
Ieda: Choss Parameters so that h(x) is close to y for our tranning examples (x, y)
使得函数结果与原数据的方差或者标准差最小。

Cost Function -> 函数结果与原数据的方差的1/2m (m为数据组数)。
Cost Function = 1/(2m) * sum{ (h(x(i)) – y(i))^2 }
简化h(x)后可仅保留k,以k绘制出Cost Function图像等。

如果不简化,可以使Cost Funtion同样有2个参数。可以生成一个3D函数图。
需要知道Contour Plot and Contour figure

Gradint descent (algorithm)
Start with Some Parameters
Keep Changing it.
注意更新参数的顺序,计算出所有新值之后再全部更新。
类似模拟退火。具体见PDF

Gradint descent Intuition
根据视频了解给出的函数。

它是一个convex function,总是碗型的。只能给出局部最优解。(local optima)

T

Coursera Machine Learning notes I. Introduction

Machine Learning:
要素:T/P/E
     Task , Performace, Experience.

TYPES of Machine Learning

1.Supervised Learning 给出数据和正确的答案”right answer”,程序根据此学习
     1.Regression Problem  线性回归问题 ->如放假预测等。
     2.Classification Problem  分类问题 ->有限种类的答案,如判断垃圾邮件
2.Unsurpervised Learning 仅给出数据,让机器自己分类、判断,如星图分析、人际关系分析