基本的线性代数。
两个行列数相同的矩阵才能加减。
Matrix x Vector -> Vector
m x n n x 1 m-dimensional vector
Properties:
1.矩阵乘法 A X B != B X A
2.矩阵乘法满足 A x B x C = A x (B x C) = (A x B) x C
但是a b c 的排列顺序不能换！
3.Identity Matrix : n x n且 只有左对角不为0
A x I = I x A = A 当 I 为 Identity Matrix
4.Inverse
if A is an m x m matrix, and if it has an inverse,
A x A(-1) = A(-1) x A = I
5.Transfer
B = Transfer A
-> Bi,j = Aj,i
组成
Trainning Set -> h函数，用于处理数据(Hypothesis，和字面意思无关)
Hypothesis: h(x) = kx + b
k\b : Parameters
How to choose Parameters?
Ieda: Choss Parameters so that h(x) is close to y for our tranning examples (x, y)
使得函数结果与原数据的方差或者标准差最小。
Cost Function -> 函数结果与原数据的方差的1/2m (m为数据组数)。
Cost Function = 1/(2m) * sum{ (h(x(i)) – y(i))^2 }
简化h(x)后可仅保留k，以k绘制出Cost Function图像等。
如果不简化，可以使Cost Funtion同样有2个参数。可以生成一个3D函数图。
需要知道Contour Plot and Contour figure
Gradint descent (algorithm)
Start with Some Parameters
Keep Changing it.
注意更新参数的顺序，计算出所有新值之后再全部更新。
类似模拟退火。具体见PDF
Gradint descent Intuition
根据视频了解给出的函数。
它是一个convex function，总是碗型的。只能给出局部最优解。(local optima)
T
TYPES of Machine Learning