YangLong's Blog

累了就睡觉，醒了就微笑

最近邻算法

k-Nearest Neighbor

KNN k-Nearest Neighbor 最近邻算法 Refrence k-nearest neighbors algorithm https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm 所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个...

Posted by YangLong on July 20, 2017

随机森林

Random Forests

Random Forest 随机森林 Theroy 原理 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decis...

Posted by YangLong on July 20, 2017

贝叶斯算法

Bayes

Bayes 贝叶斯公式 Bayes法则可表述为：后验概率 = (似然度 * 先验概率)/标准化常量　也就是说，后验概率与先验概率和似然度的乘积成正比。 另外，比例P(B|A)/P(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为： 后验概率 = 标准似然度 * 先验概率 P(A)是A的先先验概率或边缘概率。之所以称为”先验”是因...

Posted by YangLong on July 20, 2017

支持向量机

SVM

原理 寻找最大分类间距 转而通过拉格朗日函数求优化的问题 数据可以通过画一条直线就可以将它们完全分开，这组数据叫线性可分(linearly separable)数据，而这条分隔直线称为分隔超平面(separating hyperplane)。 如果数据集上升到1024维呢？那么需要1023维来分隔数据集，也就说需要N-1维的对象来分隔，这个对象叫做超平面(hyperlan...

Posted by YangLong on July 8, 2017

激活函数

Active Function

Sigmode Function # Required Python Package import numpy as np def sigmoid(inputs): """ Calculate the sigmoid for the give inputs (array) :param inputs: :return: """ sig...

Posted by YangLong on July 8, 2017

优化算法-整理中...

Gradient descent & SGD，batch GD，mini-batch ing...

Gradient Discent 梯度下降 梯度下降是降低损失的一个过程 步长（Learning rate）：步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用上面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。 特征（feature）：指的是样本中输入部分，比如2个单特征的样本（x(0),y(0)）,（x(1),y(1)）,则...

Posted by YangLong on July 8, 2017

逻辑回归

Logstic Regression

Logistic Regression 逻辑回归 Theory Given Data 已有数据 matrix indicate Hypothesis Function 期望函数 the sigmoid function is: when z -> ∞ then f(z)-> 1 ,when z -> -∞ then f(z)-> 0 the h...

Posted by YangLong on June 20, 2017

线性回归

Linear Regression

Linear Regressoin 线性回归 Theory Given Data 已有数据 用于训练的数据 matrix indicate 使用矩阵表示 Hypothesis Function 期望函数 vector indicate Cost Function 损失函数 Minimize Cost 使损失最小化 Minimize cost ...

Posted by YangLong on June 20, 2017

递归神经网络-整理中...

Basic Recurisive Neural Network-ing....

Basic Recursive Nerual Network Train Recursive Nerual Network Define Param $\mathbf{net}_p$为父节点的加权输入 加权输入展开如下 $\delta_p$为误差函数相对于父节点p的加权输入$\mathbf{net}_p$的导数 -计算

Posted by YangLong on June 20, 2017

长短时序神经网络

基础神经网络&双向神经网络

Introduction Long Short Term Memory Network 与传统的RNN相比，LSTM多出一个细胞状态链用于存储细胞状态，LSTM中包含了Gate的概念，新增3个门来控制细胞状态，包括遗忘门（Forget Gate)、输入门（Input Gate）、输出门（Output Gate） LSTM 多出一个Cell状态链 传统的...

Posted by YangLong on June 5, 2017

FEATURED TAGS
C#.Net Framework SqlServer Database 神经网络 机器学习 自然语言处理 我的翻译
ABOUT ME

累了就睡觉,醒了就微笑