进行误差分析：Carrying out error analysis误差分析在我们实际进行机器学习项目中是非常重要的一步，它有利于提高我们的模型表现，使我们的算法逼近人类水平。 Look at dev examples to evaluate ideas假设我们有这样的一个例子，我们要做一个猫分类的分类器，但是其准确率只有90%，也就是错误率为10%。在分析了分类错误的例子后，发现图片将一些狗狗也 ...

接下来两周内容为第三课——结构化机器学习项目。 为什么是机器学习策略在我们进行机器学习的时候，我们需要达到想要的结果，可能会采取以下措施： 然而，我们需要一个有效且快速的方法，来判断哪些想法是靠谱的，甚至可以提出新的想法，判断哪些是值得一试的想法，哪些是可以舍弃的想法。因此这一周学习的是有关机器学习的策略，以便于我们之后的学习，提高效率，使得我们的深度学习系统更加实用。 正交化-Orthogona ...

调试处理-Tuning process在深度学习中，我们需要调整的超参数有学习率alpha、Momentum的参数beta、Adam优化算法的参数beta1/beta2/epsilon、神经网络层数、每一层隐藏单元个数、衰退率learning rate decay、mini-batch的大小等等。在这些超参数中，一些超参数比其他的要重要，其中学习率是最重要的超参数。图中，红色为1，橙色为2，紫色为 ...

Mini-batch梯度下降如果针对整个数据集进行梯度下降，如果数据集很大，那么速度就会很慢。因此，我们可以对训练集中的一部分进行梯度下降。因此可以将训练集分为多个mini-batch，针对每个mini-batch进行梯度下降。从图中，我们看到Batch vs Mini-Batch，这里对比的就是我们原本的针对整个训练集进行梯度下降，以及选取mini-batch进行梯度下降的两种算法的对比。另外， ...

参考李理的免费书籍《深度学习理论与实战：提高篇》进行学习，这里记录一些比较重要的笔记。注：本博客记录仅用于个人学习。原博客地址：https://fancyerii.github.io/2019/03/14/dl-book/ 词的表示方法不同于更底层的图像和声音信号，语言是高度抽象的离散符号系统。为了能够使用神经网络来解决NLP任务，几乎所有的深度学习模型都会在第一步把离散的符号变成向量。我们希望 ...

训练/验证/测试集在实际构建和训练深层神经网络的时候，我们往往要确定一些超参数，如下： 在实际应用中，对数据集进行划分为训练集、验证集、测试集可以加速神经网络的集成，也可以更有效地衡量算法的偏差和方差，从而帮助我们更高效地选择合适的方法来优化算法。图中展示了在数据样本较少时，我们将其划分比例为70%-30%或60%-20%-20%；当大数据时，则验证集和测试集的比例往往会很小。 当然，我们有时候 ...

接下来三周为改善深层神经网络：超参数调试、正则化以及优化。 深层神经网络介绍 一些符号表示： 深层网络中的前向传播从计算可知，我们需要显式地使用一个for循环来计算每一层的前向传播输出。另外，右侧为向量化的表示方式。 核对矩阵中的维数这里总结了一下计算过程中我们的参数W和b的维数，以及Z和A的维数。 首先是参数的维数： 接着是Z和A的维数，这里指出的是向量化的结果，其中m为样本数目： 为什么要使用 ...

下面进入第三周的学习内容。 神经网络概述 这里将神经网络与Logistic回归进行了一个简单的对比，即神经网络也需要前向传播和后向传播。另外，每一层的参数用右上标的一个方括号表示，即方括号用来区分不同的层；如果右上标是圆括号，则指具体的一个样本。 神经网络表示下图是一个简单的双层神经网络的表示（即单隐层网络），其中也包括了一些通用的符号标记方法。 计算神经网络的输出图中给出了第一层隐藏层的输入和输 ...

阅读的第一篇NLP文章，大名鼎鼎的Transformer。由于缺乏较多的基础，因此这里也会参考别人的读书笔记进行阅读。 seq2seq是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如机器翻译，文档摘取，问答系统以及语音识别等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的问题，而输出序列是答案；在语音识别中输入序列是一段语音 ...

用BERT生成句子向量一开始我用的是Linux虚拟机环境，后来发现内存不够，因此改为Windows10. 接下来是调用别人完成的一个接口。 tensorflow版本要大于等于1.10, numpy也要更新 12pip install bert-serving-server # serverpip install bert-serving-client # client, independe ...