这里简单记录一下对话系统的各种领域，以及对应的代表论文。参考：https://zhuanlan.zhihu.com/p/83825070?utm_source=zhihu&utm_medium=social&utm_oi=697119379778727936 生成式对话仍然是一个需要探索的领域，主要原因是，我们尽管可以将对话看作是seq2seq问题，但是这种闲聊对话其实其输出空间是 ...

本文记录一些关于预训练语言模型讲解比较好的中文博客，有时间再补充自己的理解。 预训练方式传统的模型预训练手段就是语言模型，比如ELMo模型就是以BiLSTM为基础架构、用两个方向的语言模型分别预训练两个方向的LSTM的；后面的OpenAI的GPT、GPT-2也是用标准的、单向的语言模型来预训练。 之后还有更多的预训练方式，比如BERT使用了称为”掩码语言模型(Masked Language Mod ...

1x1卷积核https://zhuanlan.zhihu.com/p/40050371 1x1卷积核作用 降维/升维：改变通道大小 增加非线性 1*1卷积核，可以在保持feature map尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性（利用后接的非线性激活函数），把网络做的很deep。 备注：一个filter对应卷积后得到一个feature map，不同的filter(不同的we ...

Attention用于NLP的小结基本转载susht师姐的知乎博文，真是优秀的师姐啊，向她学习！ https://zhuanlan.zhihu.com/p/35739040 定义：参考Attention is All You Need中的说法，假设当前时刻t下，我们有一个query向量，和一段key向量，这里query可以理解为一个包含比较多信息的全局向量，我们利用这个query对所有key向量 ...

本笔记参考二水马的rebirth。 1. 特征选择1.1 特征来源 业务已整理好的数据，需要找出适合问题的特征 高级特征，需要从业务特征中去寻找⾼级数据特征 1.2 选择合适的特征第⼀步是找到该领域懂业务的专家，让他们给⼀些建议，这些特征就是我们的特征的第⼀候选集。 在尝试降维之前，有必要用特征工程的方法选择出较重要的特征结合，这些方法不会用到领域知识，而仅是统计学的方法。 特征选择方法一般分为 ...

3/14 按专题刷leetcode 复习CS-Notes(操作系统) - 面试网易开发岗 cs224n 继续复习机器学习、深度学习、NLP 项目-对话系统（深入了解：文本匹配、多轮对话、对话生成、图网络） 实习公司消息： 腾讯3.5开始 阿里已投，未面试 虎牙已投，未面试 美团：4.20截止 网易：争取3月中旬投简历（分别投两个） 2/19 目前的复习进度： 剑指offer已刷完 机器学 ...

PointerNet和CopyNet参考：https://cloud.tencent.com/developer/article/1537657 由于时间问题，这里只是简单做个记录，有机会再回来补充。这两个算法是比较经典的解决OOV问题的方法，之后也有很多基于此的工作。应对OOV的三个主要方法： 扩大词表：扩大词表后，可以将部分低频词纳入了词表，但是这些低频词由于缺乏足够数量的语料，训练出来的词 ...

参考https://www.cnblogs.com/pinard/p/11114748.html GBDTGBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。 XGBoots和GBDT简单对比XGBoost作为GBDT的高效实 ...

一般，我们在参加某个比赛或者实现某种算法的时候，需要经历以下几个过程： 数据集收集、清洗 特征构建 模型实现 得到结果，再根据反馈在2-4进行多次想法的迭代 其中，在模型实现上，比如我主要方向是NLP，而NLP如今基本是深度学习时代（特别是预训练模型BERT出来后），因此多需要对深度学习框架有比较深的了解和使用经验。而Tensorflow和Pytorch两家经常被用来做对比。Tensorflo ...

对话系统+推荐 论文调研相关数据集 REDIAL(REcommendations through DIALog)[1]: 电影对话推荐数据集，由作者通过Amazon Mechanical Turk(AMT)构建，共包含10004个对话。举例如下： SEEKER: hi ! i ’m looking for an action filled movie similar to jurassic pa ...