文章目录
- 自然语言处理
- 列出几种文本特征提取算法
- RNN
- 基本原理
- RNN 常见的几种设计模式是怎样的?
- RNN 为什么会梯度消失?
- RNN 为什么会梯度爆炸?
- RNN中为什么要采用tanh而不是ReLu作为激活函数?
- RNN和CNN对比,RNN对文本的时间序列的优点。
- LSTM
- LSTM 基本原理
- LSTM 怎么能解决梯度消失问题?
- LSTM 用来解决RNN的什么问题?
- LSTM 和 GRU 区别
- RNN、LSTM 和 GRU公式与结构图
- 深度学习如何提取query特征?
- 如何比较文本的相似度?
- 如何利用深度学习计算语义相似度?
- word2vec
- word2vec 基本原理
- 使用哈夫曼树的原因是什么?
- word2vec的输入输出层是什么样的?
- word2vec 里面的层次索引
- word2vec如何训练的?
- 如何判断 word2vec 的效果好坏?
- 介绍一下 Word2vec,CBOW和Skip-gram的区别是什么?
- word2vec 和 tf-idf 相似度计算时的区别?
- word2vec 和 NNLM 对比有什么区别?(word2vec vs NNLM)
- word2vec 负采样有什么作用?
- word2vec 和 fastText对比有什么区别?(word2vec vs fastText)
- GRU 和 LSTM、RNN的区别是什么?
- Sentence Embedding
- SeqSeq
- seq2seq-attention原理和公式
- Transformer
- 基本原理
- transformer 各部分怎么用?Q K V怎么计算;Attention怎么用?
- 详细说一下 transformer 的 encoder 过程
- 如何做文本摘要?
- CTC loss公式推导
- ELMO
- BERT
- 基本原理
- elmo、GPT、bert三者之间有什么区别?(elmo vs GPT vs bert)
- XLNet
- 基本原理
- 生成式问答解决生成句子多样性的方法
- 怎么评价生成效果的好坏?
- 参考资料
自然语言处理
列出几种文本特征提取算法
答:文档频率、信息增益、互信息、X^2统计、TF-IDF
RNN
基本原理
- TODO
RNN 常见的几种设计模式是怎样的?
- TODO
RNN 为什么会梯度消失?
- TODO
RNN 为什么会梯度爆炸?
- TODO
RNN中为什么要采用tanh而不是ReLu作为激活函数?
- TODO
RNN和CNN对比,RNN对文本的时间序列的优点。
- TODO
LSTM
LSTM 基本原理
- TODO
LSTM 怎么能解决梯度消失问题?
- TODO
LSTM 用来解决RNN的什么问题?
- TODO
LSTM 和 GRU 区别
- TODO
RNN、LSTM 和 GRU公式与结构图
- TODO
深度学习如何提取query特征?
- TODO
如何比较文本的相似度?
- 协同过滤相似度
- 余弦相似度
- tf-idf相似度
- 深度学习词向量
如何利用深度学习计算语义相似度?
- TODO
word2vec
word2vec 基本原理
- TODO
使用哈夫曼树的原因是什么?
- TODO
word2vec的输入输出层是什么样的?
- TODO
word2vec 里面的层次索引
- TODO
word2vec如何训练的?
- TODO
如何判断 word2vec 的效果好坏?
- TODO
介绍一下 Word2vec,CBOW和Skip-gram的区别是什么?
- TODO
word2vec 和 tf-idf 相似度计算时的区别?
- TODO
word2vec 和 NNLM 对比有什么区别?(word2vec vs NNLM)
- TODO
word2vec 负采样有什么作用?
负采样这个点引入word2vec非常巧妙,两个作用,1.加速了模型计算,2.保证了模型训练的效果,一个是模型每次只需要更新采样的词的权重,不用更新所有的权重,那样会很慢,第二,中心词其实只跟它周围的词有关系,位置离着很远的词没有关系,也没必要同时训练更新,作者这点非常聪明。
word2vec 和 fastText对比有什么区别?(word2vec vs fastText)
- TODO
GRU 和 LSTM、RNN的区别是什么?
- TODO
Sentence Embedding
- TODO
SeqSeq
- TODO
seq2seq-attention原理和公式
- TODO
Transformer
基本原理
- TODO
transformer 各部分怎么用?Q K V怎么计算;Attention怎么用?
- TODO
详细说一下 transformer 的 encoder 过程
-
TODO
-
Transformer面试题总结101道题
-
transformer面试题的简单回答
-
史上最全Transformer面试题系列(一):灵魂20问帮你彻底搞定Transformer-干货!
如何做文本摘要?
- TODO
CTC loss公式推导
- TODO
ELMO
- TODO
BERT
基本原理
- TODO
elmo、GPT、bert三者之间有什么区别?(elmo vs GPT vs bert)
- TODO
XLNet
基本原理
- TODO
生成式问答解决生成句子多样性的方法
- TODO
怎么评价生成效果的好坏?
- TODO
参考资料
-
2018-暑期实习生-自然语言处理算法岗-面试题
-
NLP Interview Questions 百度云链接 提取码:h9k8
-
https://github.com/songyingxin/NLPer-Interview
-
Transformer面试题总结101道题
-
transformer面试题的简单回答
-
史上最全Transformer面试题系列(一):灵魂20问帮你彻底搞定Transformer-干货!