本文前置知识: 膨胀卷积(空洞卷积) 残差连接 Knowledge Graph Embedding with Atrous Convolution and Residual Learning本文是论文Knowledge Graph
2020-10-27
Transformer-XL与XLNet本文前置知识: Transformer(Masked Self - Attention和FFN) BERT(与XLNet做对比) Seq2Seq(AutoRegressive & AutoEncoding) 2020.10.2
2020-10-14
ELMo, GPT, BERT本文的前置知识: RNN Transformer Language Model ELMo, GPT, BERT本文是对ELMo, GPT, BERT三个模型的结构介绍以及个人理解, 多图预警. Introduction由于NLP领域
2020-10-04
Pytorch学习: 张量进阶操作2020.10.03: 因torch版本更新, 对gather描述进行了修正. 2021.03.11: 更新了对gather的描述. Pytorch学习: 张量进阶操作整理内容顺序来自龙龙老师的<深度学习与PyTorch入门实战教
2020-10-03
Pytorch学习: 张量基础操作2025.03.07: 增加了Tensor.repeat_interleave. Pytorch学习: 张量基础操作整理内容顺序来自龙龙老师的<深度学习与PyTorch入门实战教程>, 根据个人所需情况进行删减或扩充. 如果
2020-10-02
指针网络家族本文介绍了Pointer Network, CopyNet, Pointer-Generator Network以及Coverage机制在文本摘要与对话系统中的应用, 既可以作为知识点介绍, 也可以作为论文阅读笔记. 此外, 该部分内容为外
2020-09-28
Transformer精讲2020.10.05: 更新训练技巧. 2020.09.27: 更新Masked Multi - Head Attention理解. 2021.06.08: 更新Teacher Forcing. 2024.09.17: 更新了LN的描述.
2020-09-21
卷积神经网络发展史LeNetLeNet可以说是CNN的开山鼻祖之一了, 虽然它不是CNN的起点, 但是可以称为CNN兴起的标志. 它由图灵奖得主LeCun Yann在1998年的Gradient-based learning applied to docum
2020-09-07
别再对类别变量独热编码不要再对类别变量独热编码本文参考了Stop One-Hot Encoding Your Categorical Variables, 并对其内容在加以自身理解的情况下进行翻译. 独热编码对不同的类别变量就需要用到独热编码, 独热编码是将类别
2020-09-04
KMP算法KMP算法串字符串是一种特殊的线性表, 其逻辑结构与线性表相同, 只是在数据类型上进行了约束, 要求元素全是字符类型. 串可以顺序存储, 链式存储, 或者堆存储. 堆结合了顺序和链式的优点, 实际在构造串也是采用的堆结构来存储, 能够方便动
2020-09-02
Seq2Seq和Attention2020.09.25: 本质部分的猜想被证实. 2020.09.21: 更新Attention的本质. 2020.09.19: 在接触了更多NLP内容后, 发现Attention是一个有特殊表征意义的结构, 以后会加入更深的理解. Se
2020-08-25
C++之模板C++之模板函数模板在C++中, 模板被用于设计可重用的软件, 模板提供了将通用数据类型作为参数的能力.比如有时, 在求一个最大值时, 不得不因为不同的数据类型而写许多除了数据类型外完全一致的代码: int maxValue(int va
2020-08-23