DaNing
  文章分类
深度学习 54 知识图谱 29 心情随笔 1 编程 3 前端 1 博客 7 机器学习 16 Markdown 1 算法 2 计算机基础 4 小玩意儿 1
ConvBERT: Improving BERT with Span-based Dynamic Convolution ConvBERT: Improving BERT with Span-based Dynamic Convolution
ConvBERT: Improving BERT with Span-based Dynamic Convolution 本文前置知识: Light Weight Convolution: 详见基于轻量级卷积和动态卷积替代的注意力机制.
2021-02-12 深度学习
NLP CNN Attention
基于轻量级卷积和动态卷积替代的注意力机制 基于轻量级卷积和动态卷积替代的注意力机制
本文前置知识: Depthwise Convolution: 详见深度可分离卷积与分组卷积. Attention: 详见Seq2Seq和Attention. Transformer: 详见Transformer精讲. 本文是论文PA
2020-12-05 深度学习
CNN Attention
深度可分离卷积与分组卷积 深度可分离卷积与分组卷积
本文前置知识: CNN: 详见卷积神经网络小结. 本文着重介绍深度可分离卷积和分组卷积两种操作. 深度可分离卷积深度可分离卷积(Depthwise Separable Convolution)应用在MobileNet和Xceptio
2020-11-26 深度学习
CNN
Pytorch实现: Transformer Pytorch实现: Transformer
本文前置知识: Pytorch基本操作 Transformer: 详见Transformer精讲 2022.04.03: 去掉了Pre Norm比Post Norm效果好的表述. Pytorch实现: Transformer本文是T
2020-11-23 深度学习
NLP Transformer Pytorch
Pytorch实现: Skip-Gram Pytorch实现: Skip-Gram
本文前置知识: Pytorch基本操作 Word2Vec Pytorch实现: Skip-Gram本文用Pytorch实现了Skip - Gram, 它是Word2Vec的其中一种. 本文实现参考PyTorch 实现 Word2Ve
2020-11-19 深度学习
Word2Vec Pytorch
RoBERTa: A Robustly Optimized BERT Pretraining Approach RoBERTa: A Robustly Optimized BERT Pretraining Approach
本文前置知识: BERT(详见ELMo, GPT, BERT) RoBERTa: A Robustly Optimized BERT Pretraining Approach本文是论文RoBERTa: A Robustly Opti
2020-11-18 深度学习
NLP BERT
Transformer-XL与XLNet Transformer-XL与XLNet
本文前置知识: Transformer(Masked Self - Attention和FFN) BERT(与XLNet做对比) Seq2Seq(AutoRegressive & AutoEncoding) 2020.10.2
2020-10-14 深度学习
NLP Transformer
ELMo, GPT, BERT ELMo, GPT, BERT
本文的前置知识: RNN Transformer Language Model ELMo, GPT, BERT本文是对ELMo, GPT, BERT三个模型的结构介绍以及个人理解, 多图预警. Introduction由于NLP领域
2020-10-04 深度学习
NLP 词向量
Pytorch学习: 张量进阶操作 Pytorch学习: 张量进阶操作
2020.10.03: 因torch版本更新, 对gather描述进行了修正. 2021.03.11: 更新了对gather的描述. Pytorch学习: 张量进阶操作整理内容顺序来自龙龙老师的<深度学习与PyTorch入门实战教
2020-10-03 深度学习
编程 Pytorch
Pytorch学习: 张量基础操作 Pytorch学习: 张量基础操作
Pytorch学习: 张量基础操作整理内容顺序来自龙龙老师的<深度学习与PyTorch入门实战教程>, 根据个人所需情况进行删减或扩充. 如果想要自己创建新的模块, 这些操作都是基本功, 需要掌握扎实. 张量数据类型下表摘自Py
2020-10-02 深度学习
编程 Pytorch
指针网络家族 指针网络家族
本文介绍了Pointer Network, CopyNet, Pointer-Generator Network以及Coverage机制在文本摘要与对话系统中的应用, 既可以作为知识点介绍, 也可以作为论文阅读笔记. 此外, 该部分内容为外
2020-09-28 深度学习
NLP Attention 摘要生成
Transformer精讲 Transformer精讲
2020.10.05: 更新训练技巧. 2020.09.27: 更新Masked Multi - Head Attention理解. 2021.06.08: 更新Teacher Forcing. TransformerTransform
2020-09-21 深度学习
NLP Transformer Attention
4 / 5