2020.09.25: 本质部分的猜想被证实. 2020.09.21: 更新Attention的本质. 2020.09.19: 在接触了更多NLP内容后, 发现Attention是一个有特殊表征意义的结构, 以后会加入更深的理解. Se

C++之模板函数模板在C++中, 模板被用于设计可重用的软件, 模板提供了将通用数据类型作为参数的能力.比如有时, 在求一个最大值时, 不得不因为不同的数据类型而写许多除了数据类型外完全一致的代码: int maxValue(int va

STL常见用法STL是一套非常好用的C++模板, 其中内置了很多已经封装好的数据结构和算法. 如果每次都要从头实现很麻烦, STL在刷算法题时候很好用. 本文是参照steve-yu视频做下的笔记. 输入输出C++保留了原来C语言的输入和输出

目标检测目标检测是CV里一个重要方向, 对于一张图片, 我们应该能够给出图中含有的物体(单个或多个)的位置以及他们的大小和类别. 目标定位假设我们已经能够利用CNN对一张图片是否含有某个物体而进行分类. 应该先搞清楚要的输出是什么. 在上

2020.08.24: 更新word2vec的部分内容. NLP相关知识整个流程: 分词 Tokenize -> 预处理 Preprocess -> 特征工程 Feature engine -> ML. 分词 Tok

XGBoostXGBoost是Extreme Gradient Boosting的缩写, 作者是陈天奇大神. XGB因为其高准确率, 易于使用而在各类数据科学竞赛譬如Kaggle, 天池等十分流行. XGB与GBDT十分相似, 可以将XGB

随机森林 Random Forest在集成学习中曾经提到过, Bagging + 决策树 = 随机森林. 这点很重要. Bagging(Bootstrap aggregating)并行训练多个同质弱学习器, 在取数据集时使用Boostra

K-meansK-means是一种最为常用的硬聚类算法. 硬聚类指的是分出的样本必须只隶属于某一个类, 而不是给出隶属某几个类的概率. 流程对于给定的$k$类, 聚类所得的簇划分$C_k$, 以及样本$\boldsymbol{x}$,

十大排序十大排序包括插入排序, 选择排序, 冒泡排序, 归并排序, 希尔排序, 快速排序, 堆排序, 计数排序, 基数排序, 桶排序. 基本知识基本概念: 稳定性: 在排序前有两个相同的关键字a和b, 若排序后仍能保证a和b的相对顺序不

支持向量机SVM Support Vector MachineSVM是一个监督学习下运作的线性分类器. 但是由于核技巧的存在, 使得它本质上成为一个非线性分类器. 因为SVM涉及到很多关于凸优化的内容, 我自己本身不是很了解, 所以尽可能的

Markdown公式整理Markdown支持Latex的数学公式简直是太棒了. 但是目前的Mathtype3仍然没有迁移所有的Latex指令过来, 只是支持其中的一部分, 大多数不支持的指令其实都是比较冷门的, 作用不是很大. 感谢Cmd

奇异值分解SVD Singular Value DecompositionSVD(Singular Value Decomposition) 是一种基于原矩阵进行分解的特征分解手段. 主要是用小的多的数据来表示原始的数据集, 实质是对数据的