Data관련 Machine Learning 논문 용어 정리

**Notation : 

- Dataset : Data들의 집합

- Data = Data point 같은 것인데 혼용될 수 있음

- Sampling(Subsampling) : 전체 Datset으로 부터 일부를 추출하는 것

---

• Self-paced learning(SPL) : 너무 어려운 data point는 skip하는 것 → Stochastic Gradient Descent(SGD)의 convergence(수렴)가 더 빨라지고 높은 accuracy를 얻을 수 있음. Curriculum Learning[1]이라고 불리는 개념에서 출발 [1]

 

• Curriculum Learning[1] : Machine Learning의 학습은 특정 순서로 training data를 sort하면 더 높은 accuracy를 얻을 수 있음. 쉬운 examples부터 harder example순으로 학습하도록 설계

 

• Boostrapping : dataset으로부터 random sampling을 할 때 replacement를 허용하고 추출(복원추출)

 

• Bagging(Bootstrap AGGregation) : Bootstrap + Aggregation(집합), Ensemble Learning의 한 방법으로 전체 dataset으로부터 일부를 Bootstrap하고 추출한 데이터들로 학습한 결과들을 aggregation(voting을 통해)하여 모델의 성능을 높이는 방법

 

• Boosting : Ensemble Learning의 한 방법으로, 현재 iteration에서 misclassification한 data point에 가중치를 주는 것. Bias를 줄이는데 집중한 방법. 많이 사용되는 예시로 AdaBoost, XGBoost가 있음

 

• Hard : 인식하기 어려운 것을 Hard라고 함. (Hard negative mining, Hard example mining etc..)

 

• Hard negative mining : False negative data(참이 아닌 것을 참이라고 한 data)를 모으는 것(학습을 위해)

 

• Hard example mining : Model이 잘 구분하지 못하는 데이터를 모으는 것(학습을 위해)

 

• KL- divergence : Kullback-Leibler Divergence[3]

 

• Latent : 잠재하는의 의미를 가진다. GAN 분야에서 많이 사용되지만 ML전반에 걸쳐 많이 사용된다. Neural network의 중간 결과 등 명확히 설명할수는 없으나 실존하는 것들에 latent라는 형용사를 붙인다. ex) latent variable, latent space 

 

• infimum : the greatest number that is less than or equal to all elements of S, 모든 원소와 같거나 더 작은 가장 큰 수, 0<x<1의 minimum은 존재하지 않음, 그러나 infimum은 0

 

• supremum : the least number that is greater than or equal to all elements of S, 모든 원소와 같거나 더 큰 가장 작은 수, infimum과 마찬가지로 0<x<1의 maximum은 존재하지 않으나, supremum은 1

 

• concomitant : 수반되는, 동반하는 concomitant financial expenditures = 수반되는 경제적 지출

 

 

 

[1] Kumar et al. Self-paced learning for latent variable models. In NIPS, 2010.
[2] Bengioet al. Curriculum Learning. In ICML. 2009
[3] hyunw.kim/blog/2017/10/27/KL_divergence.html