코딩공부

https://github.com/Lee-daeho/cs231n Lee-daeho/cs231n Contribute to Lee-daeho/cs231n development by creating an account on GitHub. github.com 이번 과제는 기존의 과제들을 잘 했다면 문제없이 할 수 있는 수준의 과제였으므로 따로 설명은 하지 않는다. 이번 과제의 특징은 기존의 과제들은 이미지를 pixel단위로 구분하여 training했지만 이번에는 pixel이 아닌 extract한 feature단위로 구분하여 training하였다는 것이 특징이다. feature를 extract하는 데에는 hog(histogram of gradient)와 hsv color를 이용하였다.

과제의 전체 코드는 https://github.com/Lee-daeho/cs231n/tree/master/assignment1에 업로드 되어 있다. 우선 softmax의 backpropagation을 설명해보고자 한다. 코드로는 다음과 같이 표현할 수 있다. 여기서 gradient를 계산하기 위해 backward pass(backpropagation)을 진행해야 하는데 이것을 자세히 풀어보았다. 이런 과정을 통해 각 input의 gradient를 구할 수 있다. 대부분의 코드는 기존의 과제 softmax나 linear classifier를 참조하면서 진행할 수 있으므로 마지막으로 Inline Question만 보겠다. 질문은 training accuracy와 testing accuracy의 차이가 크면 ..

softmax classifier는 svm과 내용이 상당히 비슷해서 SVM과 다른부분들만 설명을 하도록 하겠습니다. 설명이 없는 부분은 SVM과 같다고 생각하면 됩니다. 이번에도 코드는 github.com/Lee-daeho/cs231n 에 있습니다. 필요하신 분들은 가서 확인하시면 됩니다. scores를 구하는 부분은 SVM과 같다. 하지만 위의 TODO부분을 보면 If you are not careful here, it is easy to run into numeric instability. 라는 부분이 있다. 주의하지 않으면 numeric instability에 빠질 수 있다. 라는 의미인데 cs231n의 lecture note를 보면 다음과 같은 설명을 찾을 수 있다. Softmax function..

글을 작성하기에 앞서 Ubuntu 환경에서 진행하였으며 anaconda와 같은 가상환경은 사용하지 않았다. cs231n의 강의를듣고 assignment1의 knn과제를 진행하였다. numpy에서 익숙치않은 함수들도 나와서 모두 이해하느라 어제부터 오늘까지 약 8시간은 걸린 것 같다. knn.ipynb파일과 k-nearest-neighbor.py파일은 https://github.com/Lee-daeho/cs231n/tree/master/assignment1 에 가면 확인할 수 있다. 블로그에서는 전체 내용이 아닌 일부분들을 번역하며 설명할 예정이니 전체 파일은 github에서 확인하기 바란다. cs231n의 assignment는 전체 코드의 일부분을 학생이 직접 코딩하여 전체 프로그램을 완성시키는 방식이다..