일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- neural net
- softmax backpropagation
- 풀업저항
- pulldown
- palindrome
- 회로
- Features
- NotFoundError
- two-layer neural net
- error
- Solution
- Floating
- assignment1
- Circuit
- autoencoder
- pullup
- assignment
- Softmax
- KNN
- atmega128
- backward pass
- leetcode
- impl
- 풀다운저항
- cs231n
- TensorFlow
- Big size image
- pyTorch
- #9
- Backpropagation
- Today
- Total
목록ML , DL (2019) (14)
코딩공부
간단하고 많이쓰이는 회문수 찾기 문제이다. https://leetcode.com/problems/palindrome-number/description/ Palindrome Number - LeetCode Can you solve this real interview question? Palindrome Number - Given an integer x, return true if x is a palindrome, and false otherwise. Example 1: Input: x = 121 Output: true Explanation: 121 reads as 121 from left to right and from right to left. Ex leetcode.com 수가 정수로 주어질 때 가장 간..
Binary Tree가 symmetric한지 알아내는 문제이다. https://leetcode.com/problems/symmetric-tree/ Symmetric Tree - LeetCode Can you solve this real interview question? Symmetric Tree - Given the root of a binary tree, check whether it is a mirror of itself (i.e., symmetric around its center). Example 1: [https://assets.leetcode.com/uploads/2021/02/19/symtree1.jpg] Input: roo leetcode.com Follow up에서 recursive, ..
Acceptance Rate가 높은 문제들 위주로 풀이를 진행중이다. https://leetcode.com/problems/intersection-of-two-linked-lists/ Intersection of Two Linked Lists - LeetCode Can you solve this real interview question? Intersection of Two Linked Lists - Given the heads of two singly linked-lists headA and headB, return the node at which the two lists intersect. If the two linked lists have no intersection at all, return nu..
- 임의의 데이터셋으로 dataset과 Dataloader를 만들면 ImageFolder가 제일 편하다 -> 추후 포스팅 예정 - 이미지에 AutoEncoder를 적용할 때 batch normalization을 안쓰면 gradient가 사라질 수 있다. ->꼭 써야함 - 큰 이미지에 대해서도 잘 돌아간다 -> 480 x 480 GrayScale 에 대해서 해본 결과 잘 동작
**Notation : - Dataset : Data들의 집합 - Data = Data point 같은 것인데 혼용될 수 있음 - Sampling(Subsampling) : 전체 Datset으로 부터 일부를 추출하는 것 Self-paced learning(SPL) : 너무 어려운 data point는 skip하는 것 → Stochastic Gradient Descent(SGD)의 convergence(수렴)가 더 빨라지고 높은 accuracy를 얻을 수 있음. Curriculum Learning[1]이라고 불리는 개념에서 출발 [1] Curriculum Learning[1] : Machine Learning의 학습은 특정 순서로 training data를 sort하면 더 높은 accuracy를 얻을 수 ..
https://github.com/Lee-daeho/cs231n Lee-daeho/cs231n Contribute to Lee-daeho/cs231n development by creating an account on GitHub. github.com 이번 과제는 기존의 과제들을 잘 했다면 문제없이 할 수 있는 수준의 과제였으므로 따로 설명은 하지 않는다. 이번 과제의 특징은 기존의 과제들은 이미지를 pixel단위로 구분하여 training했지만 이번에는 pixel이 아닌 extract한 feature단위로 구분하여 training하였다는 것이 특징이다. feature를 extract하는 데에는 hog(histogram of gradient)와 hsv color를 이용하였다.
과제의 전체 코드는 https://github.com/Lee-daeho/cs231n/tree/master/assignment1에 업로드 되어 있다. 우선 softmax의 backpropagation을 설명해보고자 한다. 코드로는 다음과 같이 표현할 수 있다. 여기서 gradient를 계산하기 위해 backward pass(backpropagation)을 진행해야 하는데 이것을 자세히 풀어보았다. 이런 과정을 통해 각 input의 gradient를 구할 수 있다. 대부분의 코드는 기존의 과제 softmax나 linear classifier를 참조하면서 진행할 수 있으므로 마지막으로 Inline Question만 보겠다. 질문은 training accuracy와 testing accuracy의 차이가 크면 ..
Yu Zeng et.al. 이번 논문은 Saliency Detection과 Weakly Supervised Semantic Segmentation을 2-stage model을 만들어 결합시킨 형태의 model에 관한 논문이다. Saliency Detection은 이미지로 부터 가장 관심이 가는 부분을 extract하는 방법이고 Weakly Supervised Semantic Segmentation(WSSS)은 이미지로부터 물체의 위치(pixel)을 extract하는데 이때 bounding box와 같은 불완전한 Label을 이용하는 방법이다. 기존에도 두가지 이론을 동시에 활용하는 방법은 존재 하였으나 본 논문의 가장 큰 차이점은 크게 두가지로 첫째는, 기존의 WSSS방법들은 pre-trained sal..
Intuitive understanding of backpropagation backpropagation의 직관적인 이해에대해 설명하는 부분이다. Chain rule은 gate가 gate의 모든 input들에 대해 구해진 gradient를 곱해야 한다고 이야기하고있고, 이러한 모든 input에 대한 곱셈이 상대적으로 쓸모없는 gate를 전체 neural network같은 복잡한 circuit의 톱니바퀴로 바꿔준다고 이 글에서 이야기하고 있다. Backpropagation은 gate들이 최종 결과값을 크게 만들기 위해 자신의 output을 얼마나 증가시키거나 줄이고싶은지에 대해 각각의 gates가 서로 대화하는것과 같다고 생각될 수 있다. -> Backpropagation의 직관적인 이해 Backpropa..
Python에서 Tensorflow사용중에 다음과 같은 오류가 발생했다. tensorflow.python.framework.errors_impl.NotFoundError: 경로/train.record; No such file or directory 라는 오류가 계속 발생해서 구글링을 해봐도 해결방안을 찾지 못해서 한동안 씨름하다가 진짜 경로의 문제인가 싶어서 경로를 기존방법과 다르게 적어보았다. 다른 방법이 이것이다. 기존에는 input과 output경로를 모두 ~/Tensorflow/workspace/training-real/annotations 이런 방법으로 작성하였는데 ' ~/ '