Hanee's Town

1. Fast Marching Method 1.1 참고 논문: KIMMEL, Ron; SETHIAN, James A. Computing geodesic paths on manifolds. Proceedings of the national academy of Sciences, 1998, 95.15: 8431-8435 1.2 주요 방법론 A. Triangulated domain에 적용할 수 있는 Fast Marching Method의 application을 제시함 B. The Fast Marching Method는 본질적으로 wavefront propagation 알고리즘임 C. 본 논문의 주요 아이디어는 전파를 upwind 방식으로 진행하여 mesh의 vertices에 새로운 거리 값을 생성하는 것임 I...

일반적으로 가중치가 크면 과적합이 발생한다고 알려져 있다. 그래서 가중치의 크기를 규제하는 방법으로 L1-regularization, L2-regularization을 활용하곤 한다. (가중치 규제와 관련된 포스팅은 이 링크를 참고) https://ohsy0512.tistory.com/31 그러면 왜 가중치의 크기가 클 때 과적합이 발생할까? 이 주제에 대해서 한국어 자료부터 영어 자료까지 찾아봤지만 자세히 설명된 포스팅이 없었다. 그래서 나름 혼자 고민하면서 이해한 바를 설명해보려 한다. 다음의 예시를 보자. $x1$과 $x2$라는 feature가 있을 때, $x = x1 + x2$ 혹은 $x = 10x1 + 10x2$에 대하여 sigmoid(x)를 적용한 결과다. 두 그래프의 차이는 weight의 크..

AlexNet은 2012년에 이미지 분류 대회에서 우승을 하며 현대 CNN의 기초가 된 논문이다. LeNet 사실 CNN은 AlexNet에서 처음 사용된 것이 아니다. 1998년에 발표된 LeNet이라는 논문에서 CNN의 기반을 구성했다. Pooling, Padding, Activation, Fully Connected Layer로 이어지는 일련의 과정을 활용했으며, MSE Loss를 손실함수로 사용했다. MNIST Dataset을 기준으로 99.05%의 정확도를 달성했지만, 그게 한계였다. 얼굴이나 객체 인식과 같은 복잡한 패턴의 영상을 처리할 수 없었고 기존의 알고리즘이 더 주목을 받았다. 이후 CNN은 역사의 뒤안길로 사라지는 듯 보였다. AlexNet 그러다 AlexNet이 등장하게 된다. LeN..

이번주 AlexNet 논문을 읽으면서 weight decay가 언급되었는데 이참에 제대로 개념을 잡고 가는 게 좋을 것 같아서 따로 글을 적는다. 과적합(Overfitting) 과적합이란 모델이 훈련 데이터에만 지나치게 적응하여 시험 데이터에 제대로 반응하지 못하는 현상을 말한다. 그 반대 개념으로는 모델이 훈련 데이터도 제대로 학습하지 못한 상태를 말하는 과소적합(Overfitting)이 있다. 그런데 일반적으로 딥러닝에서 과소적합보다 과적합에 대한 해결방법이 많이 연구되는 것을 볼 수 있다. 왜 그럴까? 그 이유로는 딥러닝 모델은 직접 raw data에서 feature를 만들어 낸다는 점을 꼽을 수 있다. 학습과정에서 모델이 스스로 feature를 가공하고 추출하기 때문에, 처음부터 Architect..