Worth spreading

안녕하세요! 지난 시간에 뉴럴넷을 만들기 위한 첫번째 레고블럭인 선형분류기(linear classifier)를 배웠습니다. 선형분류기는 '파라미터적 접근법(parametric approach)'을 이용한다고 했습니다. 학습데이터를 summarize한 값을 파라미터(W) 값에 반영시킨다고 했죠. 우리의 선형분류기는 매우 심플했습니다. [32x32x3] 크기의 이미지를 입력받아서 한줄로 된 행렬(혹은 벡터)로 쭈욱 펴줬습니다( [32x32x3] -> [3072 x 1] )그리고 W([10 x 3072])를 기다란 벡터([3072x1]) dot product해서 각 클래스의 점수에 해당하는 10개의 숫자(score)가 나오도록 만들었습니다.그리고 여기서 나온 숫자들은 각 카테고리가 정답이 될 확률을 나타낸다고..

지난 시간에 이어 이번 시간에는 선형분류기(linear classifier)에 대해서 배워보겠습니다.선형분류기는 이미지 분류문제에 있어 KNN보다 좀 더 강력한 접근법입니다.또한 이 선형분류기를 이용해 더 복잡한 딥러닝 알고리즘(CNN,RNN)등으로 확장해 나갈 것입니다. 선형분류기는 딥러닝에서 가장 기본적인 applicaition 중 하나입니다.우리가 앞으로 구성할 딥러닝 구조를 체내의 신경망구조와 비슷하다고 해서 신경망(Neural net)이라 부르기도 하는데요, 이 뉴럴넷의 재료가 될 수 있는 것들 중 하나가 바로 선형분류기입니다. 신경망을 구성한다는 것은 레고를 조립하는 것에 비유할 수 있습니다. 즉, 우리가 배울 CNN, RNN등 각각의 독립적인 딥러닝 구조들을 우리가 원하는대로 레고처럼 이어 ..

앞으로 쓸 강의노트들은 파이썬과 numpy에 어느정도 익숙하단 것을 가정하고 진행할 것입니다. * http://cs231n.github.io/python-numpy-tutorial/ // cs231n에서 제공하는 파이썬,numpy 튜토리얼 입니다. * 필요한 내용들로만 구성되어 길지 않으니 파이썬과 numpy가 익숙하지 않은 분들이나 오랜만에 다루시는 분들은 한 번씩 봐주시면 좋겠습니다. 이번 강의에서는 이미지분류(image classification) 문제를 소개하겠습니다. 이미지분류는 이미지를 입력받아 카테고리 내에서 정답을 고르는 문제로 컴퓨터비전(computer vision) 분야에서 주요하게 다루는 core problem이라고 할 수 있습니다. 가장 간단한 예를 보겠습니다. 우리 인간의 뇌 속에..

국내 인공지능 관련 서적들을 정리해놓은 자료입니다. '밑바닥부터 배우는 딥러닝'을 번역하신 개앞맵시님이 만드신 자료로 꾸준히 업데이트가 되고 있는 것 같습니다. 인공지능 공부를 시작하시는 분들이 참고하시면 좋을듯 합니다! https://www.mindmeister.com/812276967/_

뉴럴넷(Neural net)에서 가중치(weight)의 초기값 설정은 아주 중요하다. 실제로 뉴럴넷의 성패가 초기값에 의해 갈리는 경우가 종종 있다. 그렇다면 초기값을 모두 0으로 주면 어떨까? 결론부터 이야기하자면 이는 좋은 아이디어가 아니다. 그렇다면 가중치의 초기값을 모두 0으로 주면 안되는 이유는 무엇일까? (정확히는 가중치를 균일한 값으로 설정하면 안 된다.) 그 이유는 오차역전파법(Back propagation)에서 모든 가중치의 값이 똑같이 갱신되기 때문이다. 순전파(forward prop.)시에 같은 값들(0)이 전달되면 역전파(backwards prop.) 때도 역시 같은 값들로 갱신된다. 이는 가중치를 여러 개 갖는 의미를 사라지게 한다. 이렇게 '가중치가 고르게 되어버리는 상황'을 막..