Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
Tags
- computer vision
- pagerank
- 협업필터링
- 커널생성
- 러스트
- 파인만의 식당문제
- 인공지능
- Hits
- image restoration
- feynman's restaurant
- recommender
- rust
- 딥러닝
- 프라미스
- 인페인팅
- 머신러닝
- 자바스크립트 비동기
- 컴퓨터 보안 키분배
- 비동기 프로그래밍
- 페이지랭크
- brew 권한
- 키분배 알고리즘
- tcp
- cs231n
- react-cookie
- 커널제거
- Readme image
- 파이썬
- 메세지인증코드
- Git
Archives
- Today
- Total
목록뉴럴넷 (1)
Worth spreading
Initial value (초기값) 을 모두 0으로 준다면?
뉴럴넷(Neural net)에서 가중치(weight)의 초기값 설정은 아주 중요하다. 실제로 뉴럴넷의 성패가 초기값에 의해 갈리는 경우가 종종 있다. 그렇다면 초기값을 모두 0으로 주면 어떨까? 결론부터 이야기하자면 이는 좋은 아이디어가 아니다. 그렇다면 가중치의 초기값을 모두 0으로 주면 안되는 이유는 무엇일까? (정확히는 가중치를 균일한 값으로 설정하면 안 된다.) 그 이유는 오차역전파법(Back propagation)에서 모든 가중치의 값이 똑같이 갱신되기 때문이다. 순전파(forward prop.)시에 같은 값들(0)이 전달되면 역전파(backwards prop.) 때도 역시 같은 값들로 갱신된다. 이는 가중치를 여러 개 갖는 의미를 사라지게 한다. 이렇게 '가중치가 고르게 되어버리는 상황'을 막..
ABCD/Deep Learning
2017. 7. 31. 12:59