Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- 페이지랭크
- rust
- Readme image
- feynman's restaurant
- recommender
- brew 권한
- 협업필터링
- image restoration
- 인공지능
- 자바스크립트 비동기
- 파이썬
- cs231n
- 비동기 프로그래밍
- pagerank
- Hits
- react-cookie
- 커널제거
- 파인만의 식당문제
- 인페인팅
- 딥러닝
- 러스트
- 머신러닝
- tcp
- 프라미스
- 커널생성
- 컴퓨터 보안 키분배
- 키분배 알고리즘
- 메세지인증코드
- computer vision
- Git
Archives
- Today
- Total
목록뉴럴넷 (1)
Worth spreading
Initial value (초기값) 을 모두 0으로 준다면?
뉴럴넷(Neural net)에서 가중치(weight)의 초기값 설정은 아주 중요하다. 실제로 뉴럴넷의 성패가 초기값에 의해 갈리는 경우가 종종 있다. 그렇다면 초기값을 모두 0으로 주면 어떨까? 결론부터 이야기하자면 이는 좋은 아이디어가 아니다. 그렇다면 가중치의 초기값을 모두 0으로 주면 안되는 이유는 무엇일까? (정확히는 가중치를 균일한 값으로 설정하면 안 된다.) 그 이유는 오차역전파법(Back propagation)에서 모든 가중치의 값이 똑같이 갱신되기 때문이다. 순전파(forward prop.)시에 같은 값들(0)이 전달되면 역전파(backwards prop.) 때도 역시 같은 값들로 갱신된다. 이는 가중치를 여러 개 갖는 의미를 사라지게 한다. 이렇게 '가중치가 고르게 되어버리는 상황'을 막..
ABCD/Deep Learning
2017. 7. 31. 12:59