Worth spreading

MovieLens 데이터셋을 이용해 가장 기본적인 Collaborative Filtering을 Jupyter notebook으로 작성해보았습니다.다양한 의견 환영합니다. Github 바로가기

Multi armed bandit 위키피디아 글을 보던 중 external link에서 'feynman'을 발견했다. 굉장히 좋아하는 사람이라 반가웠지만 추천시스템글에 왜 물리학자가 링크되지? 라고 생각했다.어쨌거나 링크를 클릭해 들어가봤다. Feynman's restaurant problem이라는 제목의 글이었다.내용은 다음과 같다. 1970년 어느날 리처드 파인만과 랠프 레이턴이 자주 가던 식당에서 메뉴를 고르고 있었다. 메뉴를 고르던 중 둘은 가장 맛있었던 메뉴를 시키는 것과 새로운 메뉴를 시도해 보는 것 중 어떤 것이 더 나은지에 대한 이야기가 나누었고 이 문제를 수학적으로 분석했다. 파인만이 타계한 이후 2002년 마이클 고트립(Michael Gottlieb)이라는 물리학자는 랠프 레이턴에게 이..

" 이 글은 Semantic Image Inpainting with Deep Generative Models 논문을 참조해 작성한 글입니다. "다음 이미지들은 이 논문의 코드를 이용해 나와 지인들의 얼굴 그리고 논문에서 제공한 데이터셋의 얼굴들을 Inpainting한 결과이다. 랜덤으로 노이즈를 준 경우는 굉장히 좋은 결과를 보여준다. (포이즌블랜딩을 하고 안하고의 차이가 꽤나 있었다.)반면 왼쪽을 통째로 날려버린 경우는 부드럽지만 원본과 차이가 있는 결과를 보여주었다. 이 글에서는 GAN을 이용해 위와 같은 결과를 얻어 내는 방법에 대해서 알아볼 것이다. Image inpaintingwith GAN 1. Introduction Image inpainting은 긴 기간동안 수많은 학자들로부터 연구된 유서..

Mining of Massive Datasets의 Link analysis 챕터에서 배운 내용 Pagerank는 웹페이지의 중요도를 구하기 위한 기법으로 어떤 page의 pagerank값은 그 page가 얼마나 중요한 page인지를 나타낸다)* Web page의 개수를 N개로 가정1. 행과 열의 개수가 모두 N인 행렬을 만든다.2. 만약 page j가 page i로 가는 링크를 갖고 있다면 행렬 M(i,j)는 1/c 값을 갖는다. (c는 page j의 outlink 개수) 이러한 행렬 M은 한 열의 값을 모두 합친 값이 1이 되므로 'column stochastic matrix'라고 부른다.3. 이제 pagerank를 저장할 벡터 r을 만든다. 모든 page는 각각의 pagerank값을 가지므로 r은 길..

이 글은 Nicolas hug씨의Understanding mtrix factorization for recommendation (part 3)을 한글로 번역한 글입니다. 오역이나 잘못 설명된 부분을 발견하신 분은 댓글로 알려주시면 감사하겠습니다. SVD for recommendation 지난 시간까지 잘 따라왔다면 SVD가 무엇인지, 그리고 SVD가 점수(rating)를 어떤 식으로 모델링 할 수 있는지에 대한 이해가 됐을 거라 생각한다. 그렇다면 이제 가장 중요한 이야기를 할 때다. SVD를 추천시스템에 어떻게 적용할지에 대해 이야기해보자. SVD로 점수를 예측하는 방법이라고도 할 수 있겠다. 맨 처음에 얘기했던 우리의 sparse matrix R을 다시 떠올려보자 우리의 목표는 여기서 '?'로 표시되..

이 글은 Nicolas hug씨의Understanding mtrix factorization for recommendation (part 2)을 한글로 번역한 글입니다. 오역이나 잘못 설명된 부분을 발견하신 분은 댓글로 알려주시면 감사하겠습니다. SVD of a (dense) rating matrix Part2를 시작하기 전 지난시간 했던 것들을 짧게 복습해보자. 1) 행렬 R에 대한 PCA를 통해 typical user의 정보를 얻을 수 있다. 이 typical user는 original user와 같은 크기의 벡터이다. (creepy/typical guy 예제와 같은 맥락) 그리고 typical user가 벡터이기 때문에 우리는 typical user들을 열(column)으로 갖는 행렬을 정의할 수 ..

이 글은 Nicolas hug씨의Understanding mtrix factorization for recommendation (part 1)을 한글로 번역한 글입니다. 오역이나 잘못 설명된 부분을 발견하신 분은 댓글로 알려주시면 감사하겠습니다. * rating은 점수, 점수를 주는 행위 두 가지 뜻으로 사용했으며 점수예측, rating prediction 등 단어를 섞어 썼으나 같은 뜻을 의미합니다. * factorizing도 인수분해라는 어엿한 한국말이 있지만 그 느낌을 더 살기 위해 영문을 그대로 사용했습니다. 10여년 전, Netflix는 영화점수예측(predicting movie rating) 알고리즘 공모전 'Netflix prize'를 개최했다. 3년간 많은 연구진이 참여했고 그 중 matr..

argparse에서 parser 사용시 다음과 같은 에러 발생 usage: ipykernel_launcher.py [-h]ipykernel_launcher.py: error: unrecognized arguments: --lrAn exception has occurred, use %tb to see the full traceback. SystemExit: 2 /Users/username/lib/python3.6/site-packages/IPython/core/interactiveshell.py:2971: UserWarning: To exit: use 'exit', 'quit', or Ctrl-D. warn("To exit: use 'exit', 'quit', or Ctrl-D.", stacklevel=1..

numpy.repeat(a, repeats, axis=None) a를 repeats만큼 반복한 결과를 출력.axis의 값으로 repeat이 이루어질 차원(dimension)을 지정해준다 Example1234567891011121314151617181920212223np.repeat(3, 4) >>> array([3, 3, 3, 3]) x = np.array([[1,2],[3,4]])np.repeat(x, 2) >>> array([1, 1, 2, 2, 3, 3, 4, 4]) np.repeat(x, 3, axis=1) >>> array([[1, 1, 1, 2, 2, 2], [3, 3, 3, 4, 4, 4]]) np.repeat(x, [1, 2], axis=0) >>> array([[1, 2], [3, 4],..

HITS algorithm의 hub와 authority는 재귀적인 관계를 갖는다.좋은 Authority를 많이 가리키는 Hub가 좋은 Hub이며, 좋은 Hub가 많이 가리키는 Authority가 좋은 Authority가 된다. 여기서 HITS 알고리즘의 가리키는 행위를 인스타그램에서 팔로우(Follow)하는 것으로 해석해 볼 수 있다.그렇게 할 경우 인스타그램에 등록된 각각의 계정에 대해서 Hub 점수와 Authority 점수를 계산할 수 있을 것이다. 아마 인스타그램에서 이미 이런식으로 진행을 하고 있을 수도 있지만 원래 HITS 알고리즘의 목적은 양질의 웹페이지들의 랭킹을 매기는 것이다. 그런데 정보제공자로서 인스타그램의 역할이 커지고 있다는 점을 고려한다면 인스타 내 검색이 필요할 경우 HITS를 ..