개발블로그

데이터사이언스 분포 (distribution) 분포란 데이터의 값이 어떠한 형태로 퍼져 있는지에 대한 정보이다. 표본분포 (sampling distribution) 표본 분포란 모집단에서 얻은 샘플 데이터가 나타내는 형태에 대한 정보이다. 좋은 표본의 분포는 모집단의 분포를 크게 반영한다. 중심극한정리 (central limit theorem) 중심극한정리는 표본의 크기가 커질 수록 표본분포는 정규분포를 따르는 경향이 있다는 이론이다. 모집단이 정규분포가 아니더라도, 표본의 크기가 충분하다면 정규분포를 따른다고 가정한다. 신뢰구간 (confidence interval) 신뢰구간이란 모수가 실제로 포함될 것으로 예측되는 범위이다. 보통 신뢰구간은 어떠한 큰 수치(예, 95% 혹은 90%)로 표현이 된다. ..

강화학습 예측속의 불확실성 (Uncertainty in Estimates) UCB는 탐색(exploration)에 사용되는 기법 중 하나로 밴딧 문제를 해결하는 논문들에 많이 나온다. 이 기법은 강화학습의 예측에서의 불확실성을 해결하기 위한 기법이다. 행동가치 Q(a)값을 예측한다고 가정해 보자. 그리고 해당 Q값은 어떠한 불확실성을 가지고 있다. 이 불확실성을 표현하기 위해 신뢰구간(confidence interval)을 설정한다. 따라서 이 신뢰구간 사이에 놓인 값들은 불확실성에 대해 확신이 있다고 보는 것이다. 만약 이 신뢰 구간이 작다면, 에이전트는 이 Q(a)값에 대해 엄청난 확신을 가지는 것이다. 반대로 이 신뢰 구간이 크다면, 에이전트는 이 Q(a)값에 대해 확신이 없는 것이다. 낙관적인 초..

추천시스템 비개인적 추천 비개인적 추천을 왜 하는가? 새로운 유저는 개인화 할 수 있는 정보도 별로 없으니 이들을 위해 처음부터 시작하는 용도로 사용한다. 심플하고 빠르지만, 이점이 많다. 온라인 매체들 중 이러한 방법론을 사용하는 곳이 많이 있다. 개인화가 불가능하거나 힘든 곳에서 사용한다. 기술통계 기술통계란, mean, max, median과 같은 기본적인 통계적 기술을 말한다. 기술통계를 통한 추천은, 간단한 통계적 방법으로 데이터를 분석해 추천을 하는 것이다. 약한 개인화 우편번호, 대략적 위치 나이, 성별, 국적, 민족성 이러한 정보들은초반의 정형화된 추천을 하기에 매우 적합하다. 사용자가 지금 보고있는 아이템에 관련된 추천을 하는것도 약한 개인화에 해당된다. ZAGAT 이야기 ZAGAT이라고..