개발블로그

주피터 노트북 주피터 노트북은 파이썬을 개발할 때 가장 많이 쓰이는 에디터중 하나일 것입니다. 예전에는 IPython이라고 하는 이름으로 출시가 되었었죠. Python커널을 사용해 짧은 코드를 돌리고 결과를 그 화면에서 바로 볼 수 있고, 마크다운을 사용해 노트나 보고서 형식으로 작성할 수 있어서, 프로토타이핑이나 보고서 형식의 코드 작성에 유용합니다. 주피터 노트북 설정 저는 VirtualBox를 사용하였기 때문에, 외부 접속이 필요해서 다음 설정을 해주었습니다. 먼저 다음 커맨드를 실행해 config파일을 생성해 줍니다. # jupyter notebook --generate-config 그리고 해당 파일을 열어줍니다. # vi ./.jupyter/jupyter_notebook_config.py 아래 ..

PyTorch를 활용한 협업필터링¶ 이번 포스팅에서는 행렬분해를 사용한 추천시스템 문제를 풀어보려 한다. 그리고 더 일반적인 산경망 모델을 사용해 해당문제를 풀어보겠다. MovieLens 데이터셋은 영화 추천에 자주 활용되는 유명한 데이터셋이다. 이 데이터셋에는 영화 추천 시스템 내의 별점 5점 만점의 평점데이터와 자유 텍스트 태깅 정보가 들어있다. 총 9125개의 영화에 대한 100004개의 평점과 1296개의 태그가 기록되어 있다. 영화 데이터는 https://grouplens.org/datasets/movielens/ 에서 내려받을 수 있다. In [3]: # wget을 사용해 데이터를 내려받는다 !wget http://files.grouplens.org/datasets/movielens/ml-la..

DataLoader와 스토캐스틱 경사하강법¶ 딥러닝은 하나의 중요한 알고리즘으로 많이 발전하게 되었다. 바로 스토캐스틱 경사하강법이다. 기존의 경사하강법은 한 epoch에 모든 데이터셋을 한번에 학습시킨다. 스토캐스틱 경사하강법은 이 큰 데이터셋을 여러개로 나누고, 나눠진 데이터의 서브셋 마다 학습을 시킨다. 이것을 기존 경사하강법의 근사치로 보면 될것이다. 이 하나의 서브셋을 배치 또는 미니배치라고 부른다. In [101]: import torch from torch import autograd, nn, optim import torch.nn.functional as F import numpy as np def lin(a,b,x): return a*x+b # 가짜 데이터 생성 def gen_fake_d..

추천시스템 본 포스팅은 Minnesota대학교의 Intro to Recommender Systems코세라 강좌를 정리한 내용입니다. https://www.coursera.org/learn/recommender-systems-introduction?specialization=recommender-systems 원본 코드 예제에서는 Excel로 코딩하게 되어있지만, 파이썬으로 코딩한 예제입니다. 1. 영화 평점¶ 문제: 평균 평점을 계산하고, 최상위 3개의 영화와 점수를 구하시오 먼저 Pandas 패키지를 import 하겠습니다. In [94]: import pandas as pd movies_df = pd.read_csv('./HW1-data.csv') movies_df.head() Out[94]: Use..

지난 포스팅에서는 Rasa와 샘플 프로젝트 구조에 대해서 살펴보았습니다. 이번 포스팅에서는 직접 샘플프로젝트를 구동시켜 보도록 하겠습니다. Rasa Shell 먼저 Visual Studio Code에서 Rasa 프로젝트의 Terminal을 열어보겠습니다. ...더보기 새로운 터미널을 여는 것은 Terminal > New Terminal 기존 터미널을 여는 것은 View > Terminal 터미널에서 Shell을 열기 위해 다음과 같은 커맨드를 입력해봅시다. > rasa shell rasa shell을 실행시키면 다음과 같이 사용자의 인풋을 요구합니다. 이제 여기에 “hello” 라고 입력해 보면, 다음과 같은 메시지가 보입니다. Hey! How are you? 방금 상황은 greet이라는 사용자의 int..

...더보기 이 글은 다음 사항들이 완료 되었다고 보고 진행됩니다. 파이썬3.x(아나콘다) 설치 IDE 설치 (Visual Studio Code) 파이썬 기본 지식 챗봇에 대한 기본적인 이해 Rasa및 TMDb소개 Rasa란? Python 및 Tensorflow로 만들어진 오픈소스 AI챗봇 TMDB란? 사용자들에게 영화 정보와 리뷰를 받아 만들어진 영화 데이터베이스 Rasa 설치 Command Prompt 창을 열어 다음과 같은 명령을 입력해 줍니다. > pip install rasa ...더보기 Rasa 가이드에 있는 rasa-x를 받으면 오픈소스 버전이 아닌 상용 버전을 받게 되니, rasa로 설치하시기 바랍니다. Rasa는 파이썬의 주요 라이브러리 (numpy, scipy, matplotlib, t..