하둡 1.0 튜토리얼 - (3) 하둡 설치

 

하둡 1.0 다운로드

이제 하둡 1.0을 설치해보도록 하겠습니다.

하둡 1버전은 이제 조금 오래된 버전이라 apache웹사이트에서는 archive를 한 상태입니다.

아래의 주소로 가시면 하둡 1.2.1버전을 다운받으실 수 있습니다.

https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/

위에 보이는 리스트 중 hadoop-1.2.1.tar.gz를 다운받으시기 바랍니다.

웹사이트로 접속하지 않으셔도 아래 명령을 터미널에 입력하시면 다운을 받을 수 있습니다.

> wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz

 

다운로드가 완료되면 다시한번 scp를 사용해 VM으로 파일을 전송해주겠습니다.

> scp hadoop-1.2.1.tar.gz root@192.168.1.1:~/

전송이 끝나면 vm의 root계정에서 ls를 입력하고 파일이 잘 전송이 됐는지 확인해보시기 바랍니다.

 

사용자 계정 생성

루트 계정을 사용해 모든 작업을 실행하면 좋지 않기 때문에, 별도의 계정을 만들어 주도록 하겠습니다.

계정명은 doop이라고 이름 짓겠습니다.

> adduser doop

그리고 다음 명령어를 입력해 비밀번호를 변경해줍니다.

> passwd doop

 

인코딩 방식 설정

하둡의 기본 인코딩 방식은 UTF-8입니다. 한글을 지원하려면 이 인코딩을 바꿔주어야 합니다.

현재 설정된 인코딩을 확인하려면 아래의 명령어를 입력하면 됩니다.

> echo $LANG

 

이제 다음 파일을 열어 인코딩 방식을 수정해주겠습니다.

> vi /etc/sysconfig/i18n

 

파일에 다음 네줄을 입력해 주고 저장하면 됩니다.

LANG="ko_KR.UTF-8"
SUPPORTED="en_US.UTF-8:en_US:ko_KR.eucKR:ko_KR:ko"
SYSFONT="lat0-sum16"
SYSFONTACM="8859-15"

 

편집이 끝나면 이를 시스템에 적용해줍니다.

> source /etc/sysconfig/i18n

적용하고 다시 echo명령을 내려보면 인코딩이 ko_KR.UTF-8로 바뀌어 있는것을 확인할 수 있습니다.

 

하둡 압축 해제

먼저 다운로드 받은 하둡 tar파일을 아까 만들었던 사용자 doop의 홈 디렉토리로 옮겨주도록 하겠습니다.

다음 명령어를 입력해 파일을 옮겨줍니다.

> mv hadoop-1.2.1.tar.gz /home/doop/

 

이를 수행한 뒤 doop 계정으로 로그인 하고 파일 이동이 되었는지 확인해 보겠습니다.

> su doop
> cd
> ls

 

이제 tar파일의 압축을 풀어주고, 생성된 디렉토리에 대한 심볼릭 링크를 만들어주겠습니다.

> tar xvfz hadoop-1.2.1.tar.gz
> ln -s hadoop-1.2.1 hadoop

cd명령을 사용해 hadoop심볼릭 링크로 들어가면 하둡에 필요한 파일들이 설치된 것을 확인할 수 있습니다.

 

하둡 설정

HADOOP_HOME 설정

이제 설치한 하둡에 관련된 설정을 해주도록 하겠습니다.

먼저 시스템에 HADOOP_HOME을 설정해주기 위해 .bash_profile파일을 열어주도록 하겠습니다.

.bash_profile은 시스템이 시작할 때 환경변수들을 영구적으로 반영해주기 위한 일종의 설정파일입니다.

> vi ~/.bash_profile

.bash_profile파일을 열어주셨으면, 아래의 정보를 입력해줍니다.

HADOOP_HOME=/home/hadoop/hadoop-1.2.1

저장을 하시고 source명령으로 ~/.bash_profile파일의 변경사항을 적용해주시면 됩니다.

 

이제 하둡이 자체적으로 사용할 환경변수들을 설정해주겠습니다.

conf 디렉토리 안에 있는 hadoop-env.sh파일을 열어주겠습니다. 아주 긴 파일이 나올 것입니다.

> vi ./conf/hadoop-env.sh

아까 설정한 HADOOP_HOME을 설정하고 하둡을 실행하면 Warning이 뜰 수 있다고 합니다.

따라서 먼저 아래의 정보를 hadoop-env.sh파일에 입력해줍니다.

export HADOOP_HOME_WARN_SUPPRESS="TRUE"

 

Java 설정

이제 하둡이 사용할 Java를 설정해주겠습니다. 제일 상단에 약 8번째 줄을 보시면 아래와 같은 줄이 있습니다

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

이 줄을 주석처리를 해제하고 다음과 같이 바꿔줍니다.

export JAVA_HOME=/usr/local/java

이렇게 하면 이전 포스팅에서 설치한 Java의 디렉토리를 하둡이 바라보게 됩니다.

 

HADOOP_PID_DIR 설정

마지막으로 하둡 데몬의 PID 정보를 저장하는 디렉터리를 설정해 줍니다.

54번줄을 보시면 해당 설정이 주석처리가 되어있는데 아래의 정보를 같은 파일에 입력해 주겠습니다.

(Tip. vi에 ?를 입력하시고 HADOOP_PID를 검색하시면 해당줄로 바로 이동합니다)

export HADOOP_PID_DIR=/home/doop/hadoop-1.2.1/pids

입력이 끝났으면, 파일을 저장하시면 됩니다.

 

다음 포스팅에서는 VM을 복제한 뒤 클러스터를 설정하고 하둡을 실행시켜보도록 하겠습니다.

 

참고자료

이 포스팅은 "시작하세요! 하둡 프로그래밍" 책의 예제를 무작정 따라해본 포스팅입니다.

https://wikibook.co.kr/beginning-hadoop-programming-2rev/