하둡 2.0 튜토리얼 - (10) 아파치 스쿱 설치

 

아파치 스쿱

하이브가 하둡에 있는 파일을 SQL을 사용해 접근하게 해주는 인터페이스 역할을 했다면, 스쿱은 기존에 있던 RDB에서 하둡으로 파일을 끌어오거나 내보내주는 역할을 하는 시스템입니다. 비지니스 로직 측면에서 보면, 하둡과 같은 시스템이 기존에 있던 RDB들에 있는 데이터를 고려를 안할 수가 없기 때문에 RDB에서 데이터를 가져오거나, 하둡에 있는 데이터들과 조인을 해 분석을 하는 측면에서 꼭 필요한 시스템입니다.

 

스쿱 설치

먼저 스쿱을 설치하기 위해 다음 링크에서 다운로드를 받겠습니다.

 http://mirror.apache-kr.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

> wget http://mirror.apache-kr.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

 

다운로드가 완료되면 doop01기기로 전송해주고 압축을 풀어줍니다.

> tar xvfz sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

 

그리고 심볼릭링크를 등록해줍니다.

> ln -s sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

 

마지막으로 .bashrc에 Alias를 등록해줍니다.

#sqoop
alias sqoop="~/sqoop/bin/sqoop"

 

스쿱 설정

이제 스쿱과 하둡을 연동해 사용하도록 설정을 해주겠습니다.

먼저 sqoop/conf/sqoop-env-template.sh기반으로 설정파일을 만들기 위해 복사하겠습니다.

> cp sqoop/conf/sqoop-env-template.sh sqoop/conf/sqoop-env.sh

 

그리고 복사한 sqoop-env.sh파일에 다음 두줄을 추가해줍니다.

export HADOOP_COMMON_HOME=/home/doop/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/home/doop/hadoop-2.7.

 

위와 같이 설정하면 스쿱을 기본 기능으로 사용할 수는 있습니다.

하지만 MySQL이나 HBase와 같은 데이터를 임포트할 DB가 없기 때문에, 의미가 없게 되겠죠.

다음 포스팅에서는 MySQL에서 데이터를 임포트하거나 익스포트 하는 방법을 살펴보겠습니다.

 

참고자료

이 포스팅은 "시작하세요! 하둡 프로그래밍" 책의 예제를 무작정 따라해본 포스팅입니다.

https://wikibook.co.kr/beginning-hadoop-programming-2rev/