개발블로그

페어 RDD 페어 RDD란 key-value쌍으로 이루어진 RDD를 말합니다. 파이썬 에서는 Tuple로 이뤄진 RDD가 곧 페어 RDD가 됩니다. 페어 RDD 생성 먼저 간단하게 parallelize메소드를 사용해 int key-value페어로 이뤄진 페어RDD를 생성하겠습니다. In [46]: examplePairRDD = sc.parallelize([(1, 3), (1, 5), (2, 4), (3, 3), (4, 8), (4, 2), (3, 1)]) examplePairRDD Out[46]: ParallelCollectionRDD[77] at parallelize at PythonRDD.scala:194 페어 RDD 트랜스포메이션 페어 RDD는 기본 RDD에서 사용 가능한 메소드들은 모두 사용할 수..

하둡 예제 실행 이번 포스팅에서는 하둡에서 기본적으로 제공하는 기본 예제인 워드카운트를 실행해보도록 하겠습니다. 홈디렉토리 생성 먼저 doop계정에 대한 홈 디렉토리를 생성해주겠습니다. 다음 커맨드를 실행해보시면 . 디렉토리가 없다고 나올것입니다. > hdfs dfs -ls 하둡2에서는 계정에 대한 디렉토리를 사용자가 따로 생성해주어야 합니다. 다음 커맨드들을 차례로 실행시커 홈 디렉토리를 만들어주겠습니다. > hdfs dfs -mkdir /home > hdfs dfs -mkdir /home/doop 그리고 다시 -ls 를 실행하면 이제 홈 디렉토리가 생성되었고, 아무 파일/디렉터리가 없기떄문에 아무 로그도 나오지 않을 것입니다. 예제 대상 파일 저장 이제 예제의 대상이 되는 파일을 hdfs로 넣어주겠습..

하둡스트리밍 하둡 스트리밍이란, 기존 자바로 맵리듀스를 실행하던것 외에 스크립트 언어 (파이썬, 루비, 셸스크립트 등)를 하둡에서 실행하게 해주는 인터페이스를 말합니다. 맵리듀스가 일정 시간동안 쌓인 데이터를 한번에 배치처리 하는 개념이었다면, 하둡스트리밍은 그때그때 데이터를 처리해야할 필요가 있을때 많이 쓰는 방식입니다. 하둡스트리밍 패키지 하둡 스트리밍을 실행하기 위해서는 contrib/streaming 디렉터리의 hadoop-streaming-1.2.1.jar 파일이 필요합니다. 이 jar파일을 사용해 스크립트를 실행시키는 구조입니다. 하둡 스트리밍을 사용하기 위한 기본적인 커맨드 문법은 다음과 같습니다. > hadoop jar hadoop-streaming-1.2.1.jar \ -input 입력경..

조인 RDBMS에서의 조인이란 두개의 테이블을 한개(혹은 여러개)의 키값을 기준으로 합치는 작업입니다. 맵리듀스를 사용해 이전에 사용했던 항공데이터와 다른 데이터를 조인해 보겠습니다. 데이터 다운로드 먼저 데이터를 받아야합니다. 다음 명령어를 사용하시면 다운받을 수 있고, > wget http://stat-computing.org/dataexpo/data/carriers.csv 다음 링크를 가셔도 다운 받을 수 있습니다. http://stat-computing.org/dataexpo/2009/carriers.csv 데이터 정제 항공 데이터의 첫줄을 없애주었듯이 이 데이터도 없애주겠습니다. 아래 커맨드를 입력하면 첫줄과 큰다옴표가 데이터에서 사라지게 됩니다. > perl -p -i -e 's/"//g' c..

전체 정렬 전체 정렬이란 입력 데이터를 먼저 개발자가 샘플링 해서 데이터의 분포도를 조사한 뒤, 미리 파티션의 갯수와 파티션에 저장할 데이터의 범위를 조사한 분포에 맞게 정해주는 정렬 방법입니다. 이때 분포와 파티션 정보가 잘 들어맞는다면 분산환경의 장점을 살려 좋은 효율을 내겠지만, 계산법이 틀렸다면, 특정 파티션에 데이터가 집중되면서 그 리듀스 태스크는 부하가 걸려 오래걸리게 됩니다. 전체정렬은 결국 다른 방식으로 부분정렬을 하고, 그 부분정렬을 모두 합치면 전체정렬이 완성됩니다. 정렬의 관점에서만 보면 전체정렬이 더 낫다고 볼 수 있으나, 부분정렬은 검색이 용이하다는 장점이 있기 때문에 각각의 용도가 다르다고 보면 됩니다. 전체정렬 구현 전체 정렬은 시퀀스파일이 이미 생성되었다는 것을 전제로 진행됩..

부분정렬 이번에는 같은 데이터를 다른 방식으로 정렬해보겠습니다. 항공 데이터를 운항 거리 순으로 정렬해보겠습니다. 부분 정렬이란, Map작업의 결과를 MapFile이라는 다른 형식으로 변경해 저장한 뒤, 이를 검색하는 방법입니다. 이는 먼저 입력 데이터를 시퀀스파일을 변환하고, 시퀀스파일을 맵파일로 변경합니다. 그리고 맵파일에서 데이터를 검색/조회하는 방식으로 수행됩니다. 프로젝트 생성 먼저 프로젝트를 생성해주도록 하겠습니다. IntelliJ에서 partialSort라는 프로젝트를 생성합니다. 이 프로젝트에서는 3개의 각기 다른 jar빌드를 해주어야 하기 때문에, 하위 모듈들을 생성해주겠습니다. 가장 상위 모듈인 partialSort모듈에 오른쪽 클릭을 하시고, New > Module을 선택해 모듈들을 ..

기존 데이터의 문제 지난 포스팅에서 집계한 데이터에는 한가지 문제가 있습니다. 바로 키 값들이 정렬이 안되어 있습니다. 데이터를 조금 더 뽑아보면 문제를 알 수 있습니다. > hadoop fs -cat delay_count_mos/departure-r-00000 | tail -15 마지막 15줄의 데이터를 뽑아보면 다음과 같이 나옵니다. 2007,7307864 2007,8298530 2007,9195615 2008,1247948 2008,10162531 2008,11157278 2008,12263949 2008,2252765 2008,3271969 2008,4220864 2008,5220614 2008,6271014 2008,7253632 2008,8231349 2008,9147061 문제가 보이시나요?..

다수의 출력 지난 포스팅에서 -D옵션을 이용해 각각 출발 지연과 도착 지연의 집계를 하나의 jar파일에서 따로 실행하는 법을 공부했습니다. 하지만 이 경우도 귀찮은 점이 있습니다. 매번 커맨드를 돌릴 때 다르게 매개변수를 주어야하고, 출발과 도착의 데이터가 병렬로 처리될 수 없다는 문제점도 있습니다. 이를 위해 하둡에서 다수의 파일 출력을 다루는 법을 공부하겠습니다. Mapper 클래스 먼저 Mapper클래스를 다음과 같이 수정해주었습니다. 파일 이름은 MODelayCountMapper라고 지었습니다. import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Tex..

Configuration 추가 하둡은 사용자가 여러가지 설정을 추가할 수 있도록 해줍니다. 이전에 작성했던 코드 중 Configuration 클래스를 보셨을 것입니다. 사용자 지정 설정은 이 Configuration설정을 통해 가능합니다. 지난 포스팅에서 작성했던 코드는 출발 지연 데이터와 도착 지연 데이터가 각각 다른 Mapper와 Driver클레스에 구현되었고, 빌드 설정과 빌드 Artifact또한 따로 생성해 주어야 했습니다. 이번 포스팅에서는 이를 설정으로 해결해주겠습니다. Mapper 수정 먼저 새로운 Mapper클래스를 추가하겠습니다. DelayCountMapper.java라고 이름 짓고 아래 코드를 작성해줍니다. public class DelayCountMapper extends Mapper..

맵리듀스 작성 먼저 항공 출발 지연 데이터를 조회하는 맵리듀스를 작성하겠습니다. 이 프로그램은 년도별로 얼마나 많은 항공기에 출발지연이 발생했는지를 집계해주는 프로그램입니다. 출발지연의 Mapper 클래스 먼저 출발지연의 Mapper클래스를 작성해주겠습니다. 이전에 언급한 바와 같이 맵과 리듀스는 입력과 출력을 페어로 주고받습니다. 아래의 코드에서 Map의 입력의 Key는 오프셋 즉 Long의 숫자값이고, Value는 운항 데이터의 한줄 전체 Text입니다. 출력의 Key는 운항년도,운항월 형식의 Text이고, Value는 항상 1의 Int값을 출력합니다. import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; ..