금융덕후

하둡 실행 하둡을 실행하기 위해서는 앞서 했던 설정파일들을 오타 없이 잘 작성하셔야 합니다. (저는 한글자 오타 때문에 고생을 많이 했습니다.) 무언가 실행이 잘 되지 않을때는 꼭 로그파일들을 확인하시기 바랍니다. 하둡을 실행하기 위한 프로세스는 다음과 같습니다: 주키퍼 포맷 3개의 저널노드 실행 Active 네임노드 실행 Standby 네임노드 실행 주키퍼 장애 컨트롤러 (zkfc)실행 데이터노드 실행 얀 클러스터 실행 히스토리서버 실행 alias등록 먼저 하둡 실행 및 운영을 위해 미리 편리한 alias들을 등록해두겠습니다. .bashrc 파일을 열어 다음과같은 alias들을 등록해줍니다. alias hadoop="~/hadoop/sbin/hadoop-daemon.sh" alias hdfs="~/ha..

하둡 설치 아래 튜로리얼은 hadoop 1.x와 관련된 파일인 hadoop디렉토리와 hadoop-data디렉토리를 삭제한 뒤 진행됩니다. 하둡 2.7 다운로드 먼저 하둡2의 특정 버전을 다운로드 받겠습니다. 하둡은 이미 3.x이상의 버전이 출시되고 있기 때문에 특정 버전들만 공식적으로 나와있습니다. 우리가 다운로드할 2.7.2버전은 2.7.6버전으로 stable release되어있고 2.7.2버전은 아카이브 되어있습니다. 따라서 아래 링크를 통해 다운받아 주겠습니다. https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 직접 링크로 다운받으셔도 되고 wget명령어를 이용하셔도 됩니다. > wget https://arc..

하둡 2.0 이제 하둡 2버전으로 넘어가보도록 하겠습니다. 먼저 설치를 진행할 것인데요, Virtual Box VM과 Java가 모두 설치되었다고 가정하고 진행합니다. 해당 설치 내용은 아래 두개의 포스팅에서 찾아볼 수 있습니다. https://jyoondev.tistory.com/32 https://jyoondev.tistory.com/34 프로토콜 버퍼 프로토콜버퍼란 (이하 프로토버프, Protobuf) 구글이 개발한 데이터전송 방식(규격)입니다. 다른말로는 직렬화 라이브러리 라고도 하죠. 우리가 흔히 알고있는 직렬화/규격 포맷은 json과 xml이 있습니다. 프로토버프는 json이나 xml보다 크기가 작고 성능이 좋아 하둡에서 채택해 사용하게 되었습니다. 이를 설치하기 위해 구글의 깃허브 페이지로 ..

하둡 1.0 다운로드 이제 하둡 1.0을 설치해보도록 하겠습니다. 하둡 1버전은 이제 조금 오래된 버전이라 apache웹사이트에서는 archive를 한 상태입니다. 아래의 주소로 가시면 하둡 1.2.1버전을 다운받으실 수 있습니다. https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/ 위에 보이는 리스트 중 hadoop-1.2.1.tar.gz를 다운받으시기 바랍니다. 웹사이트로 접속하지 않으셔도 아래 명령을 터미널에 입력하시면 다운을 받을 수 있습니다. > wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz 다운로드가 완료되면 다시한번 scp를 사용해 VM으로 ..

네트워크 설정 지난 포스팅에서 CentOS를 VM에 설치해 보았습니다. 루트계정으로 로그인 하시면 위와 같은 리눅스 Shell이 나옵니다. 먼저 VM의 네트워크를 설정해주겠습니다. VM상단의 메뉴에서 Devices > Network > Network Settings... 메뉴로 들어가겠습니다. Attached to 메뉴를 NAT에서 Bridged Adapter로 바꾸고, Name에는 본인이 사용하는 네트워크 어댑터를 선택해줍니다. OK를 누르시고 VM에서 아래의 커맨드를 순서대로 입력해보겠습니다. > dhclient > ifconfig ifconfig를 입력하면 나오는 inet옆의 ip주소를 잘 적어두시기 바랍니다. 편의를 위해 이 포스팅에서는 해당 주소를 192.168.1.1로 지정하고 진행하겠습니다...

참고사항 하둡을 네개의 VM에 설치해 클러스터를 운영해 볼것입니다. 제가 따라해본 예제는 각각 2기가의 메모리와 20기가의 하드디스크를 설정해 사용합니다. CentOS 이미지 다운로드 우선 하둡은 리눅스에서 돌려야 하니 RedHat 계열의 CentOS를 다운받겠습니다. 아래의 링크로 접속하셔서 다운 받을 수 있습니다. https://www.centos.org/ 홈페이지에 접속하면 위와 같은 화면이 나오는데, 여기서 Get CentOS Now를 클릭해줍니다. 그러면 위와 같은 화면이 나오는데, 운영에 필요한 기본적인 패키지들이 깔려있는 DVD ISO를 받아주겠습니다. DVD ISO버튼을 클릭하면 위와같은 화면이 나오는데, 이 링크들 중 하나를 선택하시면 다운로드가 시작됩니다. (참고로 저는 neowiz나 ..