Cordilog의 정보보안 공부 기록

이번에는 지금까지 만든 마스터 노드 1개와 슬레이브 노드 2개로 구성된 환경에서 하둡 파일 시스템(HDFS)을 초기화하고 하둡 클라우드에 디렉토리를 생성하여 파일을 업로드하는 과정을 살펴본다. 1. 초기화 및 네임노드 포맷하둡을 재구동하기 전, 이전 실행 기록이 남아 충돌하는 것을 막기 위해 임시 디렉토리(/usr/local/hadoop/tmp)를 비우는 작업을 선행한다. master와 모든 slave 노드에서 동일하게 진행한다.공통사항: 기존 tmp 폴더를 삭제 후 재생성하고, username에게 소유권 권한을 부여rm -rf /usr/local/hadoop/tmpmkdir /usr/local/hadoop/tmpchown username: -R /usr/local/hadoop/tmp [master]HD..

먼저저 하둡 클러스터의 핵심인 마스터 노드(Master Node)와 슬레이브 노드(Slave Node)가 하둡 분산 시스템(HDFS)에서 어떤 의미와 역할을 갖는지 알아보자. 마스터와 슬레이브의 역할 하둡은 거대한 데이터를 한 대의 컴퓨터가 아닌, 여러 대의 컴퓨터에 나누어 저장하고 처리하는 기술이다. 이를 효율적으로 관리하기 위해 시스템을 지시하는 관리자(Master)와 일꾼(Slave)으로 역할을 철저히 구분한다. 1. 마스터 노드 (Master Node) - 네임노드 (NameNode)클러스터 전체를 관리하고 통제하는 '두뇌' 역할을 한다.메타데이터 관리: 사용자가 업로드한 실제 파일 데이터는 저장하지 않는다. 대신, 그 파일이 '어떤 슬레이브 노드의 어느 위치에 저장되어 있는지'에 대한 정보(메타..