[Hadoop] Ubuntu 20.4 Hadoop 3.3.0 설치하기

설치가 반이라는 말이 있다.

 

설치 성공~! 

 

일단 나는 java가 설치되어 있다. 

 

java가 설치되어 있지 않다면 java를 우선 설치하고 보길 바란다.

 

 

 

설치 시작

sudo apt install openssh-server openssh-client -y

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
ssh localhost

 

vi ~/.bashrc 에 추가한다.

export HADOOP_HOME=/home/minjikim/hadoop-3.3.0
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

wget 으로 다운받는다. 나는 3.3.0을 다운받았음.

sudo wget [<https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz>](<https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz>)
tar xzf hadoop-3.3.0.tar.gz

hadoop-3.3.0안에 data라는 디렉토리를 만들고 그안에 datanode, namenode 폴더를 만든다.

다음 hadoop-3.3.0/etc 안에서 파일 여러개를 수정한다.

/hadoop-3.3.0/etc/hadoop/hadoop-env.sh 파일에서 JAVA_HOME을 적어줌

/hadoop-3.3.0/etc/hadoop/core-site.xml 파일 수정

<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
</configuration>

/hadoop-3.3.0/etc/hadoop/hdfs-site.xml 수정

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/minjikim/hadoop-3.3.0/data/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/minjikim/hadoop-3.3.0/data/datanode</value>
</property>

/hadoop-3.3.0/etc/hadoop/mapred-site-xml수정

<property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value> 
</property>

/hadoop-3.3.0/etc/hadoop/yarn-site.xml 수정

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>127.0.0.1</value>
</property>
<property>
  <name>yarn.acl.enable</name>
  <value>0</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>   
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

이제 설정은 다 끝났고 켜보도록 하겠음.

hdfs namenode -format

여기서 에러나는 사람들은 source ~/.bashrc 하거나, 혹은 위에서 했던 ssh localhost 부분 다시한번 하면됨. 나도 그렇게 해결했음.

y 한번 눌러준다.

start-dfs.sh
start-yarn.sh

설치 완료!

 

참고한 youtube 이다.

https://www.youtube.com/watch?v=8HLxeMMGGcQ