博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark-2.2.2-bin-hadoop2.7 安装
阅读量:5238 次
发布时间:2019-06-14

本文共 882 字,大约阅读时间需要 2 分钟。

 1.上传spark-2.2.2-bin-hadoop2.7.tgz

2.解压文件

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /usr/local/

3.进入conf/下把spark-env.sh.template改为spark-env.sh

cd /usr/local/spark-2.2.2-bin-hadoop2.7/conf/mv spark-env.sh.template spark-env.sh

4.修改配置文件 spark-env.sh

   1.编辑 spark-env.sh

vi spark-env.sh

  2.修改内容如下 

export JAVA_HOME=/usr/local/jdk1.8.0_211export SPARK_MASTER_HOST=hadoop01export SPARK_MASTER_PORT=7077

5.把slaves.template改为slaves

mv slaves.template slaves

6.修改配置文件slaves

     1.编辑 slaves

vim slaves

    2.修改内容如下

hadoop02hadoop03

7.配置环境变量

  1.编辑

vim /etc/profile

   2.内容如下

export  SPARK_HOME=/usr/local/spark-2.2.2-bin-hadoop2.7export  PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

   3.重置环境变量

source /etc/profile

8.分发到其他节点

scp -r /usr/local/spark-2.2.2-bin-hadoop2.7 hadoop02:/usr/local/scp -r /usr/local/spark-2.2.2-bin-hadoop2.7 hadoop03:/usr/local/

9.OK

 

转载于:https://www.cnblogs.com/drl-blogs/p/11086842.html

你可能感兴趣的文章
实用Android开发工具和资源精选
查看>>
JS属性大全
查看>>
数据持久化时的小bug
查看>>
bzoj2257
查看>>
http://www.bootcss.com/
查看>>
20145308 《网络对抗》 注入shellcode+Return-to-libc攻击 学习总结
查看>>
如何使用USBWebserver在本机快速建立网站测试环境
查看>>
变量提升
查看>>
jquery-jqzoom 插件 用例
查看>>
查看oracle数据库的连接数以及用户
查看>>
三.野指针和free
查看>>
简单【用户输入验证】
查看>>
python tkinter GUI绘制,以及点击更新显示图片
查看>>
20130330java基础学习笔记-语句_for循环嵌套练习2
查看>>
Spring面试题
查看>>
C语言栈的实现
查看>>
TC SRM 593 DIV1 250
查看>>
SRM 628 DIV2
查看>>
2018-2019-2 20165314『网络对抗技术』Exp5:MSF基础应用
查看>>
SecureCRT的使用方法和技巧(详细使用教程)
查看>>