spark 单机版安装
spark 单机版安装jdk-8u73-linux-x64.tar.gzhadoop-2.6.0.tar.gzscala-2.10.6.tgzspark-1.6.0-bin-hadoop2.6.tgz1.安装jdk解压jdk安装包到任意目录：cd /home/tom$ tar -xzvf jdk-8u73-linux-x64.tar.gz$ sudo vim /etc/profile编辑/etc/profile文件，在最后加上java环境变量：export JAVA_HOME=/home/tom/jdk1.8.0_73/export JRE_HOME=/home/tom/jdk1.8.0_73/jreexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH保存并更新/etc/profile：$ source /etc/profile查看是否成功：$ java -version2.配置ssh localhost确保安装好ssh：$ sudo apt-get update$ sudo apt-get install openssh-server$ sudo /etc/init.d/ssh start生成并添加密钥：$ ssh-keygen -t rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys如果已经生成过密钥，只需执行后两行命令。测试ssh localhost$ ssh localhost$ exit3.安装hadoop2.6.0解压hadoop2.6.0到任意目录：$ cd /home/tom$ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz$ tar -xzvf hadoop-2.6.0.tar.gz编辑/etc/profile文件，在最后加上java环境变量：export HADOOP_HOME=/home/tom/hadoop-2.6.0export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh在最后加上：export JAVA_HOME=/home/tom/jdk1.8.0_73/修改Configuration文件：$ cd $HADOOP_HOME/etc/hadoop修改core-site.xml：<configuration><property><name>fs.default.name</name> <value>hdfs://localhost:9000</value></property></configuration>修改hdfs-site.xml：<configuration><property> <name>dfs.replication</name> <value>1</value></property><property><name>dfs.name.dir</name> <value>file:///home/tom/hadoopdata/hdfs/namenode</value></property><property><name>dfs.data.dir</name> <value>file:///home/tom/hadoopdata/hdfs/datanode</value></property></configuration>第一个是dfs的备份数目，单机用1份就行，后面两个是namenode和datanode的目录。修改mapred-site.xml：<configuration> <property><name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>修改yarn-site.xml：<configuration> <property><name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
修改hosts配置文件
vi /etc/hosts在最末尾加上
127.0.0.0.1 $hostname初始化hadoop： cd $hadoop_home/bin$ hdfs namenode -format启动$ $HADOOP_HOME/sbin/start-all.sh停止$ $HADOOP_HOME/sbin/stop-all.sh检查WebUI，浏览器打开端口：http://localhost:8088port 8088: cluster and all applicationsport 50070: Hadoop NameNodeport 50090: Secondary NameNodeport 50075: DataNodehadoop运行后可使用jps命令查看,得到结果：10057 Jps9611 ResourceManager9451 SecondaryNameNode9260 DataNode9102 NameNode9743 NodeManager4.安装scala解压scala安装包到任意目录：$ cd /home/tom$ tar -xzvf scala-2.10.6.tgz$ sudo vim /etc/profile在/etc/profile文件的末尾添加环境变量：export SCALA_HOME=/home/tom//scala-2.10.6export PATH=$SCALA_HOME/bin:$PATH保存并更新/etc/profile：$ source /etc/profile查看是否成功：$ scala -version5.安装Spark解压spark安装包到任意目录：$ cd /home/tom$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz$ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0$ sudo vim /etc/profile在/etc/profile文件的末尾添加环境变量：export SPARK_HOME=/home/tom/spark-1.6.0export PATH=$SPARK_HOME/bin:$PATH保存并更新/etc/profile：$ source /etc/profile在conf目录下复制并重命名spark-env.sh.template为spark-env.sh：$ cp spark-env.sh.template spark-env.sh$ vim spark-env.sh在spark-env.sh中添加：export JAVA_HOME=/home/tom/jdk1.8.0_73/export SCALA_HOME=/home/tom//scala-2.10.6export SPARK_MASTER_IP=localhostexport SPARK_WORKER_MEMORY=4G启动$ $SPARK_HOME/sbin/start-all.sh停止$ $SPARK_HOME/sbin/stop-all.sh测试Spark是否安装成功：$ $SPARK_HOME/bin/run-example SparkPi得到结果：Pi is roughly 3.14716检查WebUI，浏览器打开端口：http://localhost:8080
在spark上执行taskspark-submit --master spark://10.10.5.246:7077 --name WordCountByscala --class luozt_scala.spark.wordcount --executor-memory 1G --total-executor-cores 2 /home/luozt/spark/spark0824.jar /home/luozt/spark/README.mdspark 单机版安装
页:
[1]