Spark环境搭建与使用

news2024/11/25 8:14:32

第4关：使用Maven对Java独立应用程序进行编译打包

任务描述

相关知识

Maven安装

Ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官网下载。此处选择安装在/usr/local/maven目录中：

tar -xzvf /data/bigfiles/aapache-maven-3.8.6-bin.tar.gz -C /usr/local/ #解压maven
mv apache-maven-3.8.6/ ./maven #对maven文件重命名
chown -R root ./maven #更新权限，root是账号

在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录：

cd ~ #进入用户主文件夹
mkdir -p ./sparkapp2/src/main/java

在./sparkapp2/src/main/java下建立一个名为SimpleApp.java的文件（vim ./sparkapp2/src/main/java/SimpleApp.java），添加代码如下：

/*** SimpleApp.java ***/
import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.SparkConf;

public class SimpleApp {
public static void main(String[] args) {
String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system
SparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp");
JavaSparkContext sc=new JavaSparkContext(conf);
JavaRDD<String> logData = sc.textFile(logFile).cache();
long numAs = logData.filter(new Function<String, Boolean>() {
public Boolean call(String s) { return s.contains("a"); }
}).count();
long numBs = logData.filter(new Function<String, Boolean>() {
public Boolean call(String s) { return s.contains("b"); }
}).count();
System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
}
}

该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2目录中新建文件pom.xml，命令如下：

cd ~/sparkapp2
vim pom.xml

在pom.xml文件中添加内容如下，声明该独立应用程序的信息以及Spark的依赖关系：

<project>
    <groupId>cn.edu.xmu</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <repositories>
        <repository>
            <id>jboss</id>
            <name>JBoss Repository</name>
            <url>http://repository.jboss.com/maven2/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.0</version>
        </dependency>
    </dependencies>
</project>

关于Spark dependency的依赖关系，可以访问The Central Repository。搜索spark-core可以找到相关依赖关系信息，如图6所示。

为了保证maven能够正常运行，先执行如下命令检查整个应用程序的文件结构:

cd ~/sparkapp2
find .

文件结构如图7所示：

接着，我们可以通过如下代码将这整个应用程序打包成Jar（注意：电脑需要保持连接网络的状态，而且首次运行同样下载依赖包，同样消耗几分钟的时间）:

cd ~/sparkapp2
/usr/local/maven/bin/mvn package

如出现图8所示，说明生成Jar包成功：

如果运行Maven编译打包过程很慢，是因为需要到国外网站下载很多的依赖包，国外网站速度很慢，因此，要花费很长时间。为了加快速度，可以更改为国内的仓库地址。最后，可以通过将生成的jar包通过spark-submit提交到Spark中运行，如下命令：

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar # 上面命令执行后会输出太多信息，可以不使用上面命令，而使用下面命令查看想要的结果
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar > step4.txt #把结果输出到step4.txt中，这一步需要运行，测评通过
cat step4.txt

得到的结果如下:
Lines with a: 71, Lines with b: 38