从源代码编译构建Hive3.1.3

news2024/10/2 14:36:23

从源代码编译构建Hive3.1.3

  • 编译说明
  • 编译Hive3.1.3
    • 更改Maven配置
    • 下载源码
    • 修改项目pom.xml
    • 修改hive源码
      • 修改说明
      • 修改standalone-metastore模块
      • 修改ql模块
      • 修改spark-client模块
      • 修改druid-handler模块
      • 修改llap-server模块
      • 修改llap-tez模块
      • 修改llap-common模块
    • 编译打包
    • 异常集合
      • 异常1
      • 异常2
      • 异常3
      • 异常4
    • 编译打包成功
    • 总结

编译说明

使用Hive官方提供的预编译安装包是最常见和推荐的方式来使用Hive，适用于大多数用户。这些预编译的安装包经过了测试和验证，在许多不同的环境中都能正常运行。

在某些特定情况下，可能需要从源代码编译Hive，而不是使用预编译的安装包。

编译Hive源代码的场景、原因如下：

1.定制配置：

如果希望对Hive进行一些特定的配置定制或修改，例如更改默认的参数设置、添加新的数据存储后端、集成新的执行引擎等，那么编译源代码将能够修改和定制 Hive 的配置。

2.功能扩展：

如果需要扩展Hive的功能，例如添加自定义的 UDF（用户定义函数）、UDAF（用户定义聚合函数）、UDTF（用户定义表生成函数）等，编译源代码将添加和构建这些自定义功能。

3.调试和修改 Bug：

如果在使用Hive过程中遇到了问题，或者发现了bug，并希望进行调试和修复，那么编译源代码将能够获得运行时的源代码，进而进行调试和修改。

4.最新特性和改进：

如果希望使用Hive的最新特性、改进和优化，但这些特性尚未发布到官方的预编译包中，可以从源代码编译最新的版本，以获得并使用这些功能。

5.参与社区贡献：

如果对Hive有兴趣并希望为其开发做贡献，通过编译源代码，可以获取到完整的开发环境，包括构建工具、测试框架和源代码，以便与Hive社区一起开发和贡献代码。

编译Hive3.1.3

当使用Spark作为Hive的执行引擎时，但是Hive3.1.3本身支持的Spark版本是2.3，故此需要重新编译Hive，让Hive支持较新版本的Spark。计划编译Hive支持Spark3.4.0，Hadoop版本3.1.3

更改Maven配置

更改maven的settings.xml文件，看情况决定是否添加如下仓库地址，仅供参考：

        <!-- 阿里云仓库 -->
        <mirror>
            <id>aliyun-central</id>
            <name>阿里云公共仓库</name>
            <url>https://maven.aliyun.com/repository/central</url>
            <mirrorOf>*</mirrorOf>
        </mirror>

        <!-- 中央仓库 -->
        <mirror>
            <id>repo</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>https://repo.maven.apache.org/maven2</url>
        </mirror>

下载源码

下载需要编译的Hive版本源码，这里打算重新编译Hive3.1.3

wget https://archive.apache.org/dist/hive/hive-3.1.3/pache-hive-3.1.3-src.tar.gz

IDEA打开pache-hive-3.1.3-src项目，打开项目后肯定会各种爆红，不用管

在这里插入图片描述

修改项目pom.xml

1.修改Hadoop版本

Hive3.1.3支持的Hadoop版本是3.1.10，但是Hive与Hadoop之间记得有个范围支持，故与Hadoop相关的操作看需求是否更改

<hadoop.version>3.1.0</hadoop.version>

<hadoop.version>3.1.3</hadoop.version>

清楚的记得Hadoop3.1.3使用日志版本是1.7.25

<slf4j.version>1.7.10</slf4j.version>

<slf4j.version>1.7.25</slf4j.version>

2.修改guava版本

由于Hive运行时会加载Hadoop依赖，因此需要修改Hive中guava版本为Hadoop中的guava版本。这里即使不更改，实则在使用Hive时也可能会进行更换guava版本操作(版本差异不大可以不用更换)

<guava.version>19.0</guava.version>

<guava.version>27.0-jre</guava.version>

3.修改spark版本

Hive3.1.3默认支持的Spark是2.3.0，这步也是核心，使其支持Spark3.4.0，使用版本较新，看需求适当降低。另外，明确指定Spark3.4.0使用的是Scala2.13版本，一同修改

<spark.version>2.3.0</spark.version>
<scala.binary.version>2.11</scala.binary.version>
<scala.version>2.11.8</scala.version>

# 原计划编译spark3.4.0  特么的太多坑了 后面不得不放弃
<spark.version>3.4.0</spark.version>
<scala.binary.version>2.12</scala.binary.version>
<scala.version>2.12.17</scala.version>

# 掉坑里折腾惨了,降低spark版本
<spark.version>3.2.4</spark.version>
<scala.binary.version>2.12</scala.binary.version>
<scala.version>2.12.17</scala.version>

修改hive源码

修改说明

修改Hive源代码，会对其进行删除、修改、新增操作，下图是Git版本控制对比图，大家应该都能看懂吧。但还是说明一下：-：删除该行代码 +：新增、修改该行代码

在这里插入图片描述

修改hive源码这个操作是核心操作，具体修改哪些源代码，参考：https://github.com/gitlbo/hive/commits/3.1.2

在这里插入图片描述

修改standalone-metastore模块

具体修改参考：https://github.com/gitlbo/hive/commit/c073e71ef43699b7aa68cad7c69a2e8f487089fd

创建ColumnsStatsUtils类
在这里插入图片描述
代码如下：

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package org.apache.hadoop.hive.metastore.columnstats;

import org.apache.hadoop.hive.metastore.api.ColumnStatisticsObj;
import org.apache.hadoop.hive.metastore.columnstats.cache.DateColumnStatsDataInspector;
import org.apache.hadoop.hive.metastore.columnstats.cache.DecimalColumnStatsDataInspector;
import org.apache.hadoop.hive.metastore.columnstats.cache.DoubleColumnStatsDataInspector;
import org.apache.hadoop.hive.metastore.columnstats.cache.LongColumnStatsDataInspector;
import org.apache.hadoop.hive.metastore.columnstats.cache.StringColumnStatsDataInspector;

/**
 * Utils class for columnstats package.
 */
public final class ColumnsStatsUtils {

    private ColumnsStatsUtils(){}

    /**
     * Convertes to DateColumnStatsDataInspector if it's a DateColumnStatsData.
     * @param cso ColumnStatisticsObj
     * @return DateColumnStatsDataInspector
     */
    public static DateColumnStatsDataInspector dateInspectorFromStats(ColumnStatisticsObj cso) {
        DateColumnStatsDataInspector dateColumnStats;
        if (cso.getStatsData().getDateStats() instanceof DateColumnStatsDataInspector) {
            dateColumnStats =
                    (DateColumnStatsDataInspector)(cso.getStatsData().getDateStats());
        } else {
            dateColumnStats = new DateColumnStatsDataInspector(cso.getStatsData().getDateStats());
        }
        return dateColumnStats;
    }

    /**
     * Convertes to StringColumnStatsDataInspector
     * if it's a StringColumnStatsData.
     * @param cso ColumnStatisticsObj
     * @return StringColumnStatsDataInspector
     */
    public static StringColumnStatsDataInspector stringInspectorFromStats(ColumnStatisticsObj cso) {
        StringColumnStatsDataInspector columnStats;
        if (cso.getStatsData().getStringStats() instanceof StringColumnStatsDataInspector) {
            columnStats =
                    (StringColumnStatsDataInspector)(cso.getStatsData().getStringStats());
        } else {
            columnStats = new StringColumnStatsDataInspector(cso.getStatsData().getStringStats());
        }
        return columnStats;
    }

    /**
     * Convertes to LongColumnStatsDataInspector if it's a LongColumnStatsData.
     * @param cso ColumnStatisticsObj
     * @return LongColumnStatsDataInspector
     */
    public static LongColumnStatsDataInspector longInspectorFromStats(ColumnStatisticsObj cso) {
        LongColumnStatsDataInspector columnStats;
        if (cso.getStatsData().getLongStats() instanceof LongColumnStatsDataInspector) {
            columnStats =
                    (LongColumnStatsDataInspector)(cso.getStatsData().getLongStats());
        } else {
            columnStats = new LongColumnStatsDataInspector(cso.getStatsData().getLongStats());
        }
        return columnStats;
    }

    /**
     * Convertes to DoubleColumnStatsDataInspector
     * if it's a DoubleColumnStatsData.
     * @param cso ColumnStatisticsObj
     * @return DoubleColumnStatsDataInspector
     */
    public static DoubleColumnStatsDataInspector doubleInspectorFromStats(ColumnStatisticsObj cso) {
        DoubleColumnStatsDataInspector columnStats;
        if (cso.getStatsData().getDoubleStats() instanceof DoubleColumnStatsDataInspector) {
            columnStats =
                    (DoubleColumnStatsDataInspector)(cso.getStatsData().getDoubleStats());
        } else {
            columnStats = new DoubleColumnStatsDataInspector(cso.getStatsData().getDoubleStats());
        }
        return columnStats;
    }

    /**
     * Convertes to DecimalColumnStatsDataInspector
     * if it's a DecimalColumnStatsData.
     * @param cso ColumnStatisticsObj
     * @return DecimalColumnStatsDataInspector
     */
    public static DecimalColumnStatsDataInspector decimalInspectorFromStats(ColumnStatisticsObj cso) {
        DecimalColumnStatsDataInspector columnStats;
        if (cso.getStatsData().getDecimalStats() instanceof DecimalColumnStatsDataInspector) {
            columnStats =
                    (DecimalColumnStatsDataInspector)(cso.getStatsData().getDecimalStats());
        } else {
            columnStats = new DecimalColumnStatsDataInspector(cso.getStatsData().getDecimalStats());
        }
        return columnStats;
    }
}

接着修改以下内容，具体修改参考以下截图说明

在这里插入图片描述

standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/aggr/DateColumnStatsAggregator.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/aggr/DecimalColumnStatsAggregator.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/aggr/DoubleColumnStatsAggregator.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/aggr/LongColumnStatsAggregator.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/aggr/StringColumnStatsAggregator.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/cache/DateColumnStatsDataInspector.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/cache/DecimalColumnStatsDataInspector.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/cache/DoubleColumnStatsDataInspector.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/cache/LongColumnStatsDataInspector.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/cache/StringColumnStatsDataInspector.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/merge/DateColumnStatsMerger.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/merge/DecimalColumnStatsMerger.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/merge/DoubleColumnStatsMerger.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/merge/LongColumnStatsMerger.java
在这里插入图片描述
standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/columnstats/merge/StringColumnStatsMerger.java
在这里插入图片描述

修改ql模块

ql/src/test/org/apache/hadoop/hive/ql/stats/TestStatsUtils.java
在这里插入图片描述
ql/src/test/org/apache/hadoop/hive/ql/exec/tez/SampleTezSessionState.java
在这里插入图片描述
ql/src/java/org/apache/hadoop/hive/ql/exec/tez/WorkloadManager.java
在这里插入图片描述
在这里插入图片描述

修改spark-client模块

spark-client/src/main/java/org/apache/hive/spark/client/metrics/ShuffleWriteMetrics.java
在这里插入图片描述
spark-client/src/main/java/org/apache/hive/spark/counter/SparkCounter.java
在这里插入图片描述
在这里插入图片描述

修改druid-handler模块

druid-handler/src/java/org/apache/hadoop/hive/druid/serde/DruidScanQueryRecordReader.java
在这里插入图片描述

修改llap-server模块

llap-server/src/java/org/apache/hadoop/hive/llap/daemon/impl/AMReporter.java
在这里插入图片描述
llap-server/src/java/org/apache/hadoop/hive/llap/daemon/impl/LlapTaskReporter.java
在这里插入图片描述
llap-server/src/java/org/apache/hadoop/hive/llap/daemon/impl/TaskExecutorService.java
在这里插入图片描述

修改llap-tez模块

llap-tez/src/java/org/apache/hadoop/hive/llap/tezplugins/LlapTaskSchedulerService.java
在这里插入图片描述

修改llap-common模块

llap-common/src/java/org/apache/hadoop/hive/llap/AsyncPbRpcProxy.java

在这里插入图片描述

编译打包

对Hive源码修改完成后，执行编译打包命令：

mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=true

mvn clean package -Pdist -DskipTests

在执行编译打包命令过程中，肯定会有各种问题的，这些问题是需要解决的，期间遇到的各种异常请参考下方异常集合对比解决。

注意点

1.有时本地仓库中的缓存可能会引起依赖项解析错误。可以尝试清理该项目依赖的本地仓库中的maven包，这个命令会清理pom.xml中的包，并重新下载，执行以下命令：

mvn dependency:purge-local-repository

2.修改Pom.xml文件版本号，或更改代码、安装Jar到本地仓库后，建议关闭IDEA重新打开进入，防止缓存、或者更新不及时

异常集合

注意：以下异常均是按照编译Hive支持Spark3.4.0过程中产生的异常，后来降低了Spark的版本。

异常1

1.maven会提示无法找到、无法下载某个Jar包、或者下载Jar耗时长(即使开启魔法也是）

例如：maven仓库找不到hive-upgrade-acid-3.1.3.jar与pentaho-aggdesigner-algorithm-5.1.5-jhyde_2.jar

具体异常如下，仅供参考：

[ERROR] Failed to execute goal on project hive-upgrade-acid: Could not resolve dependencies for project org.apache.hive:hive-upgrade-acid:jar:3.1.3: Failure to find org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde in https://maven.aliyun.com/repository/central was cached in the local repository, resolution will not be reattempted until the update interval of aliyun-central has elapsed or updates are forced -> [Help 1]

解决方案：

到以下仓库搜索需要的Jar包，手动下载，并安装到本地仓库

仓库地址1：https://mvnrepository.com/
仓库地址2：https://central.sonatype.com/
仓库地址3：https://developer.aliyun.com/mvn/search

将一个JAR安装到本地仓库，示例命令的语法：

mvn install:install-file -Dfile=<path-to-jar> -DgroupId=<group-id> -DartifactId=<artifact-id> -Dversion=<version> -Dpackaging=<packaging>

<path-to-jar>：JAR文件的路径，可以是本地文件系统的绝对路径。
<group-id>：项目组ID，通常采用反向域名格式，例如com.example。
<artifact-id>：项目的唯一标识符，通常是项目名称。
<version>：项目的版本号。
<packaging>：JAR文件的打包类型，例如jar。

mvn install:install-file -Dfile=./hive-upgrade-acid-3.1.3.jar -DgroupId=org.apache.hive -DartifactId=hive-upgrade-acid -Dversion=3.1.3 -Dpackaging=jar

mvn install:install-file -Dfile=./pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar -DgroupId=org.pentaho -DartifactId=pentaho-aggdesigner-algorithm -Dversion=5.1.5-jhyde -Dpackaging=jar

mvn install:install-file -Dfile=./hive-metastore-2.3.3.jar -DgroupId=org.apache.hive -DartifactId=hive-metastore -Dversion=2.3.3 -Dpackaging=jar

mvn install:install-file -Dfile=./hive-exec-3.1.3.jar -DgroupId=org.apache.hive -DartifactId=hive-exec -Dversion=3.1.3 -Dpackaging=jar

异常2

提示bash相关东西，心凉了一大截。由于window下操作，bash不支持。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project hive-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "C:\Users\JackChen\Desktop\apache-hive-3.1.3-src\common"): CreateProcess error=2, 系统找不到指定的文件。
[ERROR] around Ant part ...<exec failonerror="true" executable="bash">... @ 4:46 in C:\Users\JackChen\Desktop\apache-hive-3.1.3-src\common\target\antrun\build-main.xml

解决方案：

正常来说，作为开发者，肯定有安装Git，Git有bash窗口，即在Git的Bash窗口执行编译打包命令

mvn clean package -Pdist -DskipTests

异常3

当前进度在Hive Llap Server失败

[INFO] Hive Llap Client ................................... SUCCESS [  4.030 s]
[INFO] Hive Llap Tez ...................................... SUCCESS [  4.333 s]
[INFO] Hive Spark Remote Client ........................... SUCCESS [  5.382 s]
[INFO] Hive Query Language ................................ SUCCESS [01:28 min]
[INFO] Hive Llap Server ................................... FAILURE [  7.180 s]
[INFO] Hive Service ....................................... SKIPPED
[INFO] Hive Accumulo Handler .............................. SKIPPED
[INFO] Hive JDBC .......................................... SKIPPED
[INFO] Hive Beeline ....................................... SKIPPED

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.6.1:compile (default-compile) on project hive-llap-server: Compilation failure
[ERROR] /C:/Users/JackChen/Desktop/apache-hive-3.1.3-src/llap-server/src/java/org/apache/hadoop/hive/llap/daemon/impl/QueryTracker.java:[30,32] org.apache.logging.slf4j.Log4jMarker▒▒org.apache.logging.slf4j▒в▒▒ǹ▒▒▒▒▒; ▒޷▒▒▒▒ⲿ▒▒▒▒▒▒ж▒▒▒▒▒з▒▒▒
[ERROR]
[ERROR] -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <args> -rf :hive-llap-server

public class QueryTracker extends AbstractService {

    // private static final Marker QUERY_COMPLETE_MARKER = new Log4jMarker(new Log4jQueryCompleteMarker());
    
    private static final Marker QUERY_COMPLETE_MARKER = MarkerFactory.getMarker("MY_CUSTOM_MARKER");
  }

异常4

编译执行到Hive HCatalog Webhcat模块失败

[INFO] Hive HCatalog ...................................... SUCCESS [ 10.947 s]
[INFO] Hive HCatalog Core ................................. SUCCESS [  7.237 s]
[INFO] Hive HCatalog Pig Adapter .......................... SUCCESS [  2.652 s]
[INFO] Hive HCatalog Server Extensions .................... SUCCESS [  9.255 s]
[INFO] Hive HCatalog Webhcat Java Client .................. SUCCESS [  2.435 s]
[INFO] Hive HCatalog Webhcat .............................. FAILURE [  7.284 s]
[INFO] Hive HCatalog Streaming ............................ SKIPPED
[INFO] Hive HPL/SQL ....................................... SKIPPED
[INFO] Hive Streaming ..................................... SKIPPED

具体异常：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.6.1:compile (default-compile) on project hive-webhcat: Compilation failure
[ERROR] /root/apache-hive-3.1.3-src/hcatalog/webhcat/svr/src/main/java/org/apache/hive/hcatalog/templeton/Main.java:[258,31] 对于FilterHolder(java.lang.Class<org.apache.hadoop.hdfs.web.AuthFilter>), 找不到合适的构造器
[ERROR]     构造器 org.eclipse.jetty.servlet.FilterHolder.FilterHolder(org.eclipse.jetty.servlet.BaseHolder.Source)不适用
[ERROR]       (参数不匹配; java.lang.Class<org.apache.hadoop.hdfs.web.AuthFilter>无法转换为org.eclipse.jetty.servlet.BaseHolder.Source)
[ERROR]     构造器 org.eclipse.jetty.servlet.FilterHolder.FilterHolder(java.lang.Class<? extends javax.servlet.Filter>)不适用
[ERROR]       (参数不匹配; java.lang.Class<org.apache.hadoop.hdfs.web.AuthFilter>无法转换为java.lang.Class<? extends javax.servlet.Filter>)
[ERROR]     构造器 org.eclipse.jetty.servlet.FilterHolder.FilterHolder(javax.servlet.Filter)不适用
[ERROR]       (参数不匹配; java.lang.Class<org.apache.hadoop.hdfs.web.AuthFilter>无法转换为javax.servlet.Filter)
[ERROR]
[ERROR] -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <args> -rf :hive-webhcat

看源码发现AuthFilter是继承AuthenticationFilter，AuthenticationFilter又实现Filter，应该不会出现此异常信息才对，于是手动修改源码进行强制转换试试，发现任然不行。

  public FilterHolder makeAuthFilter() throws IOException {
//    FilterHolder authFilter = new FilterHolder(AuthFilter.class);

    FilterHolder authFilter = new FilterHolder((Class<? extends Filter>) AuthFilter.class);
    UserNameHandler.allowAnonymous(authFilter);

解决方案：

在IDEA中单独编译打包此模块，发现是能构建成功的

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  40.755 s
[INFO] Finished at: 2023-08-06T21:39:17+08:00
[INFO] ------------------------------------------------------------------------

于是乎产生了一个想法：

1.因为项目使用Maven进行打包（执行mvn package），再次执行相同的命令将不会重新打包项目

2.所以先针对项目执行clean命令，然后对该Webhcat模块打包，最后在整体编译打包时，不执行clean操作，直接运行 mvn package -Pdist -DskipTests。

注意：后来降低了Spark版本，没有产生该问题

编译打包成功

经过数个小时的解决问题与漫长的编译打包，终于成功，发现这个界面是多么的美好。

[INFO] --- maven-dependency-plugin:2.8:copy (copy) @ hive-packaging ---
[INFO] Configured Artifact: org.apache.hive:hive-jdbc:standalone:3.1.3:jar
[INFO] Copying hive-jdbc-3.1.3-standalone.jar to C:\Users\JackChen\Desktop\apache-hive-3.1.3-src\packaging\target\apache-hive-3.1.3-jdbc.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for Hive 3.1.3:
[INFO]
[INFO] Hive Upgrade Acid .................................. SUCCESS [  5.264 s]
[INFO] Hive ............................................... SUCCESS [  0.609 s]
[INFO] Hive Classifications ............................... SUCCESS [  1.183 s]
[INFO] Hive Shims Common .................................. SUCCESS [  2.239 s]
[INFO] Hive Shims 0.23 .................................... SUCCESS [  2.748 s]
[INFO] Hive Shims Scheduler ............................... SUCCESS [  2.286 s]
[INFO] Hive Shims ......................................... SUCCESS [  1.659 s]
[INFO] Hive Common ........................................ SUCCESS [  9.671 s]
[INFO] Hive Service RPC ................................... SUCCESS [  6.608 s]
[INFO] Hive Serde ......................................... SUCCESS [  6.042 s]
[INFO] Hive Standalone Metastore .......................... SUCCESS [ 42.432 s]
[INFO] Hive Metastore ..................................... SUCCESS [  2.304 s]
[INFO] Hive Vector-Code-Gen Utilities ..................... SUCCESS [  1.150 s]
[INFO] Hive Llap Common ................................... SUCCESS [  3.343 s]
[INFO] Hive Llap Client ................................... SUCCESS [  2.380 s]
[INFO] Hive Llap Tez ...................................... SUCCESS [  2.476 s]
[INFO] Hive Spark Remote Client ........................... SUCCESS [31:34 min]
[INFO] Hive Query Language ................................ SUCCESS [01:09 min]
[INFO] Hive Llap Server ................................... SUCCESS [  7.230 s]
[INFO] Hive Service ....................................... SUCCESS [ 28.343 s]
[INFO] Hive Accumulo Handler .............................. SUCCESS [  6.179 s]
[INFO] Hive JDBC .......................................... SUCCESS [ 19.058 s]
[INFO] Hive Beeline ....................................... SUCCESS [  4.078 s]
[INFO] Hive CLI ........................................... SUCCESS [  3.436 s]
[INFO] Hive Contrib ....................................... SUCCESS [  4.770 s]
[INFO] Hive Druid Handler ................................. SUCCESS [ 17.245 s]
[INFO] Hive HBase Handler ................................. SUCCESS [  6.759 s]
[INFO] Hive JDBC Handler .................................. SUCCESS [  4.202 s]
[INFO] Hive HCatalog ...................................... SUCCESS [  1.757 s]
[INFO] Hive HCatalog Core ................................. SUCCESS [  5.455 s]
[INFO] Hive HCatalog Pig Adapter .......................... SUCCESS [  4.662 s]
[INFO] Hive HCatalog Server Extensions .................... SUCCESS [  4.629 s]
[INFO] Hive HCatalog Webhcat Java Client .................. SUCCESS [  4.652 s]
[INFO] Hive HCatalog Webhcat .............................. SUCCESS [  8.899 s]
[INFO] Hive HCatalog Streaming ............................ SUCCESS [  4.934 s]
[INFO] Hive HPL/SQL ....................................... SUCCESS [  7.684 s]
[INFO] Hive Streaming ..................................... SUCCESS [  4.049 s]
[INFO] Hive Llap External Client .......................... SUCCESS [  3.674 s]
[INFO] Hive Shims Aggregator .............................. SUCCESS [  0.557 s]
[INFO] Hive Kryo Registrator .............................. SUCCESS [03:17 min]
[INFO] Hive TestUtils ..................................... SUCCESS [  1.154 s]
[INFO] Hive Packaging ..................................... SUCCESS [01:58 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  38:22 min (Wall Clock)
[INFO] Finished at: 2023-08-08T22:50:15+08:00
[INFO] ------------------------------------------------------------------------

总结

在整个编译、打包过程中，有2点非常重要：

1.相关Jar无法下载或者下载缓慢问题，一定要想方设法解决，因为Jar是构建的核心，缺一不可

2.Jar依赖解决了，但是任然存在可能的兼容性问题，编译问题，遇到问题一定要一一解决，解决一步走一步

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/865087.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Rest 优雅的url请求处理风格及注意事项

Rest 优雅的url请求处理风格及注意事项

&#x1f600;前言 本篇博文是关于Rest 风格请求的应用和注意事项&#xff0c;希望能够帮助到您&#x1f60a; &#x1f3e0;个人主页&#xff1a;晨犀主页 &#x1f9d1;个人简介&#xff1a;大家好&#xff0c;我是晨犀&#xff0c;希望我的文章可以帮助到大家&#xff0c;您…
阅读更多...
DC-DC拓扑

DC-DC拓扑

任何电子产品都离不开电源的设计&#xff0c;其中DCDC是使用频率最高的。 DCDC共分三种&#xff0c;降压电路&#xff0c;升压电路&#xff0c;升降压电路,常用的是前两种。 BUCK: 此拓扑结构几乎是所有DCDC降压电路的模型 原理分析&#xff1a; 1、开关管导通时&#xff0…
阅读更多...
湘大 XTU OJ 1256 湘潭大学 题解（非常详细）：枚举

湘大 XTU OJ 1256 湘潭大学 题解（非常详细）：枚举

一、链接 1256 湘潭大学 二、题目 题目描述 湘潭大学简称“XTU”&#xff0c;作为即将成为湘大的一份子&#xff0c;怎么不能为湘大添砖加瓦了&#xff1f;现在给你一个字符串&#xff0c;请你计算一下&#xff0c;从中选取字符&#xff0c;最多能组成多少个“XTU”&#x…
阅读更多...
手动实现 Spring 底层机制 实现任务阶段一编写自己 Spring 容器-准备篇【2】

手动实现 Spring 底层机制 实现任务阶段一编写自己 Spring 容器-准备篇【2】

&#x1f600;前言 手动实现 Spring 底层机制的第2篇 实现了任务阶段一编写自己 Spring 容器-准备篇【2】 &#x1f3e0;个人主页&#xff1a;尘觉主页 &#x1f9d1;个人简介&#xff1a;大家好&#xff0c;我是尘觉&#xff0c;希望我的文章可以帮助到大家&#xff0c;您的…
阅读更多...
【2023 华数杯全国大学生数学建模竞赛】 B题 不透明制品最优配色方案设计 39页论文及python代码

【2023 华数杯全国大学生数学建模竞赛】 B题 不透明制品最优配色方案设计 39页论文及python代码

【2023 华数杯全国大学生数学建模竞赛】 B题 不透明制品最优配色方案设计 39页论文及python代码 1 题目 B 题 不透明制品最优配色方案设计 日常生活中五彩缤纷的不透明有色制品是由着色剂染色而成。因此&#xff0c;不透明制品的配色对其外观美观度和市场竞争力起着重要作用。…
阅读更多...
小白进行桌面端程序自动化测试

小白进行桌面端程序自动化测试

步骤 代码 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Diagnostics; using System.Drawing; using System.Linq; using System.Runtime.InteropServices; using System.Text; using System.Threading.Ta…
阅读更多...
Vue 3.0中的Treeshaking？

Vue 3.0中的Treeshaking？

1.treeshaking是什么&#xff1f; Tree shaking 是一种通过清除多余代码方式来优化项目打包体积的技术&#xff0c;专业术语叫 Dead code elimination 简单来讲&#xff0c;就是在保持代码运行结果不变的前提下&#xff0c;去除无用的代码 如果把代码打包比作制作蛋糕&#…
阅读更多...
视觉学习（七）---Flask 框架下接口调用及python requests 实现json字符串传输

视觉学习（七）---Flask 框架下接口调用及python requests 实现json字符串传输

在项目实施过程中需要与其他系统进行接口联调&#xff0c;将图像检测的结果传递给其他系统接口&#xff0c;进行逻辑调用。这中间的过程可以通过requests库进行实现。 1.安装requests库 pip install requests2.postman 接口测试 我们先通过postman 了解下接口调用&#xff0…
阅读更多...
指针的一些笔试题

指针的一些笔试题

一&#xff1a; 二&#xff1a; 三&#xff1a; 四&#xff1a; 五&#xff1a; 六 七 八&#xff0c;printf对指针的 --操作是会改变pcc的&#xff0c;要继承&#xff0c;而单纯的数子&#xff0c;是不会改变原有位置的
阅读更多...
酒吧座位全解析 小白必看

酒吧座位全解析 小白必看

相信还有很多第一次去酒吧的朋友们还不了解吧台、散台、卡座的区分&#xff0c;下面我简单解说一下&#xff0c;如有错漏&#xff0c;欢迎指正&#xff01;一、吧台吧台是酒吧的核心部位&#xff0c;走进酒吧门&#xff0c;首先映入眼帘的就是吧台&#xff0c;一排人围着吧台几…
阅读更多...
Qt 7. 在自定义类TcpClient类中使用信号槽功能

Qt 7. 在自定义类TcpClient类中使用信号槽功能

1. 因为只有QObject类及其子类派生的类才能使用信号和槽机制。 使用信号和槽还必须在类声明的最开始处添加Q_OBJECT宏&#xff0c;在这个程序中&#xff0c;类的声明是自动生成的&#xff0c;已经添加了这个宏。UI类继承自QDialog&#xff0c;QDialog类又继承自QWidget类&…
阅读更多...
【果树农药喷洒机器人】Part7：果树对靶变量喷药实验

【果树农药喷洒机器人】Part7：果树对靶变量喷药实验

文章目录 一、引言二、果树对靶变量喷药实验2.1实验准备2.2实验步骤2.3实验结果与分析总结 一、引言 对靶不变量喷药指视觉系统识别出树冠后对其喷药&#xff0c;而不将树冠间隙作为喷施对象&#xff0c;为间歇性喷药模式&#xff0c;有别于连续喷药对非靶标和靶标均进行的无差…
阅读更多...
绝了！学编程的还有不知道的吗？这个Java开发工具免费了！

绝了！学编程的还有不知道的吗？这个Java开发工具免费了！

智能开发正在迅速走红&#xff01; 随着ChatGPT的广泛应用&#xff0c;智能开发越来越受到关注。然而&#xff0c;实际上&#xff0c;在数年前开始尝试智能开发的探索。 自从2014年ForresterResearch提出"低代码"的概念以来&#xff0c;低代码平台的发展非常迅速。…
阅读更多...
Nginx之lnmp架构

Nginx之lnmp架构

目录 一.什么是LNMP二.LNMP环境搭建1.Nginx的搭建2.安装php3.安装数据库4.测试Nginx与PHP的连接5.测试PHP连接数据库 一.什么是LNMP LNMP是一套技术的组合&#xff0c;Llinux&#xff0c;Nnginx&#xff0c;Mmysql&#xff0c;Pphp 首先Nginx服务是不能处理动态资源请求&…
阅读更多...
2.物联网LWIP网络

2.物联网LWIP网络

一。创建工程 1.Cubemx创建工程 &#xff08;1&#xff09;操作系统的时钟配置 &#xff08;2&#xff09;配置ETH 注意&#xff1a;根据底板原理图&#xff0c;不是核心板原理图 &#xff08;3&#xff09;配置USART1串口&#xff0c;配置为异步通信 注意&#xff1a;配置结…
阅读更多...
一篇文章带你实现栈的接口

一篇文章带你实现栈的接口

一&#xff0c;什么是栈 栈&#xff08;Stacks&#xff09;是限定在一端插入和删除的线性表。允许插入和删除的一端称为栈顶&#xff08;Top&#xff09;&#xff0c;另一端称为栈底&#xff08;Bottom&#xff09;。栈中的数据元素遵守后进先出&#xff08;Last In First Out…
阅读更多...
Mysql索引篇——Day01

Mysql索引篇——Day01

Mysql索引篇——Day01 什么是索引&#xff1f;索引的分类按数据结构分按物理存储分按字段特性分类按字段个数分类 什么时候需要创建索引/不需要创建索引&#xff1f;优化索引的方法前缀索引优化覆盖索引优化主键索引最好是自增的索引最好设置为 NOT NULL防止索引失效 什么是索引…
阅读更多...
Java基础入门篇——Java Number Math 类

Java基础入门篇——Java Number Math 类

当我们在Java中处理数字和执行数学计算时&#xff0c;可以使用Java的Number和Math类。这两个类提供了一系列方法和常量&#xff0c;用于处理和操作数字数据。 1、Number类&#xff1a; Number是一个抽象类&#xff0c;是Java中所有数字类的父类&#xff0c;包括Byte、Short…
阅读更多...
设计模式（6）原型模式

设计模式（6）原型模式

一、介绍 Java中自带的原型模式是clone()方法。该方法是Object的方法&#xff0c;native类型。他的作用就是将对象的在内存的那一块内存数据一字不差地再复制一个。我们写简单类的时候只需要实现Cloneable接口&#xff0c;然后调用Object::clone方法就可实现克隆功能。这样实现…
阅读更多...
1.物联网IWIP网络

1.物联网IWIP网络

一。以太网 1.nc模拟UDP &#xff08;1&#xff09;COMMBOX通信调试工具 &#xff08;2&#xff09; 控制台输入nc -u 127.0.0.1 8000,此时串口也可以获得数据 &#xff08;3&#xff09;串口调试程序发送字符串&#xff0c;电脑控制台也会展示同样字符串&#xff08;说明UDP…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023