说明:scala :2.12,maven:3.6.1, java:1.8,macOS
1、指定scala,maven的环境变量
sudo vi ~/.bash_profile
export PATH=$PATH:$M2_HOME/bin:/Users/admin/Documents/softwares/scala-2.12.17/bin
2、克隆flink代码
git clone https://github.com/apache/flink.git
切换到1.6版本
git checkout release-1.16
3、修改flink目录下的pom.xml文件
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
4、修改setting.xml文件
<mirror>
<id>aliyunmaven</id>
<mirrorOf>*,!cloudera</mirrorOf>
<name>阿里云公共仓库</name>
<url>https://maven.aliyun.com/repository/public</url>
</mirror>
5、编译源码
mvn --settings /Users/admin/Documents/softwares/repository-zi/settings-aliyun.xml clean install -DskipTests -Dfast -Dhadoop.version=3.0.0-cdh6.3.2 -Dscala-2.12
6、打包编译后的包
包名:flink-1.16-SNAPSHOT-bin-scala_2.12.tgz
7、打包parcel,建议在阿里云服务器上打包很快。克隆打包代码
注意:这里也需要
git clone https://github.com/pkeropen/flink-parcel.git
cd /opt/flink/flink-parcel
8、修改build.sh
红框的都注释掉
赋予可执行权限
chmod -R 777 ./build.sh
9、修改flink-parcel.properties
10、将打包好的flink-1.16-SNAPSHOT-bin-scala_2.12.tgz放到flink-parcel目录下
11、生成parcel文件
./build.sh parcel
12、生成on yarn 版本
./build.sh csd_on_yarn
13、standalone版本
./build.sh csd_standalone
打包好包含红框的文件夹
14、FLINK-1.16-SNAPSHOT-BIN-SCALA_2.12_build文件夹中包含的文件
说明:后续更新安装包到CDH