Flink 的快速入门没有创建一个合适的胖罐

Question

我绝对不是 MVN 方面的专家，但经过 2 天的黑客攻击，我只是放弃了。

我的工作流程：

1.     
     mvn archetype:generate                             
    -DarchetypeGroupId=org.apache.flink            
    -DarchetypeArtifactId=flink-quickstart-scala   
    -DarchetypeVersion=0.10.1                       
    -DgroupId=org.apache.flink.quickstart          
    -DartifactId=flink-scala-project               
    -Dversion=0.1                                  
    -Dpackage=org.apache.flink.quickstart          
    -DinteractiveMode=false    
2.    
   cd flink-scala-project 
3.     
  mvn clean package

这是一个构建log: https://gist.github.com/zavalit/1e78478ebdda827f3454，当我运行时

`java -jar target/flink-scala-project-0.1.jar`

我得到

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/scala/ExecutionEnvironment$
    at org.apache.flink.quickstart.Job$.main(Job.scala:41)
    at org.apache.flink.quickstart.Job.main(Job.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.scala.ExecutionEnvironment$
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 2 more

Answer 1

您正在构建的胖罐子不应该在集群环境之外运行。因此，所有在集群环境中运行的 Flink 相关依赖项都被排除在胖罐中。

您通常对生成的胖罐子所做的是通过 bin/flink run -c org.example.MyJob myFatJar.jar 将其提交到本地或远程集群。为了快速启动本地集群，您可以运行bin/start-local.sh 。这将启动一个本地集群，您可以将作业 jar 提交到该集群。

Answer 2

默认情况下，flink 库不包含在胖 jar 中，因为它将在运行时由 flink 集群提供。要解决此问题，请将 pom.xml 中依赖项的scope从 provided 更改为 compile ：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>${flink.version}</version>
    <scope>compile</scope>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
    <scope>compile</scope>
</dependency>

链接： Maven Doc