将数据从 Cassandra 加载到 Flink

Question

如何在java或python中使用flink从cassandra读取。我没有找到关于这个主题的好文档。我想将此代码连接到我的网站。这是怎么回事。

我有这段代码，但它用完了一个异常

java.lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeHint
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeHint
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

import com.datastax.driver.core.Cluster;
import org.apache.flink.api.common.typeinfo.TypeHint;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple5;
import org.apache.flink.api.java.typeutils.TupleTypeInfo;
import org.apache.flink.batch.connectors.cassandra.CassandraInputFormat;
import org.apache.flink.streaming.connectors.cassandra.ClusterBuilder;
public class main {
public static void main(String[] args) {
final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
ClusterBuilder clusterBuilder = new ClusterBuilder() {
@Override
public Cluster buildCluster(Cluster.Builder builder) {
return builder.addContactPoint("127.0.0.1").withPort(9042).build();
}
};
DataSet<Tuple5<String,String,String,Integer,String>> inputRecords = env
.createInput
(new CassandraInputFormat<Tuple5<String,String,String,Integer,String>>("Select profilealternative from profiles.profile LIMIT 1 ;",clusterBuilder)
,TupleTypeInfo.of(new TypeHint<Tuple5<String,String,String,Integer,String>>() {}));
}
}

Answer 1

类路径中缺少的类来自 flink-dist.jar 文件(名称也取决于版本，例如 flink-dist_2.12-1.9.0.jar(。请在运行程序时检查文件是否在您的类路径中。此外，您可能还需要通常存在于 apache-flink 发行版lib目录中的其他 jar。您还可以创建一个包含所有依赖项的胖罐子，然后运行。

Answer 2

问题的主要原因是ClassNotFoundException- 这意味着您的应用程序没有链接所有必需的库来创建 uberjar，或者类路径中缺少相应的库。