自从我们从CDH迁移到HDP(spark 2.2到2.3(以来，我遇到了一些数据删除问题。这些表是从hdfs位置读取的，在运行读取和处理这些表的spark作业一段时间后，它会抛出未找到表异常，当我们检查该位置时，所有记录都会消失。在我的spark(Java(代码中，在读取该表之前，会调用clearCache((。它能删除那些文件吗？如果是，我该如何修复？
我认为，您应该查看源代码-Spark有自己的缓存用户数据的实现，在通过CacheManager管理缓存时，他们从不删除相同的数据。有一个好的
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium