What does InMemoryColumnarTableScan do?

Question

当我运行Spark SQL查询并前往Spark UI DAG可视化时，显示的第一步称为InMemoryColumnTableScan。

是否每次运行查询时都从磁盘加载数据？

如果没有，这一步具体做什么？

Answer 1

顾名思义，InMemoryColumnTableScan类包含使用列压缩技术查看存储在内存中的表的方法。

它用于收集、缓存和提供存储在内存表中的数据的统计信息，以便更有效地查询表。

因此，引擎首先调用它，以找出针对RDD运行查询的最佳方式。

它与您的实际数据负载无关。