我使用以下方法计算统计数据:
分析表lineitem_monthly计算列l_orderkey的统计信息;
但是,当我描述表格时,我没有看到任何统计数据。我做错了什么?这是我直接从 github 代码构建的 Spark-sql 构建。
已尝试在 conf 中设置标志:
spark.sql.statistics.histogram.enabled true
spark.sql.cbo.enabled true
spark-sql> describe lineitem;
L_ORDERKEY bigint NULL
L_PARTKEY bigint NULL
L_SUPPKEY bigint NULL
L_LINENUMBER int NULL
L_QUANTITY double NULL
L_EXTENDEDPRICE double NULL
L_DISCOUNT double NULL
L_TAX double NULL
L_RETURNFLAG string NULL
L_LINESTATUS string NULL
L_SHIPDATE string NULL
L_COMMITDATE string NULL
L_RECEIPTDATE string NULL
L_SHIPINSTRUCT string NULL
L_SHIPMODE string NULL
L_COMMENT string NULL
Time taken: 0.039 seconds, Fetched 16 row(s)
试试
spark.sql("describe EXTENDED table column"(.show(false(