Enum equivalent in Spark Dataframe/Parquet

问题

我有一个包含数亿行的表,我想将其存储在 Spark 的数据框中并作为 parquet 文件保存到磁盘。

我的 Parquet 文件的大小现在超过 2TB,我想确保我已经对此进行了优化。

这些列中有很大一部分是字符串值,可能很长,但通常也很少有值。 例如,我有一列只有两个不同的值(一个 20 个字符和一个 30 个字符的字符串),而另一列的字符串平均长度为 400 个字符,但所有条目中只有大约 400 个不同的值。

在关系数据库中,我通常会将这些值标准化到带有引用的不同表中,或者至少用某种枚举类型定义我的表。

我在 DF 或 parquet 文件中看不到与该模式匹配的任何内容。 列式存储是否有效地处理了这个问题? 还是我应该研究一些东西来进一步优化它?

回答1

Parquet 没有自动生成类枚举类型的机制,但您可以使用页面字典。 页面字典存储每个 parquet 页面的值列表,以允许行仅引用回字典而不是重写数据。 在 spark 中为 parquet writer 启用字典:

spark.conf.set("parquet.dictionary.enabled", "true")
spark.conf.set("parquet.dictionary.page.size", 2 * 1024 * 1024)

请注意,您必须在启用这些选项的情况下编写文件,否则将不会使用它。

要使用字典启用过滤存在,您可以启用

spark.conf.set("parquet.filter.dictionary.enabled", "true")

资料来源:Parquet 性能调整:缺失的指南


更多相关内容:请点击查看