三个月前给 DataFusion/Arrow/Parquet 写了一个 PR “reduces total ClickBench time by 15%, with up to 2x lower latency for some queries, no obvious regression on other queries, and caches at most 2 pages (~2MB) per column in memory.”
引来了很多人关注和尝试。虽然代码量不大，但涉及到很多精巧的 caching 操作和非常多背景知识，导致 review 这个 PR 异常困难 -- 前两天 Andrew 劝我写一个 blog post 来详细讲一讲，于是写了这一篇，希望大家喜欢：
https://blog.xiangpeng.systems/posts/parquet-pushdown
引来了很多人关注和尝试。虽然代码量不大，但涉及到很多精巧的 caching 操作和非常多背景知识，导致 review 这个 PR 异常困难 -- 前两天 Andrew 劝我写一个 blog post 来详细讲一讲，于是写了这一篇，希望大家喜欢：
https://blog.xiangpeng.systems/posts/parquet-pushdown