最近在写 paper 之余给自己安排了个大脑按摩： https://github.com/agavra/compression-golf
这个 challenge 的精妙之处就在于 LLM （目前）帮不上什么忙 ，LLM 可以快速实现一个逻辑正确的解法，但它似乎很难理解如何让它变快。我尝试了非常多轮让 LLM 自动优化自己的encoding，试图采用和 ADRS 类似的做法。但 LLM 似乎一直在优化非常local的 compression，看不到一些真正大的优化。
真正的优化发生在我不断提示 LLM 加入一些 statistics，加入 measurements, 加入 observe points。最终终于找到了那个决定性的优化。
一些感想：
1. 人对system 的理解直接体现在TA对 performance 的理解上。
2. 任何system performance 都不应该也不能是黑盒，obvervbility, explainability, reproducibility 是任何 system 的foundation。在 LLM 时代更是如此。
3. 未来 CS 教育或许会有更多类似的 performance challenge，你对问题的理解越深，你能找到的优化思路就越多。
这个 challenge 的精妙之处就在于 LLM （目前）帮不上什么忙 ，LLM 可以快速实现一个逻辑正确的解法，但它似乎很难理解如何让它变快。我尝试了非常多轮让 LLM 自动优化自己的encoding，试图采用和 ADRS 类似的做法。但 LLM 似乎一直在优化非常local的 compression，看不到一些真正大的优化。
真正的优化发生在我不断提示 LLM 加入一些 statistics，加入 measurements, 加入 observe points。最终终于找到了那个决定性的优化。
一些感想：
1. 人对system 的理解直接体现在TA对 performance 的理解上。
2. 任何system performance 都不应该也不能是黑盒，obvervbility, explainability, reproducibility 是任何 system 的foundation。在 LLM 时代更是如此。
3. 未来 CS 教育或许会有更多类似的 performance challenge，你对问题的理解越深，你能找到的优化思路就越多。