]> git.ipfire.org Git - thirdparty/postgresql.git/commit
ci: Improve ccache handling
authorAndres Freund <andres@anarazel.de>
Mon, 8 Jun 2026 19:26:47 +0000 (15:26 -0400)
committerAndres Freund <andres@anarazel.de>
Mon, 8 Jun 2026 19:26:47 +0000 (15:26 -0400)
commitf52c44ce48a61dd99d8ea545a57da95e62b084e4
treeabe70967233d8509e9e443915382c98400962fc0
parent4b1e18b0573b6630feb3d794930be1005016077d
ci: Improve ccache handling

There previously were a number of issues:

- We'd upload the cache even if we already had a high hit rate. That means we
  churn through the available cache space very quickly.

  For this we now check if the cache hit ratio is already high, and skip
  uploading a new cache in that case.

- We'd generate per-branch caches, even if master's already would suffice,
  because the branch doesn't change much

  This is solved indirectly by the above.

- The cache key allowed prefix matches based on the branch,
  e.g. master-pending would always use master's branch

  Replace the cache key element separator of - with :, which is not a valid
  part of a branch name.

- When rebasing a feature branch, we'd start with just that branch's cache,
  rather than also having the newer cache of master available

  This is solved by downloading by master's and the feature branch's cache,
  simply overlaying both. That's possible because ccache is content addressed.

- The size of a cache would increase to the max, even though there likely will
  be no benefit from old cache entries.

  Address this by explicitly evicting old data and also recompressing the
  cache before uploading it.

In my testing this utilizes the available cache space (10GB for personal
accounts) much more effectively than before.

The not entirely trivial determination of whether it's worth uploading a cache
entry is moved to a python script.  I first had it as shell, but that gets
awkward.  This way it'd also be more viable to use ccache for msvc at some
point.

The per-job redundancies are a bit annoying. There's a way around that, by
using composite actions, but I think that might be harder to understand,
without all that much of an improvement.

Reviewed-by: Nazir Bilal Yavuz <byavuz81@gmail.com>
Discussion: https://postgr.es/m/7eugqon2ilnaq6yimtq7prtl5wlia43mhpmwlydzlw4u4wonaz@hh2fagz5bjuu
.github/workflows/pg-ci.yml
src/tools/ci/gha_ccache_decide.py [new file with mode: 0644]