]> git.ipfire.org Git - thirdparty/patchwork.git/commit
Improve patch listing performance (~3x)
authorStewart Smith <stewart@linux.ibm.com>
Fri, 10 Aug 2018 08:00:56 +0000 (18:00 +1000)
committerStephen Finucane <stephen@that.guru>
Fri, 31 Aug 2018 13:42:33 +0000 (14:42 +0100)
commit4030aacf0ab01fbb13fd5586d5d4b11eaeac2435
tree83544ae2e811f9a8187be80fcfcf64ada56cbaf8
parentd95129494ff81520181e04d02f6cfa3577baeb59
Improve patch listing performance (~3x)

There's two main bits that are really expensive when composing the list
of patches for a project: the query getting the list, and the query
finding the series for each patch.

If we look at the query getting the list, it gets a lot of unnecessary
fields such as 'headers' and 'content', even though we tell Django not
to. It turns out that Django seems to ignore the Submission relationship
and I have no idea how to force it to ignore that thing (defer doesn't
work) but if we go only, then it works okay.

From my import of ~8000 messages for a few projects, my laptop query
time (MySQL, as setup by whatever the docker-compose things do) goes
from:

  http://localhost:8000/project/linux-kernel/list/
  FROM:
    342ms SQL queries cold cache, 268ms warm cache
  TO:
    118ms SQL queries cold cache, 88ms warm cache

Which is... non trivial to say the least.

The big jump is the patches.only change, and the removal of ordering
on the patchseries takes a further 10ms off. For some strange reason, it
seems rather hard to tell Django that you don't care what order the
results come back in for that query (if we do, then the db server has to
do a sort rather than just return each row)

Signed-off-by: Stewart Smith <stewart@linux.ibm.com>
[stephenfin: Add missing migration that had been squashed into a later
 migration]
Signed-off-by: Stephen Finucane <stephen@that.guru>
patchwork/migrations/0027_remove_series_ordering.py [new file with mode: 0644]
patchwork/models.py
patchwork/views/__init__.py