]> git.ipfire.org Git - thirdparty/git.git/commit - fetch-pack.c
fetch-pack.c: use oidset to check existence of loose object
authorTakuto Ikuta <tikuta@chromium.org>
Wed, 14 Mar 2018 06:32:42 +0000 (15:32 +0900)
committerJunio C Hamano <gitster@pobox.com>
Wed, 14 Mar 2018 18:17:26 +0000 (11:17 -0700)
commit024aa4696c788eb1b07be53331f770605696ffba
treef9ca00f64a166c76f711b60f77235b0aaf4da9cd
parentd0db9edba0050ada6f6eac68061599690d2a4333
fetch-pack.c: use oidset to check existence of loose object

When fetching from a repository with large number of refs, because to
check existence of each refs in local repository to packed and loose
objects, 'git fetch' ends up doing a lot of lstat(2) to non-existing
loose form, which makes it slow.

Instead of making as many lstat(2) calls as the refs the remote side
advertised to see if these objects exist in the loose form, first
enumerate all the existing loose objects in hashmap beforehand and use
it to check existence of them if the number of refs is larger than the
number of loose objects.

With this patch, the number of lstat(2) calls in `git fetch` is reduced
from 411412 to 13794 for chromium repository, it has more than 480000
remote refs.

I took time stat of `git fetch` when fetch-pack happens for chromium
repository 3 times on linux with SSD.
* with this patch
8.105s
8.309s
7.640s
avg: 8.018s

* master
12.287s
11.175s
12.227s
avg: 11.896s

On my MacBook Air which has slower lstat(2).
* with this patch
14.501s

* master
1m16.027s

`git fetch` on slow disk will be improved largely.

Signed-off-by: Takuto Ikuta <tikuta@chromium.org>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
cache.h
fetch-pack.c
sha1_file.c