]> git.ipfire.org Git - thirdparty/git.git/blobdiff - t/t1092-sparse-checkout-compatibility.sh
Merge branch 'vd/sparse-clean-etc'
[thirdparty/git.git] / t / t1092-sparse-checkout-compatibility.sh
index 49f70a656927d0a6893a78ac079a8ac76c53c429..f3a059e5af557aacf113909aa06e089d9fd43e8c 100755 (executable)
@@ -206,45 +206,42 @@ test_sparse_unstaged () {
 test_expect_success 'sparse-index contents' '
        init_repos &&
 
-       test-tool -C sparse-index read-cache --table >cache &&
+       git -C sparse-index ls-files --sparse --stage >cache &&
        for dir in folder1 folder2 x
        do
                TREE=$(git -C sparse-index rev-parse HEAD:$dir) &&
-               grep "040000 tree $TREE $dir/" cache \
+               grep "040000 $TREE 0    $dir/" cache \
                        || return 1
        done &&
 
        git -C sparse-index sparse-checkout set folder1 &&
 
-       test-tool -C sparse-index read-cache --table >cache &&
+       git -C sparse-index ls-files --sparse --stage >cache &&
        for dir in deep folder2 x
        do
                TREE=$(git -C sparse-index rev-parse HEAD:$dir) &&
-               grep "040000 tree $TREE $dir/" cache \
+               grep "040000 $TREE 0    $dir/" cache \
                        || return 1
        done &&
 
        git -C sparse-index sparse-checkout set deep/deeper1 &&
 
-       test-tool -C sparse-index read-cache --table >cache &&
+       git -C sparse-index ls-files --sparse --stage >cache &&
        for dir in deep/deeper2 folder1 folder2 x
        do
                TREE=$(git -C sparse-index rev-parse HEAD:$dir) &&
-               grep "040000 tree $TREE $dir/" cache \
+               grep "040000 $TREE 0    $dir/" cache \
                        || return 1
        done &&
 
-       # Disabling the sparse-index removes tree entries with full ones
+       # Disabling the sparse-index replaces tree entries with full ones
        git -C sparse-index sparse-checkout init --no-sparse-index &&
-
-       test-tool -C sparse-index read-cache --table >cache &&
-       ! grep "040000 tree" cache &&
-       test_sparse_match test-tool read-cache --table
+       test_sparse_match git ls-files --stage --sparse
 '
 
 test_expect_success 'expanded in-memory index matches full index' '
        init_repos &&
-       test_sparse_match test-tool read-cache --expand --table
+       test_sparse_match git ls-files --stage
 '
 
 test_expect_success 'status with options' '
@@ -596,13 +593,11 @@ test_expect_success 'reset with pathspecs outside sparse definition' '
 
        test_sparse_match git reset update-folder1 -- folder1 &&
        git -C full-checkout reset update-folder1 -- folder1 &&
-       test_sparse_match git status --porcelain=v2 &&
-       test_all_match git rev-parse HEAD:folder1 &&
+       test_all_match git ls-files -s -- folder1 &&
 
        test_sparse_match git reset update-folder2 -- folder2/a &&
        git -C full-checkout reset update-folder2 -- folder2/a &&
-       test_sparse_match git status --porcelain=v2 &&
-       test_all_match git rev-parse HEAD:folder2/a
+       test_all_match git ls-files -s -- folder2/a
 '
 
 test_expect_success 'reset with wildcard pathspec' '
@@ -632,6 +627,173 @@ test_expect_success 'reset with wildcard pathspec' '
        test_all_match git ls-files -s -- folder1
 '
 
+test_expect_success 'update-index modify outside sparse definition' '
+       init_repos &&
+
+       write_script edit-contents <<-\EOF &&
+       echo text >>$1
+       EOF
+
+       # Create & modify folder1/a
+       # Note that this setup is a manual way of reaching the erroneous
+       # condition in which a `skip-worktree` enabled, outside-of-cone file
+       # exists on disk. It is used here to ensure `update-index` is stable
+       # and behaves predictably if such a condition occurs.
+       run_on_sparse mkdir -p folder1 &&
+       run_on_sparse cp ../initial-repo/folder1/a folder1/a &&
+       run_on_all ../edit-contents folder1/a &&
+
+       # If file has skip-worktree enabled, update-index does not modify the
+       # index entry
+       test_sparse_match git update-index folder1/a &&
+       test_sparse_match git status --porcelain=v2 &&
+       test_must_be_empty sparse-checkout-out &&
+
+       # When skip-worktree is disabled (even on files outside sparse cone), file
+       # is updated in the index
+       test_sparse_match git update-index --no-skip-worktree folder1/a &&
+       test_all_match git status --porcelain=v2 &&
+       test_all_match git update-index folder1/a &&
+       test_all_match git status --porcelain=v2
+'
+
+test_expect_success 'update-index --add outside sparse definition' '
+       init_repos &&
+
+       write_script edit-contents <<-\EOF &&
+       echo text >>$1
+       EOF
+
+       # Create folder1, add new file
+       run_on_sparse mkdir -p folder1 &&
+       run_on_all ../edit-contents folder1/b &&
+
+       # The *untracked* out-of-cone file is added to the index because it does
+       # not have a `skip-worktree` bit to signal that it should be ignored
+       # (unlike in `git add`, which will fail due to the file being outside
+       # the sparse checkout definition).
+       test_all_match git update-index --add folder1/b &&
+       test_all_match git status --porcelain=v2
+'
+
+# NEEDSWORK: `--remove`, unlike the rest of `update-index`, does not ignore
+# `skip-worktree` entries by default and will remove them from the index.
+# The `--ignore-skip-worktree-entries` flag must be used in conjunction with
+# `--remove` to ignore the `skip-worktree` entries and prevent their removal
+# from the index.
+test_expect_success 'update-index --remove outside sparse definition' '
+       init_repos &&
+
+       # When --ignore-skip-worktree-entries is _not_ specified:
+       # out-of-cone, not-on-disk files are removed from the index
+       test_sparse_match git update-index --remove folder1/a &&
+       cat >expect <<-EOF &&
+       D       folder1/a
+       EOF
+       test_sparse_match git diff --cached --name-status &&
+       test_cmp expect sparse-checkout-out &&
+
+       # Reset the state
+       test_all_match git reset --hard &&
+
+       # When --ignore-skip-worktree-entries is specified, out-of-cone
+       # (skip-worktree) files are ignored
+       test_sparse_match git update-index --remove --ignore-skip-worktree-entries folder1/a &&
+       test_sparse_match git diff --cached --name-status &&
+       test_must_be_empty sparse-checkout-out &&
+
+       # Reset the state
+       test_all_match git reset --hard &&
+
+       # --force-remove supercedes --ignore-skip-worktree-entries, removing
+       # a skip-worktree file from the index (and disk) when both are specified
+       # with --remove
+       test_sparse_match git update-index --force-remove --ignore-skip-worktree-entries folder1/a &&
+       cat >expect <<-EOF &&
+       D       folder1/a
+       EOF
+       test_sparse_match git diff --cached --name-status &&
+       test_cmp expect sparse-checkout-out
+'
+
+test_expect_success 'update-index with directories' '
+       init_repos &&
+
+       # update-index will exit silently when provided with a directory name
+       # containing a trailing slash
+       test_all_match git update-index deep/ folder1/ &&
+       grep "Ignoring path deep/" sparse-checkout-err &&
+       grep "Ignoring path folder1/" sparse-checkout-err &&
+
+       # When update-index is given a directory name WITHOUT a trailing slash, it will
+       # behave in different ways depending on the status of the directory on disk:
+       # * if it exists, the command exits with an error ("add individual files instead")
+       # * if it does NOT exist (e.g., in a sparse-checkout), it is assumed to be a
+       #   file and either triggers an error ("does not exist  and --remove not passed")
+       #   or is ignored completely (when using --remove)
+       test_all_match test_must_fail git update-index deep &&
+       run_on_all test_must_fail git update-index folder1 &&
+       test_must_fail git -C full-checkout update-index --remove folder1 &&
+       test_sparse_match git update-index --remove folder1 &&
+       test_all_match git status --porcelain=v2
+'
+
+test_expect_success 'update-index --again file outside sparse definition' '
+       init_repos &&
+
+       test_all_match git checkout -b test-reupdate &&
+
+       # Update HEAD without modifying the index to introduce a difference in
+       # folder1/a
+       test_sparse_match git reset --soft update-folder1 &&
+
+       # Because folder1/a differs in the index vs HEAD,
+       # `git update-index --no-skip-worktree --again` will effectively perform
+       # `git update-index --no-skip-worktree folder1/a` and remove the skip-worktree
+       # flag from folder1/a
+       test_sparse_match git update-index --no-skip-worktree --again &&
+       test_sparse_match git status --porcelain=v2 &&
+
+       cat >expect <<-EOF &&
+       D       folder1/a
+       EOF
+       test_sparse_match git diff --name-status &&
+       test_cmp expect sparse-checkout-out
+'
+
+test_expect_success 'update-index --cacheinfo' '
+       init_repos &&
+
+       deep_a_oid=$(git -C full-checkout rev-parse update-deep:deep/a) &&
+       folder2_oid=$(git -C full-checkout rev-parse update-folder2:folder2) &&
+       folder1_a_oid=$(git -C full-checkout rev-parse update-folder1:folder1/a) &&
+
+       test_all_match git update-index --cacheinfo 100644 $deep_a_oid deep/a &&
+       test_all_match git status --porcelain=v2 &&
+
+       # Cannot add sparse directory, even in sparse index case
+       test_all_match test_must_fail git update-index --add --cacheinfo 040000 $folder2_oid folder2/ &&
+
+       # Sparse match only: the new outside-of-cone entry is added *without* skip-worktree,
+       # so `git status` reports it as "deleted" in the worktree
+       test_sparse_match git update-index --add --cacheinfo 100644 $folder1_a_oid folder1/a &&
+       test_sparse_match git status --porcelain=v2 &&
+       cat >expect <<-EOF &&
+       MD folder1/a
+       EOF
+       test_sparse_match git status --short -- folder1/a &&
+       test_cmp expect sparse-checkout-out &&
+
+       # To return folder1/a to "normal" for a sparse checkout (ignored &
+       # outside-of-cone), add the skip-worktree flag.
+       test_sparse_match git update-index --skip-worktree folder1/a &&
+       cat >expect <<-EOF &&
+       S folder1/a
+       EOF
+       test_sparse_match git ls-files -t -- folder1/a &&
+       test_cmp expect sparse-checkout-out
+'
+
 test_expect_success 'merge, cherry-pick, and rebase' '
        init_repos &&
 
@@ -757,6 +919,74 @@ test_expect_success 'cherry-pick with conflicts' '
        test_all_match test_must_fail git cherry-pick to-cherry-pick
 '
 
+test_expect_success 'checkout-index inside sparse definition' '
+       init_repos &&
+
+       run_on_all rm -f deep/a &&
+       test_all_match git checkout-index -- deep/a &&
+       test_all_match git status --porcelain=v2 &&
+
+       echo test >>new-a &&
+       run_on_all cp ../new-a a &&
+       test_all_match test_must_fail git checkout-index -- a &&
+       test_all_match git checkout-index -f -- a &&
+       test_all_match git status --porcelain=v2
+'
+
+test_expect_success 'checkout-index outside sparse definition' '
+       init_repos &&
+
+       # Without --ignore-skip-worktree-bits, outside-of-cone files will trigger
+       # an error
+       test_sparse_match test_must_fail git checkout-index -- folder1/a &&
+       test_i18ngrep "folder1/a has skip-worktree enabled" sparse-checkout-err &&
+       test_path_is_missing folder1/a &&
+
+       # With --ignore-skip-worktree-bits, outside-of-cone files are checked out
+       test_sparse_match git checkout-index --ignore-skip-worktree-bits -- folder1/a &&
+       test_cmp sparse-checkout/folder1/a sparse-index/folder1/a &&
+       test_cmp sparse-checkout/folder1/a full-checkout/folder1/a &&
+
+       run_on_sparse rm -rf folder1 &&
+       echo test >new-a &&
+       run_on_sparse mkdir -p folder1 &&
+       run_on_all cp ../new-a folder1/a &&
+
+       test_all_match test_must_fail git checkout-index --ignore-skip-worktree-bits -- folder1/a &&
+       test_all_match git checkout-index -f --ignore-skip-worktree-bits -- folder1/a &&
+       test_cmp sparse-checkout/folder1/a sparse-index/folder1/a &&
+       test_cmp sparse-checkout/folder1/a full-checkout/folder1/a
+'
+
+test_expect_success 'checkout-index with folders' '
+       init_repos &&
+
+       # Inside checkout definition
+       test_all_match test_must_fail git checkout-index -f -- deep/ &&
+
+       # Outside checkout definition
+       # Note: although all tests fail (as expected), the messaging differs. For
+       # non-sparse index checkouts, the error is that the "file" does not appear
+       # in the index; for sparse checkouts, the error is explicitly that the
+       # entry is a sparse directory.
+       run_on_all test_must_fail git checkout-index -f -- folder1/ &&
+       test_cmp full-checkout-err sparse-checkout-err &&
+       ! test_cmp full-checkout-err sparse-index-err &&
+       grep "is a sparse directory" sparse-index-err
+'
+
+test_expect_success 'checkout-index --all' '
+       init_repos &&
+
+       test_all_match git checkout-index --all &&
+       test_sparse_match test_path_is_missing folder1 &&
+
+       # --ignore-skip-worktree-bits will cause `skip-worktree` files to be
+       # checked out, causing the outside-of-cone `folder1` to exist on-disk
+       test_all_match git checkout-index --ignore-skip-worktree-bits --all &&
+       test_all_match test_path_exists folder1
+'
+
 test_expect_success 'clean' '
        init_repos &&
 
@@ -766,23 +996,42 @@ test_expect_success 'clean' '
        test_all_match git commit -m "ignore bogus files" &&
 
        run_on_sparse mkdir folder1 &&
+       run_on_all mkdir -p deep/untracked-deep &&
        run_on_all touch folder1/bogus &&
+       run_on_all touch folder1/untracked &&
+       run_on_all touch deep/untracked-deep/bogus &&
+       run_on_all touch deep/untracked-deep/untracked &&
 
        test_all_match git status --porcelain=v2 &&
        test_all_match git clean -f &&
        test_all_match git status --porcelain=v2 &&
        test_sparse_match ls &&
        test_sparse_match ls folder1 &&
+       run_on_all test_path_exists folder1/bogus &&
+       run_on_all test_path_is_missing folder1/untracked &&
+       run_on_all test_path_exists deep/untracked-deep/bogus &&
+       run_on_all test_path_exists deep/untracked-deep/untracked &&
+
+       test_all_match git clean -fd &&
+       test_all_match git status --porcelain=v2 &&
+       test_sparse_match ls &&
+       test_sparse_match ls folder1 &&
+       run_on_all test_path_exists folder1/bogus &&
+       run_on_all test_path_exists deep/untracked-deep/bogus &&
+       run_on_all test_path_is_missing deep/untracked-deep/untracked &&
 
        test_all_match git clean -xf &&
        test_all_match git status --porcelain=v2 &&
        test_sparse_match ls &&
        test_sparse_match ls folder1 &&
+       run_on_all test_path_is_missing folder1/bogus &&
+       run_on_all test_path_exists deep/untracked-deep/bogus &&
 
        test_all_match git clean -xdf &&
        test_all_match git status --porcelain=v2 &&
        test_sparse_match ls &&
        test_sparse_match ls folder1 &&
+       run_on_all test_path_is_missing deep/untracked-deep/bogus &&
 
        test_sparse_match test_path_is_dir folder1
 '
@@ -801,9 +1050,9 @@ test_expect_success 'submodule handling' '
 
        # having a submodule prevents "modules" from collapse
        test_sparse_match git sparse-checkout set deep/deeper1 &&
-       test-tool -C sparse-index read-cache --table >cache &&
-       grep "100644 blob .*    modules/a" cache &&
-       grep "160000 commit $(git -C initial-repo rev-parse HEAD)       modules/sub" cache
+       git -C sparse-index ls-files --sparse --stage >cache &&
+       grep "100644 .* modules/a" cache &&
+       grep "160000 $(git -C initial-repo rev-parse HEAD) 0    modules/sub" cache
 '
 
 # When working with a sparse index, some commands will need to expand the
@@ -816,6 +1065,12 @@ test_expect_success 'sparse-index is expanded and converted back' '
        GIT_TRACE2_EVENT="$(pwd)/trace2.txt" \
                git -C sparse-index reset -- folder1/a &&
        test_region index convert_to_sparse trace2.txt &&
+       test_region index ensure_full_index trace2.txt &&
+
+       # ls-files expands on read, but does not write.
+       rm trace2.txt &&
+       GIT_TRACE2_EVENT="$(pwd)/trace2.txt" GIT_TRACE2_EVENT_NESTING=10 \
+               git -C sparse-index ls-files &&
        test_region index ensure_full_index trace2.txt
 '
 
@@ -871,6 +1126,7 @@ test_expect_success 'sparse-index is not expanded' '
        init_repos &&
 
        ensure_not_expanded status &&
+       ensure_not_expanded ls-files --sparse &&
        ensure_not_expanded commit --allow-empty -m empty &&
        echo >>sparse-index/a &&
        ensure_not_expanded commit -a -m a &&
@@ -894,6 +1150,8 @@ test_expect_success 'sparse-index is not expanded' '
        echo >>sparse-index/untracked.txt &&
        ensure_not_expanded add . &&
 
+       ensure_not_expanded checkout-index -f a &&
+       ensure_not_expanded checkout-index -f --all &&
        for ref in update-deep update-folder1 update-folder2 update-deep
        do
                echo >>sparse-index/README.md &&
@@ -922,6 +1180,8 @@ test_expect_success 'sparse-index is not expanded' '
        # Wildcard identifies only full sparse directories, no index expansion
        ensure_not_expanded reset deepest -- folder\* &&
 
+       ensure_not_expanded clean -fd &&
+
        ensure_not_expanded checkout -f update-deep &&
        test_config -C sparse-index pull.twohead ort &&
        (
@@ -997,6 +1257,24 @@ test_expect_success 'sparse index is not expanded: diff' '
        ensure_not_expanded diff --cached
 '
 
+test_expect_success 'sparse index is not expanded: update-index' '
+       init_repos &&
+
+       deep_a_oid=$(git -C full-checkout rev-parse update-deep:deep/a) &&
+       ensure_not_expanded update-index --cacheinfo 100644 $deep_a_oid deep/a &&
+
+       echo "test" >sparse-index/README.md &&
+       echo "test2" >sparse-index/a &&
+       rm -f sparse-index/deep/a &&
+
+       ensure_not_expanded update-index --add README.md &&
+       ensure_not_expanded update-index a &&
+       ensure_not_expanded update-index --remove deep/a &&
+
+       ensure_not_expanded reset --soft update-deep &&
+       ensure_not_expanded update-index --add --remove --again
+'
+
 test_expect_success 'sparse index is not expanded: blame' '
        init_repos &&
 
@@ -1009,6 +1287,100 @@ test_expect_success 'sparse index is not expanded: blame' '
        done
 '
 
+test_expect_success 'sparse index is not expanded: fetch/pull' '
+       init_repos &&
+
+       git -C sparse-index remote add full "file://$(pwd)/full-checkout" &&
+       ensure_not_expanded fetch full &&
+       git -C full-checkout commit --allow-empty -m "for pull merge" &&
+       git -C sparse-index commit --allow-empty -m "for pull merge" &&
+       ensure_not_expanded pull full base
+'
+
+test_expect_success 'ls-files' '
+       init_repos &&
+
+       # Use a smaller sparse-checkout for reduced output
+       test_sparse_match git sparse-checkout set &&
+
+       # Behavior agrees by default. Sparse index is expanded.
+       test_all_match git ls-files &&
+
+       # With --sparse, the sparse index data changes behavior.
+       git -C sparse-index ls-files --sparse >actual &&
+
+       cat >expect <<-\EOF &&
+       a
+       deep/
+       e
+       folder1-
+       folder1.x
+       folder1/
+       folder10
+       folder2/
+       g
+       x/
+       z
+       EOF
+
+       test_cmp expect actual &&
+
+       # With --sparse and no sparse index, nothing changes.
+       git -C sparse-checkout ls-files >dense &&
+       git -C sparse-checkout ls-files --sparse >sparse &&
+       test_cmp dense sparse &&
+
+       # Set up a strange condition of having a file edit
+       # outside of the sparse-checkout cone. This is just
+       # to verify that sparse-checkout and sparse-index
+       # behave the same in this case.
+       write_script edit-content <<-\EOF &&
+       mkdir folder1 &&
+       echo content >>folder1/a
+       EOF
+       run_on_sparse ../edit-content &&
+
+       # ls-files does not currently notice modified files whose
+       # cache entries are marked SKIP_WORKTREE. This may change
+       # in the future, but here we test that sparse index does
+       # not accidentally create a change of behavior.
+       test_sparse_match git ls-files --modified &&
+       test_must_be_empty sparse-checkout-out &&
+       test_must_be_empty sparse-index-out &&
+
+       git -C sparse-index ls-files --sparse --modified >sparse-index-out &&
+       test_must_be_empty sparse-index-out &&
+
+       # Add folder1 to the sparse-checkout cone and
+       # check that ls-files shows the expanded files.
+       test_sparse_match git sparse-checkout add folder1 &&
+       test_sparse_match git ls-files --modified &&
+
+       test_all_match git ls-files &&
+       git -C sparse-index ls-files --sparse >actual &&
+
+       cat >expect <<-\EOF &&
+       a
+       deep/
+       e
+       folder1-
+       folder1.x
+       folder1/0/0/0
+       folder1/0/1
+       folder1/a
+       folder10
+       folder2/
+       g
+       x/
+       z
+       EOF
+
+       test_cmp expect actual &&
+
+       # Double-check index expansion is avoided
+       ensure_not_expanded ls-files --sparse
+'
+
 # NEEDSWORK: a sparse-checkout behaves differently from a full checkout
 # in this scenario, but it shouldn't.
 test_expect_success 'reset mixed and checkout orphan' '
@@ -1024,13 +1396,13 @@ test_expect_success 'reset mixed and checkout orphan' '
        # the sparse checkouts skip "adding" the other side of
        # the conflict.
        test_sparse_match git reset --mixed HEAD~1 &&
-       test_sparse_match test-tool read-cache --table --expand &&
+       test_sparse_match git ls-files --stage &&
        test_sparse_match git status --porcelain=v2 &&
 
        # At this point, sparse-checkouts behave differently
        # from the full-checkout.
        test_sparse_match git checkout --orphan new-branch &&
-       test_sparse_match test-tool read-cache --table --expand &&
+       test_sparse_match git ls-files --stage &&
        test_sparse_match git status --porcelain=v2
 '