]> git.ipfire.org Git - thirdparty/git.git/commitdiff
fetch: add fetch.submoduleErrors to make submodule fetch errors non-fatal
authorPaulius Zaleckas <paulius.zaleckas@gmail.com>
Thu, 16 Jul 2026 14:09:54 +0000 (17:09 +0300)
committerJunio C Hamano <gitster@pobox.com>
Thu, 16 Jul 2026 17:07:52 +0000 (10:07 -0700)
When fetching with --recurse-submodules, a submodule commit that is not
yet reachable from any of the submodule's remote refs causes the entire
fetch to fail.  This is overly strict when the missing commit belongs to
an upstream branch that is still being prepared (e.g. an in-progress
merge topic): the local branch does not need that commit, so there is no
reason to treat its absence as fatal.

Add a new config key fetch.submoduleErrors (values: fail/warn) and a
corresponding --submodule-errors=(fail|warn) command-line option that
control this behaviour.  The default remains fail (existing behaviour);
setting the value to warn causes submodule fetch failures to be reported
on stderr without affecting the overall exit status of git fetch / git
pull.

Forward the option to child fetches in add_options_to_argv() so that it
also takes effect for `git fetch --all` / `--multiple` (where per-remote
child processes handle the submodule recursion themselves) and for
nested submodule recursion.  The resolved value is forwarded whenever it
was set explicitly, in either direction: the per-remote children re-read
the repository configuration, so a command-line --submodule-errors=fail
must be passed down to them to override fetch.submoduleErrors=warn from
the configuration.  When neither the configuration nor the command line
sets a value, nothing is forwarded and the child processes fall back to
their own configuration.

Helped-by: Jean-Noël Avila <avila.jn@gmail.com>
Helped-by: Ramsay Jones <ramsay@ramsayjones.plus.com>
Helped-by: Junio C Hamano <gitster@pobox.com>
Signed-off-by: Paulius Zaleckas <paulius.zaleckas@gmail.com>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
Documentation/config/fetch.adoc
Documentation/fetch-options.adoc
builtin/fetch.c
submodule.c
submodule.h
t/t5526-fetch-submodules.sh

index 04ac90912d3a58a6696ed23f391819f3a2445f11..5c9c942a704cf38006081bd4a4de837fd1c43663 100644 (file)
        reference.
        Defaults to `on-demand`, or to the value of `submodule.recurse` if set.
 
+`fetch.submoduleErrors`::
+       Controls how errors from submodule fetches are handled when
+       `--recurse-submodules` is in effect. When set to `fail` (the default),
+       any submodule fetch error causes the overall `git fetch` or `git pull`
+       to exit with a non-zero status. When set to `warn`, submodule fetch
+       errors are reported to standard error but do not affect the exit
+       status of the command. This is useful when working in repositories
+       where some branches reference submodule commits that are not yet
+       available on the submodule remote, but those commits are not needed
+       for the currently checked-out branch.
++
+The value of this option can be overridden by the `--submodule-errors`
+option of linkgit:git-fetch[1].
+
 `fetch.fsckObjects`::
        If it is set to true, git-fetch-pack will check all fetched
        objects. See `transfer.fsckObjects` for what's
index 035f780e583ceeb022d3f6992f477dfe5cdc790b..78525f6848056fc8d52213bbca4d8a0bcf86ee52 100644 (file)
@@ -294,6 +294,14 @@ ifndef::git-pull[]
 `--no-recurse-submodules`::
        Disable recursive fetching of submodules (this has the same effect as
        using the `--recurse-submodules=no` option).
+
+`--submodule-errors=(fail|warn)`::
+       Control how errors from submodule fetches are handled when
+       `--recurse-submodules` is in effect. When set to `fail` (the default),
+       any submodule fetch error causes the overall `git fetch` to exit with a
+       non-zero status. When set to `warn`, submodule fetch errors are reported
+       to standard error but do not affect the exit status of the command. Can
+       also be configured via `fetch.submoduleErrors`. See linkgit:git-config[1].
 endif::git-pull[]
 
 `--set-upstream`::
index c1d7c672f4e0d87d78d2c981828fff328ec2ca89..2c583ed0cc8508fea5a024696db3be2887fce90d 100644 (file)
@@ -110,8 +110,30 @@ struct fetch_config {
        int recurse_submodules;
        int parallel;
        int submodule_fetch_jobs;
+       int submodule_errors;
 };
 
+/* really private - use accessors below to parse and format */
+static const char *submodule_error_name[] = {
+       [SUBMODULE_ERRORS_FAIL] = "fail",
+       [SUBMODULE_ERRORS_WARN] = "warn",
+};
+
+static const char *submodule_error(unsigned num)
+{
+       if (ARRAY_SIZE(submodule_error_name) <= num)
+               BUG("invalid submodule errors mode %u", num);
+       return submodule_error_name[num];
+}
+
+static int parse_submodule_error(const char *name)
+{
+       for (unsigned num = 0; num < ARRAY_SIZE(submodule_error_name); num++)
+               if (!strcmp(submodule_error_name[num], name))
+                       return num;
+       return -1;
+}
+
 static int git_fetch_config(const char *k, const char *v,
                            const struct config_context *ctx, void *cb)
 {
@@ -152,6 +174,19 @@ static int git_fetch_config(const char *k, const char *v,
                return 0;
        }
 
+       if (!strcmp(k, "fetch.submoduleerrors")) {
+               int mode;
+
+               if (!v)
+                       return config_error_nonbool(k);
+               mode = parse_submodule_error(v);
+               if (mode < 0)
+                       die(_("invalid value for '%s': '%s'"),
+                           "fetch.submoduleErrors", v);
+               fetch_config->submodule_errors = mode;
+               return 0;
+       }
+
        if (!strcmp(k, "fetch.parallel")) {
                fetch_config->parallel = git_config_int(k, v, ctx->kvi);
                if (fetch_config->parallel < 0)
@@ -2205,6 +2240,9 @@ static void add_options_to_argv(struct strvec *argv,
                strvec_push(argv, "--no-recurse-submodules");
        else if (config->recurse_submodules == RECURSE_SUBMODULES_ON_DEMAND)
                strvec_push(argv, "--recurse-submodules=on-demand");
+       if (config->submodule_errors != -1)
+               strvec_pushf(argv, "--submodule-errors=%s",
+                            submodule_error(config->submodule_errors));
        if (tags == TAGS_SET)
                strvec_push(argv, "--tags");
        else if (tags == TAGS_UNSET)
@@ -2464,6 +2502,23 @@ static int fetch_one(struct remote *remote, int argc, const char **argv,
        return exit_code;
 }
 
+static int option_parse_submodule_errors(const struct option *opt,
+                                         const char *arg, int unset)
+{
+       int *v = opt->value;
+       int mode;
+
+       if (unset) {
+               *v = SUBMODULE_ERRORS_FAIL;
+               return 0;
+       }
+       mode = parse_submodule_error(arg);
+       if (mode < 0)
+               die(_("invalid value for '%s': '%s'"), "--submodule-errors", arg);
+       *v = mode;
+       return 0;
+}
+
 int cmd_fetch(int argc,
              const char **argv,
              const char *prefix,
@@ -2477,6 +2532,7 @@ int cmd_fetch(int argc,
                .recurse_submodules = RECURSE_SUBMODULES_DEFAULT,
                .parallel = 1,
                .submodule_fetch_jobs = -1,
+               .submodule_errors = -1, /* unset */
        };
        const char *submodule_prefix = "";
        const char *bundle_uri;
@@ -2491,6 +2547,7 @@ int cmd_fetch(int argc,
        int max_jobs = -1;
        int recurse_submodules_cli = RECURSE_SUBMODULES_DEFAULT;
        int recurse_submodules_default = RECURSE_SUBMODULES_ON_DEMAND;
+       int submodule_errors_cli = -1; /* -1: not set on command line */
        int fetch_write_commit_graph = -1;
        int stdin_refspecs = 0;
        int negotiate_only = 0;
@@ -2527,6 +2584,10 @@ int cmd_fetch(int argc,
                OPT_CALLBACK_F(0, "recurse-submodules", &recurse_submodules_cli, N_("on-demand"),
                            N_("control recursive fetching of submodules"),
                            PARSE_OPT_OPTARG, option_fetch_parse_recurse_submodules),
+               OPT_CALLBACK_F(0, "submodule-errors", &submodule_errors_cli,
+                           N_("(fail|warn)"),
+                           N_("control how submodule fetch errors are handled"),
+                           0, option_parse_submodule_errors),
                OPT_BOOL(0, "dry-run", &dry_run,
                         N_("dry run")),
                OPT_BOOL(0, "porcelain", &porcelain, N_("machine-readable output")),
@@ -2616,6 +2677,9 @@ int cmd_fetch(int argc,
        if (recurse_submodules_cli != RECURSE_SUBMODULES_DEFAULT)
                config.recurse_submodules = recurse_submodules_cli;
 
+       if (submodule_errors_cli != -1)
+               config.submodule_errors = submodule_errors_cli;
+
        if (negotiate_only) {
                switch (recurse_submodules_cli) {
                case RECURSE_SUBMODULES_OFF:
@@ -2819,11 +2883,14 @@ int cmd_fetch(int argc,
        if (!result && remote && (config.recurse_submodules != RECURSE_SUBMODULES_OFF)) {
                struct strvec options = STRVEC_INIT;
                int max_children = max_jobs;
+               int submodule_errors = config.submodule_errors;
 
                if (max_children < 0)
                        max_children = config.submodule_fetch_jobs;
                if (max_children < 0)
                        max_children = config.parallel;
+               if (submodule_errors < 0)
+                       submodule_errors = SUBMODULE_ERRORS_FAIL;
 
                add_options_to_argv(&options, &config);
                trace2_region_enter_printf("fetch", "recurse-submodule", the_repository, "%s", submodule_prefix);
@@ -2833,7 +2900,8 @@ int cmd_fetch(int argc,
                                          config.recurse_submodules,
                                          recurse_submodules_default,
                                          verbosity < 0,
-                                         max_children);
+                                         max_children,
+                                         submodule_errors);
                trace2_region_leave_printf("fetch", "recurse-submodule", the_repository, "%s", submodule_prefix);
                strvec_clear(&options);
        }
index 8bcef68a42480da101b9d9e76d48d960469afe81..da4ace751fc2f73c663795de665f7833abb2dfff 100644 (file)
@@ -1409,6 +1409,7 @@ struct submodule_parallel_fetch {
        int oid_fetch_tasks_nr, oid_fetch_tasks_alloc;
 
        struct strbuf submodules_with_errors;
+       int submodule_errors;
 };
 #define SPF_INIT { \
        .args = STRVEC_INIT, \
@@ -1565,7 +1566,8 @@ static struct fetch_task *fetch_task_create(struct submodule_parallel_fetch *spf
 static void record_fetch_error(struct submodule_parallel_fetch *spf,
                               const char *name)
 {
-       spf->result = 1;
+       if (spf->submodule_errors == SUBMODULE_ERRORS_FAIL)
+               spf->result = 1;
        strbuf_addf(&spf->submodules_with_errors, "\t%s\n", name);
 }
 
@@ -1851,7 +1853,8 @@ int fetch_submodules(struct repository *r,
                     const struct strvec *options,
                     const char *prefix, int command_line_option,
                     int default_option,
-                    int quiet, int max_parallel_jobs)
+                    int quiet, int max_parallel_jobs,
+                    int submodule_errors)
 {
        struct submodule_parallel_fetch spf = SPF_INIT;
        const struct run_process_parallel_opts opts = {
@@ -1871,6 +1874,7 @@ int fetch_submodules(struct repository *r,
        spf.default_option = default_option;
        spf.quiet = quiet;
        spf.prefix = prefix;
+       spf.submodule_errors = submodule_errors;
 
        if (!r->worktree)
                goto out;
index b10e16e6c063d2ada14094ba6a6d271455a814e7..c80b687d2a7c6749536fc2ece634f64a89ea16cc 100644 (file)
@@ -90,12 +90,17 @@ int should_update_submodules(void);
  */
 const struct submodule *submodule_from_ce(const struct cache_entry *ce);
 void check_for_new_submodule_commits(struct object_id *oid);
+/* Values for the submodule_errors parameter of fetch_submodules(). */
+#define SUBMODULE_ERRORS_FAIL 0  /* submodule fetch errors are fatal (default) */
+#define SUBMODULE_ERRORS_WARN 1  /* submodule fetch errors are non-fatal warnings */
+
 int fetch_submodules(struct repository *r,
                     const struct strvec *options,
                     const char *prefix,
                     int command_line_option,
                     int default_option,
-                    int quiet, int max_parallel_jobs);
+                    int quiet, int max_parallel_jobs,
+                    int submodule_errors);
 unsigned is_submodule_modified(const char *path, int ignore_untracked);
 int submodule_uses_gitfile(const char *path);
 
index 7ad274ce040afd8fc4902d857c798085cc693675..19d17440cf2220d117f089f09bb608e96719131e 100755 (executable)
@@ -1307,6 +1307,57 @@ test_expect_success 'setup for submodule fetch error tests' '
        git config --global protocol.file.allow always
 '
 
+test_expect_success 'fetch --recurse-submodules fails when submodule commit is unreachable (default)' '
+       test_when_finished "rm -fr env_default" &&
+       create_err_env env_default &&
+       push_unreachable_commit env_default &&
+       test_must_fail git -C env_default/clone fetch --recurse-submodules 2>err &&
+       test_grep "Errors during submodule fetch" err
+'
+
+test_expect_success 'fetch.submoduleErrors=warn: unreachable submodule commit is non-fatal' '
+       test_when_finished "rm -fr env_warn_cfg" &&
+       create_err_env env_warn_cfg &&
+       push_unreachable_commit env_warn_cfg &&
+       git -C env_warn_cfg/clone -c fetch.submoduleErrors=warn \
+               fetch --recurse-submodules 2>err &&
+       test_grep "Errors during submodule fetch" err
+'
+
+test_expect_success '--submodule-errors=warn: unreachable submodule commit is non-fatal' '
+       test_when_finished "rm -fr env_warn_cli" &&
+       create_err_env env_warn_cli &&
+       push_unreachable_commit env_warn_cli &&
+       git -C env_warn_cli/clone fetch --recurse-submodules \
+               --submodule-errors=warn 2>err &&
+       test_grep "Errors during submodule fetch" err
+'
+
+test_expect_success '--submodule-errors=fail: unreachable submodule commit is fatal' '
+       test_when_finished "rm -fr env_fail_cli" &&
+       create_err_env env_fail_cli &&
+       push_unreachable_commit env_fail_cli &&
+       test_must_fail git -C env_fail_cli/clone fetch --recurse-submodules \
+               --submodule-errors=fail 2>err &&
+       test_grep "Errors during submodule fetch" err
+'
+
+test_expect_success 'fetch.submoduleErrors=warn does not suppress successful fetch' '
+       # A new reachable submodule commit (pushed to sub_bare) should be
+       # fetched without any error summary.
+       test_when_finished "rm -fr env_ok" &&
+       create_err_env env_ok &&
+       test_commit -C env_ok/sub_work reachable_ok &&
+       git -C env_ok/sub_work push &&
+       git -C env_ok/super_work submodule update --remote &&
+       git -C env_ok/super_work add sub &&
+       git -C env_ok/super_work commit -m "point sub to reachable commit" &&
+       git -C env_ok/super_work push &&
+       git -C env_ok/clone -c fetch.submoduleErrors=warn \
+               fetch --recurse-submodules 2>err &&
+       test_grep ! "Errors during submodule fetch" err
+'
+
 test_expect_success 'failed submodule fetch is fatal even when its commits are present locally' '
        # Create the same commit (unreferenced, via commit-tree with fixed
        # dates) in both super_work/sub and clone/sub, point the gitlink at
@@ -1334,4 +1385,42 @@ test_expect_success 'failed submodule fetch is fatal even when its commits are p
        test_grep "Errors during submodule fetch" err
 '
 
+test_expect_success '--submodule-errors=warn is honored by fetch --all' '
+       # A second remote forces fetch_multiple(), which hands the submodule
+       # recursion off to per-remote child processes; the option must be
+       # forwarded to them.
+       test_when_finished "rm -fr env_all" &&
+       create_err_env env_all &&
+       push_unreachable_commit env_all &&
+       git -C env_all/clone remote add second "$pwd/env_all/super_bare" &&
+       git -C env_all/clone fetch --all --recurse-submodules \
+               --submodule-errors=warn 2>err &&
+       test_grep "Errors during submodule fetch" err
+'
+
+test_expect_success '--submodule-errors=fail overrides warn config for fetch --all' '
+       # The per-remote child processes re-read the repository config, so
+       # the command-line override must be forwarded to them explicitly.
+       test_when_finished "rm -fr env_override" &&
+       create_err_env env_override &&
+       push_unreachable_commit env_override &&
+       git -C env_override/clone remote add second "$pwd/env_override/super_bare" &&
+       git -C env_override/clone config fetch.submoduleErrors warn &&
+       test_must_fail git -C env_override/clone fetch --all --recurse-submodules \
+               --submodule-errors=fail 2>err &&
+       test_grep "Errors during submodule fetch" err
+'
+
+test_expect_success 'fetch.submoduleErrors=warn: inaccessible submodule is non-fatal' '
+       test_when_finished "rm -fr env_access" &&
+       create_err_env env_access &&
+       rm env_access/clone/sub/.git &&
+       rm -r env_access/clone/.git/modules/sub &&
+       git -C env_access/clone -c fetch.submoduleErrors=warn \
+               fetch --recurse-submodules 2>err &&
+       test_grep "Could not access submodule" err &&
+       test_must_fail git -C env_access/clone fetch --recurse-submodules 2>err &&
+       test_grep "Could not access submodule" err
+'
+
 test_done