]> git.ipfire.org Git - thirdparty/postgresql.git/commitdiff
Optimise numeric division for one and two base-NBASE digit divisors.
authorDean Rasheed <dean.a.rasheed@gmail.com>
Sun, 27 Feb 2022 11:12:30 +0000 (11:12 +0000)
committerDean Rasheed <dean.a.rasheed@gmail.com>
Sun, 27 Feb 2022 11:12:30 +0000 (11:12 +0000)
Formerly div_var() had "fast path" short division code that was
significantly faster when the divisor was just one base-NBASE digit,
but otherwise used long division.

This commit adds a new function div_var_int() that divides by an
arbitrary 32-bit integer, using the fast short division algorithm, and
updates both div_var() and div_var_fast() to use it for one and two
digit divisors. In the case of div_var(), this is slightly faster in
the one-digit case, because it avoids some digit array copying, and is
much faster in the two-digit case where it replaces long division. For
div_var_fast(), it is much faster in both cases because the main
div_var_fast() algorithm is optimised for larger inputs.

Additionally, optimise exp() and ln() by using div_var_int(), allowing
a NumericVar to be replaced by an int in a couple of places, most
notably in the Taylor series code. This produces a significant speedup
of exp(), ln() and the numeric_big regression test.

Dean Rasheed, reviewed by Tom Lane.

Discussion: https://postgr.es/m/CAEZATCVwsBi-ND-t82Cuuh1=8ee6jdOpzsmGN+CUZB6yjLg9jw@mail.gmail.com

src/backend/utils/adt/numeric.c

index 47475bf695b8fa272d17c641fe41670f0b7b0911..975d7dcf47638332a061e8be285b969046dbceac 100644 (file)
@@ -551,6 +551,8 @@ static void div_var(const NumericVar *var1, const NumericVar *var2,
                                        int rscale, bool round);
 static void div_var_fast(const NumericVar *var1, const NumericVar *var2,
                                                 NumericVar *result, int rscale, bool round);
+static void div_var_int(const NumericVar *var, int ival, int ival_weight,
+                                               NumericVar *result, int rscale, bool round);
 static int     select_div_scale(const NumericVar *var1, const NumericVar *var2);
 static void mod_var(const NumericVar *var1, const NumericVar *var2,
                                        NumericVar *result);
@@ -8451,8 +8453,33 @@ div_var(const NumericVar *var1, const NumericVar *var2, NumericVar *result,
                                 errmsg("division by zero")));
 
        /*
-        * Now result zero check
+        * If the divisor has just one or two digits, delegate to div_var_int(),
+        * which uses fast short division.
         */
+       if (var2ndigits <= 2)
+       {
+               int                     idivisor;
+               int                     idivisor_weight;
+
+               idivisor = var2->digits[0];
+               idivisor_weight = var2->weight;
+               if (var2ndigits == 2)
+               {
+                       idivisor = idivisor * NBASE + var2->digits[1];
+                       idivisor_weight--;
+               }
+               if (var2->sign == NUMERIC_NEG)
+                       idivisor = -idivisor;
+
+               div_var_int(var1, idivisor, idivisor_weight, result, rscale, round);
+               return;
+       }
+
+       /*
+        * Otherwise, perform full long division.
+        */
+
+       /* Result zero check */
        if (var1ndigits == 0)
        {
                zero_var(result);
@@ -8510,23 +8537,6 @@ div_var(const NumericVar *var1, const NumericVar *var2, NumericVar *result,
        alloc_var(result, res_ndigits);
        res_digits = result->digits;
 
-       if (var2ndigits == 1)
-       {
-               /*
-                * If there's only a single divisor digit, we can use a fast path (cf.
-                * Knuth section 4.3.1 exercise 16).
-                */
-               divisor1 = divisor[1];
-               carry = 0;
-               for (i = 0; i < res_ndigits; i++)
-               {
-                       carry = carry * NBASE + dividend[i + 1];
-                       res_digits[i] = carry / divisor1;
-                       carry = carry % divisor1;
-               }
-       }
-       else
-       {
                /*
                 * The full multiple-place algorithm is taken from Knuth volume 2,
                 * Algorithm 4.3.1D.
@@ -8659,7 +8669,6 @@ div_var(const NumericVar *var1, const NumericVar *var2, NumericVar *result,
                        /* And we're done with this quotient digit */
                        res_digits[j] = qhat;
                }
-       }
 
        pfree(dividend);
 
@@ -8735,8 +8744,33 @@ div_var_fast(const NumericVar *var1, const NumericVar *var2,
                                 errmsg("division by zero")));
 
        /*
-        * Now result zero check
+        * If the divisor has just one or two digits, delegate to div_var_int(),
+        * which uses fast short division.
         */
+       if (var2ndigits <= 2)
+       {
+               int                     idivisor;
+               int                     idivisor_weight;
+
+               idivisor = var2->digits[0];
+               idivisor_weight = var2->weight;
+               if (var2ndigits == 2)
+               {
+                       idivisor = idivisor * NBASE + var2->digits[1];
+                       idivisor_weight--;
+               }
+               if (var2->sign == NUMERIC_NEG)
+                       idivisor = -idivisor;
+
+               div_var_int(var1, idivisor, idivisor_weight, result, rscale, round);
+               return;
+       }
+
+       /*
+        * Otherwise, perform full long division.
+        */
+
+       /* Result zero check */
        if (var1ndigits == 0)
        {
                zero_var(result);
@@ -9008,6 +9042,118 @@ div_var_fast(const NumericVar *var1, const NumericVar *var2,
 }
 
 
+/*
+ * div_var_int() -
+ *
+ *     Divide a numeric variable by a 32-bit integer with the specified weight.
+ *     The quotient var / (ival * NBASE^ival_weight) is stored in result.
+ */
+static void
+div_var_int(const NumericVar *var, int ival, int ival_weight,
+                       NumericVar *result, int rscale, bool round)
+{
+       NumericDigit *var_digits = var->digits;
+       int                     var_ndigits = var->ndigits;
+       int                     res_sign;
+       int                     res_weight;
+       int                     res_ndigits;
+       NumericDigit *res_buf;
+       NumericDigit *res_digits;
+       uint32          divisor;
+       int                     i;
+
+       /* Guard against division by zero */
+       if (ival == 0)
+               ereport(ERROR,
+                               errcode(ERRCODE_DIVISION_BY_ZERO),
+                               errmsg("division by zero"));
+
+       /* Result zero check */
+       if (var_ndigits == 0)
+       {
+               zero_var(result);
+               result->dscale = rscale;
+               return;
+       }
+
+       /*
+        * Determine the result sign, weight and number of digits to calculate.
+        * The weight figured here is correct if the emitted quotient has no
+        * leading zero digits; otherwise strip_var() will fix things up.
+        */
+       if (var->sign == NUMERIC_POS)
+               res_sign = ival > 0 ? NUMERIC_POS : NUMERIC_NEG;
+       else
+               res_sign = ival > 0 ? NUMERIC_NEG : NUMERIC_POS;
+       res_weight = var->weight - ival_weight;
+       /* The number of accurate result digits we need to produce: */
+       res_ndigits = res_weight + 1 + (rscale + DEC_DIGITS - 1) / DEC_DIGITS;
+       /* ... but always at least 1 */
+       res_ndigits = Max(res_ndigits, 1);
+       /* If rounding needed, figure one more digit to ensure correct result */
+       if (round)
+               res_ndigits++;
+
+       res_buf = digitbuf_alloc(res_ndigits + 1);
+       res_buf[0] = 0;                         /* spare digit for later rounding */
+       res_digits = res_buf + 1;
+
+       /*
+        * Now compute the quotient digits.  This is the short division algorithm
+        * described in Knuth volume 2, section 4.3.1 exercise 16, except that we
+        * allow the divisor to exceed the internal base.
+        *
+        * In this algorithm, the carry from one digit to the next is at most
+        * divisor - 1.  Therefore, while processing the next digit, carry may
+        * become as large as divisor * NBASE - 1, and so it requires a 64-bit
+        * integer if this exceeds UINT_MAX.
+        */
+       divisor = Abs(ival);
+
+       if (divisor <= UINT_MAX / NBASE)
+       {
+               /* carry cannot overflow 32 bits */
+               uint32          carry = 0;
+
+               for (i = 0; i < res_ndigits; i++)
+               {
+                       carry = carry * NBASE + (i < var_ndigits ? var_digits[i] : 0);
+                       res_digits[i] = (NumericDigit) (carry / divisor);
+                       carry = carry % divisor;
+               }
+       }
+       else
+       {
+               /* carry may exceed 32 bits */
+               uint64          carry = 0;
+
+               for (i = 0; i < res_ndigits; i++)
+               {
+                       carry = carry * NBASE + (i < var_ndigits ? var_digits[i] : 0);
+                       res_digits[i] = (NumericDigit) (carry / divisor);
+                       carry = carry % divisor;
+               }
+       }
+
+       /* Store the quotient in result */
+       digitbuf_free(result->buf);
+       result->ndigits = res_ndigits;
+       result->buf = res_buf;
+       result->digits = res_digits;
+       result->weight = res_weight;
+       result->sign = res_sign;
+
+       /* Round or truncate to target rscale (and set result->dscale) */
+       if (round)
+               round_var(result, rscale);
+       else
+               trunc_var(result, rscale);
+
+       /* Strip leading/trailing zeroes */
+       strip_var(result);
+}
+
+
 /*
  * Default scale selection for division
  *
@@ -9783,7 +9929,7 @@ exp_var(const NumericVar *arg, NumericVar *result, int rscale)
 {
        NumericVar      x;
        NumericVar      elem;
-       NumericVar      ni;
+       int                     ni;
        double          val;
        int                     dweight;
        int                     ndiv2;
@@ -9792,7 +9938,6 @@ exp_var(const NumericVar *arg, NumericVar *result, int rscale)
 
        init_var(&x);
        init_var(&elem);
-       init_var(&ni);
 
        set_var_from_var(arg, &x);
 
@@ -9820,15 +9965,13 @@ exp_var(const NumericVar *arg, NumericVar *result, int rscale)
 
        /*
         * Reduce x to the range -0.01 <= x <= 0.01 (approximately) by dividing by
-        * 2^n, to improve the convergence rate of the Taylor series.
+        * 2^ndiv2, to improve the convergence rate of the Taylor series.
+        *
+        * Note that the overflow check above ensures that Abs(x) < 6000, which
+        * means that ndiv2 <= 20 here.
         */
        if (Abs(val) > 0.01)
        {
-               NumericVar      tmp;
-
-               init_var(&tmp);
-               set_var_from_var(&const_two, &tmp);
-
                ndiv2 = 1;
                val /= 2;
 
@@ -9836,13 +9979,10 @@ exp_var(const NumericVar *arg, NumericVar *result, int rscale)
                {
                        ndiv2++;
                        val /= 2;
-                       add_var(&tmp, &tmp, &tmp);
                }
 
                local_rscale = x.dscale + ndiv2;
-               div_var_fast(&x, &tmp, &x, local_rscale, true);
-
-               free_var(&tmp);
+               div_var_int(&x, 1 << ndiv2, 0, &x, local_rscale, true);
        }
        else
                ndiv2 = 0;
@@ -9870,16 +10010,16 @@ exp_var(const NumericVar *arg, NumericVar *result, int rscale)
        add_var(&const_one, &x, result);
 
        mul_var(&x, &x, &elem, local_rscale);
-       set_var_from_var(&const_two, &ni);
-       div_var_fast(&elem, &ni, &elem, local_rscale, true);
+       ni = 2;
+       div_var_int(&elem, ni, 0, &elem, local_rscale, true);
 
        while (elem.ndigits != 0)
        {
                add_var(result, &elem, result);
 
                mul_var(&elem, &x, &elem, local_rscale);
-               add_var(&ni, &const_one, &ni);
-               div_var_fast(&elem, &ni, &elem, local_rscale, true);
+               ni++;
+               div_var_int(&elem, ni, 0, &elem, local_rscale, true);
        }
 
        /*
@@ -9899,7 +10039,6 @@ exp_var(const NumericVar *arg, NumericVar *result, int rscale)
 
        free_var(&x);
        free_var(&elem);
-       free_var(&ni);
 }
 
 
@@ -9993,7 +10132,7 @@ ln_var(const NumericVar *arg, NumericVar *result, int rscale)
 {
        NumericVar      x;
        NumericVar      xx;
-       NumericVar      ni;
+       int                     ni;
        NumericVar      elem;
        NumericVar      fact;
        int                     nsqrt;
@@ -10012,7 +10151,6 @@ ln_var(const NumericVar *arg, NumericVar *result, int rscale)
 
        init_var(&x);
        init_var(&xx);
-       init_var(&ni);
        init_var(&elem);
        init_var(&fact);
 
@@ -10073,13 +10211,13 @@ ln_var(const NumericVar *arg, NumericVar *result, int rscale)
        set_var_from_var(result, &xx);
        mul_var(result, result, &x, local_rscale);
 
-       set_var_from_var(&const_one, &ni);
+       ni = 1;
 
        for (;;)
        {
-               add_var(&ni, &const_two, &ni);
+               ni += 2;
                mul_var(&xx, &x, &xx, local_rscale);
-               div_var_fast(&xx, &ni, &elem, local_rscale, true);
+               div_var_int(&xx, ni, 0, &elem, local_rscale, true);
 
                if (elem.ndigits == 0)
                        break;
@@ -10095,7 +10233,6 @@ ln_var(const NumericVar *arg, NumericVar *result, int rscale)
 
        free_var(&x);
        free_var(&xx);
-       free_var(&ni);
        free_var(&elem);
        free_var(&fact);
 }