Avoid draft 9 fallback after PKINIT failure

If a KDC offers both RFC 4556 and draft 9 PKINIT, and we experience a
client-side failure trying RFC 4556 PKINIT (e.g. due to the user
entering the wrong PKCS #11 PIN), do not try to use draft 9 PKINIT.

ticket: 8544

Track preauth failures instead of tries

In preauth2.c, instead of noting whenever we try a real preauth mech,
note when a mechanism fails on our side.  Tracking only failures
eliminates the need to reset the list for multi-step preauth exchanges
or for processing padata in the AS-REP, but we will need the function
later for continuing after optimistic preauth failures.

ticket: 8537

Remove sent_nontrivial_preauth field

In krb5_init_creds_context, the selected_preauth_type field subsumes
the need for sent_nontrivial_preauth.  Use it instead.

Simplify k5_preauth_tryagain()

When retrying pre-authentication for an error, try only the module for
the selected preauth type, not all preauth types in the original
method data.  Pass the error and its padata to k5_preauth_tryagain()
explicitly, so that those fields of krb5_init_creds_context are only
referenced in get_in_tkt.c.  Handle a degenerate case in
init_creds_step_reply() to simplify the code in
init_creds_step_request().

ticket: 8537

Adjust processing of pa_type ccache config

Read the allowed preauth type from the input ccache in
restart_init_creds_loop(); there is no need to reread it each time we
produce a request.  Move read_allowed_preauth_type() earlier in the
file to allow it to be called from restart_init_creds_loop() without a
prototype.

Clear the selected preauth type in restart_init_creds_loop(), not in
init_creds_step_request().  We want to make sure that it doesn't
survive a restart due to a realm referral or expiry, but we don't want
to forget about it when retrying after an error.

Document multi-component PKINIT client certs

In pkinit.rst, note that the extensions.client file only works for
single-component client principals, and describe how to modify it for
multi-component principals.

ticket: 7940
target_version: 1.15-next
tags: pullup

Echo KDC cookies in preauth tryagain

When trying again after a mechanism-specific error, we should send the
KDC cookie for conformance with RFC 6113.

ticket: 8539

Document default realm and login authorization

Add documentation to host_config.rst describing what the default realm
does.  Also add documentation discussing login authorization
configuration, and give an example showing how to give login access to
principals from a realm other than the default realm.

ticket: 8540 (new)
target_version: 1.15-next
tags: pullup

Document and check init_creds context requirement

To ensure that the same clpreauth plugin modules and moddata pointers
are used for each step of an initial creds operation, the caller must
use the same library context for krb5_init_creds_init(),
krb5_init_creds_step(), and krb5_init_creds_free().  Document and
enforce this requirement.

ticket: 7877

Add tests for per-request preauth data scoping

Add a test harness which interleaves calls for multiple initial creds
contexts using the same library context.  Add a test case to
t_preauth.py using the new harness and the test preauth module to
verify that modreq pointers are correctly tracked.

ticket: 7877

Properly scope per-request preauth data

It should be possible to successfully use multiple initial credentials
contexts with the same library context.  Create a new internal type
krb5_preauth_req_context containing per-request preauth state,
including the clpreauth modreq handles and the list of preauth types
already tried.  Remove this state from clpreauth_handle and
krb5_preauth_context.

ticket: 7877

Make krb5_preauth_context a pointer type

For consistency with krb5_context and krb5_init_creds_context, make
krb5_preauth_context a pointer type.  In preauth2.c, use the typedef
name rather than the structure tag except when defining the structure.

Add free_principal_e_data KDB method

Add an optional method to kdb_vftabl to free e_data pointer in a
principal entry, in case it was populated by a module using a more
complex structure than a single memory region.

[ghudson@mit.edu: handled minor version bump; simplified code; rewrote
commit message]

ticket: 8538
target_version: 1.15-next
tags: pullup

Explicitly copy KDB vtable fields

In preparation for bumping the kdb_vftabl minor version, use explicit
field assignments when copying the module vtable to the internal copy,
so that we can conditionalize assignments for minor versions greater
than 0.

ticket: 8538

Use expected_msg in test scripts

Use expected_trace in test scripts

Add k5test expected_msg, expected_trace

In k5test.py, add the optional keyword argument "expected_msg" to
methods that run commands, to make it easier to look for substrings in
the command output.  Add the optional keyword "expected_trace" to run
the command with KRB5_TRACE enabled and look for an ordered series of
substrings in the trace output.

Add test case for PKINIT DH renegotiation

In t_pkinit.py, add a PKINIT test case where the KDC sends
KDC_ERR_DH_KEY_PARAMETERS_NOT_ACCEPTED and the client retries with the
KDC's TD_DH_PARAMETERS value, using the clpreauth tryagain method.
Use the trace log to verify that the renegotiation actually takes
place.

Clean up krb5_db2_free_policy()

Commit 03d34fcfa329fbc2f686a0b34e2731e37f483a34 (ticket 8414) removed
the prototype and all uses of krb5_db2_free_policy(), but neglected to
remove the function definition, resulting in a warning.  Remove the
definition now.

Fix detection of supported warnings in clang

Without -Werror=unknown-warning-option, clang will warn for
unrecognized -W options like "-Werror=discarded-qualifiers" but won't
return a nonzero exit status, leading configure to think the options
are supported and thus include them during the build, leading to a
rather noisy log.

This option isn't needed during the build, though it won't hurt
anything either.  It is desirable during the testing of other -W
options for cleaner results, but the existing code tests each option
independently, requiring different handling for this option than for
other -W options.

Remove addevent flag in net-server.c

The addevent flag to make_event() was always set to true except when
setting up the routing socket.  Since we no longer set up the routing
socket (ticket 8348), we can remove the flag.

Remove struct socksetup from net-server.c

struct socksetup was required when we iterated over local addresses
using foreach_localaddr.  Since we no longer do that (ticket 8348),
the functions which use it can simply accept the parameters they
require and return error codes.

Use sa_is_wildcard() in libapputils

Add sa_is_wildcard() helper to socket-utils.h

Use pktinfo for explicit UDP wildcard listeners

In net-server.c, use pktinfo on UDP server sockets if they are bound
to wildcard addresses, whether that is explicit or implicit in the
address specification.

ticket: 8530
target_version: 1.15-next
tags: pullup

Fix KDC/kadmind startup on some IPv4-only systems

getaddrinfo(NULL, ...) may yield an IPv6 wildcard address on IPv4-only
systems, and creating a socket for that address may result in an
EAFNOSUPPORT error.  Tolerate that error as long as we can bind at
least one socket for the address.

ticket: 8531
target_version: 1.15-next
tags: pullup

Fix minor bug in responder.c test program

"PKCS12:" has seven characters, not five.  Reported by Dorian Ducournau.

ticket: 8533

Add configure option to disable nls support

ChromeOS portage disables nls support as users are not expected to see
strings from the packages built.  Add a configure option to allow
this.

[ghudson@mit.edu: rewrote commit message, reformatted code]

ticket: 8534 (new)

Deindent crypto_retrieve_X509_sans()

Fix some long lines in crypto_retrieve_X509_sans() by returning early
if X509_get_ext_by_NID() returns a negative result.  Also ensure that
return parameters are always initialized.

Constify rhost in krb5_fwd_tgt_creds()

ticket: 8527

Clean up memory handling in krb5_fwd_tgt_creds()

Use distinct local variables to own allocated resources which we must
release at function exit, instead of using parameter variables and
flags.

ticket: 8527 (new)

Constify service and hostname in krb5_mk_req()

ticket: 8526 (new)

Fix GSSAPI authind attribute name in docs

The correct attribute name is "auth-indicators".

ticket: 8532 (new)
target_version: 1.15-next
tags: pullup

Add PKINIT UPN tests to t_pkinit.py

[ghudson@mit.edu: simplify and explain tests; add test for
id-pkinit-san match against canonicalized client principal]

ticket: 8528

Add test cert generation to make-certs.sh

Add additional test certificates for UPN matching.  Run make-certs.sh
to regenerate certs.

ticket: 8528

Improve PKINIT UPN SAN matching

Add the match_client() kdcpreauth callback and use it in
verify_client_san().  match_client() preserves the direct UPN to
request principal comparison and adds a direct comparison to the
client principal, falling back to an alias DB search and comparison
against the client principal.  Change crypto_retreive_X509_sans() to
parse UPN values as enterprise principals.

[ghudson@mit.edu: use match_client for both kinds of SANs]

ticket: 8528 (new)

Update copyright years to 2017

Fix minor errors in skiptests messages

Add AD-SIGNTICKET test for renewing tickets

Add another regression test for #8139 using renewed tickets.

Add header comments for gss_krb5_copy_ccache()

Clean up PKINIT decode_data functions

In pkinit_crypto_openssl.c, fold decrypt_data() into its caller
pkinit_decode_data_fs(), and simplify its error-handling logic.
Initialize output parameters in pkinit_decode_data_pkcs11() and
pkinit_decode_data().

Fix error handling in PKINIT decode_data()

decode_data() mixes errno values with OpenSSL return codes.  Change
its return type to int, and return 1 on success or 0 on failure.

ticket: 8525 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Fix documented kcpreauth minor version

Commit 7b12eb4757f8dd05b79c9b49d4289f0caf1f6eec erroneously changed
the documented kdcpreauth minor version from 2 to 3.  Only the
callback version changed in that commit; the interface minor version
remains at 2 (from commit 83b4ecd20e50ad330cd761977d5dadefe30a785b
which added the loop method).

Simplify gss_krb5int_copy_ccache()

Use krb5_cc_copy_creds() to reduce the amount of code in
gss_krb5int_copy_ccache().

Add caveats to krbtgt change documentation

In database.rst, describe a couple of krbtgt rollover issues and how
to avoid them.

ticket: 8524 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Improve cleanup in krb5_rc_io_fetch()

In the error cleanup for krb5_rc_io_fetch(), null out rep->msghash
after freeing it, like we do with rep->client and rep->server.  This
omission is currently harmless because krb5_rc_io_fetch() never sets
rep->msghash before failing, but it could result in a double-free or
use after free if the code changes.

Add krbPwdPolicy attributes to kerberos.ldif

When LDAP backend support for policy extensions was added by
5edafa0532 (ticket 7223), the kerberos.ldif change neglected to add
the new attributes to krbPwdPolicy.

ticket: 8523 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Relicense ccapi/common/win/OldCC/autolock.hxx

With permission from Danilo Almeida, change the license on
autolock.hxx to the 2-clause BSD license used by MIT krb5.

ticket: 8520 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Allow slapd path configuration in t_kdb.py

The upstream OpenLDAP installs slapd in libexec, which is not
typically in the path.  Also, copying the binary can sometimes cause
it to fail; for instance, in the OpenCSW package,
/opt/csw/libexec/slapd is a script which chooses a binary based on the
system architecture and the path to the script.  Allow the test runner
to set the SLAPD environment variable to specify the slapd location
and avoid the copy.

Simplify LDAP module by relying on OpenLDAP 2.1

Solaris 11 provides an OpenLDAP library (which we don't auto-detect,
but should) in addition to the old Mozilla LDAP library; this will
become the default LDAP library in the next release.  As there is no
longer a need to build against the Mozilla LDAP library, and as we
have unwittingly relied on some OpenLDAP-specific features since 1.13,
remove the compatibility code for the Mozilla LDAP library and just
require OpenLDAP 2.1 (which added ldap_str2dn).

Remove redeclaration of ttyname() in ksu

ttyname() is declared in unistd.h.  Redeclaring it causes an
issue building with clang fortify on Chrome OS.

ticket: 8518 (new)

Add KRB5_TRACE calls for DNS lookups

ticket: 8517 (new)

Build with -Werror-implicit-int where supported

Fix declaration without type in t_shs3.c

ticket: 8516 (new)
target_version: 1.15-next
tags: pullup

Use zap() more consistently

Use zap() or zapfree() in places where we previously used memset() to
scrub memory.  Reported by Zhaomo Yang and Brian Johannesmeyer.

ticket: 8514

Make zap() more reliable

The gcc assembly version of zap() could still be optimized out under
gcc 5.1 or later, and the krb5int_zap() function could be optimized
out with link-time optimization.  Based on work by Zhaomo Yang and
Brian Johannesmeyer, use the C11 memset_s() when available, then fall
back to a memory barrier with gcc or clang, and finally fall back to
using krb5int_zap().  Modify krb5int_zap() to use a volatile pointer
in case link-time optimization is used.

ticket: 8514 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Fix detection of libaceclnt for securid_sam2

The symbol we need is SD_Init(), not sd_init().

ticket: 8512 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Add doxygen comments for RFC 8009, RFC 4757

The aes-sha2 specification has been published as RFC 8009.  Add
Doxygen comments to the #defines for its enctype and checksum type
comments.  Also add comments for the RC4 enctype and checksum type
constants referring to RFC 4757.

ticket: 8513 (new)
target_version: 1.15-next
tags: pullup

Clarify krb5_kt_resolve() API documentation

Explicitly say to use krb5_kt_close() like we do for most other
allocating API calls.  Note the default type.  Instead of saying "The
key table is not opened," say that the keytab file for FILE keytabs is
not opened by this call.

ticket: 8508 (new)
target_version: 1.14-next
target_version: 1.15-next
tags: pullup

Suggest unlocked iteration for mkey rollover

In database.rst when discussing the procedure for master key rollover,
suggest using unlocked iteration for large databases.  Also make it
clear that unavailability due to locking during iteration is specific
to DB2.

ticket: 8507 (new)
target_version: 1.14-next
tags: pullup

make depend

Fix "make depend" when cmocka.h not present

Add an intermediary header file k5-cmocka.h, which only includes
cmocka.h if we detected an appropriate version of cmocka at configure
time.  This allows "make depend" to successfully run over cmocka test
programs when cmocka.h isn't present on the build platform.

For convenience, k5-cmocka.h also includes stdarg.h, stddef.h, and
setjmp.h, which are required to include cmocka.h.

Update acknowledgments

Update features list for 1.15

ticket: 8510 (new)
tags: pullup
target_version: 1.15-next

Factor out helper from krb5_cccol_have_content()

In krb5_cccol_have_content(), use a helper function to determine if a
cache contains non-config credentials, in order to simplify memory
management.

Fix rare leak in krb5_cccol_have_content()

If krb5_cc_start_seq_get() fails inside the loop, close the current
credential cache before continuing to the next one.  Reported by Todd
Lipcon.

ticket: 8509
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Updates for krb5-1.16-prerelease

Fix kadmind debug printf to show kprop port

Previously, if kprop_port was set, the flags logged would not match the
actual invocation of kprop.

ticket: 8456

Error on discarded qualifiers in gcc

If a function call passes a const pointer to a function accepting the
same pointer type without the const qualifier, that should be treated
as an erorr if possible.  In sufficiently recent gcc, pass
-Werror=discarded-qualifiers.  (In clang, this is already covered by
-Werror=incompatible-pointer-types which we recently added.)

Improve builtin PBKDF2 code hygiene

In F() in the builtin implementation of PBKDF2, use make_data() to
fully initialize sdata and out; otherwise we (harmlessly) copy an
uninitialized magic field in hmac().  Also simplify out the local
variable tlen.

Set alg param correctly for PKCS1

When using a smart card and constructing a DigestInfo to pass to the
CKM_RSA_PKCS mechanism, make sure to set the AlgorithmIdentifier
parameters correctly.  This is typically an ASN.1 NULL value.

Reported to Ubuntu in Launchpad #1629370.

ticket: 8506
target_version: 1.14-next
target_version: 1.13-next
tags: pullup

Document aes-sha2 enctypes

Add minimal documentation for the new aes-sha2 enctypes.

ticket: 8490

Add aes-sha2 to permitted_enctypes and aes family

Add the new aes-sha2 enctypes to the default value of
permitted_enctype, and to the enctypes implied by the "aes" family
when parsing enctype lists.

ticket: 8490

Add aes-sha2 test cases

Add test cases for all of the test vectors in the aes-sha2 draft.  In
t_cksums.c and t_decrypt.c, modify the test structure to allow for
binary plaintexts.  In t_str2key.c, modify the test structure to allow
for binary salts.  In t_derive.c, allow tests to have outputs which
don't match the key size, using krb5int_derive_random() instead of
krb5int_derive_key().

Add test cases for KRB-FX-CF2 and for gss_pseudo_random() using test
vectors generated ourselves.

Add k5test and dejagnu test passes for aes-sha2 enctypes.

ticket: 8490

Rewrite t_prf crypto test program

Rewrite the pseudo-random test program to use hardcoded test cases
instead of input and expected output files.  The test cases are the
same, using hardcoded keys instead of running string-to-key over
"key1" or "key2".

Add aes128-sha1, aes256-sha1 enctype aliases

For parallelism with aes128-sha2 and aes256-sha2, add enctype aliases
aes128-sha1 and aes256-sha1 for the older AES enctypes.

ticket: 8490

Add aes-sha2 enctype support

Add support to libk5crypto for the aes128-cts-hmac-sha256-128 and
aes256-cts-hmac-sha384-192 encryption types, and the
hmac-sha256-128-aes128 and hmac-sha384-192-aes256 checksum types.

Key derivation for the new encryption types uses a hash, so we need to
add a hash parameter to the krb5int_derive_ functions, which can be
null except when DERIVE_SP800_108_HMAC is given.  Rename the helper
function derive_random_sp800_108_cmac() to
derive_random_sp800_108_feedback_cmac() to make it clear that feedback
mode is used, since the new enctype uses counter mode.

ticket: 8490

Enable PBKDF2 with SHA-256 and SHA-384

Rename krb5int_pbkdf2_hmac_sha1() to krb5int_pbkdf2_hmac() and add a
hash parameter.  In the OpenSSL implementation, look up the
corresponding PBKDF2 parameter based on the hash pointer.  In
pbkdf2_string_to_key(), pass the hash function for the key type if one
is present, and use SHA-1 if it does not (as for the Camellia
enctypes).

In the builtin implementation, use the hash provider instead of
assuming SHA-1.  Remove the functional parameterization of the PRF and
turn it into an hmac() helper function.  Use krb5int_hmac_keyblock()
to remove the need for a krb5_key object containing the password.
Rename the internal function from krb5int_pbkdf2() to pbkdf2().

ticket: 8490

Add libk5crypto SHA-256 and SHA-384 hash providers

Add SHA-256 and SHA-384 hash providers to each of the libk5crypto back
ends, in preparation for AES-SHA2 support.  For the builtin back end,
adapt SHA-512 code from Heimdal (SHA-384 is just truncated SHA-512
with different initial values).  Replace builtin/sha2/t_sha256.c with
a program under crypto_tests which tests SHA-256 and SHA-384 in all
back ends.

ticket: 8490

Consolidate libk5crypto OpenSSL hash providers

In the libk5crypto OpenSSL back end, combine all of the hash providers
which use the OpenSSL EVP interface into a single file to reduce code
duplication.

Properly handle EOF condition on libkrad sockets

In the previous code, when the remote peer performed an orderly shutdown
on the socket, libkrad would enter a state in which all future requests
timed out.  Instead, if the peer shuts down its socket, we need to
attempt to reopen it.

ticket: 8504 (new)
target_version: 1.14-next
tags: pullup

Fix use_dns_uri() type safety

profile_get_boolean() outputs an int, not a krb5_boolean.  Adjust the
local variable "use" to match, or we get a warning.  Reported by Will
Fiveash.

ticket: 8502

Clarify kinit principal selection

Describe the principal selection behavior of kinit when the principal
argument is absent.

ticket: 8403
target_version: 1.14-next
tags: pullup

Fix typo in install_kdc.rst

ticket: 8500

Improve keytab documentation

In the k5srvutil man page, do not give the impression that arbitrary
new keys can be added to the keytab (requested by Dan Gillmor), since
only the new keys randomly generated by the KDC via 'k5srvutil change'
can be added to the keytab.  Reiterate the importance of running
k5srvutil delold after running k5srvutil change in the description of
k5srvutil change, as well as in the description of k5srvutil delold
itself.

In install_kdc.rst, mention using a separate keytab file when
generating a keytab on a KDC for use on another host.

[ghudson@mit.edu: squashed two commits, condensed commit message]

ticket: 8500

Document krb5_kt_next_entry() requirement

Successful calls to krb5_kt_next_entry() return a krb5_keytab_entry
that the caller is responsible for freeing.  Note this, and the
proper function to do so, in the doxygen comments.

ticket: 8500 (new)
target_version: 1.14-next
tags: pullup

Fix unlikely leak in KDC AS-REQ error path

In prepare_error_as(), if krb5_us_timeofday() fails and error pa-data
was supplied, the FAST cookie and a shallow copy of the error padata
can be leaked.  Reported by Will Fiveash.

ticket: 8498
target_version: 1.14-next
tags: pullup

Add the kdc_tcp_listen_backlog KDC option

Allow setting the listen() queue for TCP connections to krb5kdc.

Fix typo in prng.c comment

(The typo was mine, introduced during a final editing pass.)

Add PKINIT support for OpenSSL 1.1.0

OpenSSL 1.1 makes the DH, EVP_MD_CTX, X509, and X509_STORE_CTX types
opaque, removes asn1_mac.h, removes the M_ASN1_* macros, and removes
CRYPTO_malloc_init().  Change the PKINIT code to work with OpenSSL 1.1
while retaining compatibility with OpenSSL 1.0.  The new code uses
X509_STORE_set_verify_cb(), which is not present in OpenSSL 0.9, so
require OpenSSL 1.0 for PKINIT support.

ticket: 8398

Add k5tls support for OpenSSL 1.1.0

OpenSSL 1.1 makes the X509 type opaque and removes the M_ASN1_*
macros.  Adjust the k5tls OpenSSL implementation accordingly.

ticket: 8398

Add libk5crypto support for OpenSSL 1.1.0

OpenSSL 1.1.0 makes the EVP_MD_CTX, EVP_CIPH_CTX, and EVP_HMAC_CTX
types opaque.  Change the libk5crypto OpenSSL code to work with
OpenSSL 1.1 while retaining compatibility with previous versions.

ticket: 8398 (new)

Add OS prng intended for use with getrandom()

Add the prng_os.c module, using the name previously occupied by what
is now prng_device.c.  Unlike prng_device.c, this PRNG module
maintains no file descriptor and just uses k5_os_random(), which is
most efficient on platforms which have a getrandom() system call.

[ghudson@mit.edu: expanded on commit message]

ticket: 8499

Add getrandom to k5_get_os_entropy() using syscall

ticket: 8499

Rename prng_os.c to prng_device.c

ticket: 8499

Don't feed OS RNG output into the OS RNG

krb5_c_random_os_entropy() now must be provided by PRNG modules.

ticket: 8499

Add KDC lookaside cache tests

Add cmocka unit tests for the KDC lookaside cache.

Fix KDC lookaside cache entry count tracking

The KDC lookaside cache was incrementing num_entries when an entry was
added, but it did not decrement num_entries when an entry was removed.
Decrement num_entries in discard_entry().  Also fix some function
comments to correctly explain what the function is doing, and refactor
kdc_insert_lookaside by moving the code that inserts an entry into a
new static function called insert_entry().

Silence warnings in lib/rpc

Cast through (void *) in xdr.c to silence pointer target width
warnings.  In xdr_sizeof.c, use x_private and x_base as proper
pointers as in xdr_mem.c instead of trying to store an integer in a
pointer.

Add URI lookup testing with resolv_wrapper

Run t_discover_uri.py during make check when resolv_wrapper is
available.  Remove tabs from the t_locate_kdc output for simpler line
matching.

ticket: 8496