Add free_principal_e_data KDB method

Add an optional method to kdb_vftabl to free e_data pointer in a
principal entry, in case it was populated by a module using a more
complex structure than a single memory region.

[ghudson@mit.edu: handled minor version bump; simplified code; rewrote
commit message]

ticket: 8538
target_version: 1.15-next
tags: pullup

Explicitly copy KDB vtable fields

In preparation for bumping the kdb_vftabl minor version, use explicit
field assignments when copying the module vtable to the internal copy,
so that we can conditionalize assignments for minor versions greater
than 0.

ticket: 8538

Use expected_msg in test scripts

Use expected_trace in test scripts

Add k5test expected_msg, expected_trace

In k5test.py, add the optional keyword argument "expected_msg" to
methods that run commands, to make it easier to look for substrings in
the command output.  Add the optional keyword "expected_trace" to run
the command with KRB5_TRACE enabled and look for an ordered series of
substrings in the trace output.

Add test case for PKINIT DH renegotiation

In t_pkinit.py, add a PKINIT test case where the KDC sends
KDC_ERR_DH_KEY_PARAMETERS_NOT_ACCEPTED and the client retries with the
KDC's TD_DH_PARAMETERS value, using the clpreauth tryagain method.
Use the trace log to verify that the renegotiation actually takes
place.

Clean up krb5_db2_free_policy()

Commit 03d34fcfa329fbc2f686a0b34e2731e37f483a34 (ticket 8414) removed
the prototype and all uses of krb5_db2_free_policy(), but neglected to
remove the function definition, resulting in a warning.  Remove the
definition now.

Fix detection of supported warnings in clang

Without -Werror=unknown-warning-option, clang will warn for
unrecognized -W options like "-Werror=discarded-qualifiers" but won't
return a nonzero exit status, leading configure to think the options
are supported and thus include them during the build, leading to a
rather noisy log.

This option isn't needed during the build, though it won't hurt
anything either.  It is desirable during the testing of other -W
options for cleaner results, but the existing code tests each option
independently, requiring different handling for this option than for
other -W options.

Remove addevent flag in net-server.c

The addevent flag to make_event() was always set to true except when
setting up the routing socket.  Since we no longer set up the routing
socket (ticket 8348), we can remove the flag.

Remove struct socksetup from net-server.c

struct socksetup was required when we iterated over local addresses
using foreach_localaddr.  Since we no longer do that (ticket 8348),
the functions which use it can simply accept the parameters they
require and return error codes.

Use sa_is_wildcard() in libapputils

Add sa_is_wildcard() helper to socket-utils.h

Use pktinfo for explicit UDP wildcard listeners

In net-server.c, use pktinfo on UDP server sockets if they are bound
to wildcard addresses, whether that is explicit or implicit in the
address specification.

ticket: 8530
target_version: 1.15-next
tags: pullup

Fix KDC/kadmind startup on some IPv4-only systems

getaddrinfo(NULL, ...) may yield an IPv6 wildcard address on IPv4-only
systems, and creating a socket for that address may result in an
EAFNOSUPPORT error.  Tolerate that error as long as we can bind at
least one socket for the address.

ticket: 8531
target_version: 1.15-next
tags: pullup

Fix minor bug in responder.c test program

"PKCS12:" has seven characters, not five.  Reported by Dorian Ducournau.

ticket: 8533

Add configure option to disable nls support

ChromeOS portage disables nls support as users are not expected to see
strings from the packages built.  Add a configure option to allow
this.

[ghudson@mit.edu: rewrote commit message, reformatted code]

ticket: 8534 (new)

Deindent crypto_retrieve_X509_sans()

Fix some long lines in crypto_retrieve_X509_sans() by returning early
if X509_get_ext_by_NID() returns a negative result.  Also ensure that
return parameters are always initialized.

Constify rhost in krb5_fwd_tgt_creds()

ticket: 8527

Clean up memory handling in krb5_fwd_tgt_creds()

Use distinct local variables to own allocated resources which we must
release at function exit, instead of using parameter variables and
flags.

ticket: 8527 (new)

Constify service and hostname in krb5_mk_req()

ticket: 8526 (new)

Fix GSSAPI authind attribute name in docs

The correct attribute name is "auth-indicators".

ticket: 8532 (new)
target_version: 1.15-next
tags: pullup

Add PKINIT UPN tests to t_pkinit.py

[ghudson@mit.edu: simplify and explain tests; add test for
id-pkinit-san match against canonicalized client principal]

ticket: 8528

Add test cert generation to make-certs.sh

Add additional test certificates for UPN matching.  Run make-certs.sh
to regenerate certs.

ticket: 8528

Improve PKINIT UPN SAN matching

Add the match_client() kdcpreauth callback and use it in
verify_client_san().  match_client() preserves the direct UPN to
request principal comparison and adds a direct comparison to the
client principal, falling back to an alias DB search and comparison
against the client principal.  Change crypto_retreive_X509_sans() to
parse UPN values as enterprise principals.

[ghudson@mit.edu: use match_client for both kinds of SANs]

ticket: 8528 (new)

Update copyright years to 2017

Fix minor errors in skiptests messages

Add AD-SIGNTICKET test for renewing tickets

Add another regression test for #8139 using renewed tickets.

Add header comments for gss_krb5_copy_ccache()

Clean up PKINIT decode_data functions

In pkinit_crypto_openssl.c, fold decrypt_data() into its caller
pkinit_decode_data_fs(), and simplify its error-handling logic.
Initialize output parameters in pkinit_decode_data_pkcs11() and
pkinit_decode_data().

Fix error handling in PKINIT decode_data()

decode_data() mixes errno values with OpenSSL return codes.  Change
its return type to int, and return 1 on success or 0 on failure.

ticket: 8525 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Fix documented kcpreauth minor version

Commit 7b12eb4757f8dd05b79c9b49d4289f0caf1f6eec erroneously changed
the documented kdcpreauth minor version from 2 to 3.  Only the
callback version changed in that commit; the interface minor version
remains at 2 (from commit 83b4ecd20e50ad330cd761977d5dadefe30a785b
which added the loop method).

Simplify gss_krb5int_copy_ccache()

Use krb5_cc_copy_creds() to reduce the amount of code in
gss_krb5int_copy_ccache().

Add caveats to krbtgt change documentation

In database.rst, describe a couple of krbtgt rollover issues and how
to avoid them.

ticket: 8524 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Improve cleanup in krb5_rc_io_fetch()

In the error cleanup for krb5_rc_io_fetch(), null out rep->msghash
after freeing it, like we do with rep->client and rep->server.  This
omission is currently harmless because krb5_rc_io_fetch() never sets
rep->msghash before failing, but it could result in a double-free or
use after free if the code changes.

Add krbPwdPolicy attributes to kerberos.ldif

When LDAP backend support for policy extensions was added by
5edafa0532 (ticket 7223), the kerberos.ldif change neglected to add
the new attributes to krbPwdPolicy.

ticket: 8523 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Relicense ccapi/common/win/OldCC/autolock.hxx

With permission from Danilo Almeida, change the license on
autolock.hxx to the 2-clause BSD license used by MIT krb5.

ticket: 8520 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Allow slapd path configuration in t_kdb.py

The upstream OpenLDAP installs slapd in libexec, which is not
typically in the path.  Also, copying the binary can sometimes cause
it to fail; for instance, in the OpenCSW package,
/opt/csw/libexec/slapd is a script which chooses a binary based on the
system architecture and the path to the script.  Allow the test runner
to set the SLAPD environment variable to specify the slapd location
and avoid the copy.

Simplify LDAP module by relying on OpenLDAP 2.1

Solaris 11 provides an OpenLDAP library (which we don't auto-detect,
but should) in addition to the old Mozilla LDAP library; this will
become the default LDAP library in the next release.  As there is no
longer a need to build against the Mozilla LDAP library, and as we
have unwittingly relied on some OpenLDAP-specific features since 1.13,
remove the compatibility code for the Mozilla LDAP library and just
require OpenLDAP 2.1 (which added ldap_str2dn).

Remove redeclaration of ttyname() in ksu

ttyname() is declared in unistd.h.  Redeclaring it causes an
issue building with clang fortify on Chrome OS.

ticket: 8518 (new)

Add KRB5_TRACE calls for DNS lookups

ticket: 8517 (new)

Build with -Werror-implicit-int where supported

Fix declaration without type in t_shs3.c

ticket: 8516 (new)
target_version: 1.15-next
tags: pullup

Use zap() more consistently

Use zap() or zapfree() in places where we previously used memset() to
scrub memory.  Reported by Zhaomo Yang and Brian Johannesmeyer.

ticket: 8514

Make zap() more reliable

The gcc assembly version of zap() could still be optimized out under
gcc 5.1 or later, and the krb5int_zap() function could be optimized
out with link-time optimization.  Based on work by Zhaomo Yang and
Brian Johannesmeyer, use the C11 memset_s() when available, then fall
back to a memory barrier with gcc or clang, and finally fall back to
using krb5int_zap().  Modify krb5int_zap() to use a volatile pointer
in case link-time optimization is used.

ticket: 8514 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Fix detection of libaceclnt for securid_sam2

The symbol we need is SD_Init(), not sd_init().

ticket: 8512 (new)
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Add doxygen comments for RFC 8009, RFC 4757

The aes-sha2 specification has been published as RFC 8009.  Add
Doxygen comments to the #defines for its enctype and checksum type
comments.  Also add comments for the RC4 enctype and checksum type
constants referring to RFC 4757.

ticket: 8513 (new)
target_version: 1.15-next
tags: pullup

Clarify krb5_kt_resolve() API documentation

Explicitly say to use krb5_kt_close() like we do for most other
allocating API calls.  Note the default type.  Instead of saying "The
key table is not opened," say that the keytab file for FILE keytabs is
not opened by this call.

ticket: 8508 (new)
target_version: 1.14-next
target_version: 1.15-next
tags: pullup

Suggest unlocked iteration for mkey rollover

In database.rst when discussing the procedure for master key rollover,
suggest using unlocked iteration for large databases.  Also make it
clear that unavailability due to locking during iteration is specific
to DB2.

ticket: 8507 (new)
target_version: 1.14-next
tags: pullup

make depend

Fix "make depend" when cmocka.h not present

Add an intermediary header file k5-cmocka.h, which only includes
cmocka.h if we detected an appropriate version of cmocka at configure
time.  This allows "make depend" to successfully run over cmocka test
programs when cmocka.h isn't present on the build platform.

For convenience, k5-cmocka.h also includes stdarg.h, stddef.h, and
setjmp.h, which are required to include cmocka.h.

Update acknowledgments

Update features list for 1.15

ticket: 8510 (new)
tags: pullup
target_version: 1.15-next

Factor out helper from krb5_cccol_have_content()

In krb5_cccol_have_content(), use a helper function to determine if a
cache contains non-config credentials, in order to simplify memory
management.

Fix rare leak in krb5_cccol_have_content()

If krb5_cc_start_seq_get() fails inside the loop, close the current
credential cache before continuing to the next one.  Reported by Todd
Lipcon.

ticket: 8509
target_version: 1.15-next
target_version: 1.14-next
tags: pullup

Updates for krb5-1.16-prerelease

Fix kadmind debug printf to show kprop port

Previously, if kprop_port was set, the flags logged would not match the
actual invocation of kprop.

ticket: 8456

Error on discarded qualifiers in gcc

If a function call passes a const pointer to a function accepting the
same pointer type without the const qualifier, that should be treated
as an erorr if possible.  In sufficiently recent gcc, pass
-Werror=discarded-qualifiers.  (In clang, this is already covered by
-Werror=incompatible-pointer-types which we recently added.)

Improve builtin PBKDF2 code hygiene

In F() in the builtin implementation of PBKDF2, use make_data() to
fully initialize sdata and out; otherwise we (harmlessly) copy an
uninitialized magic field in hmac().  Also simplify out the local
variable tlen.

Set alg param correctly for PKCS1

When using a smart card and constructing a DigestInfo to pass to the
CKM_RSA_PKCS mechanism, make sure to set the AlgorithmIdentifier
parameters correctly.  This is typically an ASN.1 NULL value.

Reported to Ubuntu in Launchpad #1629370.

ticket: 8506
target_version: 1.14-next
target_version: 1.13-next
tags: pullup

Document aes-sha2 enctypes

Add minimal documentation for the new aes-sha2 enctypes.

ticket: 8490

Add aes-sha2 to permitted_enctypes and aes family

Add the new aes-sha2 enctypes to the default value of
permitted_enctype, and to the enctypes implied by the "aes" family
when parsing enctype lists.

ticket: 8490

Add aes-sha2 test cases

Add test cases for all of the test vectors in the aes-sha2 draft.  In
t_cksums.c and t_decrypt.c, modify the test structure to allow for
binary plaintexts.  In t_str2key.c, modify the test structure to allow
for binary salts.  In t_derive.c, allow tests to have outputs which
don't match the key size, using krb5int_derive_random() instead of
krb5int_derive_key().

Add test cases for KRB-FX-CF2 and for gss_pseudo_random() using test
vectors generated ourselves.

Add k5test and dejagnu test passes for aes-sha2 enctypes.

ticket: 8490

Rewrite t_prf crypto test program

Rewrite the pseudo-random test program to use hardcoded test cases
instead of input and expected output files.  The test cases are the
same, using hardcoded keys instead of running string-to-key over
"key1" or "key2".

Add aes128-sha1, aes256-sha1 enctype aliases

For parallelism with aes128-sha2 and aes256-sha2, add enctype aliases
aes128-sha1 and aes256-sha1 for the older AES enctypes.

ticket: 8490

Add aes-sha2 enctype support

Add support to libk5crypto for the aes128-cts-hmac-sha256-128 and
aes256-cts-hmac-sha384-192 encryption types, and the
hmac-sha256-128-aes128 and hmac-sha384-192-aes256 checksum types.

Key derivation for the new encryption types uses a hash, so we need to
add a hash parameter to the krb5int_derive_ functions, which can be
null except when DERIVE_SP800_108_HMAC is given.  Rename the helper
function derive_random_sp800_108_cmac() to
derive_random_sp800_108_feedback_cmac() to make it clear that feedback
mode is used, since the new enctype uses counter mode.

ticket: 8490

Enable PBKDF2 with SHA-256 and SHA-384

Rename krb5int_pbkdf2_hmac_sha1() to krb5int_pbkdf2_hmac() and add a
hash parameter.  In the OpenSSL implementation, look up the
corresponding PBKDF2 parameter based on the hash pointer.  In
pbkdf2_string_to_key(), pass the hash function for the key type if one
is present, and use SHA-1 if it does not (as for the Camellia
enctypes).

In the builtin implementation, use the hash provider instead of
assuming SHA-1.  Remove the functional parameterization of the PRF and
turn it into an hmac() helper function.  Use krb5int_hmac_keyblock()
to remove the need for a krb5_key object containing the password.
Rename the internal function from krb5int_pbkdf2() to pbkdf2().

ticket: 8490

Add libk5crypto SHA-256 and SHA-384 hash providers

Add SHA-256 and SHA-384 hash providers to each of the libk5crypto back
ends, in preparation for AES-SHA2 support.  For the builtin back end,
adapt SHA-512 code from Heimdal (SHA-384 is just truncated SHA-512
with different initial values).  Replace builtin/sha2/t_sha256.c with
a program under crypto_tests which tests SHA-256 and SHA-384 in all
back ends.

ticket: 8490

Consolidate libk5crypto OpenSSL hash providers

In the libk5crypto OpenSSL back end, combine all of the hash providers
which use the OpenSSL EVP interface into a single file to reduce code
duplication.

Properly handle EOF condition on libkrad sockets

In the previous code, when the remote peer performed an orderly shutdown
on the socket, libkrad would enter a state in which all future requests
timed out.  Instead, if the peer shuts down its socket, we need to
attempt to reopen it.

ticket: 8504 (new)
target_version: 1.14-next
tags: pullup

Fix use_dns_uri() type safety

profile_get_boolean() outputs an int, not a krb5_boolean.  Adjust the
local variable "use" to match, or we get a warning.  Reported by Will
Fiveash.

ticket: 8502

Clarify kinit principal selection

Describe the principal selection behavior of kinit when the principal
argument is absent.

ticket: 8403
target_version: 1.14-next
tags: pullup

Fix typo in install_kdc.rst

ticket: 8500

Improve keytab documentation

In the k5srvutil man page, do not give the impression that arbitrary
new keys can be added to the keytab (requested by Dan Gillmor), since
only the new keys randomly generated by the KDC via 'k5srvutil change'
can be added to the keytab.  Reiterate the importance of running
k5srvutil delold after running k5srvutil change in the description of
k5srvutil change, as well as in the description of k5srvutil delold
itself.

In install_kdc.rst, mention using a separate keytab file when
generating a keytab on a KDC for use on another host.

[ghudson@mit.edu: squashed two commits, condensed commit message]

ticket: 8500

Document krb5_kt_next_entry() requirement

Successful calls to krb5_kt_next_entry() return a krb5_keytab_entry
that the caller is responsible for freeing.  Note this, and the
proper function to do so, in the doxygen comments.

ticket: 8500 (new)
target_version: 1.14-next
tags: pullup

Fix unlikely leak in KDC AS-REQ error path

In prepare_error_as(), if krb5_us_timeofday() fails and error pa-data
was supplied, the FAST cookie and a shallow copy of the error padata
can be leaked.  Reported by Will Fiveash.

ticket: 8498
target_version: 1.14-next
tags: pullup

Add the kdc_tcp_listen_backlog KDC option

Allow setting the listen() queue for TCP connections to krb5kdc.

Fix typo in prng.c comment

(The typo was mine, introduced during a final editing pass.)

Add PKINIT support for OpenSSL 1.1.0

OpenSSL 1.1 makes the DH, EVP_MD_CTX, X509, and X509_STORE_CTX types
opaque, removes asn1_mac.h, removes the M_ASN1_* macros, and removes
CRYPTO_malloc_init().  Change the PKINIT code to work with OpenSSL 1.1
while retaining compatibility with OpenSSL 1.0.  The new code uses
X509_STORE_set_verify_cb(), which is not present in OpenSSL 0.9, so
require OpenSSL 1.0 for PKINIT support.

ticket: 8398

Add k5tls support for OpenSSL 1.1.0

OpenSSL 1.1 makes the X509 type opaque and removes the M_ASN1_*
macros.  Adjust the k5tls OpenSSL implementation accordingly.

ticket: 8398

Add libk5crypto support for OpenSSL 1.1.0

OpenSSL 1.1.0 makes the EVP_MD_CTX, EVP_CIPH_CTX, and EVP_HMAC_CTX
types opaque.  Change the libk5crypto OpenSSL code to work with
OpenSSL 1.1 while retaining compatibility with previous versions.

ticket: 8398 (new)

Add OS prng intended for use with getrandom()

Add the prng_os.c module, using the name previously occupied by what
is now prng_device.c.  Unlike prng_device.c, this PRNG module
maintains no file descriptor and just uses k5_os_random(), which is
most efficient on platforms which have a getrandom() system call.

[ghudson@mit.edu: expanded on commit message]

ticket: 8499

Add getrandom to k5_get_os_entropy() using syscall

ticket: 8499

Rename prng_os.c to prng_device.c

ticket: 8499

Don't feed OS RNG output into the OS RNG

krb5_c_random_os_entropy() now must be provided by PRNG modules.

ticket: 8499

Add KDC lookaside cache tests

Add cmocka unit tests for the KDC lookaside cache.

Fix KDC lookaside cache entry count tracking

The KDC lookaside cache was incrementing num_entries when an entry was
added, but it did not decrement num_entries when an entry was removed.
Decrement num_entries in discard_entry().  Also fix some function
comments to correctly explain what the function is doing, and refactor
kdc_insert_lookaside by moving the code that inserts an entry into a
new static function called insert_entry().

Silence warnings in lib/rpc

Cast through (void *) in xdr.c to silence pointer target width
warnings.  In xdr_sizeof.c, use x_private and x_base as proper
pointers as in xdr_mem.c instead of trying to store an integer in a
pointer.

Add URI lookup testing with resolv_wrapper

Run t_discover_uri.py during make check when resolv_wrapper is
available.  Remove tabs from the t_locate_kdc output for simpler line
matching.

ticket: 8496

Add documentation for DNS URI lookups

ticket: 8496

Add configuration option for URI lookups

Add the boolean option 'dns_uri_lookup' to krb5.conf's libdefaults
section, to allow disabling URI lookups seperately from SRV lookups.
The default value is 'true'.

ticket: 8496

Style fixes for locate_kdc.c and dnssrv.c

Constify function parameters in locate_kdc.c

Constify parse_uri_if_https() and add_host_to_list() char parameters
as well as the variables passed by their callers.

Enable KDC discovery through DNS URI records

Add the dns_locate_server_uri(), locate_uri(), and parse_uri_fields()
functions to find and process KDC service information from specially
formatted URI records detailed at
http://k5wiki.kerberos.org/wiki/Projects/KDC_Discovery

Search for URI records before searching for SRV records.  Rename
dns_locate_server() to dns_locate_server_srv() for consistency.  Add
URI-specific information to the t_locate_kdc host entry output.

ticket: 8496

Add DNS URI query function

Add the k5_make_uri_query() function for finding URI records of a
given realm and service tag.  Turn some common code shared with
krb5int_make_srv_query_realm() into helper functions.

ticket: 8496

Add a master flag to struct server_entry

URI lookups will contain a flag to indicate if the KDC is a master or
normal KDC, so add a master variable to server_entry.  The default
value is -1 and means that the status has not been determined by the
information source.  If the flag is set, use it to avoid a seperate
lookup in k5_kdc_is_master().

Also add a "master" argument to add_host_to_list().  Adjust the
existing calls of add_host_to_list() for the new argument (set to -1
as they are from non-URI lookups).

ticket: 8496

Remove more non-DFSG documentation

Delete an Internet-Draft that we missed on an earlier pass.  Also
remove ISOC/BCP 78 copyright language because the remaining extracts
from RFCs are small enough to be fair use.

ticket: 8497 (new)

Stop generating doc/CHANGES

Shipping a 10MB+ doc/CHANGES file in the release tarball doesn't make
much sense in a modern context where historical information is readily
available in a distributed version control system.

ticket: 8488 (new)

Update config.guess, config.sub

ticket: 8489 (new)
target_version: 1.14-next
target_version: 1.13-next
tags: pullup

Clean up libdb2 warnings

Clean up many pointer alignment warnings by casting through (void *).

Clean up many signed-unsigned comparison warnings by casting to
unsigned types or redeclaring variables as unsigned types as
appropriate.

Test bt_split.c unaligned access

ticket: 8493