SSL server certificate fingerprint ACL type

This patch add the "server_ssl_cert_fingerprint" acl type to match against
server SSL certificate fingerprint.
The new acl type has the form:
  acl aclname server_ssl_cert_fingerprint [-sha1] fingerprint1 ...

The fingerprint must given in the form:
    XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX
where X are any valid hexadecimal number

Example usage:
acl BrokeServer dst 192.168.1.23
acl GoodCert server_ssl_cert_fingerprint AB:2A:82:AF:46:AE:1F:31:21:74:65:BF:56:47:25:D1:87:51:41:AE
sslproxy_cert_error allow BrokeServer GoodCert
sslproxy_cert_error deny all

This is a Measurement Factory project

run formater

merge from trunk r12502

SourceFormat Enforcement

merge from parent SslServerCertValidator r12337

SSL server certificate validator implementation

This patch implements the certificate validation helper interface described at:
  http://wiki.squid-cache.org/Features/SslServerCertValidator

The helper consulted after the internal OpenSSL validation, regardless of the
validation results. The helper will receive:
   1) the origin server certificate [chain],
   2) the intended domain name, and
   3) a list of OpenSSL validation errors (if any).

If the helper decides to honor an OpenSSL error or report another validation
error(s), the helper will return:
   1) A list of certificates.
   2) A list of items consists the the validation error name (see %err_name
      error page macro and %err_details logformat code), error reason
      (%ssl_lib_error macro), and the offending certificate.

The returned information mimics what the internal OpenSSL-based validation code
collects now. Returned errors, if any, fed to sslproxy_cert_error, triggering
the existing SSL error processing code.

The helper invocation controlled by the "sslcrtvalidator_program" and
"sslcrtvalidator_children" configurations options which are similar to the
ssl_crtd related options.

A simple testing cert validation helper developed in perl included in this
patch. This helper just echo back the certificate errors.

This is a Measurement Factory Project

Parse validation helper response bug

- CertValidationResponse bug: The CertValidationResponse::RecvdError::id is
  not intialized in constructors

- Inside Ssl::CertValidationMsg::parseResponse, after parsing response run
  through the parsed errors for errors.

minor fix to build after latest merge from trunk

merge from trunk r12500

Add missing initializer from rev.12495

Fixes segfault in testHttpRequest destructor testing.

Prep for 3.3.0.2, 3.2.4, 3.1.22

SourceFormat Enforcement

Bug 3688: Lots of Orphan Comm:Connections to ICAP server

SourceFormat Enforcement

Add kv-pair support to url_rewrite_helper interface

This stage of the helper reply protocol adds kv-pair support to the
url_rewrite_helper interfacefor URL redirect and rewrite operations.

It uses the new Notes objects and kv-pair field added by the stage 2
helper protocol instead of parsing the 'other' field. Although,
the 'other' field is still parsed when *no* result field is received
for backward compatibility with older helpers.

The response syntax for URL helpers becomes:
  [channel-ID SP] result [SP kv-pair ...] [SP other] EOL

NP: 'other' field is now deprecated and will be ignored/discarded on any
  response containing a result code field.

When result code "OK" is presented by the helper several kv-pairs are
reserved to control Squid actions:

* "rewrite-url=" is added to return a re-written URL.
 - When this key is presented the URL is re-written to the new one by
   Squid without client interaction.
 - The 'url' keys presence will override this key.

* "url=" is added to return the redirected-to URL.
 - When this key name is presented an HTTP redirect response is generated
   for the client.
 - This keys presence overrides the 'rewrite-url' key actions.

* "status=" is added to hold the HTTP status code for use in redirect
  operations.
 - This field is optional and status is no longer required for marking
   redirect actions.
 - If no redirect status is provided Squid will assign one (currently the
   default is 302, that may change in the future).
 - This key is only relevant when 'url' key is also presented. In all
   other uses it is currently ignored.

When result codes BH or ERR are presented by the helper no redirect or
rewrite action is performed and no kv-pair key names are reserved for use
at this time.

Any other keys MAY be sent on any response. The URL helper interface
makes no other use of them, but this patch does pass them on to the ALE
object for logging as transaction Notes. All kv-pairs returned by the
helper (including the url, stauts rewrite-url keys) are available for
logging via the %{...}note log format option.

As with changes to other helpers interfaces in earlier updates, only
the first value presented for any of the reserved kv-pairs is used.
Multiple values are accepted as notes, but otherwise ignored by Squid and
do not affect the transaction outcome.

Additionally, when the BH result code is received from the helper a
simple recovery is attempted. The lookup request will be re-scheduled (up
to once) in an attempt to find a better responding helper.

NOTE: Helper notes are *not* passed to adaptation interfaces.
 - REQMOD adaptation happens before URL helpers are used.
 - REPMOD adaptation may at some point receive them, but that change is
   not done by this update.

 This update was sponsored by Edgewave.

Docs: doxygenate the HttpRequest::helperRnotes member

Typo in HttpRequest

Polish: Improve the messages output by UFS swap log management.

It also includes a small local variable symbol change from "new_path" to
"tmp_path" to prevent future developer mistakes like the one seen in
bug 3663 mistaking "new_path" for the new destination path of xrename().

Merged from trunk

Add kv-pir support to url_rewrite_helper interface

This stage of the helper reply protocol adds kv-pair support to the
url_rewrite_helper interfacefor URL redirect and rewrite operations.

It uses the new Notes objects and kv-pair field added by the stage 2
helper protocol instead of parsing the 'other' field. Although,
the 'other' field is still parsed when *no* result field is received
for backward compatibility with older helpers.

The response syntax for URL helpers becomes:
  [channel-ID SP] result [SP kv-pair ...] [SP other] EOL

NP: 'other' field is now deprecated and will be ignored/discarded on any
  response containing a result code field.

When result code "OK" is presented by the helper several kv-pairs are
reserved to control Squid actions:

* "rewrite-url=" is added to return a re-written URL.
 - When this key is presented the URL is re-written to the new one by
   Squid without client interaction.
 - The 'url' keys presence will override this key.

* "url=" is added to return the redirected-to URL.
 - When this key name is presented an HTTP redirect response is generated
   for the client.
 - This keys presence overrides the 'rewrite-url' key actions.

* "status=" is added to hold the HTTP status code for use in redirect
  operations.
 - This field is optional and status is no longer required for marking
   redirect actions.
 - If no redirect status is provided Squid will assign one (currently the
   default is 302, that may change in the future).
 - This key is only relevant when 'url' key is also presented. In all
   other uses it is currently ignored.

When result codes BH or ERR are presented by the helper no redirect or
rewrite action is performed and no kv-pair key names are reserved for use
at this time.

Any other keys MAY be sent on any response. The URL helper interface
makes no other use of them, but this patch does pass them on to the ALE
object for logging as transaction Notes. All kv-pairs returned by the
helper (including the url, stauts rewrite-url keys) are available for
logging via the %{...}note log format option.

As with changes to other helpers interfaces in earlier updates, only
the first value presented for any of the reserved kv-pairs is used.
Multiple values are accepted as notes, but otherwise ignored by Squid and
do not affect the transaction outcome.

Additionally, when the BH result code is received from the helper a
simple recovery is attempted. The lookup request will be re-scheduled (up
to once) in an attempt to find a better responding helper.

NOTE: Helper notes are *not* passe to adaptation interfaces.
 - REQMOD adaptation happens before URL helpers are used.
 - REPMOD adaptation may at some point receive them, but that change is
   not done by this update.

 This update was sponsored by Edgewave.

Remove unnecessary xmemset()

Was a simple wrapper around memset() to add debugs() traces. However
other profiling tools can trace memset far better.

Fix accept_filter on Linux

accept_filter directive on Linux requires TCP_DEFER_ACCEPT which
in turn requires netinet/tcp.h. This was removed when splitting comm
into libcomm.la.

SourceFormat Enforcement

Stage 2 synced with trunk

Helper protocol upgrade: add optional kv-pair field to responses

This adds an optional kv-pair field immediately following the result field
on all helper interface responses. This field contains a list of key=value
pairs where the value is a RFC1738 (URL) encoded token or a quoted string.
Quoted-string MAY contain whitespace and shell escaping.

The response syntax for all helpers becomes:
  [channel-ID SP] result [SP key-pair ...] [SP other] EOL

The parser for HelperReply is also updated to map the old AF and NA
NTLM/Negotiate response fields into the HelperReply notes:
 * "token=" is added to supply the NTLM and Negotiate server blob/token.
 * "user=" is added to supply the user label field.
The relevant callback handlers are updated for these helpers to make use
of these new keys.

The bundled Digest authentication helpers are all upgraded to send the new
format responses. They now use ERR for failed lookup, BH for internal
errors, and OK with "ha1=" key added to supply a HA1 response. The handler
for Digest authentication is updated to process the new HelperReply fields
with failover the old format on Unknown result codes.

The external ACL handler is updated to pull its key=value pairs out of the
Notes list. The old parser loop becomes useless with this and is removed.
Taking with it support for several long deprecated keys "login=", "passwd=",
and "error=" which are now ignored.

Any other keys MAY be sent on any response. However at this stage 2 patch
they are ignored. As are repeated / secondary values for the expected key
names, only the first instance sent in the response is used.

Merged from trunk

Audit Review updates

* guarantee that note values output by the HelperReply parser are ""
  nil-terminated string and not undefined String.
* rename HelperReply::responseKeys to 'notes'
* rename Notes::findByName() to find()
* add Note::firstValue() to locate first value provided for a given key
  and present it as a char* terminated string
* various documentation updates

Treat no-cache and must-revalidate in Authentication

Wrapped as a violation because this operation is off-spec.

CC:no-cache was omitted from the HTTP spec apparently on grounds that
changing its caching effects on authentication would come as a surprise.
The actual operation is safe enough to use when parameterless no-cache
is treated strictly as an alias for must-revalidate (as done by Squid now).

Ref: http://lists.w3.org/Archives/Public/ietf-http-wg/2012OctDec/0387.html

Make it possible to match empty header field values using req_header and rep_header.

Warning: Some req_header and rep_header ACLs that were [accidentally] not
matching empty headers (e.g., "^$" or ".*") will now start matching them.

A new HttpHeader::getByNameIfPresent() method is added to be able to detect
presence of empty header fields while ACLHTTPHeaderData::match() is adjusted
to convert undefined String values into empty c-strings ("") for
ACLRegexData::match() to work.

Prior to these changes, when trying to match an empty header value with a
regex like "^$", ACLHTTPHeaderData::match() would return false because:

  * HttpHeader::getStrOrList() and getByName() return an undefined String.
  * String::termedBuf() returns NULL for undefined Strings; and
  * ACLRegexData::match() always fails on NULL c-strings.

Bug 3685: Squid hangs in ClassCBucket::update

Amos requested changes

merge from parent

Fix helper reply length detection

Stateless helper reply handler was incrementing 't' position before
passing the details of response length to HelperReply parser.

Stateful helper reply handler was pointing at position of \n insteaf of
position of \r when \r\n received.

Both of these cause the response length parameter sent to the reply
parser to be longer than the actual response characters length. Breaking
parse on responses with just result code followed by \n since the string
comparison EOL is now tested against input length 2/3/4.

minor changes

Amos requested changes

Merged from trunk

libeui: Warn and fail nicely on socket errors looking up ARP record

If something nasty happened (out of FD or similar) socket() may fail.
Report these events and continue with unknown EUI value.

 Detected by Coverity Scan. Issue 740393

Fix ESIInclude constructor after rev.12482

SourceFormat Enforcement

Fix mixup of NULL and false in rev.12482

libesi: Various fixes

* Mostly uninitialized class member variables

* One missing error check in ESI parser (740408)

* One potential NULL from dynamic cast fixed (740372)

* Several useless/dead code checks

 Detected by Coverity Scan. Issues 740545, 740408, 740546, 740372, 740547,
  740548, 740549, 740550, 740551, 740345, 740346, 740552, 740553, 740554,
  740555, 740556, 740557.

Release Notes: update manager ACL and MGR_INDEX documentation

SourceFormat Enforcement

librfcnb: memory leaks in session setup

 Detected by Coverity Scan. Issue 740425.

Typo in rev.12477

Fix several buffer termination bugs

* strcpy() replaced in several places with strncpy() to ensure destination
  buffers are not overflowed.

* strncpy() does not nul-terminate the destination when the string being
  copied in exactly fills the buffer. Ensure we have terminated strings
  where it may matter.

 Detected by Coverity Scan. Issues 740309, 740310, 740311, 740481, 740483

Remove MemPoolChunked::memPID

This member variable appears to have been missed when MemPool was split
into generic framework and specific Chunked implementation.
 (rev:10513.1.1 aka trunnk rev:10517)

The memPID and its maintenance code was moved into MemImplementingAllocator
but this definitio left here un-initialized and shadowing the framework
member.

 Detected by Coverity Scan. Issue 740506.

ntlm_smb_lm_auth: better bounds checking

Protect against overflow of domain and domain controlleler FQDN buffers
leading to missing nul-termination string errors.

 Detected by Coverity Scan. Issue 740475.

negotiate_kerberos_auth: better bounds checking

* sysconf() may return -N values on some platforms or values larger than
  the hard-coded 1024 buffer size for hostname. Use sizeof() instead
  since the buffer is hardcoded anyway.

* also, use return instead of exit() on the test binary to reduce
  warnings from static analysis compilers.

 Detected by Coverity Scan. Issues 740392, 740484

Fix OpenSUSE glibc 2.17 compile issues

log_file_daemon: better error reporting

* report rotation errors and log file removal errors instead of silently
  ignoring them.

 Detected by Coverity Scan. Issue 740316

ext_kerberos_ldap_group_acl: more memory leaks and NULL check cleanups

* remove some more useless NULL checks before xfree()

* add 'up' temporary allocation to the create_gd() cleanup

* document why gpbuf was added and is used for.

 Detected by Coverity Scan. Issues 740420, 740448, 740449

SourceFormat Enforcement

Various memory leaks in configuration parsing

This lot are all small issues derived from allocating new memory and
assigning to a pointer already pointing at previous allocation, or
passing xstrdup() output to a caller which does not directly hold the
passed memory.
 Both cases will disappear once we clean up teh string handlign in Squid
but for now these still need fixing to avoid leaking memory.

 Detected by Coverity Scan. Issues 740430, 740432, 740439.

ext_kerberos_ldap_group: Memory Leaks

* Allocate sufficient memory to nul-terminate the cleaned input buffer
  on worst-case input obfuscation level.

* Free temporary parsing buffers, and parsed group structures when parse
  aborts on failure.

* Remove several useless if() conditionals for simpler code flow:
 - Squid xfree() handles NULL pointers.
 - Squid safe_free() handles NULL pointers and assigns NULL after freeing
 - assigning x->next from local NULL pointer is okay.

 Detected by Coverity Scan. Issues 743377, 743378, 740412, 740417, 740418
   740419, 740420, 740421, 740448, 740458, 740342, 740422, 740449, 740450
   740423, 740424.

SourceFormat Enforcement

Various Kerberos helper updates

* Use rfc1738 escapes for negotiate_kerberos logging and kerberos_ldap_group.

* Include the option for kerberos_ldap_group to read group information from
  stdin (squid config file list) instead of a command line argument.

squidclient: Better error checking

* detect and report fstat() errors which could lead to invalid
  Content-Length being sent.

* remove some useless checks which were causing false positives by Coverity.

 Detected by Coverity Scan. Issues 740334, 740379

Fix various assertion with side effects

When compiled with high optimization and assert disabled these operations
would have disappeared. The side effects being:
* Disk I/O failure protection disabled. Allowing loops in diskd write.
* squidpurge error handling on command line parse gone. Causing segfault.
* squidpurge 'I am Alive' ticker feature cease working.

 Detected by Coverity Scan. Issues 740299, 740300, 740301, 740302, 740303

cachemgr.cgi: another memory leak

 Detected by Coverity Scan. Issue 740445

basic_radius_auth: nul-terminate strings

Alterations in rev.12444 to the command line paramcopying overlooked the
absence of nul-termination by strncpy(). Ensure the strings are terminated.

 Detected by Coverity Scan. Issue 743276

cachemgr.cgi: Memory leaks

Authentication credentials parser also leaks badly. This was missed in the
fixes for trunk rev.12457.

 Detected by Coverity Scan. Issue 740442

digest_ldap_auth: Fix crash on empty password

 Detected by Coverity Scan. Issue 740399

Correct out-of-bounds array access in basic_ncsa_auth helper

Fixed incomplete MemBlobStats constructor

cachemgr.cgi: Memory Leaks and DoS Vulnerability

* Ignore invalid Content-Length headers.

* Limit received POST requests to 4KB and discard the rest.

 Detected by Coverity Scan.
 Issues 740380, 740443, 740444, 740442, 740487, 740446

squidpurge: Remove useless code

 Detected by Coverity Scan. Issue 740353

ntlm_fake_auth: Fix nesting error

Broken macro wrapping leads to the fake authenticator sending bad
responses to Squid. This can ead to users being rejected by the fake
helper whose purpose is to accept everything.

 Detected by Coverity Scan. Issue 740394

Type in squid-3-12447

libacl: polish and code fixes

* removed several blocks of dead code and useless conditional checks

* Improved handling of garbage config definitios for ACL random, max_conn

* Initialized several uninitialized class members in ACL base class.

 Detected by Coverity Scan.
 Issues 740528, 740343, 740529, 740362, 434117, 740593, 740407.
 Possibly also resolves issue 740486.

Bug fix in TextException: gracefully handle exceptions with null text messages.

ext_time_quota_acl: Polish and handle bad input better

* Send BH response code when username field is missing or empty on the
  input line received from Squid (or manually typed)

* Display error message on broken config file lines and skip instead of
  crashing.

* Polish out some unused assignments.

 Detected by Coverity Scan. Issues 740404, 740405, 740591

ext_file_userip_acl: Polish and missing file handling

* Display error when dictionary file is unaccessible instead of crashing.

* Polish several useless assignments out of the code.

 Detected by Coverity Scan. Issues 740402, 740403, 740589, 740590.

ext_edirectory_userip_acl: Polish: Remove dead code

* filter variable being NULL results in error condition returned before
  the filter is used. No need to test and use a hard-coded backup filter.

* ber variable is freed in the master loop and is not skipped. The loop
  only exists when ent is NULL. Neither needs to be freed.

 Detected by Coverity Scan. Issues 740339, 740340, 740341

unlinkd: Compiler warning cleanups

Check the return value for open(/dev/null). Nothing we can do about it
since the daemon has already disconnected from cache.log but note that.

 Detected by Coverity Scan. Issue 740328

digest_file_auth: Improved error handling

Adds missing error handling when pasword file fails to open for any
reason.

Skips records with missing username in password file.Displays an error
message instead of crashing.

 Detected by Coverity Scan. Issues 740400, 740401

digest_edirectory_auth: improved error handling

Malicious response from LDAP server can cause squid helper to crash.

Missing realm value returned from LDAP without error/missing value being
indicated in the response can lead to strcmp() using a NULL pointer.
 Extremely unlikely to happen in practice, but worth fixing.

 Detected by Coverity Scan. Issue 740399

basic_smb_auth: Buffer overrun.

A reply string expanding to >8KB after shell escaping can cause the helper
memory corruption or crash as output buffer is overrun.

 Detected by Coverity Scan. Issue 740411

basic_radius_auth: Fix several issues

* abort on failed fcntl() non-blocking socket setup

* retry send() on failure. Up to retry attempt count.
  Display send() errors to cache.log.

* prevent buffer overflow on long command line arguments.

* make compiler buffer overflow checks happier with RADIUS packet
  creation code.

 Detected by Coverity Scan. Issues 740314, 740315, 740410, 740474

basic_pam_auth: Fix NULL-dereference issues

PAM session handles being used after setup failure left them NULL.

Also removes several useless checks of retval after it being explicitly
set to the value tested againt.

  Detected by Coverity Scan. Issue 740354

basic_ncsa_auth: Fix NULL-dereference crash

When reading corrupt or broken user passwd files with missing username
data this helper can crash.

 Detected by Coverity Scan. Issue 740398

Add a missing icnlude file in src/acl/CertificateData.cc file

merge from SslServerCertValidator r12332

merge from trunk r12441

basic_msnt_auth: minor memory leaks

Detected by Coverity scan (free). Issues: 740415, 740416

Changed HERE macro to be a true nop, clarified documentation, and marked is as deprecated.
Fixed syntax bug in comm.cc unearthed by the macro-to-function change.

Bug 3279: Polish: reference bugzilla record to prevent duplicate reports

Bug 3329: Polish: reference the bugzilla number in cache.log to prevent duplicates

Audit result changes

Fixed issue introduced by debugs() change

Modify debugs() to automatically include file, line and function name for high-detail cache log lines.

Polish away some omitted changes

Merged from trunk

Add squid.conf documentation for helpers

Fix URL-decode logics consistency

* always perform URL-decode on only token form of values
  (\-escaping always removed on all values prior to URL-decode)

* document change in URL-encoding for external_acl_type config

* deprecate external_acl type quote= and protocol= options

* remove unneeded 'urlQuoting' parameter from HelperReply parser

Safer use of strwordtok()

* It does not allocate. Drop a bad free()

* It may return NULL. Check for that before URL-decodeing,
  and also handle TT result mandatory token field better.

Caught in audit by Alex Rousskov.

Fix missing include in fqdncache.cc

SourceFormat Enforcement

Multiple certificate_db/ssl_crtd fixes

- Try to update the index file in all cases the database modified
- The find operator in database should not modify the database. Currently
  if an entry is expired, ssl_crtd removes the cert file but does not
  update the index file.
  rows. Currently we are using the new operator.
- Fix a small memory leak when remove entries from database: A row object
  removed from TXT_DB indexes but never released. This patch:
     * Use OPENSSL_malloc and OPENSSL_free to allocate/release memory for
       TXT_DB rows. OpenSSL SDK assumes that always allocated using these
       functions.
     * Add code in Ssl::CertificateDb::Row destructor to correctly release
       a TXT_DB row.
     * Add the sq_TXT_DB_delete and sq_TXT_DB_delete_row functions which
       removes a row from TXT_DB indexes.

This is a Measurement Factory project

Upgrade Digest authentication to use key=value parameters

* Update the Digest auth code in Squid to process the HelperReply key-pair
  notes list for data
+ output upgrade WARNING messages when old format responses are identified
+ handle TT result code (as an error with critical level ERROR message)
+ handle BH result code (as an error)

* Adds a ha1="" key to Digest auth response protocol to pass the HA1.

* Upgrade the Digest helpers to use OK/ERR/BH result codes and key=value
  parameters.