Interim: removed needless spacing and c++ guards, started fixing DelayTagged accessing SplayNodes, prevented Splay leaks on several ACL types

Merged from trunk

Removed some never-true assertions

clang uncovered several conditionals which could never be true.
Removed the conditionals entirely.

Bug 3664: ssl_crtd fails to build on OpenSolaris/OpenIndiana/Solaris 11

Bug 3754: configure doesnt detect IPFilter 5.1.2 system headers

Solaris 10+ bundles IPFilter code natively, but the IPFilter
headers contain a duplicate definition of minor_t which does
not match the existing OS definition.

The result is that no applications (such as Squid) will build
on Solaris with the natively provided headers.

Also, the upstream IPFilter code separate from Solaris contains
the same minor_t definition so building against a separate
install of IPFilter does not fix the issue.

We must instead play fancy games #define'ing minor_t to a
different real-name for the OS headers and its own name for
the IPFilter headers.

 Thanks to Yuri Voinov for sponsoring the Solaris 10
 machine and environment resources for this fix.

Removed now useless assertions

Fixed unit tests

Fixed Splay::insert

Merged from trunk

Added correct NULL check in Splay::find

Removed useless C symbols

SourceFormat Enforcement

Fix several uninitilized member issues

* Digest auth header field-value parser

* HTTP header statistics state data

* logformat parser token data

Release Notes: updates for MSNT helpers

Cleanup: fix most 'unused parameter' warnings

... and several bugs hidden by lack of this check:

* url_rewrite_timeout parser/dumper using wrong cf.data.pre
  parameter definition.

* url_rewrite_timeout parser/dumper using wrong object for
  state data.
  Global a Config object instead of parameter object.
  Preventing future use of multiple Config objects. There is
  more to be done as the Timeout value itself is not stored
  as part of the object apparently detailing the timeout.

* request_header_add directive dump() omitting directive
  name in mgr:config output.

* dead code as HTCP packet handlers for NOP, MON, SET

* mime icons download operation incorrectly initialized.
  was using the 'view' access parameter to set download
  access permission.

* peerCountHandleIcpReply() assertions testing validity
  after pointers already used. This would lead to segfault
  on errors, now leading to assertion logging.

Only the default built code was checked and updated at this
time. There are 62 known warnings still appearing due to
parameters being only used inside conditional code, possibly
more issues in code not enabled in this build and certainly
a lot more in the stubs and unit tests which were not checked.

SplayNode::SPLAYFREE -> Splay::SPLAYFREE

SplayNode::SPLAYFREE -> Splay::SPLAYFREE

Restored splay NULL checks. Things break without them

Fixed uninitialized data member in Acl::Ip

Fixed Acl::CertificateData

Merged from trunk

ntlm_sspi_auth: convert to new base64 API

negotiate_sspi_auth: fix various build errors

* fix convenience library dependency detection

* convert to new base64 coding API

* remove goto's

basic_sspi_auth: fix MinGW compile errors

libsspwin32: update to new base64 API

Interim: remove SplayNode this==NULL checks

Cosmetic change in mem_hdr_test.cc

Fixed Acl::UserData

Cosmetic changes to src/stmem

Fixed Acl::StringData

Fixed Acl::Ip

Fixed Acl::HttpStatus

Fixed Eui::Eui64::encode stub

SourceFormat Enforcement

Migrated acl/Eui64 to Splay

Migrated acl/DomainData to Splay

Fixed handling of invalid SSL server certificates when splicing connections.

An unpatched Squid in peek-and-splice mode may splice connections after
receiving a malformed or unsupported SSL server Hello message. This may
happen even if sslproxy_cert_error tells Squid to honor the error. After
this change, Squid honors sslproxy_cert_error setting when:

* no server certificate was found and checked using Squid validation procedure
  (e.g., because the SSL server Hello response was malformed or unsupported); or
* Squid server certificate validation procedure has failed.

If the certificate error is not allowed, Squid terminates the server connection
and attempts to bump the client connection to deliver the error message to the
user.

This is a Measurement Factory project

Merged from trunk

Fix 'field precision specifier '.*' expects argument of type 'int'

Reworked acl/Arp to use Splay instead of SplayNode

ntlm_smb_lm_auth: fix compile errors after rev.13785

Added default arguments to Splay::destroy
Added documentation to Splay::find
Added Splay::empty()
Removed obsolete tests in test-suite/splay.cc

ntlm_fake_auth: fix compile errors after rev.13785

Fix 64-bit compile issues in rev.13785

The Nettle 3.0 library API imported and used by rev.13785 defines
function symbols with size_t parameters where earlier libraries used
'unsigned'. This matters on 64-bit systems where unsigned is a 'int'
and size_t a 'long' - implicit conversion is not possible.

Explicitly detect the size_t API existence during ./configure time and
use the built-in logics if supplied Nettle library is an older version.

SourceFormat Enforcement

basic_msnt_multi_domain_auth: Superceeded by basic_smb_lm_auth

This helper consisted of a Perl script requiring special Perl
SMB:Authen module and Samba nmblookup helper to operate.

It performs the same operations as basic_smb_lm_auth helper,
so is not actually needed.

It also contains a slightly ambiguous copyright license as it
was published to the squid-users mailing list in effective
Public Domain free for any use, but without explicit statement
to the fact.

basic_msnt_auth: rename to basic_smb_lm_auth and deprecate

Crypto-NG: Base64 crypto replacement

The existing Squid base64 code had ambiguous copyright licensing. In
particular it only referenced a dead URL for source copyright
ownership details. In all likelihood this was for an Open Source
implementation, but we dont have sufficient record of the original
license terms to be certain without a long investigation.

It has also been heavily modified and customized over the decades
since importing whih complicates the issue a lot.

It also does not match any of the common industry context-based API
patterns for encoders/decoders.

This patch replaces that logic with GPLv2 licensed code from the
Nettle crypto library. Either linking the library dynamically or in
its absence embedding the logic via our libmiscencoding library.

It also updates all code to the new API, and as a byproduct removes
several layers of deprecated wrapper functions which have grown in
over the years.

Simplified MSNT basic auth helper

Cleanup: sync ModSelect.cc and ModSelectWin32.cc

Boilerplate: add copyright blurbs for cf.data files

Reverted move-constructor-related changes

Yet more aggressive workaround attempt

Yet more aggressive workaround attempt

More aggressive workaround attempt

Try to disable move semantics for domaincontroller to work around clang bug in centos 6

Add useage instructions

Documentation updates

Removed configuration file

Removed c++11-ism, worked around SMB_Connect_Server not checking arguments. Functional testing ok

Reverted most changes to valid_user.cc

Merged other changes

SourceFormat Enforcement

pconn_lifetime

This patch add a new configuration option the 'pconn_lifetime' to allow users
set the desired maximum lifetime of a persistent connection.

When set, Squid will close a now-idle persistent connection that
exceeded configured lifetime instead of moving the connection into
the idle connection pool (or equivalent). No effect on ongoing/active
transactions. Connection lifetime is the time period from the
connection acceptance or opening time until "now".

This limit is useful in environments with long-lived connections
where Squid configuration or environmental factors change during a
single connection lifetime. If unrestricted, some connections may
last for hours and even days, ignoring those changes that should
have affected their behavior or their existence.

This option has the following behaviour when pipelined requests tunneled
to a connection where its lifetime expired:

 1. finish interpreting the Nth request
    check whether pconn_lifetime has expired
 2. if pconn_lifetime has expired, then stop further reading and
    do not interpret any already read raw bytes of the N+1st request
 3. otherwise, read and interpret read raw bytes of the N+1st request
    and go to #1.

This is a Measurement Factory project

Fixed argument parsing and SMB API

Windows: fix getaddrinfo, getnameinfo, inet_ntop and inet_pton detection

These API symbols are not always defined as functions, and in varying
locations. AC_REPLACE_FUNCS cannot handle that kind of complexity so we
must use AC_CHECK_DECL instead and provide the sequence of #include
necessary to identify their existence.

Prep for 3.5.0.4

SourceFormat Enforcement

SourceFormat Enforcement

Maintenance: bump astyle to 2.04 and quieten report

Removed backup domain controller in SMBlibrary

Removed unneeded files

Rip out most of the configuration file logic

scripts/formater.pl: use strict perl syntax checking

source-maintenance.sh: only check astyle version once

Fix typos in rev.13770

SourceLayout: shuffle mem_type enum to libmem

negotiate_kerberos_auth: MEMORY keytab and replay cache support

1) Checks for MEMORY: keytab support and reads the keytab from disk into
   MEMORY to improve performance (i.e. read keytab only at startup and
   nerver again)

2) Add option for replay cache type. Allows to set replay cache to none
   to improve performance ( may reduce security a bit )

3) Add option for replay cache directory.  If /var/tmp is not the best
   location you can choose a different location.

Fix HttpMsg initialization after rev.13754

Fix peek-and-splice mode: certificate validation for domain mismatched errors

Currently squid does not check for domain mismatched errors while validates the
server certificate on peek and splice mode, even if the server hostname is known
from SNI info or from CONNECT request string.

This is a Measurement Factory project

MemPool the debug output stream buffers

The CurrentDebug output stream controller for cache.log was
defined as a std::ostringstream object and allocated with
new/delete on each call to debugs().

The std::ostringstream is defined as a templates output stream
which uses the std::allocator<char> built into libc when its
new()'d. Since this is all internal to the STL library
definitions it links against the libc global-scope allocator.

However, there is no matching deallocator definition and when
the object is delete()'d the standard C++ operator overloading
rules make the global-scope SquidNew.h definition of
::operator delete() be the method of deallocation. That uses
free() internally.

To resolve the mismatch of new()/free() we must define a
wrapper class with explicit class-scope new/delete operators
instead of relying on weak linkages to overloaded global scope
operators.

As a result the memory is new()'d and free()'d. As detected by
Valgrind

Windows: fix GCC 4.9 build issue in --enable-win32-service

Windows: fix compile error after rev.13725

Fix DONT_VERIFY_DOMAIN ssl flag

The DONT_VERIFY_DOMAIN ssl flag set with the sslflags= option to cache_peer
directive does not work correctly.

Typo in rev.13752

Bug 1961, Bug 429: Add asterisk to class URL

This does not yet perform any of the outgoing request mapping from
path-less URI required by current RFC 7231.

Squid already allows these URI in OPTIONS and TRACE requests (only).

It does make a start by cleaning up the current special case handling of
"*" URI to be matched by the URI class/namespace method and SBuf
comparisions instead of c-strings.

ext_ldap_group_acl: Version 2.18 documentation updates

Bump the helper version number to 2.18 as should have been done back in
2010 when previous redesign was made.

Also, add copyright notices to ChangeLog indicating MARA Systems
copyright to original 2.17 and older code, Squid Project on 2.18 and
newer additions.

basic_ldap_auth: Drop unnecessary README

Support http_access denials of SslBump "peeked" connections.

If an SSL connection is "peeked", it is currently not possible to deny it
with http_access. For example, the following configuration denies all plain
HTTP requests as expected but allows all CONNECTs (and all subsequent
encrypted/spliced HTTPS requests inside the allowed CONNECT tunnels):

  http_access deny all
  ssl_bump peek all
  ssl_bump splice all

The bug results in insecure bumping configurations and/or forces admins to
abuse ssl_bump directive (during step1 of bumping) for access control (as a
partial workaround).

This change sends all SSL tunnels (CONNECT and transparent) through http_access
(and adaptation, etc.) checks during bumping step1. If (real or fake) CONNECT is
denied during step1, then Squid does not connect to the SSL server, but bumps
the client connection, and then delivers an error page (in response to the
first decrypted GET). The behavior is similar to what Squid has already been
doing for server certificate validation errors.

Technical notes
----------------

Before these changes:

  * When a transparent SSL connection is being bumped, if we decide to splice
    during step1, then we splice the connections without any http_access
    checks. The (spliced) connection is always established.

  * When a CONNECT tunnel is being bumped at step1, if peek/stare/server-first
    mode is selected, and our http_access check fails, then:
     1) We create an error page and proceeding with SSL bump, expecting
        to serve the error after the client SSL connection is negotiated.
     2) We start forwarding SSL Hello to the server, to peek/stare at (or
        server-first bump) the server connection.
     3) If we then decide to splice the connection during step2 or step3, then
        we splice, and the error page never gets served to the client!

After these changes:

  * During transparent SSL bumping, if we decide to splice at step1, do not
    splice the connection immediately, but create a fake CONNECT request first
    and send it through the callout code (http_access check, ICAP/ECAP, etc.).
    If that fake CONNECT is denied, the code path described below kicks in.

  * When an error page is generated during CONNECT or transparent bumping
    (e.g. because an http_access check has failed), we switch to the
    "client-first" bumping mode and then serve the error page to the client
    (upon receiving the first regular request on the bumped connection).

This is a Measurement Factory project.

Bug 4164: SEGFAULT when %W formating code used in errorpages

Squid will crash inside ErrorState::Dump if not authentication configured for
squid. In this case ErrorState::auth_user_request is NULL and trying to access
a method of this object will cause segfault to squid.

Cleanup: remove unused OS detection of Sun, SysV, Ultrix, BSDi

Bug 3826: pt 2: Provide a systemd .service file for Squid

Created with help from davidstrauss in #systemd channel and provided
as a working example for package distributors to use. It is not
installed by a 'make install' build of Squid.

For now SMP support is not available to Squid controlled by systemd.
That part of the bug 3826 issue has yet to be resolved.

SourceLayout: shuffle Sys-V init script to tools/sysvinit/

Update Http::ProtocolVersion() to initializer functions

The Http::ProtocolVersion(*) does not work sufficiently well as a class
hierarchy.

Convert Http::ProtocolVersion to two functions:

* Http::ProtocolVersion() providing the default Squid HTTP version
level, and

* Http::ProtocolVersion(unsigned, unsigned) providing the HTTP version
details for the given level.

NP: using two overloaded functions instead of one with default
parameter values because with HTTP/0.x and HTTP/2.x we cannot safely
default just the minor value. ie. using two functions prevents
mistakenly using HTTP/2.1, HTTP/0.1 or HTTP/1.0 if the second
parameter is omitted.

All variables must now be of type AnyP::ProtocolVersion, and should be
constructed from an appropriate Foo::ProtocolVersion() function.

Deleting first fs left psstate->servers pointing to uninitialized memory
possibly causing infinite loops in peerAddFwdServer().

TODO: The condition itself is excessive. If fs is not nil, the previous check
already tells us that the Config.forward_max_tries limit is exceeded.

Maintenance: check release notes on packaging

Prep for 3.5.0.3 and 3.4.10

Update localnet definition for RFC 6890

RFC 6890 details updated IP address reservations for Carrier-Grade NAT
and confirms registration of the "this" network range legitimacy amongst
other non-relevant ddress range allocations.

Typo in rev.13747

url_lfs_rewrite: Update man(8) documentation