Fixed Eui::Eui64::encode stub

Migrated acl/Eui64 to Splay

Migrated acl/DomainData to Splay

Merged from trunk

Fix 'field precision specifier '.*' expects argument of type 'int'

Reworked acl/Arp to use Splay instead of SplayNode

ntlm_smb_lm_auth: fix compile errors after rev.13785

Added default arguments to Splay::destroy
Added documentation to Splay::find
Added Splay::empty()
Removed obsolete tests in test-suite/splay.cc

ntlm_fake_auth: fix compile errors after rev.13785

Fix 64-bit compile issues in rev.13785

The Nettle 3.0 library API imported and used by rev.13785 defines
function symbols with size_t parameters where earlier libraries used
'unsigned'. This matters on 64-bit systems where unsigned is a 'int'
and size_t a 'long' - implicit conversion is not possible.

Explicitly detect the size_t API existence during ./configure time and
use the built-in logics if supplied Nettle library is an older version.

SourceFormat Enforcement

basic_msnt_multi_domain_auth: Superceeded by basic_smb_lm_auth

This helper consisted of a Perl script requiring special Perl
SMB:Authen module and Samba nmblookup helper to operate.

It performs the same operations as basic_smb_lm_auth helper,
so is not actually needed.

It also contains a slightly ambiguous copyright license as it
was published to the squid-users mailing list in effective
Public Domain free for any use, but without explicit statement
to the fact.

basic_msnt_auth: rename to basic_smb_lm_auth and deprecate

Crypto-NG: Base64 crypto replacement

The existing Squid base64 code had ambiguous copyright licensing. In
particular it only referenced a dead URL for source copyright
ownership details. In all likelihood this was for an Open Source
implementation, but we dont have sufficient record of the original
license terms to be certain without a long investigation.

It has also been heavily modified and customized over the decades
since importing whih complicates the issue a lot.

It also does not match any of the common industry context-based API
patterns for encoders/decoders.

This patch replaces that logic with GPLv2 licensed code from the
Nettle crypto library. Either linking the library dynamically or in
its absence embedding the logic via our libmiscencoding library.

It also updates all code to the new API, and as a byproduct removes
several layers of deprecated wrapper functions which have grown in
over the years.

Simplified MSNT basic auth helper

Cleanup: sync ModSelect.cc and ModSelectWin32.cc

Boilerplate: add copyright blurbs for cf.data files

Reverted move-constructor-related changes

Yet more aggressive workaround attempt

Yet more aggressive workaround attempt

More aggressive workaround attempt

Try to disable move semantics for domaincontroller to work around clang bug in centos 6

Add useage instructions

Documentation updates

Removed configuration file

Removed c++11-ism, worked around SMB_Connect_Server not checking arguments. Functional testing ok

Reverted most changes to valid_user.cc

Merged other changes

SourceFormat Enforcement

pconn_lifetime

This patch add a new configuration option the 'pconn_lifetime' to allow users
set the desired maximum lifetime of a persistent connection.

When set, Squid will close a now-idle persistent connection that
exceeded configured lifetime instead of moving the connection into
the idle connection pool (or equivalent). No effect on ongoing/active
transactions. Connection lifetime is the time period from the
connection acceptance or opening time until "now".

This limit is useful in environments with long-lived connections
where Squid configuration or environmental factors change during a
single connection lifetime. If unrestricted, some connections may
last for hours and even days, ignoring those changes that should
have affected their behavior or their existence.

This option has the following behaviour when pipelined requests tunneled
to a connection where its lifetime expired:

 1. finish interpreting the Nth request
    check whether pconn_lifetime has expired
 2. if pconn_lifetime has expired, then stop further reading and
    do not interpret any already read raw bytes of the N+1st request
 3. otherwise, read and interpret read raw bytes of the N+1st request
    and go to #1.

This is a Measurement Factory project

Fixed argument parsing and SMB API

Windows: fix getaddrinfo, getnameinfo, inet_ntop and inet_pton detection

These API symbols are not always defined as functions, and in varying
locations. AC_REPLACE_FUNCS cannot handle that kind of complexity so we
must use AC_CHECK_DECL instead and provide the sequence of #include
necessary to identify their existence.

Prep for 3.5.0.4

SourceFormat Enforcement

SourceFormat Enforcement

Maintenance: bump astyle to 2.04 and quieten report

Removed backup domain controller in SMBlibrary

Removed unneeded files

Rip out most of the configuration file logic

scripts/formater.pl: use strict perl syntax checking

source-maintenance.sh: only check astyle version once

Fix typos in rev.13770

SourceLayout: shuffle mem_type enum to libmem

negotiate_kerberos_auth: MEMORY keytab and replay cache support

1) Checks for MEMORY: keytab support and reads the keytab from disk into
   MEMORY to improve performance (i.e. read keytab only at startup and
   nerver again)

2) Add option for replay cache type. Allows to set replay cache to none
   to improve performance ( may reduce security a bit )

3) Add option for replay cache directory.  If /var/tmp is not the best
   location you can choose a different location.

Fix HttpMsg initialization after rev.13754

Fix peek-and-splice mode: certificate validation for domain mismatched errors

Currently squid does not check for domain mismatched errors while validates the
server certificate on peek and splice mode, even if the server hostname is known
from SNI info or from CONNECT request string.

This is a Measurement Factory project

MemPool the debug output stream buffers

The CurrentDebug output stream controller for cache.log was
defined as a std::ostringstream object and allocated with
new/delete on each call to debugs().

The std::ostringstream is defined as a templates output stream
which uses the std::allocator<char> built into libc when its
new()'d. Since this is all internal to the STL library
definitions it links against the libc global-scope allocator.

However, there is no matching deallocator definition and when
the object is delete()'d the standard C++ operator overloading
rules make the global-scope SquidNew.h definition of
::operator delete() be the method of deallocation. That uses
free() internally.

To resolve the mismatch of new()/free() we must define a
wrapper class with explicit class-scope new/delete operators
instead of relying on weak linkages to overloaded global scope
operators.

As a result the memory is new()'d and free()'d. As detected by
Valgrind

Windows: fix GCC 4.9 build issue in --enable-win32-service

Windows: fix compile error after rev.13725

Fix DONT_VERIFY_DOMAIN ssl flag

The DONT_VERIFY_DOMAIN ssl flag set with the sslflags= option to cache_peer
directive does not work correctly.

Typo in rev.13752

Bug 1961, Bug 429: Add asterisk to class URL

This does not yet perform any of the outgoing request mapping from
path-less URI required by current RFC 7231.

Squid already allows these URI in OPTIONS and TRACE requests (only).

It does make a start by cleaning up the current special case handling of
"*" URI to be matched by the URI class/namespace method and SBuf
comparisions instead of c-strings.

ext_ldap_group_acl: Version 2.18 documentation updates

Bump the helper version number to 2.18 as should have been done back in
2010 when previous redesign was made.

Also, add copyright notices to ChangeLog indicating MARA Systems
copyright to original 2.17 and older code, Squid Project on 2.18 and
newer additions.

basic_ldap_auth: Drop unnecessary README

Support http_access denials of SslBump "peeked" connections.

If an SSL connection is "peeked", it is currently not possible to deny it
with http_access. For example, the following configuration denies all plain
HTTP requests as expected but allows all CONNECTs (and all subsequent
encrypted/spliced HTTPS requests inside the allowed CONNECT tunnels):

  http_access deny all
  ssl_bump peek all
  ssl_bump splice all

The bug results in insecure bumping configurations and/or forces admins to
abuse ssl_bump directive (during step1 of bumping) for access control (as a
partial workaround).

This change sends all SSL tunnels (CONNECT and transparent) through http_access
(and adaptation, etc.) checks during bumping step1. If (real or fake) CONNECT is
denied during step1, then Squid does not connect to the SSL server, but bumps
the client connection, and then delivers an error page (in response to the
first decrypted GET). The behavior is similar to what Squid has already been
doing for server certificate validation errors.

Technical notes
----------------

Before these changes:

  * When a transparent SSL connection is being bumped, if we decide to splice
    during step1, then we splice the connections without any http_access
    checks. The (spliced) connection is always established.

  * When a CONNECT tunnel is being bumped at step1, if peek/stare/server-first
    mode is selected, and our http_access check fails, then:
     1) We create an error page and proceeding with SSL bump, expecting
        to serve the error after the client SSL connection is negotiated.
     2) We start forwarding SSL Hello to the server, to peek/stare at (or
        server-first bump) the server connection.
     3) If we then decide to splice the connection during step2 or step3, then
        we splice, and the error page never gets served to the client!

After these changes:

  * During transparent SSL bumping, if we decide to splice at step1, do not
    splice the connection immediately, but create a fake CONNECT request first
    and send it through the callout code (http_access check, ICAP/ECAP, etc.).
    If that fake CONNECT is denied, the code path described below kicks in.

  * When an error page is generated during CONNECT or transparent bumping
    (e.g. because an http_access check has failed), we switch to the
    "client-first" bumping mode and then serve the error page to the client
    (upon receiving the first regular request on the bumped connection).

This is a Measurement Factory project.

Bug 4164: SEGFAULT when %W formating code used in errorpages

Squid will crash inside ErrorState::Dump if not authentication configured for
squid. In this case ErrorState::auth_user_request is NULL and trying to access
a method of this object will cause segfault to squid.

Cleanup: remove unused OS detection of Sun, SysV, Ultrix, BSDi

Bug 3826: pt 2: Provide a systemd .service file for Squid

Created with help from davidstrauss in #systemd channel and provided
as a working example for package distributors to use. It is not
installed by a 'make install' build of Squid.

For now SMP support is not available to Squid controlled by systemd.
That part of the bug 3826 issue has yet to be resolved.

SourceLayout: shuffle Sys-V init script to tools/sysvinit/

Update Http::ProtocolVersion() to initializer functions

The Http::ProtocolVersion(*) does not work sufficiently well as a class
hierarchy.

Convert Http::ProtocolVersion to two functions:

* Http::ProtocolVersion() providing the default Squid HTTP version
level, and

* Http::ProtocolVersion(unsigned, unsigned) providing the HTTP version
details for the given level.

NP: using two overloaded functions instead of one with default
parameter values because with HTTP/0.x and HTTP/2.x we cannot safely
default just the minor value. ie. using two functions prevents
mistakenly using HTTP/2.1, HTTP/0.1 or HTTP/1.0 if the second
parameter is omitted.

All variables must now be of type AnyP::ProtocolVersion, and should be
constructed from an appropriate Foo::ProtocolVersion() function.

Deleting first fs left psstate->servers pointing to uninitialized memory
possibly causing infinite loops in peerAddFwdServer().

TODO: The condition itself is excessive. If fs is not nil, the previous check
already tells us that the Config.forward_max_tries limit is exceeded.

Maintenance: check release notes on packaging

Prep for 3.5.0.3 and 3.4.10

Update localnet definition for RFC 6890

RFC 6890 details updated IP address reservations for Carrier-Grade NAT
and confirms registration of the "this" network range legitimacy amongst
other non-relevant ddress range allocations.

Typo in rev.13747

url_lfs_rewrite: Update man(8) documentation

ext_wbinfo_group_acl: Update man(8) documentation

ext_sql_session_acl: Update man(8) documentation

ext_delayer_acl: Update man(8) documentation

basic_pop3_auth: Add man(8) documentation

basic_msnt_multi_domain_auth: Add man(8) documentation

Also, update helper to use command-line parameters instead of hard-coded
configuration for most options.

basic_db_auth: update man(8) documentation

Fix bootstrap.sh dependency on SPONSORS.list

bootstrap.sh is distributed in tarballs and may be used by packagers for
various reasons. It does not need to unconditionally replace SPONSORS.

Add URL-rewriter based on local file existence

Not exactly new. The basic code for this has been bundled with Squid in
contrib/ since 1996.

* Shuffle the contrib/rredir.* helpers code into helpers/url_rewrite/LFS/

* Add missing copyright boilerplate, CONTRIBUTORS and CREDITS entries

* Add Makefile support to install the perl helper

Redesign perl helper:

* update for strict Perl syntax

* update to current (Squid-3.4+) helper protocol

* replace hard-coded rewriter config with flexible command-line
  parameters

* add debug support

* add concurrency support

* add helper documentation

Docs: drop old README.wccpv2

Boilerplate: add several missing copyright blurbs

HTTP/2: Add method PRI registration

HTTP/2: handle 'PRI' method found in HTTP/1.x traffic

draft-ietf-httpbis-http2-16 section 11.6 registers the method PRI.
"
  This method is never used by an actual client.
  This method will appear to be used when an HTTP/1.1 server or
  intermediary attempts to parse an HTTP/2 connection preface.
"

If seen with a non-2.0 version number it means some client or proxy has
mishandled an HTTP/2.0 connection preface and corrupted the traffic.

SourceFormat Enforcement

Fix handling of regex \ characters

url_rewrite_timeout directive part2: fix to allow complie when adaptation is not
 enabled

url_rewrite_timeout directive

This patch adds the url_rewrite_timeout directive.

When configured, Squid keeps track of active requests and treats timed out
requests to redirector as failed requests.

url_rewrite_timeout format:

  url_rewrite_timeout timeout time-units on_timeout=<fail|bypass|retry|use_configured_response> [response=<quoted-string>]

The url_rewrite_timeout directive can accept the on_timeout argument to allow
user configure the action when the helper request times out.
The available actions are:

     fail: squid return a ERR_GATEWAY_FAILURE error page
     bypass: the url is not rewritten.
     retry: retry the request to helper
     use_configured_response: use a response which can be configured using the
         the response= option

Example usage:
    url_rewrite_timeout 30 seconds \
        on_timeout=use_configured_response \
        response="OK url=http://example.com/support"

This is a Measurement Factory project

HTTP/2: Support 421 (Misdirected Request) status code

Add support for status 421 responses. Squid is forbidden from generating
messages with this status in its role as proxy, however we expect to see
it being produced in responses by HTTP/2 servers in traffic from HTTP
2.0<->1.1 gateways.

We also MAY emit it on future reverse-proxy responses in the event of a
ERR_CANNOT_FORWARD message.

Bug 4135: Support \-escaped character in regex patterns

Squid cannot parse regex patterns as quoted strings since the pattern may
itself contain quote characters as part of the syntax.

Since we updated the squid.conf ConfigParser it is now possible to
handle regex patterns containing quoted-pair (\-escaped) characters
properly.

Add support for escaping by detecting the '\' characters as token
delimiters, and explicitly skipping the following character regardless
of whether it is a SP or not.

Escape detection is only added during parsing of regex tokens or
files listing regex patterns.

FTP FEAT error handling

Some FTP severs respond to a FEAT command with 5xx status code. Squid sends
an invalid response in these cases which can confuse the client.

This patch fixes Squid to always send a valid 211 reply to client which
lists at least the EPSV and EPRT ftp commands which supported by Squid
regardless of the origin server support.

This patch also fixes a memory leak when FEAT replies processed.

This is a Measurement Factory project

Add statistics couting for missing mem_obj (bug 4131)

Bug 4131: SIGSEGV at store.cc:962 content_length > store_maxobjsize

SourceFormat Enforcement

SourceLayout: shuffle memory pool allocators to mem/libmem.la

There are no logic changes in this patch.

* Some code is using the 'old' or internal pool allocation APIs
  directly. These have been marked with XXX for future logic
  changes to update.

* The memory pools API and MEMPROXY_CLASS() definition are now
  available through the mem/forward.h header file.

* Mem:: namespace has been added for library contents.

* MemAllocatorProxy class has been moved into Mem:: namespace
  and extracted from mem.cc but should only be used via the
  MEMPROXY_CLASS() macro.

* Extended the memory STUB file to define all mem/forward.h
  symbols and a few others needed currently by code using the
  older deprecated memory APIs.

Also, some time API functions exported by util.h instead of
SquidTime.h have been marked as needing work.

Bug 4148: external_acl_type header format does not accept the new libformat syntax

Bug 4033: Rebuild corrupted ssl_db/size file

The certificate db size file may become empty (for reasons beyond Squid
control such as server reboots, and possibly some unknown Squid bugs).
When it becomes empty, all ssl_crtd helpers (and then Squid) quit. This
change is required to make ssl_crtd more robust by recovering lost db
size information.

This patch:
 - Adds the "size" rebuild operation in CertificateDB and ssl_crtd
   daemon. Rebuild ssl_db/size file if it is empty:
     * Inside Ssl::CertificateDb::check method
     * When a CertificateDB operation try to read size from ssl_db/size file

 - If no fs_block_size parameter given for CertificateDB then consider a
   default value of 2048. Currently set to 0, which is may cause segfault to
   ssl_crtd daemon.

This is a Measurement Factory project

Revert splay-specific pieces of rev.13720

As suspected several important pieces of code depend on the SplayNode
this pointer being NUL at times.

Revert r12298 workaround for Bug 3613

Now that Squid is starting to utilize C++11 features we need to enable
them in all compilers. If the problem still exists then we need to find
a better solution to bug 3613.

Cleanup: remove invalid comparisons of 'this' with NULL

... which are invalid in C++ and always equate (this!=NULL) to true.

Clang 3.5 refuses to build code containing these invalid comparisons.

HTCP: fix memory initialization errors

memset() used to initialize HTCP objects made sense when they were
structs. But now they are classes proper constructors need to be used
to avoid memset() erasing vtable and other important areas. It also
helps to reduce code and improve performance during init a tiny bit.

memset() errors found by Clang 3.5

Fix typo in rev.13711

Bug 4146: workaround SSL Bump crash on Linux

Fix build errors on CentOS 7 in rev.13712

It turns out the RHEL and CentOS 7 STL definition does not quite match
up to official documentation of what their GCC version supports. In
particular the use of const_iterator on std::list containers.

Use auto instead of an explicit iterator. Allowing the compiler to select
whichever iterator is available and will work.

Bug 3902: Docs: external_acl_type cache hash key

Bug 4145: squid_endian.h compile errors with OpenBSD 5.6

* Remove unused big-endian macros.

* Stop making assumptions about little-endian symbols existence. Test
  each one explicitly and define only as necessary.

* Add support for systems with endian.h available.

* Move Endian hacks to libntlmauth which is the only code using them.
  Also, build only if NTLM is required.