Combine the https_port list internal state with http_port state.

These two lists have been near identical for some time now and we can
easily reduce code by simply merging the two and using either the
secure.encryptTransport flag or the transport.protocol type to select
the remaining non-identical code paths.

Fix delay_parameters documentation

Error on missing Heimdal libraries only if Heimdal was required

Stop using dangling pointers for eCAP-set custom HTTP reason phrases.

Squid still does not support [external] custom reason phrases and,
hence, cannot reliably support eCAP API that sets the reason phrase to
the one supplied by the adapter.  This and r14398 changes fix [known]
regression bugs introduced by r12728 ("SourceLayout").

Fixed status code-based HTTP reason phrase for eCAP-generated messages.

Calling .reason() on a not-yet-set theMessage.sline object resulted in
"Init" status reason phrase for all from-scratch (i.e., not cloned)
eCAP-made HTTP responses. This fix lets Squid compute the reason phrase
based on the status code, just like Squid does for forwarded responses
(IIRC).

Updated stale "Ssl" text to make the comment match the code again.

Bug 4372: missing template files

The ERR_SECURE_ACCEPT_FAIL and ERR_REQUEST_START_TIMEOUT errors apears that
have missing templates on squid startup.
Actually these errors does not produce any error page. Move them under the
TCP_RESET error in err_type.h to mark them as optional.

This is a Measurement Factory project

refresh_pattern regression was in 3.3, not 4.0

Bug 4228: links with krb5 libs despite --without options

ext_kerberos_ldap_group_acl: Add missing workarounds for Heimdal Kerberos

error_message() function is not always provided.

Fix cache_peer forceddomain= in CONNECT

SourceFormat Enforcement

Handshake Problem during Renegotiation

Here is what happens:

   - Squid receives TLS Hello from the client (TCP connection A).
   - Squid successfully negotiates an TLS connection with the origin server
     (TCP connection B).
   - Squid successfully negotiates an TLS connection with the client
     (TCP connection A).
   - Squid marks connection B as "idle" and waits an HTTP request from
     connection A.
   - The origin server continues talking to Squid (TCP connection B).
     Squid detects a network read on an idle connection and closes TCP
     connection B (and then the associated TCP connection A as well).

This patch:
   - When squid detects a network read on server idle connection do an
     SSL_read to:
       a) see if application data received from server and abort in this case
       b) detect possible TLS error, or TLS shutdown message from server
       c) or ignore if only TLS protocol related packets received.

This is a Measurement Factory project

Quieten ALE missing messages

Fix compile erorr on clang undefined reference to '__atomic_load_8'

Later versions of GCC on some architectures push atomic functions
out into a separate atomic library. Older versions of clang do not
handle that automatically and require the library to be linked
explicitly.

Add a check for when this is required and set ATOMICLIB if needed.

Bug 4371: compile errors: no such file or directory: DiskIO/*/*DiskIOModule.o

SourceFormat Enforcement

Split core Server operations from ConnStateData

This improves the servers/libserver.la class hierarchy in
preparation for HTTP/2 and other non-HTTP/1.1 protocol support.

The basic I/O functionality of ConnStateData is moved to Server
class and a set of virtual methods designed to allow for child
class implementation of data processing operations.

No logic is changed in this patch, just symbol renaming and
moving of method logics as-is into libservers.la

Fix SSL_get_certificate() problem detection

The autoconf check for SQUID_SSLGETCERTIFICATE_BUGGY fails on ssl library
builds which don't include SSLv3; as a result of the autoconf decision
this can end up triggering the assert(0) in Ssl::verifySslCertificate()
in ssl/support.cc (line 1712 in 3.5.11).

SourceFormat Enforcement

Allow unlimited LDAP search filter for ext_ldap_group_acl helper.

The LDAP search filter in ext_ldap_group_acl is limited to 256 characters.
In some environments the user DN or group filter can be larger than this
limitation.
This patch uses dynamic allocated buffers for LDAP search filters.

This is a Measurement Factory project

Polished cache_peer_access and related documentation.

Admins complained that it is not clear how cache_peer_access is
evaluated and how it interacts with cache peer selection algorithms.

Bug 4374: refresh_pattern config parser (%)

Make FATAL messages have a consistent prefix

Bug 4373: assertion failed: client_side_request.cc:1709: 'calloutContext->redirect_state == REDIRECT_NONE'

4.0.2

Prep for 4.0.2 and 3.5.11

Fix shutdown aborts after rev.14374

Changes to signal processing introduced by rev.14374 causse Squid to
ignore repeated signals.

However, repeated shutdown signals actually has meaning and need to abort
the shutdown delay timeout. So we need to allow those through to the
shutdown signal handler.

Bug 3574: To avoid crashes, prohibit reconfiguration during shutdown.

Also consolidated and polished signal action handling code:

1. For any executed action X, clear do_X at the beginning of action X
   code because once we start X, we should accept/queue more X
   requests (or inform the admin if we reject them).

2. Delay any action X requested during startup or reconfiguration
   because the latter two actions modify global state that X depends
   on. Inform the admin that the requested action is being delayed.

3. Cancel any action X requested during shutdown. We cannot run X
   during shutdown because shutdown modifies global state that X
   depends on, and we never come back from shutdown so there is no
   point in delaying X. Inform the admin that the requested action is
   canceled.

The child signal handling action is exempt from rules #2 and #3
because its code does not depend on Squid state.

Repeated failed attempts to fix crashes related to various overlapping
actions confirm that this code is a lot trickier than it looks. This
change introduces a more systematic/comprehensive approach to
resolving associated conflicts compared to previous ad hoc attempts.

These changes were not inspired by bug 3574 but they provide a
more comprehensive version of the earlier bug 3574 fix (r14354).

Add Locker friend class to SBuf for protection against memory issues

When appending or otherwise modifying an SBuf based on a SBuf& or char*
the parameter used may be pointing at the MemBlob memory buffer
indirectly without holding a separate ref-count lock to it.

If 'this' SBuf then requires reallocation for any reason the char* or
buffer pointer taken from the SBuf&, which is being manipulated may in
fact be left pointing at invalid memory.

Utilize a private Locker class to create relatively cheap ref-count locks
on the store_ MemBlob when this problem MAY occur. This Locker needs to
be used on all non-const SBuf methods accepting char* or SBuf& argument.

Audit updates

Add Locker friend class to SBuf for protection against memory issues

When appending or otherwise modifying an SBuf based on a SBuf& or char*
the parameter used may be pointing at the MemBlob memory buffer
indirectly without holding a separate ref-count lock to it.

If 'this' SBuf then requires reallocation for any reason the char* or
buffer pointer taken from the SBuf&, which is being manipulated may in
fact be left pointing at invalid memory.

Utilize a private Locker class to create relatively cheap ref-count locks
on the store_ MemBlob when this problem MAY occur. This Locker needs to
be used on all non-const SBuf methods accepting char* or SBuf& argument.

Migrate squidaio_ctrl_t to MEMPROXY_CLASS

Expose Pool use count in Mem::AllocatorProxy (and MEMPROXY_CLASS)

Bug 4359: assertion failure 'Comm::IsConnOpen(conn)' within ConnStateData::requestTimeout

Bug 4021: ext_user_regex does exact match

SourceFormat Enforcement

Connection stats, including %<lp, missing for persistent connections.

The code reusing a pconn was missing a hier.note() call, resulting in 0
values logged for %<lp (local port number of the last server or peer
connection) and probably other missing stats.

Also refactored poorly copied statistics collection code to remove
duplication and always update to-server connection stats when the actual
connection becomes available.

Positive side effect: Upon setsockopt(2) failures, the tos and nfmark
fields of a pinned connection were set to the desired (but not actually
applied) values, while persistent connection fields were left intact
(and, hence, stale). Both fields are now reset to zero on failures, for
both types of connections.

Fix incorrect authentication headers on cache digest requests

  login=NEGOTIATE can have an additional parameter specified,
   like login=NEGOTIATE:xxx

One test added in rev.12714 does not take this case into account and it
will send a garbage "login:password" (== "NEGOTIATE:xxx") to its peer
when requesting a digest.

This is a workaround patch to remove the broken Authentication headers
entirely. Support for Negotiate to the peer on these digest requests is
still needed.

Bug 4281: copy-paste typos in src/tools.cc

Bug 4188: Bumping intercepted SSL connections does not work on Solaris

Avoid errors when parsing manager ACL in old squid.conf

ACL manager is now a built-in definition and has a different type. That
has been causing FATAL errors when parsing old squid.conf. We can be
nicer and just ignore the obsolete config lines.

Bug 4356: segmentation fault using proxy_auth ACL

Fixed chunked parsing by mimicking psChunkEnd state removed in trunk r14108.

... or, more precisely, in r13994.1.4 (parser-ng-chunked: re-write parse
sequence using ParseState stages instead of Step method pointers). Before
parser-ng-chunked, reaching zero theLeftBodySize would switch the chunk
parser to the psChunkEnd state. It was possible to pause parsing in that
state and resume it when more data becomes available, including the CRLF that
follows the chunk data. After parser-ng-chunked, the state remains
HTTP_PARSE_CHUNK which implies positive theLeftBodySize.

Re-assign delay pools based on HTTP reply details

Bug 4351: compile errors when authentication modules disabled

Authentication modules can be selectively disabled. This means the module
header files need to be wrapped with disable macros, and also code that
depends on module internal definitions.

Bug 4352: compile errors in OS X 10.11

1xx response terminates Squid-to-server connection, breaking many PUTs.

Since trunk revision 13688.1.6 (Use Http1::ResponseParser to process
HTTP server responses), HttpStateData::processReplyHeader() sets
flags.headers_parsed after successfully parsing a 1xx control message.
The rest of the code interprets that flag as "parsed the final response"
and throws a !flags.headers_parsed exception because we have not parsed
the final (non-1xx) response yet. The exception kills virtually any PUT
or similar transaction that triggers an HTTP 100 (Continue) response
from the origin server.

This fix restores the original position of the flags.headers_parsed
update.

4.0.1

Bug 4279: No response from proxy for FTP-download of non-existing file

Bug 3574: crashes on reconfigure and startup

When Squid receives a reconfigure signal before its signal handler
has been registered on startup it will crash with unhandled signal
exceptions. This can be triggered on system boot when a resolv.conf
alteration signal wins a race with the daemon service initialization.

 Register the reconfigure signal handler early and ignoring signals
 until initial squid.conf load has completed.

When Squid receives a reconfigure signal while it is already in the
process of reconfiguring, the two async sequences can interfere and
result in confusing fatal error or crashes.
 Only allowing one reconfigure sequence to be initiated at a time.

Also, if shutdown signal has been received while waiting for a
reconfigure to finish, let shutdown take precedence over any pending
reconfigure repeats.

 Based on work by Clint Byrum and D J Gardner, Ubuntu

SourceFormat Enforcement

Remove unnecessary sub-class AccessLogEntry::Private

Use an accessor to locate the appropriate method string to display in a
consistent way instead.

Support logformat %macros in external_acl_type format

Update the external_acl_type helper interface to use libformat and thus
make any logformat token valid in its format parameter field.

As a result much of the logic surrounding format code parsing, display
and helper query generation has been completely dropped. What remains is
a basic parse loop handling backward compatibility for the unusual
%CERT_* token syntax, space delimiter and field default encodings.

Extensions to logformat resulting from the merger:

* adds \-escape encoding of output fields

* allows {arg} field to be placed before or after the format code.

* extended to accept the old external_acl_type %macros. But not
  documented, these are deprecated and only for backward compatibility.

* extended to support outputting formats without a format-name prefix
  as was required by the original logformat config lines.

The major side effect of this change is that these ACLs now require
AccessLogEntry to be filled out with state data, rather than just the
ACLChecklist object members.

The requires*() mechanism of ACLChecklist has been extended to catch
some cases resulting from missing the ALE entirely. But it cannot catch
the more subtle problem of data members inside the ALE being unset.
To try and catch those a syncAle() mechanism has been added that fills
out missing ALE members and prints out debug warnings about the action.

TLS: shuffle EECDH configuration to libsecurity

* add class ServerOptions to libsecurity to manage server specific
  configuration options. Based on class PeerOptions.

* shuffle the DH config parse and dump logics to ServerOptions

* shuffle the DH params pre-loading logic to ServerOptions

* add configuration warning when tls-dh= is used and overrides
  dhparams= logacy configuration. Also, auto-upgrade the config
  settings when dhparams= is dumped in mgr:config report.

Shuffle DH params parsing and pre-loading to libsecurity

Docs: release notes update

Bug 4347: compile errors with LibreSSL 2.3

Docs: update https_port to reference http_port

Shuffle tls-dh= options to libsecurity

* create class ServerOptions derived from class PeerOptions to hold
  server-specific configuration settings.

* split DH, ECDH, and DH params settings during configuration instead of
  on every context initialization.

Merge from trunk rev.14346

Merge from trunk rev.14346

Fix build error with IDENT

Add tls-no-default-ca option to replace sslflags=NO_DEFAULT_CA

Shuffle the cafile= context logics to libsecurity class PeerOptions

* Rename the parameter tls-cafile= and allow multiple cafile= entries to
  be used in squid.conf.

* Document the capath= option as only supported by OpenSSL and LibreSSL.

* Add GnuTLS support for CA loading.
  Although at this point GnuTLS contexts are not yet created.

Docs: release notes updates

fix whitespace changes

Add syncAle() to reduce external ACL format transition problems

%ssl::<cert_errors logformat code

The new %ssl::<cert_errors logformat code lists server certificate
validation errors detected by Squid (including OpenSSL and the
certificate validation helper components). The errors are listed in
the discovery order. By default, the error codes are separated by ':'.
Custom separators are also supported. For example:

  %{;}ssl::<cert_errors

This is a Measurement Factory project.

Set default pid_filename based on service name

This makes pid_filename directive no longer need to be set explicitly to
the service name in multi-tenant installations. Unless the default value
has been replaced with --with-pidfile=Foo it will use the service name
as the .pid filename.

Minor edits after audit

Merge from trunk

Merge from trunk

Update release notes

Shuffle CA verification config to libsecurity

Add shell slash-escaping to libformat quoting types

Also, replace external_acl::Quoting with Format::Quoting

document ALE new members

Update squid.conf text for external_acl_type format

Cleanup various spelling errors

URL-encode the implicit %DATA appended to helper format

There is nothing we can easily do about %DATA explicitly used inside the
format. It will by non-encoded unless specific encoding is written in the
format config, according to logformat design.

IDENT is optional

De-duplicate %DATA string creation

Fix potential memory leak on GopherStateData constructor errors

In the unusual event that the GopherStateData object constructor fails
it is possible that the destructor gets called without having gone
through the deleteThis() and swangSong() dance. Since the constructor
allocates memory buffer we need to clean that up.

 Detected by Coverity Scan. Issue 1318022

negotiate_wrapper: fix minor memory leak

 Detected by Coverity Scan. Issue 1324564

negotiate_wrapper: Fix bad pointer comparisons in rev.14290

 Detected by Coverity Scan. Issues 1324560, 1324561, 1324562, 1324563

Prep for 3.5.10

Bug 4329: GCC 5.2 no known conversion for argument

Merged from trunk rev.14335

Bug 4190: assertion 'hash_remove_link' from Auth::User::cacheCleanup

The hash_link based cache depends on raw-ptr key comparisons to store
hash entries. This does not work at all well with SBuf as the key,
since the backing MemBlob behind SBuf can change its memory location.

* replace the implementation of User credentials caching with an STL
  based container class that can handle SBuf.

* revert the global Auth::User cache design to per-scheme caches
  which get combined only when reporting statistics.

* add a RunnersRegistry helper class to control Squid startup,
  reconfigure, and shutdown events activity in regards to the caches.

* suppress useless cache garbage collection events when auth has no
  credentials to cleanup.

* make the cache key dynamic at the caller codes discretion.

SourceFormat Enforcement

Convert htcpDetail to MEMPROXY_CLASS

Align behavior of MEMPROXY_CLASS's operator delete with ::delete on nullptr

FilledCheclist::rfc931 is an array not a ptr

Fix values 'LFT_EXT_ACL_CLIENT_EUI48' and 'LFT_EXT_ACL_CLIENT_EUI64' not handled in switch

Polish debugs

Merged from trunk rev.14331

do not bypass hdrCacheInit() when there are no mime headers

Restore implicit %DATA behaviour

Initialize helper query buffer, and SP-delimit tokens

SourceFormat Enforcement