Add debugs for loading the system CA set

Use default copy constructor and assignment

This fixes one bug in PeerOptions::flags handling

Polishing updates from audit

Update stub_libsecurity after Security::PeerOptions changes

Make ParsedOptions a std::shared_ptr to reduce re-parsing

Initialize options= in all cases

Since we now have long and ptr in different builds we cannot rely on the
default constructor always being correct.

Adjust the parseOptions() method to handle empty options= silently for
OpenSSL buidls (like GnutTLS builds did already) and use it to initialize
the parsedOptions member.

Rename SessionClose to SessionSendGoodbye

... and remove FD related things, which are no longer needed

Update to options= after audit

Reduce debugs in tls_write_method

Reduce debugs in tls_read_method

Reset TLS session unconditionally on PeerConnector errors

The session state cleanup should be done regardless of library.

GnuTLS crash was the result of a bug elsewhere which is now fixed. So
remove mention of that.

Fix SessionClose when OpenSSl and GnuTLS are both linked

Fix compile error after debugs shuffle

Fix spelling error and polish some debugs

Enable https:// URLs

Move handshaek IN/OUT debug to avoid 'Error' wording

Make GnuTLS handshake non-blocking

Improve debugs during GnuTLS handshake and fix read/write scheduling

Fix inverted BIO enum server/client values

Add debugs for session info after each handshake attempt

Merge from v5

Set default timeout on TLS handshake to servers

Fix ParsedOptionsPointer for OpenSSL

Fix compile error after merge

Fix missing helper.cc callback check

Calls to cbdataReferenceValidDone() need to be checked for true result
before calling the callback. The pointer may be NULL.

 Detected by Coverity Scan. Issue 1398569.

Merged from v5 r15006

SourceFormat Enforcement

External ACL helpers error handling & caching

The helper protocol for external ACLs [1] defines three possible return values:
   OK - Success. ACL test matches.
   ERR - Success. ACL test fails to match.
   BH - Failure. The helper encountered a problem.

The external acl helpers distributed with squid currently doesn't follow this
definition. For example, upon connection error, ERR is returned:

   $ ext_ldap_group_acl ... -d
   ext_ldap_group_acl: WARNING: could not bind to binddn 'Can't contact LDAP server'
   ERR

 This is does not allow to distinguish "no match" and "error" either and
therefore negative caches "ERR", also in the case of an error.

Moreover there are multiple problems inside squid when trying to handle BH
responses:
  - Squid-5 and squid-4 retries requests for BH responses but crashes after the
    maximum retry number (currently 2) is reached.
  - If an external acl helper return always BH (eg because the LDAP server is
    down) squid sends infinitely new request to the helper.

This is a Measurement Factory project

Reduce crashes due to unexpected ClientHttpRequest termination.

The underlying problem has been known since r13480: If a
ClientHttpRequest job ends without Http::Stream (and ConnStateData)
knowledge, then Squid is likely to segfault or assert. This patch does
not resolve the underlying issue (a proper fix would require
architectural changes in a consensus-lacking area) but makes an
unexpected ClientHttpRequest job destruction less likely.

BodyPipe and Adaptation-related exceptions are the major causes of
unexpected ClientHttpRequest job destruction. This patch handles them by
closing the client connection. Connection closure should trigger an
orderly top-down cleanup, including Http::Stream, ConnStateData, and
ClientHttpRequest destruction.

If there is no connection to close, then the exception is essentially
ignored with a level-1 error message disclosing the problem. The side
effects of ignoring such exceptions are unknown, but without a client
connection, it is our hope that they would be relatively benign.

This is a Measurement Factory project.

Docs: update some memory API details

Using text from the ProgrammingGuide/MemPools wiki page (now removed in favour of doxygen)

Cleanup: remove --disable-inline and related macros

With the .cci files gone there is no longer any use of the SQUID_INLINE
macro. Which in turn removes the need for _USE_INLINE_ macro and then the
--disable-inline build option which sets that.

The relevant compiler specific *FLAGS option should be used instead to
disable compiler inlining functions without special macro usage.

Cleanup: remove client_side_request.cci file

... moving the methods to  client_side_request.h/cc.

Cleanup: remove ip/Qos.cci file

... moving its content to ip/QosConfig.cc

Also, move the stub file to src/tests/stub_libip.cc and update to use
tests/STUB.h interface.

Cleanup: Remove HttpHdrCc.cci file

Moving the simple methods inline to the HttpHdrCc.h and more complicated
setter to HttpHdrCc.cc.

Fix typo in rev.14997

Make CONNECT ACL a built-in default

This really should have been done earlier when the other fixed-value ACLs were made built-in

Cleanup: remove String.cci file

Moving the simple methods inline to the SquidString.h and more
complicated others to String.cc

Add several missing copyright blurbs

Fix missing library in rev.14993

Tests: shuffle libmem Pool unit test to src/

Refactor for cppunit framework instead of custom code.

Duplicate the basic create-free-realloc cycle test for both Pool and MemProxy
but do not add missing tests for other API calls at this time.

Cleanup: remove some unnecessary splay.h includes

SourceFormat Enforcement

SourceFormat Enforcement

Bug 4599 pt6: Restrict safe renegotiation disable to OpenSSL 1.0 and older

From OpenSSL 1.1.0 documentation:
 "OpenSSL always attempts to use secure renegotiation as described in RFC5746.
  This counters the prefix attack described in CVE-2009-3555 and elsewhere."

SourceFormat Enforcement

Bug 4599 pt5: various OpenSSL-1.x API compatibility fixes

Bug 4599 pt4: Disable RSA weak ephemeral key exchange for OpenSSL-1.1

From OpenSSL  changeLog:
     Remove support for all 40 and 56 bit ciphers.  This includes all the export
     ciphers who are no longer supported and drops support the ephemeral RSA key
     exchange. The LOW ciphers currently doesn't have any ciphers in it.
     [Kurt Roeckx]

OpenSSL 1.1.0  drops EXPORT ciphers and ephemeral RSA. The ssl_temp_rsa_cb used
here. The OpenSSL manual for this function is:
  https://wiki.openssl.org/index.php/Manual:SSL_CTX_set_tmp_rsa_callback(3)

Detect HTTP header ACL issues

rep_header and req_header ACL types cannot match multiple different
headers in one test (unlike Squid-2 appears to have done). Produce
an ERROR and ignore the extra line(s) instead of silently changing
all the previous regex to match the second header name.

Also detect and ERROR when header name is missing entirely. Ignore
these lines instead of asserting.

Fix some GnuTLS session errors

- priority strings not set on session

- FD for I/O not set into session

GnuTLS support for options= parameters

Use new Pointer to store PeerOptions::parsedOptions.

Migrate OpenSSL options= logic into libsecurity

Also, some API polishing for PeerOptions API.

More debugs for PeerConnector

Add ParsedOptionsPointer for library representation of 'options=' parameters

Merged from v5 r14984

Bug 3940 pt2: Make 'cache deny' do what is documented

Instead of overriding whatever cacheability was previously set to
(including changing non-cacheables to be cacheable) actually
prevent both cache read and write.

Cleanup: Refactor libauth Config object(s)

Refactoring the Auth::Config objects to get v5 building again.

The object storing auth_param settings is renamed to SchemeConfig.

A new Auth::Config object is added. The objects holding auth_param,
auth_schemes and other authenticate_* directives settings are stored
there instead of just auth_params.

Lots of outdated doxygen docs that have more up to date copies elsewhere
are removed. The "\ingroup AuthAPI" are left for now since some auth
things are not yet in the Auth:: namespace, but other auth related
groups are dropped completely.

Code parsing and dumping auth_param lines has been de-duplicated. Along
with the keep_alive and utf8 settings, which are shared by multiple
schemes. This allows dropping several virtual methods from NTLM and
Negotiate scheme objects.

An auth/forward.h file is added for predefines. Some initial Auth::
symbols are listed there. It is not complete, but others can be added as
needed later.

Some unnecessary includes have been removed. There are probably more. I
just did the obvious ones related to the new auth/forward.h and
auth/Config.h files at this time.

Updates after audit

Fix shadowing of member 'type' in SchemeConfig

De-duplicate shared auth parameters keep_alive and utf8

De-duplicate parsing of 'auth_param ... program' lines

Merged from 5.0.0-r14982

Fix GCC6: unused local variable 'weInitiatedThisClosure'

Remove some unnecessary nullptr on changed lines

Shuffle other auth config options to Auth::Config

Also, remove some unnecessary includes

Merge from 5.0.0 r14981

Run source maintenance

basic_sasl_auth: Add copyright blurb to SASL config file

Remove some extra includes, predefines and docs

Drop AuthNegotiateAPI and AuthNegotiateInternal doxygen groups

Drop old Basic Authenticatio docs

The wiki these days contains a more detailed and correct description of
how Basic auth helpers work in Squid. This old document does not even
describe how the code works, so is no longer useful.

Remove doxygen 'ingroup AuthSchemeAPI'

Shuffle auth_schemes config objects into Auth::Config

Also, move the directive definition down into "Access Controls" section
of squid.conf to avoid dependency issues with acl directive definitions
being done too late.

Fix error: unused variable 'weInitiatedThisClosure'

Bump changelog dates

Do not share private responses with collapsed client(s).

This excessive sharing problem with collapsed forwarding code has
several layers. In most cases, the core CF code does not share
uncachable or private response with collapsed clients because of the
refreshCheckHTTP() check. However, some responses might not be subject
to that (or equivalent) check. More importantly, collapsed revalidation
code does not check its responses at all and, hence, easily shares
private responses.

This short-term fix incorrectly assumes that an entry may become private
(KEY_PRIVATE) only when it cannot be shared among multiple clients
(e.g., because of a Cache-Control:private response header). However,
there are a few other cases when an entry becomes private. One of them
is a DISK_NO_SPACE_LEFT error inside storeSwapOutFileClosed() where
StoreEntry::releaseRequest() sets KEY_PRIVATE for a sharable entry [that
may still be perfectly preserved in the memory cache]. Consequently, the
short-term fix reduces CF effectiveness. The extent of this reduction is
probably environment-dependent.

Also: do not re-use SET_COOKIE headers for collapsed revalidation slaves,
i.e., adhere to the same requirement as for regular response HITs.

Docs: add release notes for auth_schemes

Prep for 4.0.17 and 3.5.23

Add missing dependecies for squid.conf AuthSchemes objects

Add new Auth::Config class for libauth directives

Also, reduce some for loops using C++11 range-for.

Refactor libauth Config object(s)

* Rename auth_param config object to Auth::SchemeConfig
 + update filename to match

* Add auth/forward.h file for predefines and namespace docs

* Move auth_schemes config object to Auth:: namespace

Bug 2258 pt2: bypassing cache but not destroying cache entry

author: Eduard Bagdasaryan <eduard.bagdasaryan@measurement-factory.com>
A typo fix for r14973 revealed by Jenkins.

Should use 'ConfigParser::LastTokenWasQuoted()' instead of
'ConfigParser::LastTokenWasQuoted'.

SourceFormat Enforcement

Added auth_schemes to control schemes presence and order in 401s/407s.

The new squid.conf directive may be used to customize authentication
schemes presence and order in Squid's HTTP 401 (Unauthorized) and 407
(Proxy Authentication Required) responses. The defaults remain the same.

SourceFormat Enforcement

Cleanup: Refactor custom ACL-controlled actions configuration code.

* Reduced parsing code duplication by adding ParseAclWithAction().

* Used functors for generic action-to-string conversions. It is possible
  now to perform such conversions providing lambda expressions.

* Used vectors of strings instead of C-style arrays for storing
  conversion tables and check against bounds with vector::at().

SourceFormat Enforcement

Bug 4169: HIT marked as MISS when If-None-Match does not match

HTTP/1.1: Add registered codes entry for new 103 (Early Hints) status code

Bug 3940 (partial): hostHeaderVerify failures MISS when they should be HIT

This fixes the critical condition leading to the HIT. However not all
code is correctly setting flags.noCache and flags.cacheable (see bugzilla).
So there may be other fixes needed after this.

Bug 2258: bypassing cache but not destroying cache entry

Bug 4406: SIGSEV in TunnelStateData::handleConnectResponse() during reconfigure and restart

Fix some build errors

Merged from v5.0.0-r14964

Implement GnuTLS session creation

Convert SessionPointer to use std::shared_ptr so that gnuts_deinit() can
be run at the correct time.

Also, improve debugging in PeerConnector and BlindPeerConnector negotiation
methods.

Also, add error handling for TLS connection handshake failures.

Support IPv6 NAT with PF for NetBSD and FreeBSD

Remove use of SSL* raw-pointer from Ssl::CertValidationRequest

Merge v5 r14962

Fix compile error after rev.14960

Cleanup: remove raw-pointer SSL* from ServerBump class API

SourceFormat Enforcement