Docs: Update http(s)_port protocol= details

Update the http(s)_port directives protocol= parameter

... to use AnyP::ProtocolVersion for internal storage instead of opaque
string text.

This both limits the possible parameter values to one of HTTP, HTTP/1.1,
HTTPS or HTTPS/1.1 and ensures that URLs generated from that protocol
parameter value are http:// and https:// URL.
Other values will cause Squid to abort.

Release Notes: fix typo in ./configure options

Make GCC 4.8 happy with libip code

Invalid casting seems to confuse the ABI generator and results in
illegal instruction faults when the unit tests is run.
The class API is already const-correct so there is no need for the cast
to occur, and it should not be done on a non-pointer type anyway.

Also, fixes a missing "struct" type identifier found along the way.

Fix assert with side effects in ServerStateData::handleAdaptedHeader

setConsumerIfNotLate conditionally schedules some async calls, so the
call definitely shouldn't be removed by the precompiler.

Fix mgr:info report 'Largest file desc currently in use' with SMP

The biggest FD in use should not be the sum of biggest FD in each worker,
but the maximum across all workers.

Branch 3.4.0.0 and disable snapshots 3.1 and 3.2

Release Notes: fix typo

Release notes for multicast DNS support

Release notes for rev.12945

Fix return value of ConfigParser::strtokFile()

Release Notes: document squid.conf quoting changes

Release Notes: update squid.conf directive status

Quoted values in squid.conf

This patch :
  - adds support for quoted values in the entire squid.conf
  - warn about or prohibit values that can no longer be interpreted as
    either quoted strings or simple tokens
  - support parameters("/path/to/file.name") syntax to load external
    configuration files
  - Checks if macros allowed in "double quoted" values.
  - replaces the strtok() calls with calls to the new ConfigParser::NextToken()
  - modify strtokFile to use new ConfigParser::NextToken()
  - Add the new configuration_includes_quoted_values configuration option, to
    control the squid parser behaviour. If set to on Squid will recognize each
    "quoted string" after a configuration directive as a single parameter

This is a Measurement Factory project

Bug 3879: assertion failed ConnStateData::validatePinnedConnection

Documented space() methods to explain why bugs like 3869 keep happening.

Hopefully we will not repeat these mistakes with StringNG.

SourceFormat Enforcement

Log TOS and Netfilter marks set by Squid

This patch add new logformat codes to log TOS/DSCP values and netfilter marks
for client and server connections. If multiple outgoing connections were used,
the last used connection value logged.
The values printed in hexadecimal form.
The logformat codes are:
   %>tos    Client connection tos mark set by Squid
   %<tos    Server connection tos mark set by Squid
   %>nfmark Client connection netfilter mark set by Squid
   %<nfmark Server connection netfilter mark set by Squid

This patch also modify qos related code to set Comm::Connection::nfmark and
Comm::Connection::tos members in Ip::Qos::setSockNfmark and Ip::Qos::setSockTos
methods. The Comm::Connection members are now set only if the tos and nfmark
set successfuly.

This is a Measurement Factory project

Bug 2287: Better fix for unsupported HTP version handling

RFC 2616 section 10.5.6 is more specifically about MAJOR versions.
Remove the criterion limiting 1.x minor version numbers.

Reload into If-None-Match

This patch sends an If-None-Match  request, when we need to re-validate
if a cached object which has a strong ETag is still valid.

This is also done in the cases an HTTP client request contains HTTP
headers prohibiting a from-cache response (i.e., a "reload" request).
The use of If-None-Match request in this context violates RFC 2616 and
requires using reload-into-ims option within refresh_pattern squid.conf
directive.

The exact definition of a "reload request" and the adjustment/removal of
"reload" headers is the same as currently used for reload-into-ims
option support. This patch is not modifying that code/logic, just adding
an If-None-Match header in addition to the IMS header that Squid already
adds.

This is a Measurement Factory Project

Fix stupid typo in rev.12941

Fix external ACL user:pass detail logging after adaptation

When a request is successfully adapted, the external ACL username and
password are now inherited with this patch. This means the
LFT_USER_NAME log token can display the username from an external ACL
if available, for adapted requests.

The HttpRequest will inherit the password for good measure as well -
while none too useful, it seems strange to inherit the username but
not the password.

Fix assert() with side effects

assert() may be completely removed by precompiler when optimizing. Such
that the code conditional never gets run.

Prep for 3.3.8 and 3.2.13

Better handling of strange port values in Host:

We can do better than just producing errors about invalid port details
and treatign it as port-0.
We can instead undo the port separation and pass it through as part of
the host name to be verified with the default port number properly
assumed.

Bug 3869: assertion failed: MemBuf.cc:272: size < capacity

Prep for 3.2.12 and 3.3.7

Protect against buffer overrun in DNS query generation

see SQUID-2013:2.

This bug has been present as long as the internal DNS component however
most code reaching this point is passing through URL validation first.
With Squid-3.2 Host header verification using DNS directly we may have
problems.

SourceFormat Enforcement

Release Notes: more 3.4 documentation

Add storeid_file_rewrite helper

Based on work by Eliezer Croitoru <eliezer@ngtech.co.il>

This program acts as a Store-ID helper program, rewriting URLs passed
by Squid into storage-ids that can be used to achieve better caching
for websites that use different URLs for the same content.

It takes a text file with two tab separated columns.
 Column 1: Regular expression to match against the URL
 Column 2: Rewrite rule to generate a Store-ID

Rewrite rules are matched in the same order as they appear in the file.
So for best performance, sort it in order of frequency of occurrence.

Support IPv6 NAT interception on Linux

NAT support has been included for IPv6 in Linux 3.7 (along with
REDIRECT/DNAT rules), as well as IP6T_SO_ORIGINAL_DST in Linux 3.8.
Add support for transparent proxies over IPv6.

There is a bug in linux/netfilter_ipv6/ip6_tables.h on C++ compilers,
the bug report and patch to fix it can be found at
  https://lkml.org/lkml/2012/9/30/146.
It is only used for the constant IP6T_SO_ORIGINAL_DST. We attempt to use
the official header whenever possible but if it is detected missing or
broken we define our own version of the option.

IPv6 is now permitted on any http_port or https_port in squid.conf
however on older Linux systems and Unix systems without the required NAT
support Squid will fail when accepting the traffic.

Also, this removes the blocker checks preventing BSD systems using NAT
interception on IPv6 ports. Several version of PF have long since
supported IPv6 NAT operations although it was discouraged, such support
is not easily detected though so results WILL vary by operating system.

Bug 3876: mDNS support segfault when using --disable-ipv6

When IPv6 is disabled the mDNS IPv6 multicast group gets rejected by
idnsAddnameserver() resulting in invalid pointers for the remaining
mDNS NS setup operations.

Convert the hard-coded mDNS nameserver count to dynamic global count and
elide the relevant NS when IPv6 support disabled.

Cleanup: remove duplicate includes

Remove duplicate includes of system files already pulled in by compat/types.h

Release Notes: initial 3.4 changelog

Bootstrapped

Fix build on FreeBSD 9.x platform with clang

Add the "/usr/local/*" directories to include files  and libraries  search
paths, for clang compiler too.

Bug 3297: Fix openSSL related build failures

- The SSL_CTX_new in newer openSSL releases requires a const
'SSL_METHOD *' argument and in older releases requires non const
'SSL_METHD *' argument. Currently we are trying to identify openSSL
version using the OPENSSL_VERSION_NUMBER macro define but we are failing
to correctly identify all cases.

- sk_OPENSSL_PSTRING_value is buggy in early openSSL-1.0.0? releases
causing compile errors to squid.

This is a Measurement Factory project

Prep for 3.3.6

Bug 3762: remove bogus WARNING in cache.log

The warning is bogus for several reasons:
* it appears with memory-only cache configurations
* it only checks the size of first SwapDir (as seen in bug 3762)
* very large memory spaces are now possible which may make disk appear
  small by comparison.

Its usefulness in detecting memory and disk misconfigurations has long
been almosy nil. Removing this entirey to resolve the bogus noise in
the above mentinoed legitimate configurations.

Bug 3842: Segfault during connection close in ConnStateData::stopReceiving()

Cleanup: Remove last CBDATA_CLASS() macros

Update the final CBDATA_CLASS() macro usages to CBDATA_CLASS2() and
remove the now defunct macro.

Cleanup: update several CBDATA classes part 2

Removes several cbdataAlloc/cbdataFree by updating classes to use
CBDATA_CLASS2 macro..

Fix Ip::Address::operator =(sockaddr_storage)

The memcpy() for AF_INET6 is using a length of sizeof(sockaddr_in) instead
of sizeof(sockaddr_in6), so squid was trying to connect to truncatured IPv6
addresses with strange ports.

Redirector helpers related changes

- The redirectStateData handlers requires the HelperReply::Okay helper reply
  result code else will drop the helper reply, but we are always pass to them
  the HelperReply::Unknown reply result code

- The NotePairs are not support "=" operator. This patch replaces a such command
  using the NotePairs::append member, and also adds unimplemented private
  = operator and copy constructor to prevent developers from using it.

Integrate libTrie into squid build process

Merged from trunk

Cleanup: update several CBDATA classes

Removes several cbdataAlloc/cbdataFree by updating classes to use
CBDATA_CLASS2 macro..

Add Master Transaction class

... to store and propigate the shared state used end-to-end through Squid
for logging or server-side component input. This excludes Job and Call
pointers, but does include any 'factual' data regarding the traansaction.

Make sure %<tt includes all [failed] connection attempts.

The old code was using zero n_tries to detect the first connection attempt,
but n_tries is not incremented when we are opening a new connection rather
than reusing an old one. Perhaps n_tries should be updated differently as
well, but this change simply makes %<tt (hier.total_response_time) management
independent from that [complex] counter.

Sending root certificate for validation

This patch modify squid cert validation subsystem to sent to cert validator
helper the complete certificates chain, not only the certificates sent by
web server. This is may not be possible in all cases, for example  in cases
where the root certificate is not stored localy.

Also this patch includes a small optimization, it checks for domain mismatch
error only when the checked (current) certificate is the server certificate.

This is a Measurement Factory project

Deprecate log_icap and log_access configuration directives

The log_icap and log_access are not really needed to control requests logging.
Someone can use acls  with access_log and icap_log configuration directives
for this purpose.
Also currently the requests denied for logging using the log_access access list
will not be accounted for in performance counters.

This patch:
 - removes log_icap and log_access options from configuration file.
 - adds the "stats_collection" access list to control performane counters
   accounting.

This is a Measurement Factory project

SourceLayout: Add anyp/forward.h predefinition

Provide the AnyP:: namespace predefines to reduce dependencies.

Removed useless include compiler flags

Merged from trunk

LibTrie refactro: remove sub-configure invocation

Fix icap_log and log_icap acls checking

The HTTP reply related acls does not check for icap_log

Fix request headers logging for icap_log

The %http::>h does not print the original request headers but the adapted
request headers. Also the %http::>ha does not print adapted headers.

Fix wrong check inside Format::Format::assemble

We are checking for al->request but we are using al->adapted_request. This is
may cause crashes if the al->adapted_request is NULL.

Minor fix for cert validator helper messages parsing

Allow "host=" cert validation message parameter exist anywhere in the message.
Currently supposed to be always the first parameter of the message.

SourceFormat Enforcement

Support forwarding intercepted but not bumped connections to cache_peers.

When talking to a cache_peer (i.e., sending a CONNECT request before tunneling
the transaction), tunnel code is using a clever hack: Squid does not parse
the CONNECT response from peer but blindly forwards it to the client. This
works great and simplifies code a lot, except when the client connection
was intercepted and, hence, the client did not send a CONNECT request and
is not expecting a CONNECT response.

In those situations, we now accumulate, parse, and strip the peer CONNECT
response (or close connection on errors).

The existing tunnel I/O code is too simple to accommodate that task -- it
cannot accumulate read data (its I/O buffers work in lockstep fashion, writing
everything it reads before reading again). Instead of rewriting the entire
tunnel code to use more complex buffers, I added a temporary accumulation
buffer for the CONNECT response. That buffer is not allocated unless it is
needed and does not grow beyond SQUID_TCP_SO_RCVBUF size, just like the
simple buffers.

Bug 3722: Invalid markup in Armenian hy ERR_ONLY_IF_CACHED_MISS

Instruct clang not to treat unused command line arguments as errors

Release Notes: fix typo

Fix detection of concurrent ACLChecklist checks, avoiding !accessList asserts.

Concurrent checks are not supported, but it is possible for the same
ACLChecklist to be used for a sequence of checks, alternating fastCheck(void)
and fastCheck(list) calls. We needed a different/dedicated mechanism to detect
check concurrency (added ACLChecklist::occupied_), and we needed to preserve
(and then restore) pre-set accessList during fastCheck(list) checks.

Kill some old unused & unmaintained code for sending an error response

... on timeout before seeing a request

Ported from 2.7 rev.11516

SourceLayout: shuffle forward.h/cc to FwdState.h/cc

Our convenience libraries are using the filename forward.h for forward
declarations of symbols. This clashes with the old deprecated naming
of src/forward.h at times.

Rename the src/forward.* files to FwdState.* inline with current coding
guidelines and add a source maintenance check to avoid this problem in
future.

Fix configure with --disable-internal-dns compile error

dns.cc: In function variable_list* snmp_netDnsFn(variable_list*,s=nint*):
dns.cc:150:5: error: snmpDebugOid was not declared in this scope

SourceFormat Enforcement

Do not log bogus ERRORs when url_rewrite_access bypasses url_rewriter.

The code uses HelperReply() object as a fake reply when url_rewrite_access
ACLs did not match. That fake reply had Unknown result code, which made Squid
log ERRORs to cache.log. We now use Error result code, just like
store_id_access does.

TODO: Bypass the overheads of creating and processing a fake reply by moving
all post-processing actions and checks into a new dedicated method and calling
that method when url_rewrite_access does not match. Do the same to the StoreID
code.

basic_sasl_auth: Fix helper auto-detection

The helpers update in rev.12782 revealed SASL detection errors in the
use of ./configure script variables. This fixes the SASL library checks
and updates them to use the configure variable naming scheme.

Polished icap_service and ecap_service documentation.

Tying validation errors to certificates

When Squid sends errors to the certificate validation daemon, the daemon cannot
tell which certificate caused which error. This is especially bad because the
validator has to return that same information in the response (the response
format requires the validator to match the error to the certificate).
This patch adjust the validation request format to provide that information
using a set of the following key=value pairs:

    error_name_N=the name of the certificate error number N
    error_cert_N=the ID of the certificate which caused error_name_N

where N is non-negative integer. N values start from zero and increase
sequentially.

This is a Measurement Factory project

Redo r12887 (bug 2066 fix) which introduced several related bugs:

  - fatal() if chroot is given
  - no chdir to / after chroot if coredump_dir is given
  - wrong detection of "none" coredump_dir
  - chdir to uninitialized pathbuf if no chroot is given

This emergency fix helps Squid start better but may need more testing/work.

Fixed r12859 (Boolean ACLs) bugs related to ACL parsing and dumping:

- BoolOps.cc:94: "false" assertion when parsing ssl_bump directive.

- Infinite loop with RAM growth in dump_wordlist when dumping Squid
  configuration for cache manager.

- Segfault on not configured (nil) access lists in dump_acl_access.

SourceFormat Enforcement

Drop Ip::Address(Ip::Address *) constructor entirely

Has been deprecated for a while and appears to no longer be required by
any of the current code. The reference& copy-constructor can easily be
used in its place.

Fix NULL-dereference added in rev.12779

With the change of helper responses from Notes to NotePairs the errNote
in NTLM ERR/NA responses was altered to a potentially NULL char*, and
allowed to be printed in debugs() level 4.

This updated NTLM and Negotiate halpers to print the helper response as
"Result: ..." in identical fashion.

  Detected by Coverity Scan. Issue 1020655.

Bug 2066: squid does not do chdir() after chroot()

The earlier workaround applied only fixed 1 of the 3 places performing
chroot().
 This makes chroot and chdir integral parts of setting up Squids running
directory and alters teh chroot() calls to be mainSetCwnd() calls. Which
fixes several potential problems with core dumps from squid -z or -k
executions ending up in unexpected locations, regardless of whether
chroot() and coredump_dir are configured.

 Detected by Coverity Scan. Issue 740335.

Fix assert unsigned-vs-0 comparison

Nodes::size_type is unsigned and cannot be <0.

 Detected by Coverity Scan. Issue 1026516.

Fix string termination in snmplib

strncpy() does not null-terminate if the source string is larger or equal
to the destination buffer length.

 Detected by Coverity Scan. Issue 1025738.

Fix typo-omission in rev.12882

Fix basic_pam_auth helper detection

The m4_include() for this helpers test script was omitted from rev.12782.
Add that in, and shuffle the PAM-specific configure tests into the helper
required.m4 script.

Polish: update Ip::Address to follow Squid coding guidelines

* lower-case initial word for camelCase method names
* _ suffix for private variables.
* upper-case for static methods
* InitAddrInfo() and FreeAddrInfo() are static, do not use as methods

Not all methods are camelCased due to meaning irregularities and there
are other guidelines not being followed which also need to be fixed.

Prepare external_acl_type format codes for libformat upgrade

Add upgrade warnings for the %> and %< header codes which will change
radically in a future version when libformat is integrated.

Also, while we are at it support the other logformat codes which map 1:1
but silently for now and only on parse.

Fix incorrect external_acl_type codes

Documentation describes %USER_CA_CERT_* codes for outputing the CA cert
attributes. However the directive parser and internals were all
referencing it as %CA_CERT_*.

This updates the internals to match documentation, and adds an upgrade
notice for any installations using the old token name.

Support multicast DNS

Resolve .local domain names using mDNS one-shot queries ahead of regular
recursive DNS qeuries.

* adds the mDNS multicast group IPs as always-present entries in the
  nameservers list.

* filters each request. ".local" lookups are permitted to both the mDNS
  resolvers and the recursive resolvers, other requests are only
  permitted to the regular recursive resolvers.

Cleanup: remove several HTTPMSGLOCK/HTTPMSGUNLOCK

Convert the TunnelStateData and UrnStateData HttpRequest* to Pointer.

Release Notes: initial details for Store-ID and Annotations

Bug 3854: pt3: redo pt2 fix and revert rev.12587

The fix in rev.12857 works for Unix and Linux systems. But BSD based
systems it results in TextException errors via sub-includes from the stub

Fix typo in rev.12859

cbdataReference() is a macro with a design which means it requires usage
in the form of an assignment. ie a = cbdataReference(B); , or as a
parameter in equivalent to a variable.

Not using it in either of those manners results in syntax errors about a
',' from any strict compiler, and many older versions of GCC.

Polish: more debug info from squidclient

Add some missing includes

Cleanup: remove useless includes

Add missing include dlink.h for mem.cc

Cleanup: remove useless includes

Remove useless includes

Remove useless includes

Remove useless includes