Bug 3186, Bug 3628: Digest authentication always sending stale=false for nonce

dynamic_cert_mem_cache_size option related fixes

This patch fixes the following problems:

1) The dynamic_cert_mem_cache_size does not change on reconfigure

2) When dynamic_cert_mem_cache_size of http_port set to 0 then:

   a) The dynamic certs cache is grow unlimited.
      This patch just disables certificates caching when this option set to 0.

   b) Huge amount of memory appeared as free cache memory in  "Cached ssl
      certificates statistic" page of cache manager.
      This problem caused because of a signed to unsigned int conversion.

  This is a Measurement Factory project

Fix umask default on crash report generated email

Fix pthread library detection on FreeBSD 10

We should not be using "cut -b1" anywhere to determine OS version
number. It drops digits out of the major version number.

Bug 4029: intercepted HTTPS requests bypass caching checks

Bug 4026: SSL and adaptation_access does not handle aborted connections

Bug 4001: remove use of strsep()

The strsep() function is not defined by POSIX. Additionally
auto-tools has been having some obscure issues detecting
or linking the provided implementation into libcompat on
Windows and Solaris respectively. Which are the two known
OS requiring it.

Investigation of its use in Squid revealed that it can be
replaced with strcspan() which is both portable and more
efficient since it also removes the need for several
strdup()/free() operations used to protect Squid from
strsep() memory fiddling.

Move compat/unsafe.h protections from libcompat to source maintenance

It is sufficient to run a code scan from source-maintenance.sh for the
unsafe functions being used in Squid-specific code instead of
hard-coding compiler breakage on users.
This also "fixes" reporting of errors when cstdio pulls in use of the
unsafe functions by stdlib.

Bug 3969: user credentials cache lookup for Digest authentication broken

Changes to the username credentials cache were made in Basic auth but
the matching changes were not duplicated to Digest auth. Since the
lookup is identical move it to generic Auth::Config.

Also fixes assertion auth_digest.cc:759:
    "(nonce->user == NULL) || (nonce->user == user)"

Various fixes to configure for FreeBSD 10

* Detect cstdio file presence for libcompat, and restrict to C++

* Fix shell syntax in Heimdal Kerberos library detection

Regression Bug 3769: client_netmask not evaluated since Comm redesign

Update CONTRIBUTORS

3.4.3

Fix peerSelectDnsResults() IP address cycling

The local ip variable is the index of the IP address to be used.
Loop counter n is only used to prevent cycling indefinitely and should
not be used to access the array indexes.

Comm job callbacks need job's cbdata pointer, not a job pointer.

Otherwise, in complex inheritance hierarchies, some [inner] classes will
hit cbdata cookie assertions when scheduling Comm calls with callbacks.

Bug 3975: atomic detection cross-compilation failure

Bug 3954: compile failure in CpuAffinity.cc

Patch written by 'dim [1]' contributor to FreeBSD and imported to Squid
under FreeBSD license. see
http://svnweb.freebsd.org/ports/head/www/squid33/files/patch-include__Array.h

Bug 3971: "cannot aggregate mgr:client_list: cmd->profile != NULL" in SMP mode

When running Squid in SMP mode, the 'client_list' command cannot be used as the
coordinator doesn't call clientdbInit(), and thus doesn't have the client_list
action registered.

This patch uses RegisteredRunner to initialize clientdb and register the
'client_list' command

Initialize asyncLoopDepth_ in constructor

  Detected by Coverity Scan. Issue 740529.

Fix external_acl_type async loop failures

When external_acl_type uses %LOGIN and is required to trigger async
authentication lookups it returns and hits the async loop prevention
check when starting to trigger its own external helper lookup. This
results in a DUNNO output from the helper as final status instead of
the real helper lookup result.

Avoid these by allowing async helpers to loop several times before
aborting the lookups.

Also, extend debug message to indicate loop count.

Thanks to Peter Benko for tracking down the issue and testing solutions.

Bug 4008: HttpHeader warnOnError should be an int not a bool

Fix memory leak in peer cache Digest exchange

 Detected by Coverity Scan. Issue 1094115.

Bug 3927: tests/testRock fatal.cc required

Bug 4002: clang 3.4 unable to compile

part 3: Fix coding ambiguity in store_repl_heap.cc and heap.h

Document and enforce invariant on Format::Token.divisor

Bug 4002: clang 3.4 unable to compile

part 2: fix new/delete operator overloading by not defining on clang

Bug 4002: clang 3.4 unable to compile

part 1: fix header guards on include files.

Bug 3996: Malformed DNS reply leads to crash

Disable error page translation by default in builds

There is no need for every build from VCS to have fresh translations.

Enable explicitly for snapshot and release scripts instead so that
translated template files are still available online and pre-translated
in the distributed packages.

Bug 3995: compile error on CentOS 5 with GCC 4.1.2

Centrally destroy all ACLs to avoid destruction segfaults

 ... during reconfiguration.

Group ACLs created later may use other ACLs created earlier and vice
versa, a group ACL created earlier may use other ACLs created later.
The latter is possible when an ACL (e.g., A2 below) is declared when the
group already exists:

  acl A1 src 127.0.0.1
  acl Group all-of A1
  acl A2 src 127.0.0.2
  acl Group all-of A2

Thus, the group (i.e., InnerNode) ACL destructor may access already
deleted children regardless of the global ACL deletion order (FIFO or
LIFO with respect to ACL creation). Instead of relying on the deletion
order to protect InnerNode, we remove the InnerNode ACL destructor
completely and rely on a global set of registered ACLs to destroy all
ACLs.

The old code was destroying all explicit ACLs in the same centralized
fashion. We now add implicit ACLs (commonly used by InnerNodes) to the
centralized destruction sequence. We added a new destruction-dedicated
container to avoid messing with the by-name ACL search that
Config.aclList global is used for.
This new container will become unnecessary once we start refcounting
ACLs.

3.4.2

Added missing header in client_side_reply.cc for clang

Bug 3498: FTP PUT assertion Server.cc:246: 'r->body_pipe != NULL'

Bug 3985: 60s limit introduced by balance_on_multiple_ip breaks bad IP recovery

Alternative fix if necessary would be to calculate a dynamic timeout
value based on number and timeouts for connections and forwarding.

However, as noted in the bug report the address markings are reset every
TTL when the stored RR are replaced. This meets the criteria for
periodic
retries of marked-BAD IPs. Also if all IPs are marked BAD they all get
un-marked and retried. So for now just remove the TTL hack.

Fix \-unescaping in quoted strings from helpers

strwordtok() was unescaping '\' values in unquoted tokens. This causes
problems with NTLM helper response user\DOMAIN values which are sent as
a un-quoted un-escaped value.

Restrict un-escaping of '\' to only occur when inside "quoted" words.

WCCPv2: fix assertion 'Cannot convert non-IPv4 to IPv4' on FreeBSD

FreeBSD does not set the from-address on recv() if there was an error
reading the packet. This can result in Ip::Address assertion if the
error is not checked for before the IP address is mapped into Squid
internal format.

Fix missing cast in rev.13162

Bug 3980: FATAL ERROR due to max_user_ip -s option

NP: unit test for -s option temporarily removed and replaced with manual
testing due to 3.4 series parser flags handlign being done at the ACL
module level instead of ACl test.

Fix linker errors "relocation R_X86_64_32 against .rodata"

... "can not be used when making a shared object; recompile with -fPIC"

Caused by some libraries built without libtool in certain environments.
NP: there are other libraries in Squid built without libtool but they
    appear not to be having these linker issues at this time.

Also, fixes "undefined symbol eui64_aton" uncovered by these changes.

Regression in URL helper API

The backward compatibility logics in redirect.cc are not working as
intended on redirection URLs due to the presence of '=' in the URL and
how the key=value name parsing is performed.

A typical redirection URL looks like:
  http://example.com/?url=http://www.example.net/

and 3.4 has a parser that splits tokens at '=' unconditionally and then
passes the bits as a key and value to the redirector logics which
complains that it does not understand the answer of the URL redirector.
Or treats is an an unknown key=value with no redirection URL.

Either case is handled as a no-redirection result from the helper.

This limits the key names to alphanumeric, hyphen and underscore
characters. Valid URL responses contain characters outside this set and
should no longer be interpreted as keys regardless of the '=' character.

Bug 3806: Caching responses with Vary header

Set sslcrtvalidator_children concurrency option default value to 1

Release notes: update HTML version

3.4.1

Bug 3589: intercepted and ICAP modified request using a cache_peer

OpenBSD portability fix in DiskThreads

Bug 3935: Invalid pointer dereference when peeking at origin server certificate

We must check request->clientConnectionManager pointer for validity before
dereferencing it.

This is a Measurement Factory project

Destroy ACLs in the reverse order of creation to avoid destruction segfaults
during reconfiguration.

Group ACLs created later may use other ACLs created earlier. A group ACL must
be deleted first so that its AclDeleter can safely access registration status
(and avoid double deletion) of the ACLs it uses. Since ACLs are remembered (in
Config.aclList) using a singly-linked list, it is difficult to change their
deletion order.  Instead, we change their listing order from FIFO to LIFO.

Portability: sleep() is sometimes a macro

sleep() is sometimes defined as a macro. Such as in Squid compat library.
Use another name for the sleep starting method in class Ipc::UdsOp

  This is an iCelero Project

Windows: fix compile errors in WinSvc.cc

Fix defined by unused symbol errors in WinSvc.cc

Also, set the service error mode to prevent Windows Error Reporting
dialog boxes appearing.

  This is an iCelero Project

Portability: std::string:npos is not always appropriate for String::npos

On some systems such as Windows MinGW the signed/unsigned property of
std::string::npos does not match up with the Squdi String class size_type
signed/unsigned property. Resulting in compiler signed vs unsigned
mismatch errors when compiling.

  This is an iCelero project.

Portability: refresh_pattern requires regex

The GnuRegex portability wrapper is required explicitly by
RefreshPattern.h on some systems which do not include regex.h implicitly
via other paths.

  This is an iCelero project

librfcnb: portability fixes

Add #include wrapper protection for headers missing on Windows MinGW.

  This is an iCelero Project

3.4.0.3

Prep for 3.3.11 and 3.4.0.3

Protect aclIsProxyAuth() debugging from NULL names (via NULL AclMatchedName).

Related to Bug 3972 fix in r13156.

Bug 3972: Segfault when getting the deny info page ID after a reconfigure

Older ACL code was using a stale AclMatchedName value. More recent code resets
the AclMatchedName global to NULL to avoid leaking the stale value, but that
may crash strcmp() in aclGetDenyInfoPage(). Long-term, the global should be
removed, of course.

Receive annotations from authentication and external ACL helpers

This saves the kv-pair from authentication and ACL helper responses as
annotations on the HttpRequest and pass on from there to logging.

Added a method appendNewOnly() to ensure duplicate-free addition
to a NotePairs list.

Also, fixes a bug in hasPair() accessor which was returning true
if either the key OR the value matched.
ie. hasPair("a","1") would match true for notes "a=2 b=1"

Bug 3782: Digest authentication not obeying nonce_max_count

Bug 3970: max_filedescriptors disabled due to missing setrlimit

Bug 3967: ipc/Kid.cc compilation failure: 'time' was not declared in this scope

Function time() comes from <time.h>, so add the necessary #include.

Add missing part of rev.13033 backport

Re-compute Range response content offset after an FTP response was adapted.

Moved HTTP-only offset calculation code to the general ServerStateData code so
that [converted-to-HTTP] FTP responses can use it. FTP code computes the range
offset on its own earlier, but we must REcalculate in case the response is
adapted into a response with a different (or no) content range.

Bug 3960: Dead Peers Are Not Revived

Windows: Fix aclocal "is already registered" errors

aclocal on Windows cannot handle line-wrapping \ characters and leaves
them present in the output m4 code. in side AC_CONFIG_FILES macro this
results in a mystery file '\\r' being 'registered'.

The list of Makefiles does not even need ths line-wrap indicator as
demonstrated by the tools/Makefile missing its one for some time without
problems.

 This is an iCelero Inc sponsored fix.

Windows: Ensure array index is an integer in C code

MSVC compiler does not accet non-integer types for array indexes so we
must cast these CHAR index values to int before use.

 This is an iCelero Inc sponsored fix.

Bug 3956: xstrndup: tried to dup a NULL pointer

Docs: update mention of URL-rewrit helper result codes

- OK action when no redirect/rewrite kv-pairs was not mentioned
- BH message= kv-pair was not mentioned.

Make HTTP header parser obey relaxed_header_parser

Some unimportant warnings were not obeying the directives silent/loud
setting values.
This abstracts the condition to simplify code and make all the
non-critical warnings depend on the directive for their display level.

Source Maintenance: re-add snapshot script to branch

SourceFormat Enforcement

Replace blocking sleep(3) and close UDS socket on failures.

The two addressed XXX were not causing any known serious bugs on their own,
but the blocking sleep was ugly and possibly in the way of further
kid registration fixes/improvements.

Bug 3936: error-details.txt parse error

Squid fails parsing error-details.txt template when one or more listed
OpenSSL errors are not supported on running platform.
This patch add a hardcoded list of OpenSSL errors wich can be optional.

This is a Measurement Factory project

Bug 3906: Filedescriptor leaks in SNMP

Coordinator should not send SNMP client FD to strands when broadcasting SNMP
requests. Strands do not need the descriptor and were forgetting to close it,
causing one FD leak on every SNMP query in SMP mode.

Enhance Ipc::TypedMsgHdr to be able to tell whether the message has a FD.

This is a Measurement Factory project

Prep for 3.3.10

kerberos_ldap_group: fix LDAP string duplication

Avoid "hot idle": A series of rapid select() calls with zero timeout.

Squid uses "infinite" precision when it comes to deciding whether the next
timed event is ready but uses millisecond (1e-3) precision when deciding how
long to wait before the next event will be ready. This inconsistency results
in the EventScheduler engine telling the main loop that it has 0 milliseconds
to poll pending I/O, but when asked again (after the I/O is quickly polled),
the EventScheduler engine often does not schedule the promised event and tells
the main loop to poll for another 0 milliseconds again. This cycling may
happen many times in a row (until enough time is wasted for the next event to
become ready using higher precision).

The fixed code adds a minimum 1ms delay for not-yet-ready events. It also
places both decisions into one method (EventScheduler::timeRemaining), and
tries to polish/document decision logic (which is more complex than it may
seem) because the code has to avoid both inconsistent decisions and hot idle
loops while maintaining the traditional "no event is fired before it is due"
guarantee.

TODO: Idle Squid still runs hotter than it should because the maximum waiting
time is artificially capped outside the event queue to EVENT_LOOP_TIMEOUT=1s.
This causes at most one extra loop iteration per second.

Bug 3887: tcp_outgoing_tos not working for IPv6

Fix cbdata 'error: expression result unused' errors

Detected by Clang.

Revert -march-native experiment that snuck into rev.13048

Have testRock use cachemgr stubs

basic_nis_auth: Improved portability

Bug 3836: Fix issues with automake 1.13 and later and make check

Append Connection:close to OPTIONS requests when icap_persistent_connections is off.

This brings OPTIONS requests behavior inline with REQMOD and RESPMOD.

Bug 3941: Release notes typo

Add cache_miss_revalidate

Port of 2.7 ignore_ims_on_miss directive by Henrik Nordstrom.

This on/off switch enables Squid to convert conditional requests from
clients to non-conditional fetches that can fill the cache faster under
cold-start conditions.

Bug 3480: StoreEntry::kickProducer() segfaults in store_client::copy()
context

Short-term fix: Lock StoreEntry object so that it is not freed by
storeClientCopy2() callbacks. Also lock StoreEntry in storeUnregister()
context because an aborting entry may be deleted there unless it is
double-locked.

See bug 3480 comment #27 for detailed call stack analysis. Additional
cases
include rejected copied HIT due to Var mismatch and hits blocked by
reply_from_cache directive (under development; see bug 3937).

Long-term, we need to make store copying asynchronous and revise
StoreEntry
locking approach.

Fix CBDATA_CLASS2 macro definition

CBDATA_UNKNOWN was being used in place of a void no-op statement.
This was incorrect and useless. Now that the value definition is fixed
it is being picked up by the stricter compilers.
Replace the trinary conditional with an if-statement.

libntlmauth: Fix string field truncation

Count of field bytes must begin at 0. Otherwise the decoder truncates
1 byte from the string due to lstring initial state values.

Also drop the lstring_zero(s) macro. It is only used in one place and
calling it 'zero' obscures that length is non-zero for invalid state.

ntlm_fake_auth: pass DOMAIN data to Squid in original case

Lower-casing the domain field can cause base ACL match results if the
ACL is checking for case-sensitive or upper-case domain label.

The helper should be emitting the standard UPPER case domain and many
administrators will be expecting taht when they write ACLs.

Fix SQUID_CC_CHECK_ARGUMENT autoconf macro

3.4.0.2

Add --disable-arch-native build option

The -march-native option is required by Clang 3.2 on some CPU
and produces better optimization in binaries by GCC.
But building inside a virtual machine environment has been found to
cause random Illegal Instruction errors due to mis-detection of CPU.

This option is added to permit selective disabling of teh preferred
default (which is to use the compiler flag when available).

Polish: better WARNING when workers directive is ignore on reconfigure.

Changing the workers directive requires a proxy restart, not just a
reconfigure. State this clearly in the warning message.

Fix various header build issues in librfcnb

Highlighted when the #include sorting was applied to lib/rfcnb/ files
several of the headers were using order-dependent definitions and were
not wrapped with sfety macros.

Portability: cleanup includes for sys/time.h and sys/resource.h

These two include files are order-dependent on several operating systems
and as such are provided by Squid libcompat headers. There is no need for
code to include them specially and several HAVE_SYS_TIME_H macros were
missing which breaks the build on systems where the file is missing.

negotiate_kerberos_auth: upgrade to present group= keys

Use the new kv-pair protocol extensions for emitting group details
directly at the time of authentication. group=X key-value pair is
used to emit the Kerberos SIDS values presented by MS Active
Directory environments.

Also, update the Hiemdal library support for recent library versions.

Also, polish the Kerberos and LDAP Group related code to avoid memory
leaks and improve C++ coding style.

Use IPv6 localhost nameserver on DNS configuration errors

When DNS configuration fails to locate a set of nameservers "localhost"
is used as the default but has previously only been setting 127.0.0.1
IPv4 address for localhost. This enables the failover to work as
designed
on IPv6-only networks.

Bug 3914: partial: make squidclient tool build cleanly with -Wconversion