Interim. Refactor ACL::dump to SBufList instead of wordlist*

Implement custom formatting for SBuf size distribution cachemgr report

Fix typo in getpwname detection

MemBuf fix: empty MemBufs are not NULL terminated

This is may cause problems in some cases where the code assume that the MemBuf
is always NULL terminated. For example when an ErrorState object try to use
an empty errorpage template.

This patch terminates the (empty) MemBuf on MemBuf::init method.

Cleanup: Polish Windows automake conditionals

Squid coding guidelines are that AM_CONDITIONAL definitions are named
ENABLE_*.

Cleanup: Make crypt(3) detection dependent on the helpers that use it

Only run detection for crypt(3) support when the NCSA and getpwnam
helpers which use it are to be built.

Also, move shadow.h detection to depend on getpwnam helper which is the
only code using it.

Also, shuffle the libcrypt and libmd5 detection up into the section with
other crypto libraries so they are known in advance of helper detections
which may require libcrypt.

Fix OpenSSL detection when an explicit path is given

The previous OpenSSL detection was skipping the library checks when an
explicit path was presented. Resulting in no -lssl flag being passed to
the linker.

Rational for this fix:
 pkg-config presents location-neutral details.

 The explicit checks are likewise neutral provided the LIBS environment
  variable has been set with the explicit path.

 User presented path must be used regardless of which the library checks
  are used in detection.

So...

 Always perform the checks with optionally set LIBS and keep the
 user provided path explicitly separate from the pkg-config *_LIBS
 variable. Only assemble the parts into SSLLIB once all have been
 identified.

Add counter for SBuf::c_str() calls

It is useful to know how many c_str() calls are being made as each
results in a possible reallocation.

ftp_epsv ACLs

This patch add support for ftp_epsv ACLs. The following syntax is supported:
  ftp_epsv on
  ftp_epsv off
  ftp_epsv deny acl1
  ftp_epsv allow acl2 acl3

The action of the first matching line wins. The "ftp_epsv on|off" syntax is
supported for backward compatibility.

This is a Measurement Factory project

Fix malloc corruption from use-after-free in peer_select.cc

* Cleanup peer server list of existing in ps_state destructor.

* Abort peer selection if the FwdState CBDATA reference has become
  invalid. ps_state::paths pointer is also invalid.

HTTP/1.1: update reference to IANA method registry

Cleanup: better OpenSSL detection

* remove duplicate header files detection

* remove hard dependency on pkg-config. Use library ABI checks if
  pkg-config is unavailable or broken.

* remove unnecessary if conditions by using proper nesting in the event
  user does NOT provide a custom location for the library.

* produce a hard error if OpenSSL is required by user but not found.

* always list all library objects in configure final decision output.

HTTP/1.1: Update registered status codes from IANA registry

IETF HTTPbis WG has created an IANA registry for HTTP status codes at
http://www.iana.org/assignments/http-status-codes/http-status-codes.xhtml

Update our registered codes and strings to match the registry entries.

Cleanup: make loadable modules build variables follow Squid3 coding guidelines

Squid-3 coding guidelines mandate that AM_CONDITIONAL variables begin
with ENABLE_* and AC_DEFINE macros begin with USE_* to resolve confusion
over which is relevant.

Fix test suite parameters after --enable-ssl change

Cleanup: replace USE_SSL wrapper macro with USE_OPENSSL

Squid-3 currently only supports OpenSSL for SSL/TLS components. This
makes the support type explicit and prepares for alternative SSL
libraries to be added in future with different macro wrappers.

Fix buffer overruns in generated NTLM tokens

The NTLM token payload (string value) encoding was not protecting fully
against 16-bit and 8-bit wrap errors and signedness conversions.
This protects against the wrap and conversion errors by truncating at
the maximum field length. That length limit is vastly larger than NTLM
protocol specified field sizes and permitted HTTP header sizes so is not
expected to cause issues with existing implementations.

crypto-ng: Drop --enable-ssl build option

This confgure option was fully overlapping --with-openssl.
Simplify the build options and cleanup in preparation for crypto-ng as
SSL functionality will be enabled by default in future when any of the
supported SSL/TLS libraries is available.

squidclient: fix header includes for GSSAPI code

Updates to qos_flows documentation

minor updates to the qos_flows documentation based on recent squid-users
questions.

squidclient: shuffle GSSAPI logic into separate file(s)

C++11: Upgrade auto-detection to use the formal -std=c++11

When the latest compilers added support for -std=c++11 they also dropped
the temporary -std=c++0x option without backward-compatible support. So
for the newest compilers we have not been testing the C++11 code.

As a result of this change Squid will no longer attempt to enable the
partial support in older compilers with -std=c++0x.

Also, update the compiler option test macro from autoconf project.

Add some missing Sbuf.h includes

Better fix for rev.13324

Fix min() parameter types after rev.13324

Parser-NG: Convert the ConnStateData input buffer to SBuf

Prepare the way to efficiently parse client requests using SBuf based
parser-ng.

IoCallback stores a raw-pointer to the ConnStateData::In::buf member
object rather than an SBuf reference to the backing MemBlob or char*
store so that only the short (blocking) FD_READ_METHOD() call needs to
provide any synchronous guarantees. We also particularly need a direct
(raw) pointer to the ConnStateData member to prevent the possible
read/consume collisions causing problems with the ConnStateData callback
and avoid having to merge two separate SBuf.

Basic auth cache and SslBump fix

This patch fixes the following bug:
 1) A user sends a CONNECT request with valid credentials
 2) Squid checks the credentials and adds the user to the user cache
 3) The same user sends a CONNECT request with invalid credentials
 4) Squid overwrites the entry in the user cache and denies the second
    CONNECT request
 5) The user sends a GET request on the first SSL connection which is
    established by now
 6) Squid knows that it does not need to check the credentials on the
    bumped connection but still somehow checks again whether the user is
    successfully authenticated
 7) Due to the second CONNECT request the user is regarded as not
    successfully authenticated
 8) Squid denies the GET request of the first SSL connection with 403
    ERR_CACHE_ACCESS_DENIED

On proxies with Basic authentication and SSL bumping, this can be used
to prevent a legitimate user from making any HTTPS requests

This is a Measurement Factory project

Portability: invert the basic_nis_auth header check

autoconf macro will set its action-if-found if *any* of the headers is
found. Since these are mandatory headers being tested for we need to
disable if any are missing rather than enable on finding one works.

Portability: basic_nis_auth depends on rpcsvc/ypclnt.h

... which is not availabel on all platforms (such as MinGW on Windows).

Merge from trunk

Fix if-else mismatch in rev.13319

Portability: Basic auth NIS helper depends on crypt()

Detect crypt.h before permitting the helper to build.

Also, if crypt() function is missing build the helper to output BH code
with an error message instead of failing to build.

xmalloc cleanup: remove code relying on XMALLOC_TRACE, XMALLOC_DEBUG, and mallinfo(3).

OpenBSD portability fix: detect struct iovec better

Bug 4019: Regression in 3.4 r13079

Fix documentation for high_memory_warning config option and make it conditional

Removed last vestiges of mallinfo

Remove all code referring to mallinfo(3)

Removed lib/malloc_trace.cc

Removed MEM_GEN_TRACE

Remove XMALLOC_DEBUG

Remove XMALLOC_TRACE and references to sbrk(2)

Remove XMALLOC_TRACE and all references to sbrk(2)

Bug 4041: Missing files in compat/Makefile.am

crypto-ng: use libnettle MD5 algorithm support

Transitional patch detects libnettle when available and uses it without
yet forcing it as a required dependency.

Polish up the diff

Sync with trunk rev.13312

Push SBuf down into Comm::IoCallback

Use a pointer to the SBuf instead of the rawSpace() because using a SBuf
copy can potentially cause different MemBlob to exist behind the Comm
read classes and the caller (ConnStateData) class. They need to be kept
identical so as not to loose any existing bytes in the I/O buffer when
a read callback handler is run.

Pointer to SBuf also avoids race conditions between comm_read async calls
and BodyPipe notifications which can potentially change the MemBlob
underneath comm_read() and invalidate te char* buffer pointer used
previously.

Maintenance: Fix build issue in snapshots

Remove useless code after rev.13309

The state variables used to store and present the redirector and store_id
helper parameters is no longer necessary.

  Detected by Coverity Scan. Issue 1191964.

Author: Nikolai Gorchilov <niki@x3me.net>
Use request URI instead of StoreID when forwarding requests to cache peers.

TODO: There are more bugs like that, including using Store IDs in ICP requests.

url_rewrite_extras and store_id_extras patch fixes

Fixes to patch "Add url_rewrite_extras and store_id_extras for redirector and store_id helpers",r13308:
  - Fix cf_gen.cc:gen_conf(..) function to not escape quotes before write to
    conf file
  - The Format::Format name is used to inform the user about parsing problems.
    Fix the names of related objects for the new redirecor_extras and
    store_id_extras directives.
  - cf.data.pre: The NAME tag take as argument only the name of directive. Fix
    the new redirecor_extras and store_id_extras related tags.

Add url_rewrite_extras and store_id_extras for redirector and store_id helpers

The url_rewrite_extras/store_id_extras is a "quoted string" with logformat
%macro support. It is used to modify the request line for redirector and
storeId helpers.

The url rewrite and store_id helpers request format now is:
       url [<SP> extras]
and the default value for extras is:
  "%>a/%>A %un %>rm myip=%la myport=%lp"

Example usage:
   url_rewrite_extras "Note1=%{Note1}note Note2=%{Note2}note"

This is a Measurement Factory project.

Prep for 3.3.12 and 3.4.4

Avoid assertions on Range requests that trigger Squid-generated errors.

Added HttpRequest::ignoreRange() to encapsulate range ignoring logic.
Currently the new method only contains the code common among all callers. More
work is needed to check whether further caller homogenization is possible.

Documented that ClientSocketContext::getNextRangeOffset() may sometimes be
called before it is ready to do its job.

Shuffle maybeMakeSpaceAvailable() to ConnStateData::In

maybeMakeSpaceAvailable() is an operation only for the buffer from
ConnStateData::In.

Avoid buffer overrun by comm_read()

It seems the space details provided by SBuf do not necesarily match the
existing MemBlob size. If for example actions like consume() have shifted
the SBuf down the MemBlob buffer.

Use spaceSize() to guarantee that the underlying MemBlob store still
provides sufficient buffer to fill without overflowing.

Sync with trunek rev.13305

This pulls in the MemBlob memcpy/memmove change required to safely use
SBuf as a I/O buffer.

Convert ConnStateData::In::buf to an SBuf

Protect MemBlob::append() against raw-space writes

There is no guarantee that the 'unused' area of MemBlob is actually
unused. For example if a read buffer was being filled into the
rawSpace() of a SBuf or MemBlob it will overlap with this empty area
until a read call updates the related size state in MemBlob/SBuf.

For these cases we must use memmove() which guarantees no buffer
corruption will take place on memory overlaps.

Copyright: Remove explicit claims on src/ by Treehouse Networks Ltd.

Amos Jeffries is listed as author in CONTRIBUTORS and Treehouse Networks
Ltd. listed in SPONSORS and commit messages.

Copyright: Relicense helpers by Treehouse Networks Ltd.

Update the license on helper code designed and authored by myself using
the BSD 2-clause license. This makes the example helper code and license
more legally acceptible for use as a basis of proprietary helpers while
remaining compatible with GPL for distribution with Squid.

Languages: Georgian dialect

Languages: Georgian

Translation: update POT content

Better fix for CMSG definitions

It turns out autoconf versions are not consistent with $ symbol escaping
which can cause incorrect definitions. Revert to AC_CHECK_TYPE instead.
Its a bit more verbose in configure.ac but works more often than not.

Portability: define CMSG related structures individually

Some OS provide the CMSG related definitions and others only partially
define them. Sometimes (Windows particularly) this varies between build
environments.

Checking for each symbol separately and providing only those needed
avoids problems we have been having with missing or redefined symbols
on Windows and elsewhere.

Add debug messages indicating type/reason for HITs

Fix helper ID number assignment

Since helpers are now dynamically started the old method of allocating
an ID number based on the current start sequence can result in many
helpers being assigned overlapping ID numbers.

Use InstanceID template instead to assure a unique incremental ID is
assigned to each helper no matter when it is started.

Fix syntax error in pinger

Migrated RegisteredRunners to a multi-action interface.

Old generic two-action RegisteredRunners were good for handling paired
create/destroy events, but not all main.cc events fit that model well. In
fact, even the old runners implemented the destruction action for one event
only (rrAfterConfig); all other runners implemented a single action.

The adjusted API better supports runners that are interested in any number
of the supported events. It also allows a single runner object to handle
multiple events, which simplifies current code and may help with better
[re]configuration handling in the future.

Added startShutdown() and finishShutdown() events. The former will be needed
for authentication module shutdown and more polished shutdown initiation code
in general (patch pending). The latter is needed for final cleanup code that
previously ran as the destruction action for rrAfterConfig. finishShutdown()
also destroys all runners.

Note that the master process in SMP mode does not run startShutdown because
that process lacks the main loop and startShutdown() promises at least one
main loop iteration (to help with clean connections closures, for example).

Added syncConfig() event that will be needed for the standby pool
implementation (patch pending) and future code that reacts to Squid
configuration changes caused by reconfiguration.

"after config" event is now called "use config" to better match verb+noun or
action+object naming scheme.

Fixed stalled concurrent rock store reads by insuring their ID uniqueness.

Added a check to prevent similar bugs from occurring in the future.

Cleanup: un-wrap C++ header includes

Coding guideline is now that standard C++ headers are not to be
wrapped in HAVE_ macros.

* Remove HAVE_ macros for currently wrapped C++ headers.
  Includes removing autoconf checks.

* Replace C includes with C++ includes where possible

Also, <cstdio> / <stdio.h> has issues on 64-bit systems and a
portable fixed version is provided by libcompat via squid.h
It should not be included anywhere in the Squid sources.

Languages: updated Serbian aliases

Bug 3186, Bug 3628: Digest authentication always sending stale=false for nonce

Fix compile issues in rev.13288

squidclient: --ping mode module support

  Module support:

Update squidclient support modules with different logics
and configuration option sets as a basis for multiple
protocol support.

A mechanism is added to allow each module to have its own
command line option set. Any option unknown to the current
module handler drops back to the main loop for processing.

  --ping mode module:

Break the existing code "ping mode" operations and command
line processing out from the main squidclient.cc into Ping.*

Ping-specific short command line options are now only parsed
after a mode flag (--ping) is presented. This frees up the
-g and -I options for use by other non-ping modules in future.

Also, shuffle squidclient code into its own directory
tools/squidclient/ to keep the tool code files clearly
identifiable now that they are multiplying.

Bug 3628: Digest auth sending stale=false on nonce mismatch

dynamic_cert_mem_cache_size option related fixes part2: "make check" fails

dynamic_cert_mem_cache_size option related fixes

This patch fixes the following problems:

1) The dynamic_cert_mem_cache_size does not change on reconfigure

2) When dynamic_cert_mem_cache_size of http_port set to 0 then:

   a) The dynamic certs cache is grow unlimited.
      This patch just disables certificates caching when this option set to 0.

   b) Huge amount of memory appeared as free cache memory in  "Cached ssl
      certificates statistic" page of cache manager.
      This problem caused because of a signed to unsigned int conversion.

This is a Measurement Factory project

Fix uses of std::remove to actually resize the data structures which were cleaned-up.

Fix pthread library detection on FreeBSD 10

We should not be using "cut -b1" anywhere to determine OS version
number. It drops digits out of the major version number.

Fix umask default on crash report generated email

Bug 4029: intercepted HTTPS requests bypass caching checks

Fix shadowed variable in rev.13279

squidclient: support long options on command line

squidclient: polish and documentation

squidclient: support verbosity levels

This makes the -v option repeatable. By default no debug is displayed.
Each time -v is repeated the level of debug message verbosity is raised.

Three levels of verbosity are currently defined:
 0 - no output except ERROR messages.
 1 - display HTTP request sent
 2 - display actions taken connecting to server

squidclient: polish and update help display

Fix memory leak regression in SNMP from rev.13274

Variable "name" going out of scope leaks the storage it points to if any
of the parse was done by incomplete.

 Detected by Coverity Scan. Issue 1174204.

Bug 4001: remove use of strsep()

The strsep() function is not defined by POSIX. Additionally
auto-tools has been having some obscure issues detecting
or linking the provided implementation into libcompat on
Windows and Solaris respectively. Which are the two known
OS requiring it.

Investigation of its use in Squid revealed that it can be
replaced with strcspan() which is both portable and more
efficient since it also removes the need for several
strdup()/free() operations used to protect Squid from
strsep() memory fiddling.

Bug 4026: SSL and adaptation_access does not handle aborted connections

Revert rev.13271

Bug 4026: SSL and adaptation_access does not handle aborted connections

Refactor Vector and Stack to STL counterparts

Streamline storeLateRelease

Fix crash bug in HttpHeader::clean()

Remove Vector, Stack and related unit tests

Reworked all clients of Stack to std::stack

Reworked cbdata to use std::vector to be able to have a random access iterator