Merge SBufList

Clarified comment in SBufAlgos.h, improved coding standards adherence

Implemented Tokenizer::token and its unit test

Urls contain ipv6 ipaddresses may not logged correctly

The urls which include an ipv6 address as hostname does not logged correctly
in the following cases:
 - When a user is already logged in to an ftp server and a
   new USER command entered with ipv6 address as hostname the logged url
   does not put ipv6 address inside brackets ([]).
 - On FTP error responses generated by squid the url which includes ipv6
   addresses apearred with brackets urlencoded. eg:
         ftp://%5B::1%5D/

Implemented more Tokenizer methods and unit tests

Fixed initialization problem in testCharacterSet
Removed debug code in testTokenizer
Completed testTokenizerPrefix

Broken: try and figure out CharacterSet::operator +=; more Tokenizer::prefix unit tests

Ftp server host does not reset when a new USER command given

Fix linker errors "relocation R_X86_64_32 against .rodata"

... "can not be used when making a shared object; recompile with -fPIC"

Caused by some libraries built without libtool in certain environments.
NP: there are other libraries in Squid built without libtool but they
    appear not to be having these linker issues at this time.

Also, fixes "undefined symbol eui64_aton" uncovered by these changes.

FTP gw tracking of server directory

This feature works as follows:
- Squid probes the remote directory by inserting PWD commands after the initial
  login and after every CWD command sent by the client.
- Squid remembers the current directory
- client-side generates the URL in pseudo HTTP requests from the domain name
  and the current directory (e.g. GET ftp://ftp.example.com/pub).
- For FTP commands with directories or file names as arguments (e.g. file
  donwload/upload, directory listing), these arguments are appended to the
  current directory (e.g. “RETR project/file.txt” becomes
  “GET ftp://ftp.example.com/pub/project/file.txt”;).

The feature can be controlled via a new ftp-track-dirs=[on|off] option for the
ftp_port squid.conf parameter.
Ftp server directory tracking is disabled by default.

Regression in URL helper API

The backward compatibility logics in redirect.cc are not working as
intended on redirection URLs due to the presence of '=' in the URL and
how the key=value name parsing is performed.

A typical redirection URL looks like:
  http://example.com/?url=http://www.example.net/

and 3.4 has a parser that splits tokens at '=' unconditionally and then
passes the bits as a key and value to the redirector logics which
complains that it does not understand the answer of the URL redirector.
Or treats is an an unknown key=value with no redirection URL.

Either case is handled as a no-redirection result from the helper.

This limits the key names to alphanumeric, hyphen and underscore
characters. Valid URL responses contain characters outside this set and
should no longer be interpreted as keys regardless of the '=' character.

Fix missing test stub in rev.13178

Bug 3806: Caching responses with Vary header

Set sslcrtvalidator_children concurrency option default value to 1

Merged from trunk

Fix infinite-loop in CharacterSet::operator+=()

The uint8_t type value cannot represent the value 256, which is why we
use it as the loop terminator and an iterator of a size larger than
8-bit with a down-cast to prevent the vector accidentally being grown by
an overflow.

Reimplemented prefix, implemented prefix matching unit test

Fix tokenizer unit tests scaffolding

implemented untested Tokenizer::find_first_not_in and Tokenizer::prefix

Fist stub of tokenizer unit tests

interim: better adhere to CharacterSet API, first stubs of Tokenizer

Merged from trunk

Update CharacterSet.h

Add parser/libsquid-parser.la

Also, basic class CharacterSet definition

%tS logformat code, part3

Fix build when GCC 4,4.3 used

Prep for 3.4.1

Release notes: spotlight key_extras feature

Release Notes for Squid-3.5

Fix 3.4 Release Notes typo

Merged from trunk 13172.

Add key_extras to proxy authentication schemes.

The key_extras value is a "quoted string" with logformat %macro support. It is
appended to request line for the authentication helper.

Example usage:
   auth_param basic key_extras "thePort:%>lp"
   auth_param digest key_extras "LocalIP=%>la:%lp"

This is a Measurement Factory project.

%tS logformat code, part2

Fix build on 3.HEAD-amd64-CentOs-icc

Fixed formatting
Moved ToSBufList from SBufList.h/cc to wordlist.h/cc
Fixed some misnamed parameters in SBufAlgos.h

%tS logformat code

This patch add the %tS logformat code to represent master transaction start time
in <seconds>.<milliseconds> format, similar to the existing access.log "current
time" field (%ts.%03tu).

Also allow formated values for adaptation_meta values.

This is a Measurement Factory project

Added missing header in SBufAlgos.h

Prep for SBufList merge from stringng

Bug 3589: intercepted and ICAP modified request using a cache_peer

Removed spurious source files from src/icmp/Makefile.am

Bug 3935: Invalid pointer dereference when peeking at origin server certificate

We must check request->clientConnectionManager pointer for validity before
dereferencing it.

This is a Measurement Factory project

Documented that ACLs should be refcounted.

Refcounting would avoid ACL destruction problems (when some ACLs use other
ACLs or when an ACL goes async during reconfigure) and may even reduce
problems with AclMatchedName.

Destroy ACLs in the reverse order of creation to avoid destruction segfaults
during reconfiguration.

Group ACLs created later may use other ACLs created earlier. A group ACL must
be deleted first so that its AclDeleter can safely access registration status
(and avoid double deletion) of the ACLs it uses. Since ACLs are remembered (in
Config.aclList) using a singly-linked list, it is difficult to change their
deletion order.  Instead, we change their listing order from FIFO to LIFO.

Portability: sleep() is sometimes a macro

sleep() is sometimes defined as a macro. Such as in Squid compat library.
Use another name for the sleep starting method in class Ipc::UdsOp

  This is an iCelero Project

Windows: fix compile errors in WinSvc.cc

Fix defined by unused symbol errors in WinSvc.cc

Also, set the service error mode to prevent Windows Error Reporting
dialog boxes appearing.

  This is an iCelero Project

Portability: std::string:npos is not always appropriate for String::npos

On some systems such as Windows MinGW the signed/unsigned property of
std::string::npos does not match up with the Squdi String class size_type
signed/unsigned property. Resulting in compiler signed vs unsigned
mismatch errors when compiling.

  This is an iCelero project.

Portability: refresh_pattern requires regex

The GnuRegex portability wrapper is required explicitly by
RefreshPattern.h on some systems which do not include regex.h implicitly
via other paths.

  This is an iCelero project

librfcnb: portability fixes

Add #include wrapper protection for headers missing on Windows MinGW.

  This is an iCelero Project

OpenBSD portability fix in DiskThreads

Prep for 3.3.11 and 3.4.0.3

Protect aclIsProxyAuth() debugging from NULL names (via NULL AclMatchedName).

Related to Bug 3972 fix in r13156.

Bug 3972: Segfault when getting the deny info page ID after a reconfigure

Older ACL code was using a stale AclMatchedName value. More recent code resets
the AclMatchedName global to NULL to avoid leaking the stale value, but that
may crash strcmp() in aclGetDenyInfoPage(). Long-term, the global should be
removed, of course.

Support libecap v1.0, allowing asynchronous adapters and eCAP version checks.

After these changes, Squid can support eCAP adapters built with libecap v1.0,
but stops supporting adapters built with earlier libecap versions (due to API
changes). The new libecap version allows Squid to better check the version of
the eCAP adapter being loaded as well as the version of the eCAP library being
used. This should help with migration to libecap v1.0.

Expose [running] main event loop as a global so that modules can add engines.

Added missing stub_lipbicmp.cc to testUfs

Receive annotations from external ACL helpers

This completes the annotation support for common helper interfaces by
making custom key=value pairs sent by external ACL helpers in to
NotePair objects and attaching to the active request.

The other side of this - sending values to the helper is deferred until
the helper format can be converted to logformat codes.

Add missing ipcache.cc stub in testUfs

Implement SBuf and MemBlob size distribution stats

Cleanup: convert helper allocation from cbdataAlloc to new

The helper_server and helper_stateful_server classes are already
CBDATA_CLASS2 defined classes with new/delete operators and the free
operation already handled by delete(). However teh allocation was not
using new() and thus not calling the class constructors properly.

Drop obsolete class StringArea

class StringArea was always intended to only be a temporary measure
before SBuf was completed and merged. That has now happened.

Bug 3782: Digest authentication not obeying nonce_max_count

Fix other issues in rev.13143

Fix const-correctness in rev.13143

Missing include from rev.13143

Bug 3970: max_filedescriptors disabled due to missing setrlimit

Remove many uses of String::defined()

Making it private to String:: so that we can easier avoid dealing with
NULL buffer vs "" problems in future.

Source Maintenance: move 3.HEAD snapshot build to website scripts

Bug 3967: ipc/Kid.cc compilation failure: 'time' was not declared in this scope

Function time() comes from <time.h>, so add the necessary #include.

SourceFormat Enforcement

Use CPPUNIT_ASSERT_EQUAL wherever it makes sense in unit tests

Re-compute Range response content offset after an FTP response was adapted.

Moved HTTP-only offset calculation code to the general ServerStateData code so
that [converted-to-HTTP] FTP responses can use it. FTP code computes the range
offset on its own earlier, but we must REcalculate in case the response is
adapted into a response with a different (or no) content range.

Bug 3960: Dead Peers Are Not Revived

Windows: Fix aclocal "is already registered" errors

aclocal on Windows cannot handle line-wrapping \ characters and leaves
them present in the output m4 code. in side AC_CONFIG_FILES macro this
results in a mystery file '\\r' being 'registered'.

The list of Makefiles does not even need ths line-wrap indicator as
demonstrated by the tools/Makefile missing its one for some time without
problems.

 This is an iCelero Inc sponsored fix.

Windows: Ensure array index is an integer in C code

MSVC compiler does not accet non-integer types for array indexes so we
must cast these CHAR index values to int before use.

 This is an iCelero Inc sponsored fix.

SourceFormat Enforcement

Recognize FTP 125 (Data connection already open) as we do 150 response.

Microsoft servers seem to favor 125 responses in some conditions.

Reverted to using mem.cc for testSBuf

Improved stubs for mem.cc and made wider use of them

Merged from trunk

Add EPRT and EPSV commands to FTP FEAT response if not already there
because Squid FTP gw supports both even if the FTP origin server does not.

Fixed stub profile to make "make check" happier.

Propagate FTP server connection closures to idle FTP gw clients but
carefully close the FTP server connection upon receiving an FTP 221 response.

FTP gateway code pins server connections; when there is no traffic, the
client-side code holds on to the server connection. The old code did not
notice pinned server connection closure until it was time to write the next
FTP request to that connection. Squid now monitors the idle pinned server
connection and closes the client connection if the server connection closes
(or, to be more precise, if the server connection gets marked as ready for
reading).

Client-side monitoring of an idle pinned connection ends when the server side
starts using the pinned connection again (because the server side becomes
responsible for monitoring EOF conditions then). Added
borrowPinnedConnection() and related methods to distinguish validation of
pinned connection and responsibility transfer.

Careful closure of the FTP server connection upon receiving an FTP 221
response is necessary to avoid the client-side idle server connection
monitoring code closing the client connection upon detecting server-side EOF
_before_ the client side had enough time to forward that 221 response to the
not-yet-idle client. The latter may take some time because, in part, the
response may have to go through an ICAP RESPMOD service first.

Made use of stub_mem.cc

Bug 3956: xstrndup: tried to dup a NULL pointer

Add required SBuf sources

Polish: split HttpRequest unit tests into scoped groups

This allows the compiler to optimize symbol tracking per-scope instead
of having to track large sets of macro-expanded test variables.

SourceFormat Enforcement

Remove several goto from HttpHeader.cc

Make HTTP header parser obey relaxed_header_parser

Some unimportant warnings were not obeying the directives silent/loud
setting values.
This abstracts the condition to simplify code and make all the
non-critical warnings depend on the directive for their display level.

adaptation_service ACL

This patch adds the new ACL adaptation_service, to match the name of:

   - an adaptation service or group that had been applied to the master
     transaction in the past
   - an adaptation service or group that is being applied to the master
     transaction now

An adaptation group is formed by adaptation_service_chain or adaptation_service_set directives.
Both REQMOD and RESPMOD services, successful or failed service applications
matches this acl.

This is a Measurement Factory project

Leave Copyright and (C) (but not AUTHOR-like) boilerplate lines in sources
except when we [think we will] have a permission to move them to CONTRIBUTORS.

If one Copyright or (C) line in the old boilerplate is preserved, then all
such lines are preserved.

Initial support for gatewaying FTP EPRT and EPSV commands.

Client side validates the IPv6-friendly commands, but the server side
independently decides which of the four standard data connection establishment
commands to use. In practice only PASV and EPSV commands are sent because
Squid still does not support active FTP connections on the server side.

Moved EPSV- and some PASV-handling code from proxy-specific ftp.cc into
general FtpServer.cc for the client-side gateway code to reuse.

Docs: update mention of URL-rewrit helper result codes

- OK action when no redirect/rewrite kv-pairs was not mentioned
- BH message= kv-pair was not mentioned.

Update class MessageCounters to MessageSizes

Also, renaming polish after audit feedback.

Fix typo in rev.13121

Fix uninitialized members in SBufFindTest.cc

  Detected by Coverity Scan. Issue 1104279.

Fix uninitialized members in stub_HttpReply.cc

  Detected by Coverity Scan. Issue 740582.

Fix possible NULL-dereference handling annotations

  Detected by Coverity Scan. Issue 1127088

Language: it updates

SourceFormat Enforcement

Replace blocking sleep(3) and close UDS socket on failures.

The two addressed XXX were not causing any known serious bugs on their own,
but the blocking sleep was ugly and possibly in the way of further
kid registration fixes/improvements.

Bug 3936: error-details.txt parse error

Squid fails parsing error-details.txt template when one or more listed OpenSSL
errors are not supported on running platform.
This patch add a hardcoded list of OpenSSL errors wich can be optional.

This is a Measurement Factory project

Fix stub_external_acl on icc