Fix assertion on bodyPipe != NULL inside ConnStateData::handleFtpRequestData()

ftp-native branch hits this assertion when ICAP server respond with error on
a ftp request.
This patch closes the data connection on these cases and also add a check in
ConnStateData::clientReadFtpData to avoid calling handleFtpRequestData when
the bodyPipe is gone for a reason.

Cleanup: provide Comm::ConnOpener via comm/forward.h

Add TCP_TUNNEL log code for CONNECT tunnels which are not SSL-bumped

Marked const variables in Tokenizer methods as such

Fix regression in mime header boundary detection

Change order of BSD-specific network includes so that they are properly picked up

Remove additional minor performance regression

Remove additional minor performance regression

Use Tokenizer to scan URL field received by reverse-proxy

This removes one performance regression from SBuf reallocation.

Also fixes bugs where Squid would silently accept invalid characters in
the URL scheme, userinfo, and authority segments.

Also fixes bug where Squid would treat / in userinfo@ segment as if it
were the start of the path.

Also fixes bug where Squid would fail on URI with missing path but
?query and/or #fragment segment present.

Mark some performance regressions

Cleanup: rewrite Http::One::Parser::getHeaderField() using Tokenizer

Fixes performance regression in SBuf usage.

Also, fixes one nasty bug where it would return the value of a line
containign the named header despite obs-fold and quoting. This was
particualarly bad as this method is used primarily to retrieve Host:
header before full aprsing of the mime block takes place.

The bug causes "foo.invalid" to be detected as hostname in:

  GET / HTTP/1.1
  Foo: bar="\r  Host: fake.invalid\n  "
  Host: example.com

Fix build error after trunk merge

Merge from trunk

Cleanup: use C++ cerrno instead of C errno.h

Reduce cache_effective_user was leaking $HOME memory

putenv() leaks memory by design but there is no need to use it at all
when the path is unchanged.

Do not leak ex_data for SSL state that survived reconfigure.

SSL_get_ex_new_index() allocates a new index on every call, even if its
parameters remain unchanged. It should be called once per process
lifetime.

Besides leaking, this 12 year-old(!) bug could probably make some SSL
code misbehave during reconfigure because reconfigure would change the
supposedly constant ex_data indexes.

Do not register the same Cache Manager action more than once

... to avoid wrong mgr:menu output and the impression of a reconfigure
memory leak.

The old code was comparing action object pointers, which could not work,
and was adding the same action on every reconfigure call for modules that
register with Cache Manager during [re]configuration.

We already have a working method for finding registered actions. Use it.

Fix leaked TcpAcceptor job on reconfiguration

... by monitoring and reacting to the listening socket closure.

Every job that waits for Comm I/O must have a FD closure handler.

Fix leak of ACLs related to adaptation access rules

SourceFormat Enforcement

Copy compat from compat/strtoll.c to Tokenizer.cc

Merge: SBuf-based Tokenizer

Use SBuf::size_type instead of int64_t on message segment sizes

Unit-test http1::RequestParser constructor

Also fix several bugs identified by the new test.

Merged from trunk

Document token() behaviour at end-of-buffer

Cleanup: make Parser::buf private

Polish: constify new local variables

Docs: update reference to RFC7230 (draft-ietf-httpbis-p1-messaging-26)

Update HTTP-version parsing with RFC 7230 octet magics

RFC 7230 replaces RFC 2616 and defines HTTP-version for HTTP/1 protocol
as having exact case-sensitive octets "HTTP/1." and a variable minor
version consisting of exactly one DIGIT.

This allows us to use magic-octet matching to detect the HTTP-version
field and remove slow matching logics for unknown version and HTTP major
version number (DIGIT '1').

Document c_str() performane impacts

Import Tokenizer updates

Cleanup: de-duplicate auth_param program parameter code

Moves the "program" parse and dump code into Auth::Config.

Also, changes API to Auth::Config::dump() to not dump any config settings
for schemes which are not configured with a "program". Including scheme
specific settings.

Also, fixes missing Digest "utf8" parameter in config dump.

Docs: update auth_param documentation

Cleanup: de-duplicate auth_param realm configuration

Move realm parse and config dump logics to Auth::Config base object.
This de-duplicates Basic, Digest (and future schemes ie Bearer) config
processing code.  Also makes realm available to NTLM and Negotiate
schemes, although at present it remains unused by those schemes.

Also, convert the realm parameter string to an SBuf. Removing the need
for some memory maintenance code.

Cleanup Tokenizer::token

* remove incorrect comment

* return false with no side effects if end of buffer is reached inside
  the token, unless \0 is defined as one of the delimiters.

Merged from trunk

Fixed Parser::Tokenizer::int64, added more test cases

merge from trunk r13423

merge from trunk r13423

merge from trunk

Fix Ftp::Gateway::ServerStateData::savedReply initialization inside Ftp::Gateway::ServerStateData::ServerStateData constructor

Ftp::Gateway::ServerStateData::savedReply::messages is a wordlist not a boolean

Cleanup: de-duplicate handling of auth_param 'children'

Docs: HTTP 308 status is now RFC 7238

Peek and Splice: Interception support

Polish

Unit test for sub-string parsing

Merged from trunk

Clarify Parser::Tokenizer::int64 documentation, add one test case.

Implement Parser::Tokenizer::int64 and unit tests

Fixes to allow compile with older openSSL versions

Revised ftp-gw timeout handling to cope with very long data downloads/uploads
that triggered bogus ctrl connection timeouts due to ctrl channel inactivity.

Unset ctrl timeout when we are done waiting for the ctrl response
(ServerStateData::readControlReply).

Removed code setting data timeout from Ftp::ServerStateData::dataRead()
because the data timeout is set in ServerStateData::maybeReadVirginBody() that
dataRead calls to read data.

Removed switchTimeoutToDataChannel() from
Ftp::Gateway::ServerStateData::startDataDownload because
  * ctrl timeout should be cleared when we are done waiting for the ctrl
    response (ServerStateData::readControlReply) and
  * data timeout should be set when we start waiting for the data
    (ServerStateData::maybeReadVirginBody)

Unset channel timeout in FtpChannel::forget().

Same as ftp-gw r12798.

Merged from trunk (r13356).
Needs more work to handle FTP adaptation failures better.

Renamed atstep ACL to at_step to be more consistent with other ACL names.

Polished atstep and ssl_bump documentation.

Interim: start implementing Parser::Tokenizer::int64

Fix Tokenizer::token

Fix atstep ACL values to match SslPeekAndSplice wiki page

Change the possible atstep ACL values from step1, step2, step3 to  SslBump1,
SslBump2, SslBump3 to match SslPeekAndSplice wiki page description.

merge from trunk r13421

Peek and Splice: New ACL lists configuration

This patch:
  - removes ssl_bump_peeked access list

  - Defines three steps of the SSL bumping processing:
       step1: Get TCP-level and CONNECT info. Evaluate ssl_bump and perform
              the first matching action (splice, bump, peek, stare, terminate,
              or err)
       step2: Get SSL Client Hello info. Evaluate ssl_bump and perform the
              first matching action (splice, bump, peek, stare, terminate,
              or err). Peeking usually prevents future bumping. Staring
              usually prevents future splicing.
       step3: Get SSL Server Hello info. Evaluate ssl_bump and perform the
              first matching action (splice, bump, terminate, or err).
              In most cases, the only remaining choice at this step is
              whether to terminate the connection. The splicing or bumping
              decision is usually dictated by either peeking or staring at the
              previous step.

  - The ssl_bump ACLs list may evaluated in all SSL Bumping processing steps to
    take a decision for the next step:
       splice or none: Become a TCP tunnel without decoding the connection.
       bump:   Establish a secure connection with the server and, using a
               mimicked server certificate, with the client
       peek:   Receive client (step1) or server (step2) certificate while
               preserving the possibility of splicing the connection. Peeking
               at the server certificate usually precludes future bumping of
               the connection.
       stare:  Receive client (step1) or server (step2) certificate while
               preserving the possibility of bumping the connection. Staring at
               the server certificate usually precludes future splicing of the
               connection.
       terminate or err: Close client and server connections.
    All actions except peek and stare correspond to final decisions: Once an
    ssl_bump directive with a final action matches, no further ssl_bump
    evaluations will take place, regardless of the current processing step.

  - Add the atstep acl to match against SSL bumping step: "step1", "step2" or
    "step3"

Current Implementation details:
---------------------------------

 1) If the "peek" mode selected in step2 then the client hello message
    forwarded to server. If this mode selected in step2 the splice is always
    possible and bump maybe is not possible (in most cases where the client uses
    different SSL client library implementation)

 2) If the "stare" mode selected in step2 then the squid builds a new
    hello message, which try to mimic, if it is possible , client hello message.
    If stare selected in step2 the bump is always possible, but splice maybe is
    not possible any more.

 3) In step3 if bump decided, and bump is not possible any more then squid
    is always splicing.

 4) In step3 if splice decided but splice is not possible any more then
    squid is always bumping.

 5) Because of (3) and (4), in practice, if firefox browser used with
    peek mode, squid always splice the connection, because squid/openSSL
    does not support the firefox SSL features reported in client hello message.

 6) In step2 if ACL list evaluation result to terminate or err then we just
    close client connection. If the check result to ssl-bump then just bump.
    If check result to client-first, server-first, then bump the connection
    else do peek/stare.

 7) In step3 the ssl_bump ACL list evakuation result client-first, server-first,
    bump or peek result to bumping (if bumping is possible).

Example configurations:

acl step1 atstep  Step1
acl step2 atstep  Step2
acl step3 atstep  Step3

ssl_bump peek step1 all
ssl_bump peek step2 all
ssl_bump splice step3 all

Bug 4056: assertion MemPools[type] from netdbExchangeStart()

Cleanup: document and rename Auth::UserRequest::module_start to startHelperLookup

Cleanup: drop Auth::User::proxy_auth_list header cache

This list/cache was originally used to short-circuit auth helper lookups
based on previousy seen [Proxy-]Authorization header strings.
However, that permitted replay attacks in most auth schemes and has been
replaced by scheme-specific mechanisms:

* Basic and Digest credentials are cached in the global user name cache
  wih additional nonce/password comparisons to verify located entries.

* NTLM and Negotiate credentials are cached in the ConnStateData with
  exact-match comparison done to verify tokens.

Docs: mention -k restart in command line usage

Docs: formalize Tokenizer uniform method behaviour

"ssl_bump none" mode crashes squid

After r13324 patch the SBuf argument of the ConnStateData::handleReadData member
is used only to check if ConnStateData::In::buf is correctly filled with read
data. ConnStateData::handleReadData considers that the data already written
in ConnStateData::in.buf and checks if the passed Sbuf argument is the
ConnStateData::in.buf:

bool ConnStateData::handleReadData(SBuf *buf)
{
   assert(buf == &in.buf);
   .....

The httpsSslBumpAccessCheckDone function needs to write the CONNECT request
generated internally to force tunnel mode, in ConnStateData::In::buf and then
call ConnStateData::handleReadData method.

Bug 4065: round-robin neighbor selection with unequal weights

Fix file include order and paths

Polish namespace usage in .cc

Update documentation

Add optional limit parameter to Tokenizer::prefix()

Fix first-line debug display after dropping parsedCount_

Cleanup: drop parsedCount_ tracking

Now that parse() is receiving a buffer directly we no longer have to
track how many bytes have been consumed by the parse. It can be
calculated by comparing the current and original SBuf.

Cleanup some typos

Polish: class file shuffling for guidelines

Simplify Http1::Parser API and buffer management

Cleanup debug output

* fix debug display of sections parsed, hiding followup bytes in buffer.

* removes several duplicate dumps of message bytes.

* add mimeHeader() accessor to reduce c_str() usage when accessing mime
  header content.

Polish SBuf API use in prepareTransparentURL()

Cleanup: SBuf report how many bytes consume()d

HTTP/1 message with no mime headers is valid

Fix infinite parse loop on partial request reads

parseHttpRequest() returns NULL on incomplete parse. This case was not
exiting the loop to parse multiple requests. As a result traffic would
only receive a response if the request headers were received entirely
within one read(2) event. Pipelined requests received over multiple hung.

Merge from trunk r13414

Fix outstanding build issues and parser audit results

* Give SBuf I/O buffer directly to Http1::RequestParser

* Redesign parser state engine to represent the current state
  being parsed instead of previous completed. This allows much
  more incremental resume of a parse and reliable consume() of
  the input buffer as sections complete instead of complex byte
  accounting outide the parser.

* Maintain an internal counter of bytes parsed and consumed by
  the parser instead of a buffer offset. This allows much more
  reliable positioning of the state/section boundaries.

* Remove erroneous fprintf debug left in previous commit.

* Redesign HttpRequestMethod constructor to drop end parameter.

* Redesign all parser unit tests. Marking RFC non-compliance
  for future fixing.

Bug 4050: Segfault in CommSelectEngine::checkEvents on helper response

Regression: segfault logging with %tg format specifier

In trunk rev.13387 Token class data member was converted from union to
struct without adding initializer for the timespec field.

timespec is a redundant field anyway, just remove it.

Merged ext_delayer_acl

Renamed delayer helper for subst_perlshell compatibility

Merged from trunk

Reverted r13409 due to incompatibility with BSD pmake

Bug 2554: 32-bit wrap in AUFS counters

Merged from trunk

Renamed installed script to ext_delayer_acl

Changed subst_perlshell Makefile recipe to use the actual source file name

Integrate delayer helper with build system

Check for PURGE method using method enum instead of strcmp()

Removes one minor but needless drag on startup and reconfigure speed.

author: Alex Rousskov <rousskov@measurement-factory.com>
Avoid on-exit crashes when adaptation is enabled.

After trunk r13269 (Vector refactor) destroyed vector objects still have
positive item counts. This exposes use-after-delete bugs. In this particular
case, global adaptation rule/group/service arrays are destructed by global
destruction sequence first and then again by Adaptation::*::TheConfig objects
destructors.

This change avoiding static destruction order dependencies by storing those
global adaptation arrays on heap.

Temporary fix for segmentation faults in FwdState::serverClosed debugging.

See r13404 for details.

SourceFormat Enforcement

Temporary fix for segmentation faults in FwdState::serverClosed.

r13388 (cache_peer standby=N) moved noteUses() call from Comm to FwdState, to
avoid exposing Comm to pconn pools. Unfortunately, the closing handler does
not get a valid FD value when the closing callback shares the Connection
object with the code that called conn->close(). It gets -1. The FD of the
FwdState connection itself is already -1 at that point, for similar reasons.
The code thinks it got a matching FD and calls noteUses() with an invalid FD.

This temporary workaround prevents noteUses() calls when FD is unknown.
Without those calls, pconn usage statistics will be wrong. A different
long-term solution is needed.

Allow test suite to override make program via MAKE environment variable