Add predefine for Http1::ParserPointer

Merged from trunk rev.13445

SourceLayout: rename comm_err_t to Comm::Flag

Integration testing of rev.13443 revealed that there were two copies of
comm_err_t.h in the source code.

* Remove the unnecessary duplicate file.
* Shuffle the enum into Comm:: scope as 'Flag'.
* Reduce the enum value labels to drop the redundant prefix.
* Rename COMM_EOF to Comm::ENDFILE to avoid colliston with #define EOF
  in system headers.

Fix typo in rev.13441

Merge from trunk rev.13442

Cleanup: remove comm_read_cancel(AsyncCall) API

Converting remaining users of the old API wrapper to Comm::ReadCancel.

Update the Comm:: API for read(2)

... using an algorithm suggested by Alex Rousskov.

The code for Comm:: read operations is shuffled into comm/libcomm.la and
the files comm/Read.{h,cc} in symmetry with the current Comm::Write API.

The new API consists of:

 * Comm::Read() which accepts the Comm::Connection pointer for the
socket to read on and an AsyncCall callback to be run when read is
ready. The Job is responsible for separately initiating read(2) or
alternative action when that callback is run.

 * Comm::ReadNow() which accepts an SBuf buffer and a CommIoCbParams
initialized to contain the Comm::Connection pointer for the socket to
read on. TheCommIoCbParams will be filled out with result flag, xerrno,
and size.
This synchronously performs read(2) operations to append bytes to the
provided buffer. It returns a comm_err_t flag for use in determining how
to handle the results and signalling one of OK, INPROGRESS, ERROR, EOF
as having happened.

comm_read() API is retained for backward compatibility during the
transitional period. However it is now deprecated and scheduled for
removal ASAP. The SBuf overloaded variant is now removed.

 * Comm::ReadCancel() - a renaming of the comm_read_cancel() AsyncCall
API. Other cancel API(s) are now deprecated and will be removed ASAP.

Code using comm_read_cancel() with AsyncCall may immediately switch to
this new API with no logic changes necessary even if they are not using
other new Comm API calls.

 * Comm::MonitorsRead() - a renaming of comm_monitors_read() AsyncCall
API. comm_monitors_read() is now removed.

Other changes:
 - the unused comm_has_pending_read_callback() API is erased.
 - the IoCallback::buf2 mechanism previously used for SBuf read I/O is
   erased.
 - ConnStateData is converted to this new API for filling its SBuf I/O
   buffer and for monitoring pinned connection closures.
 - fde::readPending() converted to new Comm::MonitorsRead() API.
 - Comm half-closed monitoring feature is also converted to this new API.

NP: one bug in ConnStateData handling of intercepted HTTPS traffic is
noted but not fixed in this patch.

Fix inverted LF detection in Parser::getHeaderField()

Cross-compile: Add BUILDCXX and BUILDCXXFLAGS configure options

We have provided HOSTCXX for some time. However in the official cross
compilation terminology HOST is the output architecture. Renames to
BUILD to align with the official terminology of which machine the tools
it builds are run on.

Also, add a flags variable and document these as important variables in
./configure --help output

Cleanup: provide Comm::ConnOpener via comm/forward.h

Add TCP_TUNNEL log code for CONNECT tunnels which are not SSL-bumped

Marked const variables in Tokenizer methods as such

Fix regression in mime header boundary detection

Change order of BSD-specific network includes so that they are properly picked up

Remove additional minor performance regression

Remove additional minor performance regression

Use Tokenizer to scan URL field received by reverse-proxy

This removes one performance regression from SBuf reallocation.

Also fixes bugs where Squid would silently accept invalid characters in
the URL scheme, userinfo, and authority segments.

Also fixes bug where Squid would treat / in userinfo@ segment as if it
were the start of the path.

Also fixes bug where Squid would fail on URI with missing path but
?query and/or #fragment segment present.

Mark some performance regressions

Cleanup: rewrite Http::One::Parser::getHeaderField() using Tokenizer

Fixes performance regression in SBuf usage.

Also, fixes one nasty bug where it would return the value of a line
containign the named header despite obs-fold and quoting. This was
particualarly bad as this method is used primarily to retrieve Host:
header before full aprsing of the mime block takes place.

The bug causes "foo.invalid" to be detected as hostname in:

  GET / HTTP/1.1
  Foo: bar="\r  Host: fake.invalid\n  "
  Host: example.com

Fix build error after trunk merge

Merge from trunk

Cleanup: use C++ cerrno instead of C errno.h

Reduce cache_effective_user was leaking $HOME memory

putenv() leaks memory by design but there is no need to use it at all
when the path is unchanged.

Do not leak ex_data for SSL state that survived reconfigure.

SSL_get_ex_new_index() allocates a new index on every call, even if its
parameters remain unchanged. It should be called once per process
lifetime.

Besides leaking, this 12 year-old(!) bug could probably make some SSL
code misbehave during reconfigure because reconfigure would change the
supposedly constant ex_data indexes.

Do not register the same Cache Manager action more than once

... to avoid wrong mgr:menu output and the impression of a reconfigure
memory leak.

The old code was comparing action object pointers, which could not work,
and was adding the same action on every reconfigure call for modules that
register with Cache Manager during [re]configuration.

We already have a working method for finding registered actions. Use it.

Fix leaked TcpAcceptor job on reconfiguration

... by monitoring and reacting to the listening socket closure.

Every job that waits for Comm I/O must have a FD closure handler.

Fix leak of ACLs related to adaptation access rules

SourceFormat Enforcement

Copy compat from compat/strtoll.c to Tokenizer.cc

Merge: SBuf-based Tokenizer

Use SBuf::size_type instead of int64_t on message segment sizes

Unit-test http1::RequestParser constructor

Also fix several bugs identified by the new test.

Merged from trunk

Document token() behaviour at end-of-buffer

Cleanup: make Parser::buf private

Polish: constify new local variables

Docs: update reference to RFC7230 (draft-ietf-httpbis-p1-messaging-26)

Update HTTP-version parsing with RFC 7230 octet magics

RFC 7230 replaces RFC 2616 and defines HTTP-version for HTTP/1 protocol
as having exact case-sensitive octets "HTTP/1." and a variable minor
version consisting of exactly one DIGIT.

This allows us to use magic-octet matching to detect the HTTP-version
field and remove slow matching logics for unknown version and HTTP major
version number (DIGIT '1').

Document c_str() performane impacts

Import Tokenizer updates

Cleanup: de-duplicate auth_param program parameter code

Moves the "program" parse and dump code into Auth::Config.

Also, changes API to Auth::Config::dump() to not dump any config settings
for schemes which are not configured with a "program". Including scheme
specific settings.

Also, fixes missing Digest "utf8" parameter in config dump.

Docs: update auth_param documentation

Cleanup: de-duplicate auth_param realm configuration

Move realm parse and config dump logics to Auth::Config base object.
This de-duplicates Basic, Digest (and future schemes ie Bearer) config
processing code.  Also makes realm available to NTLM and Negotiate
schemes, although at present it remains unused by those schemes.

Also, convert the realm parameter string to an SBuf. Removing the need
for some memory maintenance code.

Cleanup Tokenizer::token

* remove incorrect comment

* return false with no side effects if end of buffer is reached inside
  the token, unless \0 is defined as one of the delimiters.

Merged from trunk

Fixed Parser::Tokenizer::int64, added more test cases

Cleanup: de-duplicate handling of auth_param 'children'

Docs: HTTP 308 status is now RFC 7238

Polish

Unit test for sub-string parsing

Merged from trunk

Clarify Parser::Tokenizer::int64 documentation, add one test case.

Implement Parser::Tokenizer::int64 and unit tests

Interim: start implementing Parser::Tokenizer::int64

Fix Tokenizer::token

Bug 4056: assertion MemPools[type] from netdbExchangeStart()

Cleanup: document and rename Auth::UserRequest::module_start to startHelperLookup

Cleanup: drop Auth::User::proxy_auth_list header cache

This list/cache was originally used to short-circuit auth helper lookups
based on previousy seen [Proxy-]Authorization header strings.
However, that permitted replay attacks in most auth schemes and has been
replaced by scheme-specific mechanisms:

* Basic and Digest credentials are cached in the global user name cache
  wih additional nonce/password comparisons to verify located entries.

* NTLM and Negotiate credentials are cached in the ConnStateData with
  exact-match comparison done to verify tokens.

Docs: mention -k restart in command line usage

Docs: formalize Tokenizer uniform method behaviour

"ssl_bump none" mode crashes squid

After r13324 patch the SBuf argument of the ConnStateData::handleReadData member
is used only to check if ConnStateData::In::buf is correctly filled with read
data. ConnStateData::handleReadData considers that the data already written
in ConnStateData::in.buf and checks if the passed Sbuf argument is the
ConnStateData::in.buf:

bool ConnStateData::handleReadData(SBuf *buf)
{
   assert(buf == &in.buf);
   .....

The httpsSslBumpAccessCheckDone function needs to write the CONNECT request
generated internally to force tunnel mode, in ConnStateData::In::buf and then
call ConnStateData::handleReadData method.

Bug 4065: round-robin neighbor selection with unequal weights

Fix file include order and paths

Polish namespace usage in .cc

Update documentation

Add optional limit parameter to Tokenizer::prefix()

Fix first-line debug display after dropping parsedCount_

Cleanup: drop parsedCount_ tracking

Now that parse() is receiving a buffer directly we no longer have to
track how many bytes have been consumed by the parse. It can be
calculated by comparing the current and original SBuf.

Cleanup some typos

Polish: class file shuffling for guidelines

Simplify Http1::Parser API and buffer management

Cleanup debug output

* fix debug display of sections parsed, hiding followup bytes in buffer.

* removes several duplicate dumps of message bytes.

* add mimeHeader() accessor to reduce c_str() usage when accessing mime
  header content.

Polish SBuf API use in prepareTransparentURL()

Cleanup: SBuf report how many bytes consume()d

HTTP/1 message with no mime headers is valid

Fix infinite parse loop on partial request reads

parseHttpRequest() returns NULL on incomplete parse. This case was not
exiting the loop to parse multiple requests. As a result traffic would
only receive a response if the request headers were received entirely
within one read(2) event. Pipelined requests received over multiple hung.

Merge from trunk r13414

Fix outstanding build issues and parser audit results

* Give SBuf I/O buffer directly to Http1::RequestParser

* Redesign parser state engine to represent the current state
  being parsed instead of previous completed. This allows much
  more incremental resume of a parse and reliable consume() of
  the input buffer as sections complete instead of complex byte
  accounting outide the parser.

* Maintain an internal counter of bytes parsed and consumed by
  the parser instead of a buffer offset. This allows much more
  reliable positioning of the state/section boundaries.

* Remove erroneous fprintf debug left in previous commit.

* Redesign HttpRequestMethod constructor to drop end parameter.

* Redesign all parser unit tests. Marking RFC non-compliance
  for future fixing.

Bug 4050: Segfault in CommSelectEngine::checkEvents on helper response

Regression: segfault logging with %tg format specifier

In trunk rev.13387 Token class data member was converted from union to
struct without adding initializer for the timespec field.

timespec is a redundant field anyway, just remove it.

Merged ext_delayer_acl

Renamed delayer helper for subst_perlshell compatibility

Merged from trunk

Reverted r13409 due to incompatibility with BSD pmake

Bug 2554: 32-bit wrap in AUFS counters

Merged from trunk

Renamed installed script to ext_delayer_acl

Changed subst_perlshell Makefile recipe to use the actual source file name

Integrate delayer helper with build system

Check for PURGE method using method enum instead of strcmp()

Removes one minor but needless drag on startup and reconfigure speed.

author: Alex Rousskov <rousskov@measurement-factory.com>
Avoid on-exit crashes when adaptation is enabled.

After trunk r13269 (Vector refactor) destroyed vector objects still have
positive item counts. This exposes use-after-delete bugs. In this particular
case, global adaptation rule/group/service arrays are destructed by global
destruction sequence first and then again by Adaptation::*::TheConfig objects
destructors.

This change avoiding static destruction order dependencies by storing those
global adaptation arrays on heap.

Temporary fix for segmentation faults in FwdState::serverClosed debugging.

See r13404 for details.

SourceFormat Enforcement

Temporary fix for segmentation faults in FwdState::serverClosed.

r13388 (cache_peer standby=N) moved noteUses() call from Comm to FwdState, to
avoid exposing Comm to pconn pools. Unfortunately, the closing handler does
not get a valid FD value when the closing callback shares the Connection
object with the code that called conn->close(). It gets -1. The FD of the
FwdState connection itself is already -1 at that point, for similar reasons.
The code thinks it got a matching FD and calls noteUses() with an invalid FD.

This temporary workaround prevents noteUses() calls when FD is unknown.
Without those calls, pconn usage statistics will be wrong. A different
long-term solution is needed.

Allow test suite to override make program via MAKE environment variable

Bug 4059: Support redirectors and logging using Squid-2 urlgroup feature

SourceFormat Enforcement

Release Notes 3.5: updated helper concurrency status

Cleanup: Refactor external_acl_type format codes representation

Removes enum_external_acl_format::format_type from external_acl.cc
by replacing it with enum Format::ByteCode_t.

Several missing logformat codes related to URL display have been added
to the logformat token set for general use.

Several of the external ACL format codes have been added to
Format::ByteCode_t without equivalent logformat TokenTableEntry's at
this stage as both desirable token naming and access to the data to
produce them generically is unclear.

The external_acl_type parser is updated to accept logformat tokens
wherever an equivalent exists and map directly to the ByteCode_t values.

The mgr:config report dumper is also updated to output the logformat
tokens. But as yet the official deprecation has not been done in
squid.conf.

Merge fron trunk rev.13398