Remove Robert Collins and UCLA from claimsOkayToMove

We are still awaiting on confirmed approval to move these. They can be
added later and sources re-scanned when that arrives.

Update Squid Software Foundation blurb dates

Cleanup: remove goto from Vary: header failure recovery

Cleanup: remove goto from logformat token parser

Cleanup: remove goto from clientProcessRequest()

The code path can be better statically analysed without goto statements.

Bonus side effect is that several cases of checking for cleanup code can
be removed entirely.

Sync with trunk rev.13542

Fix 'Could not find krb5-config in path' on OS without krb5

Portability: disable krb5-config use when cross-compiling

krb5-config detection does not support cross-compiling or multiple krb5
library installations properly.

pkg-config is supported by recent releases of the popular krb5 libraries
and supports cross-compile properly and complicated build environments
much better. Trust its results when cross-compiling.

SourceFormat Enforcement

Merge from trunk rev.13539

Docs: update release notes and configure --help after Kerberos update

Add release notes for the ./configure option changes in rev.13538.

Also, adjust ./configure --help display text to match the option
behaviour:
 * --with is default action, so --without gets documented.
 * --without does not accept path, and --with-foo=PATH is available on
   all library options. So remove repeated text.

Kerberos ./configure updates and LDAP group helper membership

Rewrite the configure.ac and cleans up some code in the kerberos auth
and kerberos ldap helper.

Additionally the kerberos ldap helper checks now for AD primary group
membership too.

Fix build issues after trunk rev.13534 merge

FTP server addition to trunk pulled in design changes to the HTTP parse
and processing. Adding an HTTP server component as well. This branch code
clashed and fails to build without a matching redesign.

Not yet run tested. Just building again.

Do not leak fake SSL certificate context cache when reconfigure
changes port addresses.

We believe that deleting a cached LocalContextStorage object does not actually
affect connections that use the corresponding SSL_CTX and certificate because
any SSL object using those things increments their sharing counter and
deleting LocalContextStorage only decrements that counter. The [cached]
SSL_CTX object is not destroyed by SSL_CTX_free until that sharing counter
reaches zero.

SourceFormat Enforcement

Do not assert on native FTP ERR_TOO_BIG. Do not check for ERR_TOO_BIG twice.

The assertion occurred because both the FTP request parser and the generic
ConnStateData::checkHeaderLimits() code would try to write their own error
message to the user. Reworked all error reporting code in the FTP parser to
avoid writing early responses (that were bypassing the overall transaction
flow with various negative side effects such as lack of logging).

Removed ConnStateData::checkHeaderLimits(): We already have protocol-specific
checks for huge HTTP and FTP requests. There is no point in duplicating them.
Centralizing them sounds like a good idea, but a general checkHeaderLimits()
cannot produce protocol-specific errors messages that we need, so it hurts
more than it helps. Moreover, checkHeaderLimits() was handling errors
differently than protocol parsing code, making the code more complex overall.

All that remains from the checkHeaderLimits() code now is a single Must(),
checking that the protocol parsers did what they were supposed to do: Return
NULL to request more data after checking any applicable limits. If parsers do
not (a Squid bug!), the ConnStateData job gets killed (and connection gets
closed) as the last resort.

Added clientReplyContext::setReplyToReply() and
StoreEntry::storeErrorResponse() to handle storing of a response to an FTP
command parsing error. The old code was using ErrorState to store parsing
errors, but ErrorState is still HTTP-specific and cannot relay the right FTP
codes/reasons to the user. The setReplyToReply() sounds silly but it matches
the existing setReplyTo*() naming scheme well.

Make sure parsed native FTP command tokens are not even close to the String
buffer limit. These checks are not a firm guarantee, but are better than
nothing until we replace String.

Handle ClientSocketContext registration centrally because all parsers need it.

Call quitAfterError() on fatal native FTP errors. Probably not necessary due
to fssError handling code that closes the FTP control connection, but adds
helpful debugging and brings us closer to the HTTP error handling code.

Described ConnStateData::clientParseRequests().

Merged from trunk rev.13534

Merge from trunk rev.13534

Use memcpy instead of cast for PROXY/2.0 field reading

ARM processors require 16-bit alignment, which we cannot guarantee on
the raw I/O buffer octets. memcpy() resolves that.

Portability: remove short macro MB

Very short macros have an increased liklihood of clashing with system
definitions of other symbols. In this case with a typedef in MinGW.

As the MB macro was limited to use in MemPool.* simply inline its
definition.

author: Alex Rousskov <rousskov@measurement-factory.com>
Use v3 for fake certificate if we add _any_ certificate extension.

We used to force v3 version only when adding the subjectAltName extension.
That broke sites that did not have subjectAltName but used other mimicked x509
extensions, when accessed through Firefox 31 (at least):
https://bugzilla.mozilla.org/show_bug.cgi?id=1045973

Rearrange PROXY/1.0 parser

Add a first pass to confirm LF line terminator and wait for more bytes if
missing.

Polish Peek and Splice

 - Fix debugs ( Remove HERE macro, other minor changes)
 - Formating changes

Fix build errors after trunk merge

Merge from trunk rev.13532

Fix unwrapped adaptation code in rev.13528

Performance optimizations and polish

SourceFormat Enforcement

Docs: audit updates

Docs: Revert follow_x_forwarded_for default description

Fixed reporting of malformed -n values on the command line.

Test case: $ squid -n ' '
FATAL: Expected alphanumeric service name for the -n option but got: squid

Actually disable TPROXY spoofing when PROXY protocol is used

Also, hide the TPROXY disable warning when TPROXY not used.

Fixed Parser::Tokenizer::prefix() to return false on all empty prefixes.

The code was returning true and sometimes even setting the returnedToken
to a non-empty string when no permitted tokenChars were found.

Added unit test cases to catch similar bugs in the future.

run formatter

polish peek-and-splice

 - Remove any references to "bumpErr" bumping mode. It is not implemented
 - Changes to allow make without openssl, "make dist" and "make distcheck"
 - Fix peek-and-splice documentation: The bumping modes are SslBump1, SslBump2 a
nd SslBump3
 - Other minor changes

Initial native FTP Relay support.

* Added ftp_port directive telling Squid to relay native FTP commands.
* Active and passive FTP support on the user-facing side;
  require passive connections to come from the control connection src IP.
* IPv6 support (EPSV and, on the user-facing side, EPRT).
* Intelligent adaptation of relayed FTP FEAT responses.
* Relaying of multi-line FTP control responses using various formats.
* Support relaying of FTP MLSD and MLST commands (RFC 3659).
* Several Microsoft FTP server compatibility features.
* ICAP/eCAP support (at individual FTP command/response level).
* Optional "current FTP directory" tracking (cannot be 100% reliable due to
  symbolic links and such, but is helpful in some common use cases).
* FTP origin control connection is pinned to the FTP user connection.
* No caching support -- no reliable Request URIs for that (see above).
* Significant FTP code restructuring on the server-facing side.
* Initial steps towards HTTP code restructuring on the client-facing side.

See merged revisions commit log for details.

Fixes and polishing in response to Amos' squid-dev review dated 2014/08/10.

Fixed handling of FTP commands terminated with LF instead of CRLF (regression
introduced during migration to Tokenizer in r12812).

Many polishing touches.

Changes in response to Amos' squid-dev review dated 2014/08/08.

See inner commit messages for details.

Polishing in response to Amos' squid-dev review dated 2014/08/08.

The PASS value masking code in HttpHeader::packInto() is currently unused
because Squid does not (and cannot) use errorpages for native FTP errors.

It is [still] possible to configure ftp_port with transport=HTTP but it is
not clear what the exact effects of that configuration are, if any.

The ftp_port ftp-track-dirs option no longer accepts on|off values. Off is
still the default. Turn on using a valueless "ftp-track-dirs" option.

Other minor polishing touches.

Centralized and documented FTP protocol "version" (1.1) definition.

Moved AnyP::PortCfg::setTransport() to the cache_cf.cc parsing code where it
currently belongs. AnyP code should not have protocol-specific pieces as it is
code shared among (or used by) many (ideally, all transfer) protocols.

TODO: Convert Http::ProtocolVersion from class into a function.

Fix bugs and polish peek-and-splice

This patch:
  - Add test in configure script to check if OpenSSL hacks can be supported.
    These tests enable the SQUID_USE_OPENSSL_HELLO_OVERWRITE_HACK in autoconf.h
  - Fixes peek-and splice related documentation , the step1, step2, step3 names
    now used instead of the SslBump[1,2,3] as bumping steps
  - Many fixes in bio subsystem:
     * investigate the Ssl::Bio::sslFeatures::applyToSSL method to configure
       and SSL object the features included in sslFeatures object
     * rename Ssl::ClientBio::headerState to Ssl::ClientBio::helloState
     * rename Ssl::ClientBio::headerSize to Ssl::ClientBio::helloSize
     * investigate the Ssl::ClientBio::HelloReadState enum to describe
       the ssl hello message read state
     * Ssl::ServerBio::write should return the size of the data the openSSL
       ask from us to write to server, else it abort SSL connection with error
     * Do not overwrite openSSL SSL object with client hello on Peek mode if
       we can not support web client SSL features. This is causes problems
       and openSSL may abort the connection with error.
       The adjustSSL function does not need the "force" parameter any more.
     * If SQUID_USE_OPENSSL_HELLO_OVERWRITE_HACK is not defined adjustSSL
       return always false.
     * document bio related classes
  - TunnelStateData::logTag_ptr:
      * try to set TunnelStateData::logTag_ptr when peek and splice mode is used
      * the TunnelStateData::logTag_ptr is not initialized in constructure
      * Do not use TunnelStateData::logTag_ptr if it is not defined for a reason
  - Try to set delay pools settings inside switchToTunnel when peek-and-splice
    mode is used
  - Remove unsused code inside switchToTunnel method (tunnel.cc file)
  - Other minor changes

Bug 4093: source-maintenance.sh bad perl -i option

SourceFormat Enforcement

Fixed HttpHdr::Private/NoCache(v) implementations and optimized their API.

These calls now avoid assertions and extra trailing commas when called with
empty names. The API now allows calling with a String() object, but still
needs more polishing work.

Moved common code from Ftp::Server::setReply and Ftp::Relay::createHttpReply()
into Ftp::HttpReplyWrapper().

Also removed the last non-job callbak from Ftp::Client, polished and synced
new FTP comments with the modern client/server/gateway/relay terminology, as
well as minimized changes compared to trunk.

Converted some of the new FTP code to use SBuf and Tokenizer
instead of MemBuf, String, and c-string manipulations.

Tokenizer fixes and API improvements.

Taught Tokenizer to keep track of the number of parsed bytes. Many callers
need to know that because they need to adjust/consume I/O offsets/buffers.

Adjusted unused Parser::Tokenizer::token() to not treat NUL delimiter
specially. Besides the fact that not all grammars can treat NUL that way, the
special NUL treatment resulted in some token() calls returning true for empty
tokens, which was confusing parsers. Callers that do not require trailing
delimiters, should use prefix() instead. This change is based on experience
writing Tokenizer-based FTP parser, although the final parser code uses
prefix() instead of token(), for unrelated reasons.

Split Parser::Tokenizer::skip(set) into skipOne() and skipAll(). All other
skip() methods skip exactly one thing (either a given character or a given
token) but the old skip(set) method was skipping multiple things. That
confused callers. We now force the caller to make a choice.

Fixed Parser::Tokenizer::skip(char) to avoid out of bound access.

Added CharacterSet::complement() to create "all except those in that set" sets
handy for parsing (e.g., "get all characters until the end of line").

Added CharacterSet::rename() to label sets. Handy in const declarations that
use expressions. For example: const CharacterSet AB = (A+B).renamed("AB").

Do not allow SBuf::toLower/toUpper() return a value.

Some callers think toLower() method changes the string and some think it
returns a changed value without changing the string. Without unportable hacks
like __attribute__((warn_unused_result)), some of the callers will guess wrong
and not know about it. It is easier/safer to change the object itself and
return nothing.

Provided ToUpper/ToLower() functions (not methods!) that preserve their
paramter and return a new object for callers that need the old functionality.
These functions are a good candidate for __attribute__ hacks.

merge from trunk r13526

Polished for the official review, addressing several TODOs.

Use 1.1 version for FTP ports because FTP commands are sent on a
"persistent by default" connection, just like HTTP/1.1.

Cleaned up Ftp::CtrlChannel, Ftp::DataChannel, and Ftp::Client object
construction and destruction.

Do not insist on USER command when intercepting FTP. Interception support
may still not work for other reasons, but USER does not seem to be required
since Squid gets request destination from the intercepted connection info.

Merge from trunk rev.13526

Updated configuration options

* Replace proxy-surrogate fag with require-proxy-header

* Revert follow_x_forwarded_for linkage with PROXY protocol.
  Add proxy_protocol_access directive for PROXY ACLs instead.

* set fast default for proxy_protocol_access when none configured.

Peek and Splice: %ssl::<cert_subject and %ssl::<cert_issuer formating codes to e
xternal_acl

This patch investigates the %ssl::<cert_subject and %ssl::<cert_issuer
formating codes to external_acl helpers.
 * The %ssl::<cert_subject formating code prints the server certificate DN
 * The %ssl::<cert_issuer formating code prints the server certificate issuer DN

Both formating codes are available after the ssl bumped connection is
established.
When Peek and Splice mode is selected these formating codes are available on
peek or stare mode, after the step2 is comleted and server certificate is
received.

peek-and-splice: Fix stare mode

- For peek mode we need to always forward client hello message
- For stare mode we must forward client hello message only if we can mimic
  all of the client SSL features, else we should sent a new SSL hello message.

Done moving FTP code around. Polished moved code to match new locations.

src/clients/FtpNative is now src/clients/FtpRelay. It was awkward to use a
non-noun "Native" as a class name, and the class was already described as
"relaying FTP".

Major source layout change: Moved FTP code into servers/, clients/, and ftp/.

  src/servers/FtpServer.*   # new FTP server, relaying FTP
  src/servers/HttpServer.*  # old ConnStateData parts conflicting w/ FtpServer
  src/clients/FtpClient.*   # code shared by old and new FTP clients
  src/clients/FtpGateway.*  # old FTP client, translating back to HTTP
  src/clients/FtpNative.*   # new FTP client, relaying FTP
  src/ftp/*                 # FTP stuff shared by clients and servers

This change attempts to preserve code in moved files to the extent possible:
Only copied or added code was polished. Future changes will polish moved code.

Unfortunately, bzr does not track code changes across file splits, so the code
moved from ConnStateData (client_side.cc) into HttpServer and FtpServer
classes appears as removed and added in bzr diff. If you want to see the
branch log for the FtpServer or HttpServer code added in this revision, look
in the previous branch revision of client_side.cc.

Fixed (missing DOC_END) and polished ftp_port documentation.

Docs: update release notes after rev.13524

Docs: cleanup obsolete directive listings

Remove hierarchy_stoplist in favour of always_direct

This directive was deprecated 2 years (and versions) ago. It can be
replaced with:
  acl stoplist url_regex cgi-bin|\?
  always_direct allow stoplist

The major difference between the two configurations is that the old
hierarchy_stoplist was applied after never_direct and always_direct is
applied before it. Both override the never_direct result, so this is not
a problem.

Peek and Splice: Bug fixes

 - Initialize Ssl::ServerBio::bumpMode_ member in constructor
 - While we are checking ssl_bump access list the Stare mode is never selected

Fix reconfiguration leaks: objects tied to http_port part1

This patch cleans up forgotten(?) clientca and crlfile PortCfg members.

Note:
   PortCfg objects are still leaking so this change alone is not enough

Merged from trunk rev.13522

Docs: correct Proxy-Support code comment

Fix typo in rev.13516

Docs: update HTTP header registrations

Register If-Unmodified-Since from RFC 7232

Moved ftpAccept outside the irrelevant #if USE_OPENSSL clause.

Merged from trunk (r13515).
Needs more work to handle FTP adaptation failures better.

Fix tcp outgoing tos bugs part 3

Set tos and netfilter mark value for outgoing ftp data connections established
using the PASV command. Currently works only for EPSV command.

Fix %USER_CA_CERT_* and %CA_CERT_ external_acl formating codes

  * The attribute part of the %USER_CA_CERT_xx and %CA_CERT_xx formating codes
    is not parsed correctly, make these formating codes useless.
  * The %USER_CA_CERT_xx documented wrongly

Cleanup: polish header masks and fix incorrect entries

Audit updates

Merged from trunk rev.13515

Deprecate tag ACL type in favour of note

Enable compile-time override for MAXTCPLISTENPORTS

MAXTCPLISTENPORTS controls the permitted number of http(s)_port which
may be configured. The hard-coded default is 128 ports.

This patch enables the use of CXXFLAGS="-DMAXTCPLISTENPORTS=n" to set a
new limit when building Squid.

Peek and Splice: SNI to external_acl

Support the %ssl::>sni formating code with external_acl helpers and
access logging. The new code prints the SNI name sent by the SSL client.
If no SNI information is available, the code expands into a dash. It is
currently supported only after the peek, stare, or splice SSL bumping
actions. Note that older clients (e.g., IE on Windows XP) do not send SNI.

This is a Measurement Factory project

BSD: Fix unit test link errors

Merged from trunk

Update release notes

Optimize Comm::Connection IP::address setting

Use an inline setter to set both local and remote IP address values in
one call.

Correct PROXY protocol reference

Allow proxy-surrogate to be used with any traffic mode

The accel/intercept/tproxy mode flag when used with proxy-surrogate
indicates what type of traffic the remote client used to receive this
traffic.

* disable use on https_port

* disable TPROXY spoofing when the PROXY header provides client IP

Various audit updates

Log PROXY errors to cache.log

squidclient: Fix -N option to correctly read argument

Fix distclean on BSD

Fix tcp outgoing tos bugs part2

Fix for the patch r13505, "Fix tcp outgoing tos bugs":
 The Connection::fd member of a non openned connection used inside
Comm::ConnOpener::createFd member, causing crashes to squid

Replace INCLUDES variable deprecated by automake 1.7 with AM_CPPFLAGS

Fix unit test linker issues in testHttpReply and testStore

Also, update STUB files for comm.cc, event.cc, and libssl-squid.la

SourceFormat Enforcement

Fix tcp outgoing tos bugs

The tcp_outgoing_tos is buggy in trunk:
 - The ToS is never set for packets of the first request of a TCP connection.
 - The ToS is never set for HTTPS traffic no matter whether requests are bumped
   or not.
 - The ToS value is not set for ftp data connections

This patch solve the above problems:
 - It moves the codes which sets the TOS value for a new connection from the
   the comm_openex to a higher-level code, where the connection protocol
   (IPv4 or IPv6) is known.
 - Add code to set TOS value for ftp data connections.
 - Add a check on parsing code to warn users if the configured ToS value has the
   ECN bits set, and adjust the value to a correct one.

Notes
  Currently squid support only passive ftp data connections. If squid in the
future supports active ftp connections, then some work required to TcpAcceptor
class to allow setting ToS values for connections established on squid listening
sockets.

This is a Measurement Factory project

Fix various trunk unit test build issues

Fix out of bounds memory access on -n option

Fix unit test issue after rev.1498

Moves service_name global definition to tools.h where it can be
accessible to more unit tests, in particular tests outside of
src/Makefile.am

Adds stub_SBuf.cc for use by unit tests not actually needing SBuf.

squidclient: Fix -m option to correctly read method argument

Bug 4085: cache_miss_revalidate / ignore_ims_on_miss docs confusing

Fix http_port after rev.13497

Also, remove dead code if-statement in httpAccept(). Replace with a note
that the call may have been queued when a reconfgure happened to the port

Validate -n service name parameter value

Service name is used for path prefixes in SHM/UDS sockets, Windows
service name, Unix/Linux/BSD daemon names, and file path segments.

Restrict service names to a max 32 character alphanumeric value in order
to accommodate as widely portable names as possible in all these cases.

Converts the PortCfgPointer to reference counted

This allows long-lived connections to retain access to their original
receiving port configuration even after squid has been reconfigured.
Reference counting prevents some leaking of these port configuration
details and associated state by removing locking uncertainties.

Also, fixes all parsing errors resulting from the change. Most of
the issues were due to use of raw-pointers and explicit
cbdataReference*() API.