SourceFormat Enforcement

New SBuf and Tokenizer methods to simplify suffix parsing and skipping
(and to make suffix/reverse APIs more similar to prefix/forward ones).

Also reluctantly changed Tokenizer to update parsedSize() when parsing
suffixes, per reviewer request.

Bug 4301: compile errors with IPFilter interception

Bug 4242: compile errors with eCAP using clang-3.6

Polish: add debug section,level to cache.log

Cache.log produced at level ALL,9 are very verbose, and tracking down
what specific section,level details to log for a shorter trace without
lost details can sometimes be tricky and time consuming. Particularly
when multiple sections are involved.

This patch adds a column containing the relevant debug_options
SECTION,LEVEL value on each line right after the kidN number for debug
levels 2+.

Fix missing virtual destructor in Packable API

TLS: fix various bugs in HTTPS proxying context creation

cache_peer with "ssl" option and DIRECT HTTPS outgoing traffic was
not having TLS context initialized at all. Resulting in TLS outgoing
being disabled unless explicit extra options were used.

With this patch:

The default squid.conf sets "tls_outgoing_options min-version=1.0".
Which auto-enables DIRECT outgoing, the new explicit "disable" option
is required to turn off.

http_port ... protocol=HTTPS and https_port forces
"encryptTransport=true;" explicitly based on the expected protocol. So
it is either enabled by the parse() call when TLS options are used, or
forced on anyway later when the protocol is validated.

icaps:// services also explicitly set "encryptTransport=true;"
explicitly based on 's' in the service URI scheme.

The cache_peer requires a minimum of "ssl" option to be configured. Any
use of TLS/SSL options other than "disable" will enable TLS to the peer.

In summary TLS should be:

* default-on for all https_port, icaps:// services, and outgoing
https:// traffic.

* manually enabled on cache_peer and http_port.

* manually disabled on outgoing https:// traffic.

SourceFormat Enforcement

Reject non-chunked HTTP messages with conflicting Content-Length values.

Squid used to trust and forward the largest Content-Length header. This
behavior violated an RFC 7230 MUST in Section 3.3.3 item #4. It also confused
some ICAP services and probably some HTTP agents. Squid now refuses to forward
the badly framed message to the ICAP service and HTTP agent, responding with
an HTTP 411 or 502 (depending on the message direction) error instead.

This is a quick-and-dirty implementation. A polished version should reject
responses with invalid Content-Length values as well (per RFC 7230 MUST) and
should behave the same regardless of the relaxed_header_parser setting (this
is not a header parsing issue).

Replace use of String in ProcessRoles() with SBuf

Remove unused SBUF_SOURCE from parser/Makefile

Remove always-true checks in HttpHdrCc (CID 1315405, 1315406)

SourceFormat Enforcement

Merge coverity-fixes - HttpHeader refactor

Implement operator<<(ostream,Http::HttpHdr)

Implement operator<<(ostream, HttpHdrCc

Fix formatting

Fix typo

Tighten and rationalize checks on HTTP headers' validity.
Remove operator<<(Http::HeaderType) as it's not accepted by clang.

Rename http_hdr_cc_type to HttpHdrCcType and reference it by full qualifier.
Remove module cleanup functions for HttpHeader, HttpHdrCc, HttpHdrSc.
Remove useless includes.
Rename Http::any_registered_header to Http::any_HdrType_enum_value.
Remove useless assert()s in HttpHeaderEntry dtor and HttpHeader::parse.
Clarify documentation for Http::HeaderLookupTable

Shuffled more methods into namespace Http, renamed headerTable according to conventions.

renamed field_type to Http::HdrFieldType

Renamed http_hdr_type to Http::HdrType, fixed some HdrType-int implicit conversions

Fix http_hdr_type layering constraint violations in external_acl.cc

Shuffle HeaderLookupTable to RegisteredHeaders.{h,cc}

Review: shuffle enums from enums.h to specific headers.

Merged from trunk

Source formatting

Fix bug in HDR_OTHER parsing; refactor valid-header checks to be more generic

Clean up

Boilerplate: update ignored files

Boilerplate: add Foundation details to rfcnb and smblib documentation files

We had hoped to be removing this old library code by now. But it appears
that there is no alternative and users are still requesting the helpers
that depend on them.

Removed httpHeaderIdByNameDef, small cleanups

Removed HttpHeaderFieldInfo and related methods

Migrate HttpHdrCc to LookupTable.

Fix fakeAConnectRequest() missing after rev.14206

Cleanup: de-duplicate fake-CONNECT code

Over the course of the peek-n-splice development and followup patches
the code generating fake CONNECT requests to tunnel various intercepted
traffic has been copy-n-pasted several times.

Add a new method fakeAConnectRequest() that takes a debug reason and
SBuf containing any payload to preserve from the original I/O buffer.

Use automake subdir-objects feature

Now that there are no longer cross-directory collisions in the built
binaries or libraries we can enable this feature from ./configure
instead of on a per-Makefile basis

Fix distclean file left after rev.14203

Place unit tests in src/tests to make automake happy

The auto* toolchain warns that automake future versions
will be enablign aubdir-objects mechanism by default.

Some unit tests were moved into per-library subdirs
with the plan of keeping all convenience library code
together. However the current layout state of Squid
means that most still require some objects in other
libraries or at the top level. This does not build
happily with the auto-tools subdir-objects feature.
In particular the distclean target has a tendency
to erase objects twice and die on the second attempt.

Temporarily undo that SourceLayout shuffing in order
to be more compatible with automake 1.1n versions.

Remove dead code from HttpHdrSc.cc

Reimplemented Surrogate-Control lookup as LookupTable, removed httpHeaderNameById

Turn field_type into a strongly-typed enum

Merged from trunk

Bug 4293: wrong SNI sent to server after URL-rewrite

Fix 'large transactions are getting stuck' since rev.14093

Packer removal of packerClean() also removed several implicit uses of
StoreEntry::flush() without adding an explicit call in their place.

All users of StoreEntry::buffer() must follow it with a call to
StoreEntry:flush() to release the buffering and output the buffer
contents.

SourceLayout: move CacheMgr typedef OBJH to mgr/forward.h

More 3.5.7 ChangeLog

Prep for 3.5.7 and 3.4.14

Add forgotten http/RegisteredHeaders.cc

Merged from trunk

Updated TODO

Moved headerTable and related enums to RegisteredHeaders.cc

Moved some users of httpHeaderIdByNameDef to the SBuf variant

Removed HeadersAttrs table, moved header statistics to headerStatsTable.

Migrate Http Header Fields stats to headerStatsTable

Comment out dead code, start using LookupTable for HttpHeader lookups.

basic_smb_auth: rejecting valid credentials

basic_smb_auth.sh delivers the credentials via environment in
a form "$USER%$PASSWORD", which is not expected from smbclient. This seem to
result from an obsolete or inferior documentation of smbclient. While it is
perfectly valid to deliver the credentials in this form via commandline
parameter -U, for example in

  smbclient //domain_controller/NETLOGON -d 0 -E -W windows_domain -c "get
  proxyauth -" -U herrmann%mysecurepassword 2>/dev/null

this form is not valid, when the credentials will be delivered via environment.

Via environment the credentials must be delivered in two separate variables
  USER=$USER%
  PASSWD=$PASSWORD.

basic_smb_auth: doesn't handle passwords with backslashes

 From; Jeff Licquia <jlicquia@scinet.springfieldclinic.com>
 Subject; squid: SMB auth proxy has problems with some passwords
 Date; Tue, 18 Jul 2000 12:45:01 -0500 (CDT)

The SMB authenticator doesn't handle passwords with backslashes in them
correctly.  The fix appears to be easy; just put a -r in the "read SMBPASS"
line in smb_auth.sh.

basic_smb_auth: nmblookup fails when smb.conf contaisn WINS servers

 From; John M Cooper
 To; Debian Bug Tracking System
 Subject; squid: smb_auth does not work with a wins server defined in smb.conf
 Date; 28 Jan 2002 17:46:13 +0000

If you define a wins server in the file /etc/samba/smb.conf then the
smb_auth script gets the wrong Domain Controller IP address.

There should be a change to mb_auth.sh at line 50

basically adding in the extra "\..+" stops the number of Wins servers
from being returned from the nmblookup command.

Docs: fix man(8) page syntax for lexgrof tool

Cleanup: urlParseProtocol() is unused outside url.cc

Add todo list, re-add HDR_OTHER, implement parallel lookup, shuffle HDR_BAD_HDR at end of enum list

Check invariant on HttpHeader.cc:headerTable at startup

LookupTable must be case-insensitive

Implement modular LookupTable and use it for HttpHeader.cc:headerTable.

SourceFormat Enforcement

Start converting HttpHeader.cc to LookupTable

Merged from trunk

Implement std::hash<SBuf> for seamless std::unordered_map<SBuf,*> integration

Moved std::hash<SBuf> from SBuf.h to SBufAlgos.h

Removed whitespace in unit test

SourceFormat Enforcement

SourceLayout: refactor regex pattern objects

* moves the regex pattern state storage to class RegexPattern
  in base/RegexPattern.h which is MEMPROXY_CLASS pooled and
  constructed with flags and pattern preset.
 - for now the regcomp generated data is set separately.

* Replaces ACL storage class RegexList with a std::list

* converts refresh_pattern regex data to class RegexPattern for
  its pattern and -i/+i flag details.

Fix libdiskio build with auto-disabled modules

The squid_disk_module_candidates_* autoconf variable for disabled
disk I/O modules needs to be explicitly set to 'no' to perform the
disabling. Do this for all modules that were not doing so when module
dependencies were broken or absent.

Also, convert the IpcIo module from a hard ERROR, to a soft auto-disable
when SHM support is not present.

Add temporary SBufToCstring() helper functions for SBuf transition

These functions provide safe replacement for xstrdup() and xstrncpy()
that guarantees 0-termination of the output c-string but do not have
any side effects or behaviour guarantees affecting the source SBuf
internal state.

This lack of side effects is important for the transitional period
where a lot of buffer contents will be copied out of SBuf but are
'read-only' and need to avoid overheads such as the reallocating
twice (or more) that would occur if using SBuf::c_str().

Effective immediately we have a ban on using the xstr*() group of
helper functions to copy data out of SBuf::raw*() accessors. The
xstr*() and all other common system str*() use c-string dependent
operations internally which on non-0-terminated SBuf internals can
result in nasty performance issues (ie. strlen() of 2 MB 'string').

Fix several other xstrndup() instigated off-by-1 errors

Fix off-by-1 in urlpath_regex

SourceFormat Enforcement

merge coverity-fixes: implement LookupTable

Merged from trunk

Handle exceptions during squid.conf parse

Increasingly code used inside squid.conf parsing is capable of throwing
exceptions to signal errors. Catch any unexpected exceptions that reach
the config parse initiator(s) and report as a FATAL event before self
destructing.

 Detected by Coverity Scan. Issue 1231352

Implement std::hash<SBuf>

Rename lookup table in auth/digest/Config.cc

Merged from trunk

Implement LookupTable unit tests, documentation, copyright blurb

digest_edirectory_auth: refactor berEncodeLoginData for improved readability

Migrate to generic LookupTable, document it and clean it up

Merged from trunk

Replace RegexList wth std::list<RegexPattern>

Add basic regex config unit tests

Implement base/LookupTable as proposed by Amos

Shuffle RegexList.* to base/libbase RegexPattern.*

Split the core regex pattern data fields out into a class RegexPattern
for as a container node use in std::list or other constructions.

Leave the custom linked-list operations under the name RegexList. As a
child wrapper class for now so that old API members are still available.

Implemented review change requests to edir_ldapext

Replace aclDestroyRegexList() with RegexList delete operator

Fix ICAP transactions that read a lot of data
by ensuring the read buffer has space [unless it is really full].

Trunk r13995 (Parser-NG: Convert the ICAP read buffer to an SBuf)
broke ICAP transactions that read a lot of data because the new
SBuf::consume() method often does not free buffer space, unlike the
old MemBuf::consume(). Affected transactions failed with mayReadMore()
exceptions because their readBuf.spaceSize() was zero while they
needed to read more data.

Any append,parse,consume;append,parse,consume;... user of SBuf cannot
rely on SBuf::spaceSize() to be meaningful because even consuming the
entire SBuf contents may leave spaceSize() at zero! Instead such code
has to use SBuf::length() to keep buffer from growing too big and
SBuf::rawSpace(1) to ensure some space is available for reading when
the buffer is not too big.

Convert RegexList to a MEMPROXY_CLASS

When SBuf chop()s away everything, always clear the buffer.

The old code was trying to make the clearance decision without
normalizing parameters first and missed most cases as the result.

In theory, clear()ing SBuf during chop() is just an optimization
that should have no effect on correct code functionality.

Merged from trunk

SourceLayout: shuffle DiskIO modules into libdiskio library