Fix 'large transactions are getting stuck' since rev.14093

Packer removal of packerClean() also removed several implicit uses of
StoreEntry::flush() without adding an explicit call in their place.

All users of StoreEntry::buffer() must follow it with a call to
StoreEntry:flush() to release the buffering and output the buffer
contents.

SourceLayout: move CacheMgr typedef OBJH to mgr/forward.h

More 3.5.7 ChangeLog

Prep for 3.5.7 and 3.4.14

Add forgotten http/RegisteredHeaders.cc

Merged from trunk

Updated TODO

Moved headerTable and related enums to RegisteredHeaders.cc

Moved some users of httpHeaderIdByNameDef to the SBuf variant

Removed HeadersAttrs table, moved header statistics to headerStatsTable.

Migrate Http Header Fields stats to headerStatsTable

Comment out dead code, start using LookupTable for HttpHeader lookups.

basic_smb_auth: rejecting valid credentials

basic_smb_auth.sh delivers the credentials via environment in
a form "$USER%$PASSWORD", which is not expected from smbclient. This seem to
result from an obsolete or inferior documentation of smbclient. While it is
perfectly valid to deliver the credentials in this form via commandline
parameter -U, for example in

  smbclient //domain_controller/NETLOGON -d 0 -E -W windows_domain -c "get
  proxyauth -" -U herrmann%mysecurepassword 2>/dev/null

this form is not valid, when the credentials will be delivered via environment.

Via environment the credentials must be delivered in two separate variables
  USER=$USER%
  PASSWD=$PASSWORD.

basic_smb_auth: doesn't handle passwords with backslashes

 From; Jeff Licquia <jlicquia@scinet.springfieldclinic.com>
 Subject; squid: SMB auth proxy has problems with some passwords
 Date; Tue, 18 Jul 2000 12:45:01 -0500 (CDT)

The SMB authenticator doesn't handle passwords with backslashes in them
correctly.  The fix appears to be easy; just put a -r in the "read SMBPASS"
line in smb_auth.sh.

basic_smb_auth: nmblookup fails when smb.conf contaisn WINS servers

 From; John M Cooper
 To; Debian Bug Tracking System
 Subject; squid: smb_auth does not work with a wins server defined in smb.conf
 Date; 28 Jan 2002 17:46:13 +0000

If you define a wins server in the file /etc/samba/smb.conf then the
smb_auth script gets the wrong Domain Controller IP address.

There should be a change to mb_auth.sh at line 50

basically adding in the extra "\..+" stops the number of Wins servers
from being returned from the nmblookup command.

Docs: fix man(8) page syntax for lexgrof tool

Cleanup: urlParseProtocol() is unused outside url.cc

Add todo list, re-add HDR_OTHER, implement parallel lookup, shuffle HDR_BAD_HDR at end of enum list

Check invariant on HttpHeader.cc:headerTable at startup

LookupTable must be case-insensitive

Implement modular LookupTable and use it for HttpHeader.cc:headerTable.

SourceFormat Enforcement

Start converting HttpHeader.cc to LookupTable

Merged from trunk

Implement std::hash<SBuf> for seamless std::unordered_map<SBuf,*> integration

Moved std::hash<SBuf> from SBuf.h to SBufAlgos.h

Removed whitespace in unit test

SourceFormat Enforcement

Merged from trunk rev.14189

SourceLayout: refactor regex pattern objects

* moves the regex pattern state storage to class RegexPattern
  in base/RegexPattern.h which is MEMPROXY_CLASS pooled and
  constructed with flags and pattern preset.
 - for now the regcomp generated data is set separately.

* Replaces ACL storage class RegexList with a std::list

* converts refresh_pattern regex data to class RegexPattern for
  its pattern and -i/+i flag details.

Fix libdiskio build with auto-disabled modules

The squid_disk_module_candidates_* autoconf variable for disabled
disk I/O modules needs to be explicitly set to 'no' to perform the
disabling. Do this for all modules that were not doing so when module
dependencies were broken or absent.

Also, convert the IpcIo module from a hard ERROR, to a soft auto-disable
when SHM support is not present.

Add temporary SBufToCstring() helper functions for SBuf transition

These functions provide safe replacement for xstrdup() and xstrncpy()
that guarantees 0-termination of the output c-string but do not have
any side effects or behaviour guarantees affecting the source SBuf
internal state.

This lack of side effects is important for the transitional period
where a lot of buffer contents will be copied out of SBuf but are
'read-only' and need to avoid overheads such as the reallocating
twice (or more) that would occur if using SBuf::c_str().

Effective immediately we have a ban on using the xstr*() group of
helper functions to copy data out of SBuf::raw*() accessors. The
xstr*() and all other common system str*() use c-string dependent
operations internally which on non-0-terminated SBuf internals can
result in nasty performance issues (ie. strlen() of 2 MB 'string').

Fix several other xstrndup() instigated off-by-1 errors

Fix off-by-1 in urlpath_regex

Update release notes about regex changes

Add specific unit tests for double-quote cases

SourceFormat Enforcement

Merged from trunk rev.14183

merge coverity-fixes: implement LookupTable

Merged from trunk

Handle exceptions during squid.conf parse

Increasingly code used inside squid.conf parsing is capable of throwing
exceptions to signal errors. Catch any unexpected exceptions that reach
the config parse initiator(s) and report as a FATAL event before self
destructing.

 Detected by Coverity Scan. Issue 1231352

Merged from trunk rev.14181

C++11: Remove GnuRegex and all -lregex related code

Squid is now exclusively using the STL std::regex API provided on all
operating systems in a portable manner.

We no longer have any need of detecting if the system is providing a
libregex, or user has configured one, or if it actually works, or how
to call it, or use the GnuRegex code as a backup when one of those
complex details goes wrong.

Convert mime.conf regex matching to std::regex

Convert cachemgr parameter parser to std::regex

Polish docs for ACLRegexData

purge: convert metadata matching to std::regex

* converting the REList class to inline methods.
 - constructor now throws as a side effect of rexp member construction.

NOTE: uses std::regex_match for matching, which will only succeed if the
  pattern(s) given are designed to match the entire URL TLV data field.
  If this causes problems, move to regex_search which does not require
  prefix or suffix to match.

Convert FtpGateway directory parser to std::regex

purge: Convert squid.conf parser to std::regex

Implement std::hash<SBuf>

Rename lookup table in auth/digest/Config.cc

Merged from trunk

Implement LookupTable unit tests, documentation, copyright blurb

Refactor refresh_pattern to using class RegexPattern

* re-use class RegexPattern to store refresh_pattern regex field and
  related case sensitivity flag.

* convert class RefreshPattern to MEMPROXY_CLASS.
  Required to ensure corret RegexPattern construction.

* add c_str() method to RegexPattern and hide unencoded pattern member.
  optimization to avoid ugly 'R->pattern.pattern' code and guarantee
  const correctness.

digest_edirectory_auth: refactor berEncodeLoginData for improved readability

Migrate to generic LookupTable, document it and clean it up

Convert RegexPattern to std::regex

Merged from trunk

Replace RegexList wth std::list<RegexPattern>

Add basic regex config unit tests

Implement base/LookupTable as proposed by Amos

Shuffle RegexList.* to base/libbase RegexPattern.*

Split the core regex pattern data fields out into a class RegexPattern
for as a container node use in std::list or other constructions.

Leave the custom linked-list operations under the name RegexList. As a
child wrapper class for now so that old API members are still available.

Implemented review change requests to edir_ldapext

Replace aclDestroyRegexList() with RegexList delete operator

Fix ICAP transactions that read a lot of data
by ensuring the read buffer has space [unless it is really full].

Trunk r13995 (Parser-NG: Convert the ICAP read buffer to an SBuf)
broke ICAP transactions that read a lot of data because the new
SBuf::consume() method often does not free buffer space, unlike the
old MemBuf::consume(). Affected transactions failed with mayReadMore()
exceptions because their readBuf.spaceSize() was zero while they
needed to read more data.

Any append,parse,consume;append,parse,consume;... user of SBuf cannot
rely on SBuf::spaceSize() to be meaningful because even consuming the
entire SBuf contents may leave spaceSize() at zero! Instead such code
has to use SBuf::length() to keep buffer from growing too big and
SBuf::rawSpace(1) to ensure some space is available for reading when
the buffer is not too big.

Convert RegexList to a MEMPROXY_CLASS

When SBuf chop()s away everything, always clear the buffer.

The old code was trying to make the clearance decision without
normalizing parameters first and missed most cases as the result.

In theory, clear()ing SBuf during chop() is just an optimization
that should have no effect on correct code functionality.

Merged from trunk

SourceLayout: shuffle DiskIO modules into libdiskio library

Cleanup: avoid mentioning compiler directives in configure output

In particular -march=native. It confuses some downstream build tools
to encounter the option in its full name form.

Fix --disable-disk-io behaviour

auto-enable for DiskIO modules has been done before the AM_CONDITIONAL
are defined. The checks need to test for explicit "yes" values since
disabled modules will have value "" rather than "no" or "auto" like
other components.

Cleanup: refactor to remove various dead code

... detected by or confusing Coverity Scan.

These have been marked False Positive / Intentional earlier.
But long term the best fix is to simply clean out the dead code.

smblib: fix buffer over-read

When parsing SMB LanManager packets with invalid protocol ID and the
default set of Squid supported protocols. It may access memory outside
the buffer storing protocol names.

smblib is only used by already deprecated helpers which are deprecated
due to far more significant NTLM protocol issues. It will also only
result in packets being rejected later with invalid protocol names. So
this is a minor bug rather than a vulnerability.

 Detected by Coverity Scan. Issue 1256165

Cleanup: remove some obsolete TODOs

Bug 4251: incorrect instance name for memory segments in /dev/shm

Reworked initializers in HttpDigestFieldAttrs

Implement std::map-based auth/digest lookup table, part 2 (remove old code)

Implement std::map-based auth/digest lookup table, part 1 of 2 (add code)

Rework edir_ldapexxt berEncodeLoginData for improved readability (CID 1294555)

Merged from trunk

Rework Rock::SwapDir::getOptionTree (CID 1312104)

SourceFormat Enforcement

Merge Coverity Fixes

Merged from trunk

Merged from trunk rev.14169

Revert rev.14165 and rev.14167

Too much instability added to trunk by these. DiskIO needs a
full refactoring and more testing before its ready to merge.

We will have to live with libIpcIo problems until then.

SourceMaintenance updates

Late-declare variable in ntlm_smb_lm_auth.cc (CID 1256169)

Added comment on log_file_daemon error reporting

Remove direct references to DiskIO/* files from unit tests

Add stub for libdiskio.la

Remove DiskIO/time.cc on file cleaning

SourceFormat Enforcement

SourceLayout: build Disk I/O modules as convenience libraries

Revert and improve fix for FtpClient.cc

Support %un (any available user name) format code for external ACLs.

The same %un code, with the same meaning is already supported in access.log.
In an external ACL request, it expands to the first available user name
from the following list of information sources:

  - authenticated user name, like %ul or %LOGIN
  - user name supplied by an external ACL to Squid via the "user=..."
    key=value pair, like %ue or %EXT_USER
  - SSL client name, like %us
  - ident user name, like %ui

Based on Amos Jeffries 2011 patch and "arronax28" design:
http://www.squid-cache.org/mail-archive/squid-dev/201112/0080.html
with TODO completion by Measurement Factory

Avoid possible leak in Rock::SwapDir::getOptionTree() (CID 740433)

Check return code from setsockopt (CID 1231350)

Check success of logfile rotations in debug.cc (CID 740321)

SourceLayout: add DiskIO/libdiskio.la convenience library