Renamed http_hdr_type to Http::HdrType, fixed some HdrType-int implicit conversions

Fix http_hdr_type layering constraint violations in external_acl.cc

Shuffle HeaderLookupTable to RegisteredHeaders.{h,cc}

Review: shuffle enums from enums.h to specific headers.

Merged from trunk

Source formatting

Fix bug in HDR_OTHER parsing; refactor valid-header checks to be more generic

Clean up

Boilerplate: update ignored files

Boilerplate: add Foundation details to rfcnb and smblib documentation files

We had hoped to be removing this old library code by now. But it appears
that there is no alternative and users are still requesting the helpers
that depend on them.

Removed httpHeaderIdByNameDef, small cleanups

Removed HttpHeaderFieldInfo and related methods

Migrate HttpHdrCc to LookupTable.

Fix fakeAConnectRequest() missing after rev.14206

Cleanup: de-duplicate fake-CONNECT code

Over the course of the peek-n-splice development and followup patches
the code generating fake CONNECT requests to tunnel various intercepted
traffic has been copy-n-pasted several times.

Add a new method fakeAConnectRequest() that takes a debug reason and
SBuf containing any payload to preserve from the original I/O buffer.

Use automake subdir-objects feature

Now that there are no longer cross-directory collisions in the built
binaries or libraries we can enable this feature from ./configure
instead of on a per-Makefile basis

Fix distclean file left after rev.14203

Place unit tests in src/tests to make automake happy

The auto* toolchain warns that automake future versions
will be enablign aubdir-objects mechanism by default.

Some unit tests were moved into per-library subdirs
with the plan of keeping all convenience library code
together. However the current layout state of Squid
means that most still require some objects in other
libraries or at the top level. This does not build
happily with the auto-tools subdir-objects feature.
In particular the distclean target has a tendency
to erase objects twice and die on the second attempt.

Temporarily undo that SourceLayout shuffing in order
to be more compatible with automake 1.1n versions.

Remove dead code from HttpHdrSc.cc

Reimplemented Surrogate-Control lookup as LookupTable, removed httpHeaderNameById

Turn field_type into a strongly-typed enum

Merged from trunk

Bug 4293: wrong SNI sent to server after URL-rewrite

Fix 'large transactions are getting stuck' since rev.14093

Packer removal of packerClean() also removed several implicit uses of
StoreEntry::flush() without adding an explicit call in their place.

All users of StoreEntry::buffer() must follow it with a call to
StoreEntry:flush() to release the buffering and output the buffer
contents.

SourceLayout: move CacheMgr typedef OBJH to mgr/forward.h

More 3.5.7 ChangeLog

Prep for 3.5.7 and 3.4.14

Add forgotten http/RegisteredHeaders.cc

Merged from trunk

Updated TODO

Moved headerTable and related enums to RegisteredHeaders.cc

Moved some users of httpHeaderIdByNameDef to the SBuf variant

Removed HeadersAttrs table, moved header statistics to headerStatsTable.

Migrate Http Header Fields stats to headerStatsTable

Comment out dead code, start using LookupTable for HttpHeader lookups.

basic_smb_auth: rejecting valid credentials

basic_smb_auth.sh delivers the credentials via environment in
a form "$USER%$PASSWORD", which is not expected from smbclient. This seem to
result from an obsolete or inferior documentation of smbclient. While it is
perfectly valid to deliver the credentials in this form via commandline
parameter -U, for example in

  smbclient //domain_controller/NETLOGON -d 0 -E -W windows_domain -c "get
  proxyauth -" -U herrmann%mysecurepassword 2>/dev/null

this form is not valid, when the credentials will be delivered via environment.

Via environment the credentials must be delivered in two separate variables
  USER=$USER%
  PASSWD=$PASSWORD.

basic_smb_auth: doesn't handle passwords with backslashes

 From; Jeff Licquia <jlicquia@scinet.springfieldclinic.com>
 Subject; squid: SMB auth proxy has problems with some passwords
 Date; Tue, 18 Jul 2000 12:45:01 -0500 (CDT)

The SMB authenticator doesn't handle passwords with backslashes in them
correctly.  The fix appears to be easy; just put a -r in the "read SMBPASS"
line in smb_auth.sh.

basic_smb_auth: nmblookup fails when smb.conf contaisn WINS servers

 From; John M Cooper
 To; Debian Bug Tracking System
 Subject; squid: smb_auth does not work with a wins server defined in smb.conf
 Date; 28 Jan 2002 17:46:13 +0000

If you define a wins server in the file /etc/samba/smb.conf then the
smb_auth script gets the wrong Domain Controller IP address.

There should be a change to mb_auth.sh at line 50

basically adding in the extra "\..+" stops the number of Wins servers
from being returned from the nmblookup command.

Docs: fix man(8) page syntax for lexgrof tool

Cleanup: urlParseProtocol() is unused outside url.cc

Add todo list, re-add HDR_OTHER, implement parallel lookup, shuffle HDR_BAD_HDR at end of enum list

Check invariant on HttpHeader.cc:headerTable at startup

LookupTable must be case-insensitive

Implement modular LookupTable and use it for HttpHeader.cc:headerTable.

SourceFormat Enforcement

Start converting HttpHeader.cc to LookupTable

Merged from trunk

Implement std::hash<SBuf> for seamless std::unordered_map<SBuf,*> integration

Moved std::hash<SBuf> from SBuf.h to SBufAlgos.h

Removed whitespace in unit test

SourceFormat Enforcement

SourceLayout: refactor regex pattern objects

* moves the regex pattern state storage to class RegexPattern
  in base/RegexPattern.h which is MEMPROXY_CLASS pooled and
  constructed with flags and pattern preset.
 - for now the regcomp generated data is set separately.

* Replaces ACL storage class RegexList with a std::list

* converts refresh_pattern regex data to class RegexPattern for
  its pattern and -i/+i flag details.

Fix libdiskio build with auto-disabled modules

The squid_disk_module_candidates_* autoconf variable for disabled
disk I/O modules needs to be explicitly set to 'no' to perform the
disabling. Do this for all modules that were not doing so when module
dependencies were broken or absent.

Also, convert the IpcIo module from a hard ERROR, to a soft auto-disable
when SHM support is not present.

Add temporary SBufToCstring() helper functions for SBuf transition

These functions provide safe replacement for xstrdup() and xstrncpy()
that guarantees 0-termination of the output c-string but do not have
any side effects or behaviour guarantees affecting the source SBuf
internal state.

This lack of side effects is important for the transitional period
where a lot of buffer contents will be copied out of SBuf but are
'read-only' and need to avoid overheads such as the reallocating
twice (or more) that would occur if using SBuf::c_str().

Effective immediately we have a ban on using the xstr*() group of
helper functions to copy data out of SBuf::raw*() accessors. The
xstr*() and all other common system str*() use c-string dependent
operations internally which on non-0-terminated SBuf internals can
result in nasty performance issues (ie. strlen() of 2 MB 'string').

Fix several other xstrndup() instigated off-by-1 errors

Fix off-by-1 in urlpath_regex

SourceFormat Enforcement

merge coverity-fixes: implement LookupTable

Merged from trunk

Handle exceptions during squid.conf parse

Increasingly code used inside squid.conf parsing is capable of throwing
exceptions to signal errors. Catch any unexpected exceptions that reach
the config parse initiator(s) and report as a FATAL event before self
destructing.

 Detected by Coverity Scan. Issue 1231352

Implement std::hash<SBuf>

Rename lookup table in auth/digest/Config.cc

Merged from trunk

Implement LookupTable unit tests, documentation, copyright blurb

digest_edirectory_auth: refactor berEncodeLoginData for improved readability

Migrate to generic LookupTable, document it and clean it up

Merged from trunk

Replace RegexList wth std::list<RegexPattern>

Add basic regex config unit tests

Implement base/LookupTable as proposed by Amos

Shuffle RegexList.* to base/libbase RegexPattern.*

Split the core regex pattern data fields out into a class RegexPattern
for as a container node use in std::list or other constructions.

Leave the custom linked-list operations under the name RegexList. As a
child wrapper class for now so that old API members are still available.

Implemented review change requests to edir_ldapext

Replace aclDestroyRegexList() with RegexList delete operator

Fix ICAP transactions that read a lot of data
by ensuring the read buffer has space [unless it is really full].

Trunk r13995 (Parser-NG: Convert the ICAP read buffer to an SBuf)
broke ICAP transactions that read a lot of data because the new
SBuf::consume() method often does not free buffer space, unlike the
old MemBuf::consume(). Affected transactions failed with mayReadMore()
exceptions because their readBuf.spaceSize() was zero while they
needed to read more data.

Any append,parse,consume;append,parse,consume;... user of SBuf cannot
rely on SBuf::spaceSize() to be meaningful because even consuming the
entire SBuf contents may leave spaceSize() at zero! Instead such code
has to use SBuf::length() to keep buffer from growing too big and
SBuf::rawSpace(1) to ensure some space is available for reading when
the buffer is not too big.

Convert RegexList to a MEMPROXY_CLASS

When SBuf chop()s away everything, always clear the buffer.

The old code was trying to make the clearance decision without
normalizing parameters first and missed most cases as the result.

In theory, clear()ing SBuf during chop() is just an optimization
that should have no effect on correct code functionality.

Merged from trunk

SourceLayout: shuffle DiskIO modules into libdiskio library

Cleanup: avoid mentioning compiler directives in configure output

In particular -march=native. It confuses some downstream build tools
to encounter the option in its full name form.

Fix --disable-disk-io behaviour

auto-enable for DiskIO modules has been done before the AM_CONDITIONAL
are defined. The checks need to test for explicit "yes" values since
disabled modules will have value "" rather than "no" or "auto" like
other components.

Cleanup: refactor to remove various dead code

... detected by or confusing Coverity Scan.

These have been marked False Positive / Intentional earlier.
But long term the best fix is to simply clean out the dead code.

smblib: fix buffer over-read

When parsing SMB LanManager packets with invalid protocol ID and the
default set of Squid supported protocols. It may access memory outside
the buffer storing protocol names.

smblib is only used by already deprecated helpers which are deprecated
due to far more significant NTLM protocol issues. It will also only
result in packets being rejected later with invalid protocol names. So
this is a minor bug rather than a vulnerability.

 Detected by Coverity Scan. Issue 1256165

Cleanup: remove some obsolete TODOs

Bug 4251: incorrect instance name for memory segments in /dev/shm

Reworked initializers in HttpDigestFieldAttrs

Implement std::map-based auth/digest lookup table, part 2 (remove old code)

Implement std::map-based auth/digest lookup table, part 1 of 2 (add code)

Rework edir_ldapexxt berEncodeLoginData for improved readability (CID 1294555)

Merged from trunk

Rework Rock::SwapDir::getOptionTree (CID 1312104)

SourceFormat Enforcement

Merge Coverity Fixes

Merged from trunk

Merged from trunk rev.14169

Revert rev.14165 and rev.14167

Too much instability added to trunk by these. DiskIO needs a
full refactoring and more testing before its ready to merge.

We will have to live with libIpcIo problems until then.

SourceMaintenance updates

Late-declare variable in ntlm_smb_lm_auth.cc (CID 1256169)

Added comment on log_file_daemon error reporting

Remove direct references to DiskIO/* files from unit tests

Add stub for libdiskio.la