Move gperf invocation for RegisteredHeadersHash to source-maintenance.sh
Portability fixes for non-GNU make.

eCAP: Return unknown body size for bodies with unknown body sizes.

Previously, unsigned -1 size was returned for those bodies.
Old adapters relying on that buggy behavior will now throw:

  !"attempt to use unknown libecap::BodySize size"

Such adapters should check libecap::BodySize::known() before
using the libecap::Body::bodySize() value.

Add assigment and move operators to LockingPointer

These operators are required to use LockingPointer instances in STL
containers and unlike TidyPointer the LockingPointer can do them safely
due to the lock preventing premature deletions.

Cleanup: Migrate StoreEntry to using MEMPROXY_CLASS

Implement default constructor for hash_link.

Remove custom pool chunk size for StoreEntry.

As an historic optimization StoreEntry uses a custom pool chunk size of 2MB.
Knowledge of the actual benefits from this optimization has been lost in time,
and it's not possible to accurately measure its actual impact in all load
scenarios; at the same time this optimization is blocking other potentially
useful developments.
This change is therefore considered a potential performance regression in
some load scenarios.

negotiate_wrapper: Fix memory leaks

 Detected by Coverity Scan. Issues 1324564, 1324565.

Prep for 3.5.9

ntlm_smb_lm_auth: ignore empty NTresponse field

Bug 4309: Fix the presence of extensions detection in SSL Hello messages

RFC5246 section 7.4.1.3 (Server Hello) says:

   The presence of extensions can be detected by determining whether
   there are bytes following the compression_method field at the end of
   the ServerHello.

Current parsing Hello code checks whether there are bytes in the whole SSL
message. It does not account for the fact that the message may contain more than
just ServerHello.
This patch fixes this issue and try to improve the related code to avoid related
problems in the future.

This is a Measurement Factory project

author: Alex Rousskov <rousskov@measurement-factory.com>
Bug 4309: Squid crashed when Skype login

Do not assume that (char << 8) cannot overflow a short integer.
Be more consistent with storing certificate-related lengths.

SourceFormat Enforcement

SNI to ICAP via 2nd CONNECT part2

Wrap inside #if USE_OPENSSL/#endif the SSL related code to allow squid build
when openSSL library is disabled.

SNI to ICAP via 2nd CONNECT

When Squid decides to splice a connection in the step2 SSL bumping step
sends a second fake CONNECT request to the ICAP/eCAP for adaptation.

This patch fixes squid to use the SNI information when sending the second
CONNECT request, if it is available.

This is a Measurement Factory project

Crypto-NG: replace Ssl::X509_Pointer with Security::CertPointer

* shuffle LockingPointer to libsecurity.la
  along with supporting macros in security/forward.h

* add GnuTLS and library agnostic definitions of Security::CertPointer

Fix uninitialized members in class HeaderTableRecord

 Detected by Coverity Scan. Issues 1323750, 1323751

Bug 4292: negotiate_wrapper: Unreleased Resources

FILE* handles need to be closed on exit. Shuffle the processing loop logics
to a static function to avoid code duplication from all the requires close
points.

Also, use the available global flag debug_enabled instead of local variable
to avoid having to pass it down explicitly.

Bug 4284: missing sanity checks for malloc

Bug 3618: ntlm_smb_lm_auth rejects correct passwords

negotiate_kerberos_auth: producing empty group= kv-pairs

SourceFormat Enforcement

Refactor HttpHeader into gperf-generated perfect hash

Implement EnumIterator

Update mk-string-arrays.awk to support c++-style enums

Quieten UFS cache maintenance skipped warnings

The maintenance loop cycles once per second. On long DIRTY cache rebuilds
this can reult in a lot of log mesages at level 1.

* reduce the messages to L=3 except once per minute allow one at L=1

* perform the under-size limit check first to allow completely silent
  skipping when no maintenance would have taken place anyway.

Fix CONNECT request debugging 11,2 traces

Using the MemBuf::buf directly is not great, but it does have a properly
terminated c-string in this instance. We cannot use Raw() interface
because that is for output at DBG_DATA levels and will only display the
buffer name as if that was the raw traffic bytes at 11,2.
Which negates the entire purpose of this 11,2 output.

Update release script after rev.14240

Prep for 3.5.8

Support splice for SSLv3 and TLSv1 sessions that start with an SSLv2 Hello

Such sessions are created, for example, by some SSL clients using OpenSSL
v0.9.8 with default options. This does _not_ re-enable SSLv2 sessions.
Just enacts the permitted exception for Hello messages in RFC 6176

SourceLayout: rename fs/rock/RockForward.h to fs/rock/forward.h

To bring in line with layout guidelines.

Missing piece of rev.14275

Merge cleanups branch: split most of typedefs.h

Packable API: Rename StoreEntryStream to PackableStream

PackableStream has some implicit new properties different from
the original StoreEntryStream type:

* lack of Store.h dependency

* ability to stream into a MemBuf if its creator desires that

Meaning PackableStream can be used in a wider range of the code
without increasing library dependencies.

Fix some comments

Source maintenance

Audit round 2

Merged from trunk

Audit round

Fix regression in rev.14268

My bad cut-n-paste resulted in wrong locking sequence.
Fixing that reveals that the validity check on the return
result triggers cases of cbdata 'locks > 0' assertions.
The validity test is not currently needed by the fastCheck
code which preserves the value. So removing for now.

Revert enum-related changes

Merged from trunk

Docs: update arp ACL text

SourceLayout: shuffle kb_t to ByteCounter in libbase

Also, move kb_incr() logic to ByteCounter operator +=

 There are no logic changes in this patch.

Rename lowSBufHash to SBufHashCommon_

Increase UFS removal rate to 300/s

... by request of testers who report 250+ as better for current high
performance traffic needs.

Better alternative to rev.14267

Encapsulate the accessList pointer change logic so that it can be kept
consistent and CBDATA operations are not exposed to callers.

Add missing forward declaration of StoreEntry in errorpage.h

Added missing forward declaration in errorpage.h

Fix Makefile.am to include fs/forward.h where needed

Move store_client_t from enums.h to Store.h

Moved mem_status_t and store_status_t to Store.h

Moved fd_type, FD_READ, FD_WRITE from enums.h to fd.h

Remove no longer needed includes of typedefs.h

Remove no longer needed includes of typedefs.h

Removed useless StoreEntry forward declaration in typedefs.h

Moved cache_key from typedefs.h to store_key_md5.h

Removed unused statefulhelper::IsAvailable and OnEmptyQueue and related typedefs and code

Move STABH from typedefs.h to MemObject.h

Removed useless QS declaration

Moved READ_HANDLER from typedefs.h to fde.h

Removed unused definition of UH

Moved time_msec_t from typedefs.h to SquidTime.h

Moved mb_size_t from typedefs.h to MemBuf.h

Moved FQDNH declaration from typedefs.h to fqdncache.h

Move PF declaration from typedefs.h to comm/forward.h

Moved FREE declaration from typedefs.h to mem/forward.h

Moved snmp-related variable_list from typedefs.h to snmp_core.h

Move nfmark_t and tos_t declarations to ip/forward.h

Bug 3696: crash when client delay pools are activated

Moved sfileno and sdirno from typedefs.h to fs/forward.h

Removed unused CommWriteStateData and fde::wstate

Merged from trunk

moved HLPSONEQ and HLPSAVAIL from typedefs.h to helper.h, SIGHDLR to tools.h, STDIRSELECT to SwapDir.h and removed unused STVLDCB HLPCMDOPTS

SourceLayout: shuffle MemMeter into libmem and Mem:: namespace

* move the memMeter.h file to src/mem/Meter.h

* move the helper #define macros logic to class members

* provide accessors to make all class members private

There are no logic changes in this patch.

Moved typedefs.h:WRITE_HANDLER to fde.h, and ERCB to errorpage.h

Remove unnecessary typedefs.h:DOCB, DCCB, DUCB

Remove unnecessary typedefs.h:DTCB

Remove unneeded typedefs.h:FOCB

Bug 4306: build portability fix in Kerberos helpers

Bug 3553: cache_swap_high ignored and maxCapacity used instead

Also, to make matters worse the amount of objects (max 70) being purged on
each of the 1-second maintenance loops was far too small for the traffic
speeds of up to 20k RPS now being processed by proxies.

This fixes the cache_swap_high behaviour to closer match what is documented
at present, although some documentatino does say it cleans all the way down
to the low-water mark. Which appears never to have been true in regards to
one cycle but would occur over several of the proxy speed was not too high.

With this updated algorithm there is almost no limit to how far the
aggressiveness can scale, but it is linear at 200 objects per multiple of the
gap between low- and high- watermark.

SwapDir::maintain is now fairly well documented and debug traces added. With
several TODO ideas for future improvement also documented in the method code.

Revert c++11 override keyword detection support

Implement and use detection of compiler support for c++11 override keyword

Docs: release notes update for C++11 compilers

Intel ICC sadly does not meet the 'full C++11 support' claim:

/usr/include/c++/4.8.2/tuple(1075): error: "pair" is not a nonstatic data
member or base class of class "std::pair<T, Base>"

Remove GCC 2.x and 3.x detection and support

C++11 support is now required and the detection for that should error
far more nicely for these old compilers than these $GCCVER hacks

Fix leftover issues in some Makefile.am files

Fix initializer list of STUB MemPools in stub_libmem

Keeps coverity a bit happier about Issue 1318027

Revert extra changes in rev.14254

Portability fix: detect c++11 random support and implement fallbacks if not available

Maintenance: remove unused mk-globals-c.pl script

Maintenance: remove unused mk-string-arrays.pl script

Docs: dist HTML not SGML copy

Fix src/icmp/Makefile.am

Fix memory leak in Surrogate-Capability header detection

 Detected by Coverity Scan. Issue 1318023

Portability fix: better support for BSD make

Docs: fix automake -j on release notes

When a RESPMOD service aborts, mark the body it produced as truncated.

Without these changes, the recipient of the truncated body often
cannot tell that the body was actually truncated (e.g., when Squid
uses chunked encoding for body delivery). Lying about truncation
may result in rather serious user-level problems.

Docs: fix HTML tags in release notes

SourceFormat Enforcement

mempools-nozero part 4: do not zero out MEMPROXY_CLASS pools

mempools-nozero part 3: debug

Make Debug::OutStream to be a MEMPROXY_CLASS user, rather than rolling own
operator new and delete.