SourceFormat Enforcement

Source Maintenance: enforce #include statement block ordering

This uses the include ordering sort script to enforce blocks of include
statements being in alphasymbolic order with squid.h at teh top if it is
present.

Convert WhoisStateData to CBDATA_CLASS

Removes one more set of cbdataAlloc/cbdataFree.
Also, updates its HttpRequest reference to a Pointer

Revert -march-native experiment that snuck into rev.13048

Have testRock use cachemgr stubs

Improved portability of NIS basic_auth helper

Fix issues with automake 1.13 and later and make check

Append "Connection: close" to OPTIONS requests when icap_persistent_connections
is off.

This brings OPTIONS requests behavior inline with REQMOD and RESPMOD.

Bug 3941: Release notes typo

Languages: Add Serbian Cyrillic alphabet dialects

Languages: Add Latin-alphabet Serbian dialect

RS country code was formally approved in 2006 and deprecates the SP
country code already accepted by Squid from before that date.

NOTE: sr-rs also exists, but is formally IANA registered against Cyrillic
      alphabet content.

SourceFormat Enforcement

Add cache_miss_revalidate

Port of 2.7 ignore_ims_on_miss directive.

This on/off switch enables Squid to convert conditional requests from
clients to non-conditional fetches that can fill the cache faster under
cold-start conditions.

SourceFormat Enforcement

Bug 3480: StoreEntry::kickProducer() segfaults in store_client::copy() context

Short-term fix: Lock StoreEntry object so that it is not freed by
storeClientCopy2() callbacks. Also lock StoreEntry in storeUnregister()
context because an aborting entry may be deleted there unless it is
double-locked.

See bug 3480 comment #27 for detailed call stack analysis. Additional cases
include rejected copied HIT due to Var mismatch and hits blocked by
reply_from_cache directive (under development; see bug 3937).

Long-term, we need to make store copying asynchronous and revise StoreEntry
locking approach.

Added cachemgr reporting of SBuf and MemBlob statistics

Fix CBDATA_CLASS2 macro definition

CBDATA_UNKNOWN was being used in place of a void no-op statement.
This was incorrect and useless. Now that the value definition is fixed
it is being picked up by the stricter compilers.
Replace the trinary conditional with an if-statement.

Fix PosToString duplicate definiton

Since SBuf::size_type and std::string::size_type are now both unsigned
and npos is the same value in both this function is a duplicate and
the stricter compilers complain.

More SBuf signedness fixes

libntlmauth: Fix string field truncation

Count of field bytes must begin at 0. Otherwise the decoder truncates
1 byte from the string due to lstring initial state values.

Also drop the lstring_zero(s) macro. It is only used in one place and
calling it 'zero' obscures that length is non-zero for invalid state.

ntlm_fake_auth: pass DOMAIN data to Squid in original case

Lower-casing the domain field can cause base ACL match results if the
ACL is checking for case-sensitive or upper-case domain label.

The helper shodul be emitting the standard UPPER case domain and many
administrators will be expecting taht when they write ACLs.

Fix more signedness comparisons in SBuf

Fix signedness comparison in SBuf

Fixed testSBuf::testComparisons

Make clang happy with SBuf API

Basic types are passed by-value and const is useless.
Clang is quite strict and treats this as a build error.

Fix bug in SQUID_CC_CHECK_ARGUMENT autoconf macro

SourceFormat Enforcement

Merge SBuf.

Removed copyright statements from SBuf code, pending project policy
Made SBuf::size_type unsigned and adjusted tests accordingly
Add documentation for SBuf::spaceSize

Merged from trunk

Revert libresolv related changed of rev.13026

This library API and hacks are still used by the Kerberos LDAP group
helper for a custom SRV lookup.

Merged from trunk

More ~pPrep for 3.4.0.2

Prep for 3.4.0.2

Add --disable-arch-native build option

The -march-native option is required by Clang 3.2 on some CPU
and produces better optimization in binaries by GCC.
But building inside a virtual machine environment has been found to
cause random Illegal Instruction errors due to mis-detection of CPU.

This option is added to permit selective disabling of teh preferred
default (which is to use the compiler flag when available).

Fix line wrapping broken in rev.13027

Fix some missing parts from 13015

The %LOGIN format code makes the regressino testign fail minimal builds
where auth is disabled.

The test-suite configuration tests need to be distributed to allow
make check to operate outside a repository checkout.

Fix build errors in rev.13012

static functions defined in headers (.h) must be used in all .cc which
include them. Functions which are not always used must be defined as
inline instead.

This resolves warning: 'const char* LogTime()' defined but not used

SourceFormat Enforcement

Remove dnsserver and external DNS helper API

The external DNS helper API places limits on Squid DNS lookups per second
low enough to noticably affect the HTTP requests per second which can be
served.

Request for comments about proposed removal 2 years ago produced feedback
stating that the helper was needed for local name resolution. This is
now available since 3.4 mDNS extensions.

A more recent request for reasons for keeping the helper API have
produced only two responses over the period of several months. Both
indicating that the API is no longer necessary for the business cases of
a year or so ago.

As such and because the helper fails to operate sufficiently on several
major operating systems and the API is difficult to maintain it is being
removed as of Squid-3.5.

Remove COSS

This storage type has been superceded by Rock storage since 3.2.

Polish: better WARNING when workers directive is ignore on reconfigure.

Changing the workers directive requires a proxy restart, not just a
reconfigure. State this clearly in the warning message.

Tests: Add regression tests for squid.conf parser

Regressions identified by the community in active production configs
with the 3.4.0.1 parser upgrade attempt.

Also, disables %macro detection inside quoted-strings. Which is still
encountering errors in the current 3.HEAD code.

SourceFormat Enforcement

Fix various header build issues in librfcnb

Highlighted when the #include sorting was applied to lib/rfcnb/ files
several of the headers were using order-dependent definitions and were
not wrapped with sfety macros.

Chinese language dialect updates

Perform the long overdue renaming of zh-cn.po an zh-tw.po to Hans and
Hant alphabet files. Add aliases for the 2 and 3 code dialect tags which
are appearing in Asian traffic.

Fix various compile errors in rev.13012

Uncovered by GCC 4.8 and Squid Project build farm testing.

Add missing integration of squid.conf test with Unit-Test PASS/FAIL results

Automated squid.conf parser testing with squid -k parse

This make the build process testing run 'squid -k parse' with a series
of test configuration files to exercise edge cases and backward
compatibility.

The default squid.conf which is to be installed on new systems is always
tested.

Other config files with unit tests can be dropped into
test-suite/squidconf/ and will be parse tested automatically.

typo in rev.13013

Portability: cleanup includes for sys/time.h and sys/resource.h

These two include files are order-dependent on several operating systems
and as such are provided by Squid libcompat headers. There is no need for
code to include them specially and several HAVE_SYS_TIME_H macros were
missing which breaks the build on systems where the file is missing.

negotiate_kerberos_auth: upgrade to present group= keys

Use the new kv-pair protocol extensions for emitting group details
directly at the time of authentication. group=X key-value pair is
used to emit the Kerberos SIDS values presented by MS Active
Directory environments.

Also, update the Hiemdal library support for recent library versions.

Also, polish the Kerberos and LDAP Group related code to avoid memory
leaks and improve C++ coding style.

Use IPv6 localhost nameserver on DNS configuration errors

When DNS configuration fails to locate a set of nameservers "localhost"
is used as the default but has previously only been setting 127.0.0.1
IPv4 address for localhost. This enables the failover to work as designed
on IPv6-only networks.

Bug 3914: partial: make squidclient tool build cleanly with -Wconversion

Bug 3923: cbdata and undefined behavior due to dynamic runtime enumeration

Bug 3918: Squid 3.3.9 Self Test Failures on Mac OS X 10.8

Bug 3929: request_header_add not working for tunnel requests

Fix typo in rev.13004

Polish: report bytes received when bad content-length detected by quick-abort

Fixed documentation, tentative alternate dump implementation with Raw api
Improve SBuf::find readability
Improved readability and error reporting in SBuf
Fixed nonfatal bug in snprintf behavior detection

Fix pinning hierarchy log information

Prep for 3.3.9

Windows: locate CMSG definitions in Winsock2.h when present

Windows defines the CMSG macros in Winsock2.h sometimes. This allows the
definitions there to be used when present and avoids compiler errors
about double definitions.

  This is an iCelero project.

Bug 3849: Duplicate certificate sent when using https_port

The certificate file given with the "cert=" option it may contain a list of
certificates to be chained to the SSL client, for example intermediate
certificates.
The bug caused because in the certificates  chain we are storing also the
certificate of the port. This is works well for SSL-bump because squid
generates a certificate which uses the port certificate as CA certificate.
But in the case of https_port without bumping the port certificate is sent
twice, one as SSL server certificate and one as chained certificate.

This patch try to chain port certificate only when the sslbump is used.

This is a Measurement Factory project

Fix myportname ACL on ICAP/eCAP transactions

The port name from http_port/https_port was not being propigated to
adapted reqeusts after ICAP/eCAP. Which makes the myportname ACL and
logging of portname not work on adapted requests.

 This is an iCelero Project

Docs: Update SPONSORS listing

Windows: document the purpose and use of Squid namespace wrappers

Also, add some missing #define's

  This is an iCelero project

Windows: fix IPv6 split-stack support

Some builds of MinGW do not define IPV6_V6ONLY socket option.

  This is an iCelero project

Windows: fix collision between POSIX wrappers and DiskIO class methods

The POSIX function shutdown() is #define'd on Windows. This causes
compiler issues with the DiskIO method of same name. Rename the method
to gracefulShutdown() instead.

Also, Bug 3189 was incomplete and missed a change to DiskThreads
Windows initialization method.

  This is an iCelero project.

Regression fix: revert rev.12815 MinGW C++11 support

MinGW supports c++11 but in ANSI-strict way. Squid code still contains
non-standard strcasecmp strncasecmp and possibly other functions.

  This is a iCelero Project.

Polish: typo in debug for SSL-bumping

Fix configuration file parsing bugs, related to quoted strings

Try to fix 'comparison between signed and unsigned integer expression' compiler
warning.

Fix configuration file parsing bugs, related to quoted strings

This is patch try to fix problems discussed under the "[PATCH] Unknown cfg function"
mail thread on squid-dev mailing list

Fixes/changes:
 - The quoted tokens mode (configuration_includes_quoted_values parameter)
   is  set to off by default

 - If configuration_includes_quoted_values is off the quoted tokens
   parsed using the ConfigParser::NextToken include the quotes, to keep
   compatibility with older releases.

 - The methods ConfigParser::RegexPattern() and ConfigParser::RegexStrtokFile()
   added to parse regex tokens. The regex tokens can not be quoted values but
   have their own syntax.

 - For the cases where quoted strings are required (wordlists, Notes
   parsing, Headers with acl), the new ConfigParser::NextQuotedToken method
   added.
   The old wordlists parser allowed escaping any character, this patch
   will return an error if you try to escape alphanumeric characters. The
   \r \n and \t have the C semantics.

 - Removes the ConfigParser::TokenUndo method. The new method
   ConfigParser::NextTokenPreview() which can be used to preview the next
   token is added. This method if the next token is invalid (eg unquoted
   with special characters) instead of calling self_destruct it will return
   the "[invalid token]" as token.

 - A set of new flags defined under ConfigParser class to define the type of
   parsing: ParseRegex_ (next token is regex)  ParseQuotedOrToEOL_
   (next token is quoted or to-EOL), PreviewMode_ (just do preview do not
   pop next token)

 - Currently parser read a line, and the tokens stored on this line
   and the line modified while parsed.
   This patch extracts the tokens from line and store them to
   ConfigParser::CfgLineTokens_ member. This method selected because
     1) We may need to parse again the line so we do not want to modify it.
        For example call the ConfigParser::PeekAtToken method to check if it
        is a flag token ( eg "-i"), and if not call the
        ConfigParser::RegexPattern() method to read next regex expression.
     2) The current line tokens must stored somewhere to support the following:
        char *name = ConfigParser::NextToken();
        char *value = ConfigParser::NextToken();
   The ConfigParser::CfgLineTokens_ reset when a new config line is read.

TODO:
 - The ConfigParser::TokenPutBack method probably should removed in the future
   together with the ConfigParser::Undo_ and ConfigParser::Undo().
   This method is currently used only in one place (acl regex).

Docs: fix doxygen page generation

Windows: fix getopt.c build error with MinGW

Resolve warning 'initialization discards const qualifieer from pointer'.

  This is an iCelero project.

SourceFormat Enforcement

Improved compatibility with clang and icc

Doce: make doc/Programming-Guide/doxygen.footer.dyn non-empty

Experiment to see if the .dyn file footer output by doxygen is still
placed if this file contains whitespace. Just having it empty no longer
seems to work with the newer doxygen version.

Docs: define use of footer for output DYN files.

doc/Programming-Guide/doxygen.footer.dyn is an empty file because we do
not need anythign as a footer. But we do need to use it because doing so
will suppress teh default "</body></html>" string being appended to the
output file, which breaks out static site generation since .dyn files
have our own squid-cache.org footers automatically appended.

Bug 3895: fix acl_uses_indirect_client and cache_peer_access

Close idle client connections associated with closed idle pinned connections.

Squid was not monitoring idle persistent connections pinned to servers. Squid
would discover that the pinned server connection is closed only after
receiving a new request on the idle client connection and trying to write that
request to the server. In such cases, Squid propagates the pinned connection
closure to the client (as it should).

Chrome and, to a lesser extent, Firefox handle such races by opening a new
connection and resending the failed [idempotent] request transparently to the
user. However, IE usually displays an error page to the user.

While some pconn races cannot be avoided, without monitoring idle pconns,
Squid virtually guaranteed such a race in environments where origin server
idle connection timeout is smaller than client/Squid timeouts and users
are revisiting pages in the window between those two timeouts.

Squid now monitors idle pinned connections similar to idle connections in the
pconn pool and closes the corresponding idle client connection to keep the two
sides in sync (to the extent possible).

It is theoretically possible that this change will break servers that send
whitespace on an idle persistent connection or perhaps send some SSL keepalive
traffic. No such cases are known to exist though.

Windows: Fix ConnOpener::sleep() collision with global macro

Squid compat library defines sleep() as a wrapper macro which
collides with the member definition in Comm::ConnOpener.

 This is an iCelero project

Update forward_max_tries to permit 25 server paths

With cloud sites becoming more popular more CDN servers are producing
long lists of IPv6 and IPv4 addresses. If there are not enough paths
selected the IPv4 ones may never be reached.

Show number of available filedescriptors when reserved FD changes

Regression Bug 3077: off-by-one error in Digest header decoding

This is a regression in the 3.2 and later version of the original bug
fix patch.

The effect is that all attributes are treated as quoted-string values
with unescaping performed. This ends with credentials wrongly being
rejected as invalid.

Ensure that the SQUID_BUILD_INFO macro is always defined

Display Build-Info in cache manager info report

This info can be quite useful for tracking which patched build of Squid
is being used to produce the report.

Register Http2-Settings header

This header ia a hop-by-hop request-only header and requires stripping
by intermediaries which do not support HTTP/2.0 in Upgrade feature.

We register it now to ensure the stripping occurs even if broken clients
omit it from the Connection header list.

Fix configure parsing IP/domain directives

Squid would semi-silently accept invalid IP address or hostname in some
directives which required them (eg wccp_router) and use the magic
IP_ANYADDR value. This change makes configure halt with a FATAL error
instead.

 Detected by Coverity Scan. Issue 1057286.

Polish: handle NTLM helper returning OK without user= value

Prevent crash by treating this case as an error and failed authentication

  Detected by Coverity Scan. Issue 1020656.

Fix typo in rev.12972

Fix memory leak in refresh_pattern parsing

Occurs when refresh_pattern is configure with invalid regex pattern.

 Detected by Coverity Scan. Issue 1058882.

Cleanup: initialize all member of AnyP::PortCfg

  Detected by Coverity Scan. Issue 1058883.

Add dns_multicast_local to control mDNS operation

Enable admin control over whether mDNS operates or not. Set the default
to OFF due to .arpa reverse-DNS requests causing a rise in traffic from
this feature even on networks without mDNS responders setup.

Also, polish cachemgr idns report to show for queued queries which
resolver type and query the entry is involving. mDNS can cause a queue
to exist as some lookups timeout on the mDNS resolvers.

Improved checks on SBuf::*Size methods
Improved detection of vsnprintf's not-well-defined behavior.

Tightened size checks in reserveSpace, reserveCapacity and rawSpace

Improved SBuf::appendf() readability and correctness.
Clarified documentation.
Added SBuf::spaceSize()
Fixed display result in appendf() unit test.

SourceFormat Enforcement

Sync with newest OpenSSL error codes

This patch updates Squid list of errors to handle the ones available in newer
OpenSSL versions.

This is a Measurement Factory project

Specialize SBuf::reserveSpace and reserveCapacity functions to provide guarantee of single store ownership.
Tune SBuf::rawSpace() to take over from reserve* for the optimization role preveiously played by reserve*.
Adjust documentation and callers.