Polished API description to explain what a module is and why this API exists.

Removed an accidently added file.

SourceFormat

Minimize differences with trunk.

Merged from parent (trunk r11700, v3.2.0.11+).

Bug 3319: Inconsistencies in error messages pt2

Fix crash on missing port

Bug 3259: assertion failed: Connection.cc:29: 'fd<0' after REVIVED PARENT

Bug 3303: Support for non-English usernames in log files

Also, correct documentation for the default formats. Looks realy weird
but according to the code AND the documented option bytes [ is default.

Language: af updates

Bug 3243: Fix cases: raw-IPv6, case variant FQDN, internal request

* do not unwrap the Host header IPv6. URL is not unwrapped for the test.
  They should be identical regardless of wrapping choice.
  Also ipcache happily unwraps for the intercept resolution cases

* use matchDomainName() algorithm instead of strcmp(). It is tuned for
  fast case-less domain comparisons. But does support wildcard matches
  so add a check of domain string length first.

* bypass for requests about to be serviced internally. We have some nasty
  code of our own re-writing the URL without updating the Host: header.

Thanks to Sergey Merzlikin and Jenny Lee for detecting these.

Remove duplicated code in gopher fix
harmless copy-paste error when patch was forward-ported from squid-2

Bug 3321: IPv4 Transport endpoint is not connected

Match outgoing wildcard IP family to destination

In SMP mode the socket opening only considers local IP. Ensure this will
match the destination IP even when outgoing IP is unset.

Cleanup: make IP address show AnyAddr() as v4 or v6

Use a time-based limit for the Rock Store rebuild loop.

Compared to the old counter-based limit, a time-based limit is better because
it allows us to quit right after a blocked I/O or quit sooner when I/Os become
slower. Similarly, a time-based limit often allows us to rebuild a much larger
number of entries at a time because most sequential read I/Os are very fast.

Merged from parent (trunk r11691, v3.2.0.11+).

Bug 3320: miss_access description confusing

Docs: limit internal DNS options properly

Improved disker timeout handling.

A disker timeout may happen because the disker is stuck doing an I/O or
because the worker has not received an "I/O results available" notification.
If there was no notification (e.g., because the disker got stuck before
completing UDS sending steps), it is still possible that the disker output
queue cointains completed I/Os. Try to process as many of those old queued
I/Os as possible before abandoning the rest of the I/O requests.

Reduce the number of "error: timeout" lines reported at level 1. When multiple
I/Os timeout, just report the fact of the timeout, not every timedout I/O.
Needs more work to report the actual timeout value for the longest-waiting
I/O.

Double check that we are not scheduling two timeout triggers, just in case.

Removed satisfied XXXs.

Use a time-based limit for the disker I/O loop.

Compared to the old counter-based limit, a time-based limit is better because
it allows us to quit right after a blocked I/O or quit sooner when I/Os become
slower.

Polished comments.

Initial support for breaking the "do all queued I/Os" loop.

Initial support for breaking the "do all queued I/Os" loop.

As the old TODO explained, it is necessary to break the loop to
give IpcIo notifications and other Squid process activities to
progress when many I/Os are queued or after a slow I/O blocks
the disker process for a while. More work is needed to break
based on cumulative I/O time rather than I/O count.

Added and polished debugging.

Made FewToFewBiQueue::peek() check both incoming and outgoing queues
to find the oldest queued value. This may help when the delay is on
our side (i.e., we are not receiving or processing completed I/Os fast enough).

Bug 3322: adapt:: and icap:: format codes do not parse

Bug 3319: Inconsistencies in error messages

Disable Rock store and shared memory cache if shared memory is not available.

The patch adds support for building on systems without POSIX shared
memory (e.g. OpenBSD).  IpcIo DiskIO module and Rock store is not
enabled by default if shared memory support is not available.  If IpcIo
or Rock store is explicitly enabled, but no shared memory support is
available, fail with error during configure.  Fail with error at
runtime if shared memory cache is enabled but no shared memory support
is detected.

Useful error message from NCSA when DES blocked.

Prep for 3.1.15 and 3.2.0.11

Bug 3295: broken escaping in rfc1738_do_escape

Bug 3311: segmentation fault in getMyPort() with only intercept port set

Bug 3316: Failed to connect to nameserver using TCP

Prep for 3.1.15 and 3.0.STABLE26

Bug 3301: ERR_DNS_FAIL never shown

Latest squid never shows DNS errors for user. When the user tries to retrieve
web page from non-existent domain, ERR_CANNOT_FORWARD error appears,
which misleads both user and administrator.

Correct parsing or large Gopher indexes

Fixed overflow testing assertion.

Polished unused code.

The unused dlopen() call is actually useful to enable when lt_dlopen() reports
"file not found" errors for loadable modules that do exist but that Libtool
cannot load successfully due to undefined symbols or other errors.

This inability to correctly report a library loading error is a long-standing
Libtool bug, stemming from Libtool's desire to try and load several
differently named library files until one succeeds, losing true error
information in the process.

Drop excess bytes from gopher input.

Portability: Drop u_short type

Use uint16_t for precise binary size or unsigned short instead.

Remove: Convert tunnel to use MemBuf buffers

Turns out read/write do not maintain MemBuf size field as needed.
This needs to be fixed first.

Portability: avoid htons() on 8-bit values. Little Endians complain.

SourceFormat Enforcement

Bug 3310: regression: %<pt translates as %<p

Separate the format tags into sub-groups for size-oriented checks.

Taking the opportunity, separate the section along the namespace borders.

Merged from parent (trunk r11672, v3.2.0.10+).

Fix 'make check' with GCC 4.5.

Stop Squid-2 automatic daily bundles

Quiet trace output on snapshot generation.

Fix signed/unsigned comparison warnings in MmappedFile on some systems.

Fix warning in Ipc::Mem::Segment::reserve() on systems with unsigned off_t.

s/fileno/filen/ in Rock store code to avoid conflicts with fileno(3).

Apparently, older GCC versions include more standard headers than it
should which causes build failures.

Portability: work through top_builddir. builddir can be undefined

Optimize: miss_access absent from config is allow

Fix Rock store test build error with GCC 4.1.

Added stub for Ipc::TypedMsgHdr and link with it instead of the whole libipc.

negotiate_wrapper_auth: fix warnings on MacOSX by simplification

 * fold several if statements down to avoid compiler warnings
   about potential use-before-set of 'length'.

 * remove static err variable as unused once its cases are
   folded down to one if statement.

Fix build errors when IpcIo DiskIO module is disabled.

Add USE_DISKIO_IPCIO configuration macro and do not build
IpcIo-related Ipc::Strand code when the DiskIO module is disabled.

Fix build errors when ICMP pinger is enabled.

Inline YesNoNone constructor to allow using SquidConfig structure
without linking cache_cf.o.

Fix build errors when internal DNS is disabled.

Rock store uses *_time_msec functions, so remove !USE_DNSSERVERS
conditional compilation check around them.

Fix Rock store test linking error when cache digests are enabled.

Add configure check for shm_open(3) in librt.

This is needed for Linux when building with minimal configuration.

Bug 2662: cf_gen failure when cross compiling

Adds support for "./configure HOSTCXX=foo" to specify a host compiler
to build cf_gen with. If none is specified the normal build compiler will
be used.

ntlm_fake_auth: helper protocol fix on Windows

strncasecmp is not available on MinGW. Use strncmp instead
and rely on squid to send properly-capitalized commands.

cf_gen requires cstdlib for exit() definition

SourceFormat Enforcement

Update cf_gen objects to use STL containers and extend syntax for DEFAULT*

Removes all need for explicit memory management of the parsed tree.

Alters DEFAULT: tag to allow multiple line values to be pre-defined.

Adds DEFAULT_DOC: tag to allow text description of a default in the documented
versions of config file instead of explicit code-level values.

Also updates the output slightly so cf_parser.cci conforms to the current
coding style gidelines.

Typo in rev.11661

Bug 3213: https sites (CONNECT) not open when using NTLM

SourceFormat Enforcement

Bug 2279: Log Format options to log server source IP and port

 * Add %<a and %<p log format tokens

 * Remove log_ip_on_direct configuration directive

 * Rename %la to %>la and %lp to %>lp

 * polish log format tokens and documentation

 * de-duplicate tunnel.cc and forward.cc updateHierarchyInfo() code.

This last is the only logic change. It involved creating hier.note()
and shuffling bits of code around inside forward.cc to ensure
connection setup had a single function, startConnectionOrFai(), which
began the server connect process for all destination changes.

Bug 3288: regression in %<la and %<lp

Fix logformat token initialization

Doxygen style updates

It appears that doxygen 1.7.4 takes the header HTML we give it and 'fixes'
missing tags before appending the footer we give it.

Converts the bulk of cf_gen to C++ OOP code.

* char* tree members to std::string. Which eliminates xstrdup() and
  xis*() calls.

* structs to classes and replaces calloc/free with new/delete.

* link cf_gen_depends.cci directly to autoconf.h defines.

The result of these is that we can erase the dependencies on util.h,
time.cc, config.h, libcompat.la, libmisc.la and other libraries.
Directly fixing seevral build and cross-compile issues that keep appearing
on various OS.

TODO:
 There is a bit further cleanup we can do. Replacing several classes with
 std::list<std::string>.

Fix make check and make distcheck.

Mostly Makefile changes.  Libcomm stub moved to tests/ directory
to allow using it on Makefile.am *_SOURCES instead of directly
#including it in test sources.

SourceFormat Enforcement

Compile fix: use code instead of static initialization

g++ 4.4.5 on ARM mis-detects an inizializer's variable size. Give it a hint.

Add special case for CONNECT request Host: verify

Polish: warn on every ssl-bump disable, with port details

Audit updates on rev.11634

Rework CVE-2009-0801 case set

 * Correct results when Host: and URL both contain an unusual port.
 * Catch additional cases where implicit default port is made explicit

SourceFormat Enforcement

Improve CVE-2009-0801 detection warning

Fix NIS helper build on FreeBSD

Fails on clang++ and other strict compilers due to missing __cplusplus
checks in FreeBSD system headers and yp_prot.h typedefs bool unless
BOOL_DEFINED is defined.

Convert AuthenticateAcl() to use new ACL states

Convert external ACL to use ACL states

Update response generationg to handle auth ACL reply cases

Known + expired + OK credentials do not need a re-challenge. They are in
grace period where helper revalidation is all that is needed.

Any other result requires an error or challenge response of some sort.

Bug 1791: timestampsSet does not validate Date: if server sends very old date

Bug 3211: ssl_crtd start even if no ssl-bump port is configured

Bug 3289: cache manager parameters not parsed without password

Support extended authentication states to ACL results

Support sub-states of authentication to be sent as results from ACLs.
This allows future work to resolve issues around cases such as expired
but known credentials being used in fast category access controls.

The new authentication states are:
  ACCESS_AUTH_OK
    - equivalent to ACCESS_ALLOWED

  ACCESS_AUTH_REQUIRED
    - Missing Credentials. Used to be ACCESS_REQ_PROXY_AUTH

  ACCESS_AUTH_EXPIRED_OK
    - Expired now. Were Okay.

  ACCESS_AUTH_EXPIRED_BAD
    - Expired now. Were Failed.

Also converts cases of ACCESS_REQ_PROXY_AUTH to the new name.

As yet no attempt is made to alter auth or access control logics to use
the new states.

Fix signed/unsigend conversion error

Fix GCC 4.6 unused variable in regex

Typo in cf_gen

Bug 3217: "!fd_table[fd].closing()" from ServerStateData::noteMoreBodySpaceAvailable

It is possible that the next hop connection is going through the closing steps
when we receive a "noteMoreBodySpaceAvailable" notification from the response
body consumer. Do not try to read in this case.

Fix compile errors detected by clang++

Merged from parent (trunk r11623, v3.2.0.10+).

Portability: cf_gen stream errors on FreeBSD

Bug 3107: nsca_auth DES silently truncates passwords to 8 bytes

SourceFormat Enforcement

regex optimization: const-correctness

cf_gen.cc: work around brokenness in Intel's compiler wrt 64-bit fstreams

Optimize regular expression ACLs

This patch is inspired by the work that I did for ufdbGuard and a few emails with Amos.

The new code optimises lists of regular expressions.

The optimisations are:
* initial .* is stripped
* RE-1 RE-2 ... RE-n are joined into one large RE: (RE-1)|(RE-2)|...|(RE-n)
* -i ... -i options are optimised: the second one is ignored, same for +i

If compounding optimization fails it falls back to using unoptimized
expressions.