SourceFormat Enforcement

Polished comments.

Merged from parent (trunk r11711, v3.2.0.11+).

Declare already-too-large objects with yet-unknown size as impossible to swap.

The original check for yet-unknown size was blocking the already-too-large check.

Amos Jeffries has identified this bug during an earlier review.

Minimized differences with trunk.

Polished debugging messages to use DBG_IMPORTANT, WARNING, etc.

Polished cache_dir rebuild warnings.

Use DBG_IMPORTANT level, WARNING: prefix, and explain that the bad entry is
going to be ignored. While this is an improvement of the moved code, most
of these warnings are still not user-friendly as they report low-level
details that most admins cannot use.

Polished API description to explain what a module is and why this API exists.

Temporary fixed coredumps when isOpen() is called during shutdown cleanup.

For a permanent fix, we need to avoid deleting fd_table while it is still
in use by others, such as DeferredReads, possibly by allowing event loop
to run during shutdown.

Adjusted cf.data.pre to reflect cross-vectoring point adaptation plan support.

These documentation changes were somehow missed from the r11327 commit that
introduced support for dynamic adaptation plans that cover multiple vectoring
points.

Support maximum field width for string access.log fields.

Some standard command-line and some log processing tools have trouble
handling URLs or other logged fields exceeding 8KB in length. Moreover,
Squid violates its own log line format and truncates the entire log line
if, for example, the URL is 8KB long. By supporting .precision format
argument, we allow the administrator to specify logged URL size and
avoid these problems.

Limiting logged field width has no effect on traffic on the wire, with
the exception of log records if they are sent over the network, of course.

TODO: The name comes from the printf(3) "precision" format part. It may
be a good idea to rename our "precision" into max_width or similar,
especially if we do not support floating point precision logging.

TODO: Old code used chars to store user-configured field width and
precision. That does not work for URLs, headers, and other entries
longer than 256 characters. This patch changes the storage type to int.
The code should probably be polished further to remove unsigned->signed
conversions.

Removed an accidently added file.

Added a Vector::front() method, to mimic std::vector and other STL containers.

Send RST packet when closing an ICAP connection after a transaction error.

This helps identify abnormal transaction termination at the ICAP server. The
code is from a production-running branch and was proven useful in some
environments (especially if the ICAP service needs help correctly dealing with
prematurely terminated transfers), but it is not yet clear whether the
advantages of doing this on a regular basis outweigh the overheads. If not,
we will need a squid.conf parameter to control connection closing behavior.

Marked comm_reset_close() parameter as const because it is.

This allows const methods to call this Comm function with their conn member.

Log ICAP_ERR_GONE ICAP transaction outcome when ICAP initiator disappears early.

In this case, "early" means "before the end of the ICAP transaction".
Previously, "catch all" ICAP_ERR_UNKNOWN outcome was logged into the
adaptation log in such cases, raising red flags that there is something wrong
with the ICAP service or Squid.

Bump assert Connection.cc:29 down to a debug notice about Orphan FD (leaked)

Bug 3281: pconn in-use while closing assertion

Updated OpenSSL 1.0.0 version checks.

LHASH_LHASH and PSTRING are only screwed up in 1.0.0d and later.

Fix rejection of 200-status in deny_info

SourceFormat

Minimize differences with trunk.

Merged from parent (trunk r11700, v3.2.0.11+).

Bug 3319: Inconsistencies in error messages pt2

Fix crash on missing port

Bug 3259: assertion failed: Connection.cc:29: 'fd<0' after REVIVED PARENT

Bug 3303: Support for non-English usernames in log files

Also, correct documentation for the default formats. Looks realy weird
but according to the code AND the documented option bytes [ is default.

Language: af updates

Bug 3243: Fix cases: raw-IPv6, case variant FQDN, internal request

* do not unwrap the Host header IPv6. URL is not unwrapped for the test.
  They should be identical regardless of wrapping choice.
  Also ipcache happily unwraps for the intercept resolution cases

* use matchDomainName() algorithm instead of strcmp(). It is tuned for
  fast case-less domain comparisons. But does support wildcard matches
  so add a check of domain string length first.

* bypass for requests about to be serviced internally. We have some nasty
  code of our own re-writing the URL without updating the Host: header.

Thanks to Sergey Merzlikin and Jenny Lee for detecting these.

Remove duplicated code in gopher fix
harmless copy-paste error when patch was forward-ported from squid-2

Bug 3321: IPv4 Transport endpoint is not connected

Match outgoing wildcard IP family to destination

In SMP mode the socket opening only considers local IP. Ensure this will
match the destination IP even when outgoing IP is unset.

Cleanup: make IP address show AnyAddr() as v4 or v6

Use a time-based limit for the Rock Store rebuild loop.

Compared to the old counter-based limit, a time-based limit is better because
it allows us to quit right after a blocked I/O or quit sooner when I/Os become
slower. Similarly, a time-based limit often allows us to rebuild a much larger
number of entries at a time because most sequential read I/Os are very fast.

Merged from parent (trunk r11691, v3.2.0.11+).

Bug 3320: miss_access description confusing

Docs: limit internal DNS options properly

Improved disker timeout handling.

A disker timeout may happen because the disker is stuck doing an I/O or
because the worker has not received an "I/O results available" notification.
If there was no notification (e.g., because the disker got stuck before
completing UDS sending steps), it is still possible that the disker output
queue cointains completed I/Os. Try to process as many of those old queued
I/Os as possible before abandoning the rest of the I/O requests.

Reduce the number of "error: timeout" lines reported at level 1. When multiple
I/Os timeout, just report the fact of the timeout, not every timedout I/O.
Needs more work to report the actual timeout value for the longest-waiting
I/O.

Double check that we are not scheduling two timeout triggers, just in case.

Removed satisfied XXXs.

Use a time-based limit for the disker I/O loop.

Compared to the old counter-based limit, a time-based limit is better because
it allows us to quit right after a blocked I/O or quit sooner when I/Os become
slower.

Polished comments.

Initial support for breaking the "do all queued I/Os" loop.

Initial support for breaking the "do all queued I/Os" loop.

As the old TODO explained, it is necessary to break the loop to
give IpcIo notifications and other Squid process activities to
progress when many I/Os are queued or after a slow I/O blocks
the disker process for a while. More work is needed to break
based on cumulative I/O time rather than I/O count.

Added and polished debugging.

Made FewToFewBiQueue::peek() check both incoming and outgoing queues
to find the oldest queued value. This may help when the delay is on
our side (i.e., we are not receiving or processing completed I/Os fast enough).

Bug 3322: adapt:: and icap:: format codes do not parse

Bug 3319: Inconsistencies in error messages

Disable Rock store and shared memory cache if shared memory is not available.

The patch adds support for building on systems without POSIX shared
memory (e.g. OpenBSD).  IpcIo DiskIO module and Rock store is not
enabled by default if shared memory support is not available.  If IpcIo
or Rock store is explicitly enabled, but no shared memory support is
available, fail with error during configure.  Fail with error at
runtime if shared memory cache is enabled but no shared memory support
is detected.

Useful error message from NCSA when DES blocked.

Prep for 3.1.15 and 3.2.0.11

Bug 3295: broken escaping in rfc1738_do_escape

Bug 3311: segmentation fault in getMyPort() with only intercept port set

Bug 3316: Failed to connect to nameserver using TCP

Prep for 3.1.15 and 3.0.STABLE26

Bug 3301: ERR_DNS_FAIL never shown

Latest squid never shows DNS errors for user. When the user tries to retrieve
web page from non-existent domain, ERR_CANNOT_FORWARD error appears,
which misleads both user and administrator.

Correct parsing or large Gopher indexes

Fixed overflow testing assertion.

Polished unused code.

The unused dlopen() call is actually useful to enable when lt_dlopen() reports
"file not found" errors for loadable modules that do exist but that Libtool
cannot load successfully due to undefined symbols or other errors.

This inability to correctly report a library loading error is a long-standing
Libtool bug, stemming from Libtool's desire to try and load several
differently named library files until one succeeds, losing true error
information in the process.

Drop excess bytes from gopher input.

Portability: Drop u_short type

Use uint16_t for precise binary size or unsigned short instead.

Remove: Convert tunnel to use MemBuf buffers

Turns out read/write do not maintain MemBuf size field as needed.
This needs to be fixed first.

Portability: avoid htons() on 8-bit values. Little Endians complain.

SourceFormat Enforcement

Bug 3310: regression: %<pt translates as %<p

Separate the format tags into sub-groups for size-oriented checks.

Taking the opportunity, separate the section along the namespace borders.

Merged from parent (trunk r11672, v3.2.0.10+).

Fix 'make check' with GCC 4.5.

Stop Squid-2 automatic daily bundles

Quiet trace output on snapshot generation.

Fix signed/unsigned comparison warnings in MmappedFile on some systems.

Fix warning in Ipc::Mem::Segment::reserve() on systems with unsigned off_t.

s/fileno/filen/ in Rock store code to avoid conflicts with fileno(3).

Apparently, older GCC versions include more standard headers than it
should which causes build failures.

Portability: work through top_builddir. builddir can be undefined

Optimize: miss_access absent from config is allow

Fix Rock store test build error with GCC 4.1.

Added stub for Ipc::TypedMsgHdr and link with it instead of the whole libipc.

negotiate_wrapper_auth: fix warnings on MacOSX by simplification

 * fold several if statements down to avoid compiler warnings
   about potential use-before-set of 'length'.

 * remove static err variable as unused once its cases are
   folded down to one if statement.

Fix build errors when IpcIo DiskIO module is disabled.

Add USE_DISKIO_IPCIO configuration macro and do not build
IpcIo-related Ipc::Strand code when the DiskIO module is disabled.

Fix build errors when ICMP pinger is enabled.

Inline YesNoNone constructor to allow using SquidConfig structure
without linking cache_cf.o.

Fix build errors when internal DNS is disabled.

Rock store uses *_time_msec functions, so remove !USE_DNSSERVERS
conditional compilation check around them.

Fix Rock store test linking error when cache digests are enabled.

Add configure check for shm_open(3) in librt.

This is needed for Linux when building with minimal configuration.

Bug 2662: cf_gen failure when cross compiling

Adds support for "./configure HOSTCXX=foo" to specify a host compiler
to build cf_gen with. If none is specified the normal build compiler will
be used.

ntlm_fake_auth: helper protocol fix on Windows

strncasecmp is not available on MinGW. Use strncmp instead
and rely on squid to send properly-capitalized commands.

cf_gen requires cstdlib for exit() definition

SourceFormat Enforcement

Update cf_gen objects to use STL containers and extend syntax for DEFAULT*

Removes all need for explicit memory management of the parsed tree.

Alters DEFAULT: tag to allow multiple line values to be pre-defined.

Adds DEFAULT_DOC: tag to allow text description of a default in the documented
versions of config file instead of explicit code-level values.

Also updates the output slightly so cf_parser.cci conforms to the current
coding style gidelines.

Typo in rev.11661

Bug 3213: https sites (CONNECT) not open when using NTLM

SourceFormat Enforcement

Bug 2279: Log Format options to log server source IP and port

 * Add %<a and %<p log format tokens

 * Remove log_ip_on_direct configuration directive

 * Rename %la to %>la and %lp to %>lp

 * polish log format tokens and documentation

 * de-duplicate tunnel.cc and forward.cc updateHierarchyInfo() code.

This last is the only logic change. It involved creating hier.note()
and shuffling bits of code around inside forward.cc to ensure
connection setup had a single function, startConnectionOrFai(), which
began the server connect process for all destination changes.

Bug 3288: regression in %<la and %<lp

Fix logformat token initialization

Doxygen style updates

It appears that doxygen 1.7.4 takes the header HTML we give it and 'fixes'
missing tags before appending the footer we give it.

Converts the bulk of cf_gen to C++ OOP code.

* char* tree members to std::string. Which eliminates xstrdup() and
  xis*() calls.

* structs to classes and replaces calloc/free with new/delete.

* link cf_gen_depends.cci directly to autoconf.h defines.

The result of these is that we can erase the dependencies on util.h,
time.cc, config.h, libcompat.la, libmisc.la and other libraries.
Directly fixing seevral build and cross-compile issues that keep appearing
on various OS.

TODO:
 There is a bit further cleanup we can do. Replacing several classes with
 std::list<std::string>.

Fix make check and make distcheck.

Mostly Makefile changes.  Libcomm stub moved to tests/ directory
to allow using it on Makefile.am *_SOURCES instead of directly
#including it in test sources.

SourceFormat Enforcement

Compile fix: use code instead of static initialization

g++ 4.4.5 on ARM mis-detects an inizializer's variable size. Give it a hint.

Add special case for CONNECT request Host: verify

Polish: warn on every ssl-bump disable, with port details

Audit updates on rev.11634

Rework CVE-2009-0801 case set

 * Correct results when Host: and URL both contain an unusual port.
 * Catch additional cases where implicit default port is made explicit

SourceFormat Enforcement

Improve CVE-2009-0801 detection warning

Fix NIS helper build on FreeBSD

Fails on clang++ and other strict compilers due to missing __cplusplus
checks in FreeBSD system headers and yp_prot.h typedefs bool unless
BOOL_DEFINED is defined.

Convert AuthenticateAcl() to use new ACL states