Reverted trunk r12255 changes. Provided a portable flexible arrays replacement.

Trunk r12255 made Clang compiler happy by removing flexible nonPod[] arrays.
Unfortunately, it also moved shared memory items into local memory (in some
cases uninitialized).

This change provides a Clang-friendly flexible array replacement while keeping
items in the shared memory (and using placement-new initialization). The code
may have become even less readable, but hopefully more portable.

N.B. Flexible arrays were introdiced in C99 standard, after C++ was
standardized in 1998. They are not yet in any revised C++ standard, but most
C++ compilers support them, at least for PODs.

Allow a ufs cache_dir entry to coexist with a shared memory cache entry
instead of being released when it becomes idle.

The original boolean version of the StoreController::dereference() code
(r11730) was written to make sure that idle unlocked local store_table entries
are released if nobody needs them (to avoid creating inconsistencies with
shared caches that could be modified in a different process).

Then, in r11786, we realized that the original code was destroying non-shared
memory cache entries if there were no cache_dirs to vote for keeping them in
store_table. I fixed that by changing the StoreController::dereference() logic
from "remove if nobody needs it" to "remove if somebody objects to keeping
it". That solved the problem at hand, but prohibited an entry to exist in
a non-shared cache_dir and in a shared memory cache at the same time.

We now go back to the original "remove if nobody needs it" design but also
give non-shared memory cache a vote so that it can protect idle but suitable
for memory cache entries from being released if there are no cache_dirs to
vote for them.

This is a second revision of the fix. The first one (r12231) was reverted
because it did not pass tests/testRock unit tests on some platforms. The unit
tests assume that the entry slot is not locked after the entry is stored, but
the first revision of the fix allowed idle entries to remain in store_table
and, hence, their slots were locked and could not be replaced, causing
assertions.  This revision allows the idle entry to be destroyed (and its slot
unlocked) if [non-shared] memory caching is disabled.

It is not clear why only some of the platforms were affected by this. Should
not memory caching be disabled everywhere during testRock (because testRock
does not set memory cache capacity and memory cache entry size limits)?

Fix linking issue in testDiskIO when optimizations are disabled

Windows: filter the buildable helpers for MinGW

libsspwin32: SSP_LogonUser takes char * parameters

There is no need to cast these parameters via void*. Both the library
and the basic auth helper(s) that use it work with char* strings.

Windows: C++ conversion for libsspwin32

Updates this Squid convenience library to build as C++.

Also, fixed header include path for libntlmauth symbol definitions.

Portability: pass OS name to helper config.test scripts

This will help us perform OS-specific enable/disable rather than having
to identify some software or file that SHOULD exist only in those OS, but
which might exist elsewhere for weird reasons (ie windows.h).

NP: the $@ which was being passed was unused by any current config.test
  Removed it and converted to fixed-position parameters for easier
  script development.

Windows: fix error: variable 'h_error' set but not used

Optimization: Test faster condition first. No functionality changes expected.

Bug 3655: pinning failure breaks NTLM and Negotiate authentication

Correct --enable-build-info on out-of-tree builds

bzr expects to be run from the source tree, not the build directory

Added missing library in testStatHist

Windows: better wrap C++-specific code in compat layer

Windows: build Windows specific libraries only on Windows.

Some libraries are only available on Windows and others are unable to be built.

Static Code Analysis: varargs cleanup, improvements to readability

Static Code Analysis: fix varargs handling in snmp_core.cc

Static Code Analysis: fix varargs handling in snmp_core.cc

ssl_crtd: set new certificate serial number to zero

Initialize new BN value to zero instead of simply testing and ignoring
the result.

Detected by Jenkins running clang on FreeBSD 9.

Fix using assignment as a condition without parentheses

SourceFormat Enforcement

Portability: fix several class/struct type mismatches

Leftover problem from trunk r12339 changes.

Detected by clang on FreeBSD 9.

Windows: portability layer updates for MinGW environment

* Move the util.h definitions into os/mswindows.h compat header.
* Add wrapper definitions for many MinGW specific POSIX symbols
* UPdate POSIX wrapper types

A few of these changes are suspect as to whether they work for CygWin and
MSCV. Particularly the POSIX wrapper type changes. We still need a set of
comprehensive MinGW, Cygwin and MSCV build tests to be done. These changes
were enough to build on MinGW some time back, but additional changes are
now likely to be needed and no run-time testing has been done so far.

Fix ipv6 enabled squidclient. Was failing with assertion failure due to ipv6 support not being probed automatically.

FreeBSD: net/if_dl.h seems to require param.h

SourceFormat Enforcement

Portability: typo in EUI header requirement checks

Fix includes missed in rev12369

Windows: simplify abstraction layer header files

Merge compat/os/windows.h, compat/os/mswin.h, and include/squid_windows.h
into a single compat/os/mswindows.h pulled in via the compat.h.

Also, rename compat/mswin.cc to match the new header .h name.

Windows: drop unused WIN32_pipe() implementation

The WIN32_pipe() wrapper function is not necessary on MinGW where _pipe()
is available, and is unused on other Windows builds where helper IPC
layer has been written to use STREAM sockets instead of pipe()

Windows: merge alternative getrusage() into squid_getrusage() wrapper

Since we are already providing a wrapper layer for getrusage() we can
merge the Windows alternative implementation into our wrapper directly.
No need to perform multiple layers of abstraction.

Portability: change Ipc::Port::listen to doListen()

listen() clashes with POSIX function of the same name.
Some systems (ie MinGW) define it as a macro wrapper.

Windows: disable purge tool

The purge tool requires quite a few updates before it will build on Windows.
It is easier at this point to simply not build it.

Windows: wrap sys/shm.h sys/ipc.h includes

Windows: correct C++ type usage on LoadSecurityDll()

ntlm_sspi_auth: correct linkage to library libntlmauth.la

Windows: updated test for ws2tcpip.h and windows.h

Windows: check recv() parameter type

Portability: permit eCAP build without pkg-config

Windows does not have a port of pkg-config, other OS may be in the same
situation. That only impacts on Squids ability to confirm the library
version not on its ability to link and use it.

This reduces some configure errors to warnings when pkg-config is not
located on the local system.

Windows: provide mkdir() wrapper

Windows: update several __MINGW32__ to generic _SQUID_MINGW_

Windows: cleanup Squid OS detection macros

* _SQUID_WINDOWS_  for any Windows build specific code
* _SQUID_CYGWIN_   for CygWin Windows build specific code
* _SQUID_MINGW_    for MinGW Windows build specific code

Windows: fix detection of GNU atomis operations

On MinGW the GNU atomis operatiosn symbols are defined but do not work.
We require a run-time test to detect problems. Not just a compiler check.

Windows: support customization of --prefix= via compat/autoconf.h

Rather than defining DEFAULT_PREFIX on the compiler command line this
builds its value into autoconf.h for use whenever needed. Avoiding
otential issues with buggy Makefile.am coding.

Also allows the --prefix value to be sourced from the autoconf internal
default settings instead of requiring a manual --prefix parameter for
SNMP module to build and link properly.

Windows: disable Mmapped DiskIO support

MinGW does not always supply mmap.

TODO:
 Add proper feature detection to decide when this IS available on Windows.
 Use the Windows native mmap functionality.

Typo in rev12352

Fix error: 'opt_parse_cfg_only' was not declared in this scope

Release Notes: 3.3 updates

Polish: use DBG_PARSE_NOTE to warn about deprecated logformat tokens

Branch 3.3.0.0

Prep for 3.2.2

SourceFormat Enforcement

Do not check 'reply content_length is too big' condition twice.

The check got duplicated was

4410
committer: hno
branch nick: HEAD
timestamp: Wed 2000-05-03 00:49:26 +0000
message:
  hno squid-2.2.STABLE2.to_large_objects-2.patch
  Squid-2.2.STABLE2: Don't swap out objects > maximum_object_size

Added missing source files in recipe for testStatHist

Move fatal family of functions to own implementation and stub files.

Merged from trunk

Shuffled fatal family of functions into own implementation.
Created stub for fatal.cc.
Move all files to src/ due to their dependencies.

Polish: convert several opt_parse_cfg_only to DBG_PARSE_NOTE

Merged from trunk

SourceFormat merge: removed CVS-Id tags, removed unnecessary extern and SQUIDCEXTERN declarations

Moved fatal functions out of tools.cc and into own source file in lib/fatal.cc

Removed leftover CVS-Id markers

Removed unnecessary extern declarations.
Changed mismatching class/struct declaration in fde.h
Created default constructor for _fde_disk and moved there proper initialization
Removed some dead function declarations

SourceFormat Enforcement

removed many SQUIDCEXTERN declarations

sourceformat: split protos.h into more specific headers, change many functions' likage to c++.

Merged from trunk

Bug 3661: Segmentation fault when using more than 1 worker

Previous change to Ipc::Mem::PageStack making variable arrays into
dynamically-allocated arrays added an allocate after use bug.

Merged from trunk

Fix website config display of default settings

The website page cfgman builder script was omitted when adding the
DEFAULT_DOC parameter and making DEFAULT / DEFAULT_IF_NONE support
multi-line values.

Bug 3130: helpers are crashing too rapidly

As discussed quite many months ago. This reduces the FATAL when helpers
crash/exit to a critical level ERROR have responded with useful reply to
at least one lookup.

The result is that Squid can now cope with helpers written in languages
which cannot loop infinitely. For example; PHP helpers often exit after
a timeout, broken scripts written to respond and exit immediately,
and helpers which encounter some permissions error and respond only with
"ERR" or "BH" results before aborting.

Polish: de-duplicate helper statistics objects

* Combine the stats structure on per-helper server classes. For more
  consistent statistic gathering.

* Add initStats() method to initialize statistics variables correctly.
  Previously only done for some counters on stateless helper objects.

* Add missing accounting of pending lookups in stateful helper code.

* Add counter for replies received from the helper.

* Add reporting of replies received back from each helper.

There are no logic or decision making logics affected by these changes.
The new increment/decrement and stats are purely affecting statistical
report outputs.

FUTURE TODO:
* replace the 'busy' flag on stateful helpers with pending>0 check
  as used by stateless helpers to indicate queue count.

Cleanup: remove a wrong TODO

Squid may need to use the hop-by-hop response headers. This is too early
to be removing them. the right place is in client-side before delivering
to the client. Squid already contains code to do it there.

Small memory leak in src ACL parse

Fixes one minor memory leak when IPv6 is disabled and parsing an IPv6
address. For example the default localhost ACL ::1 value.

Caught by Valgrind:

==26647== 384 bytes in 4 blocks are definitely lost in loss record 1,132 of 1,726
==26647==    at 0x4C25A28: calloc (vg_replace_malloc.c:467)
==26647==    by 0x65B441: xcalloc (xalloc.cc:75)
==26647==    by 0x657B99: MemPoolMalloc::allocate() (MemPoolMalloc.cc:62)
==26647==    by 0x5A95B1: acl_ip_data::FactoryParse(char const*) (Ip.h:66)
==26647==    by 0x5AA8BD: ACLIP::parse() (Ip.cc:523)
==26647==    by 0x5E0A80: ACL::ParseAclLine(ConfigParser&, ACL**) (Acl.cc:174)
==26647==    by 0x4B0C0F: parse_line(char*) (cache_cf.cc:1252)
==26647==    by 0x4B2076: parseOneConfigFile(char const*, unsigned int) (cache_cf.cc:518)
==26647==    by 0x4B29D0: parseConfigFile(char const*) (cache_cf.cc:558)
==26647==    by 0x546B81: SquidMain(int, char**) (main.cc:1372)
==26647==    by 0x547445: main (main.cc:1215)

Removed duplicate empty lines

renamed acl_size_t to AclSizeLimit, moved to own header in acl/
Moved dwrite_q to disk.h, and _fde_disk to fde.h
Got rid of structs.h

Bug fix: The ACLFilledChecklist::fd set with wrong fd for Config.ssl_client.cert_error acl list

The Config.ssl_client.cert_error uses the server-side connection fd instead of
the client-side connection fd.

SslBump stuck after error

When bump-server-first code in trunk encounters a certificate validation error,
the corresponding CONNECT transaction gets stuck.

Polish the ACLFilledChecklist::fd related documentation

Undo/uncommit the r12328 patch

The documentation is wrong and should applied as separate patches

Polish the ACLFilledChecklist::fd related documentation

Merged from trunk

moved dread_ctrl to disk.h

Moved acl_tos and acl_nfmark to ip/qos/QosConfig.h

added missing include

Moved sslproxy cert types to own header in ssl/
Added missing include in acl/FilledChecklist.h

Removed unused close_handler type and conn_close_pool

Prep for 3.1.21

Removed now-useless inclusions of structs.h in various places.

Remved cruft from structs.h

Make IPC base path absolute in testRock

renamed snmp_request_t to SnmpRequest and moved to own header

renamed http_state_flags to HttpStateFlags and moved to own header file.
Changed all boolean flags to bool type.

renamed domain_ping to CachePeerDomainList and moved to own header file

Renamed neighbor_type to NeighborTypeDomainList and moved to own header.

Merged from trunk

Release Notes: document cache_store_log changes in 3.2

Store log uses logFile*() infrastructure and was caught in the access.log
change upgrades (in a good way). But was not documented.

Regression fix: Handle dstdomain duplicates and overlapping names better

Since 3.2 changes to dstdomain overlap detection teh case of duplicate
wildcards has become a fatal error needlessly.

This silently ignores all exact duplicates, even if they are wildcards.

Also, adjust the message display to always display the longer of the
domains first. Since we are dealing with sub-domains it is the most
reliable indicator of which should be removed to safely fix the detected
issue.

Bug 3648: Polish String class files

Fix to correct function parameter const correctness.

Also polishes whitespace to match Squid coding guidelines.

Removed "extern" and SQUIDCEXTERN keyword from regular functions (they have extern linkage by default)

Added some class documentation.
Removed explicit "extern" markers from some functions