Docs: typos in cache_peer text

Portability fixes for Atomic::WordT API.

Change parameter types for swap_if() and operator==() from int to
Value.  This fixes some GCC warnings in "fake" implementation when
the AtomicWordT template parameter is unsigned.

Polished (waitingToBeFreed == true) test. waitingToBeFreed is
Atomic::WordT<uint8_t> and GCC does not know whether to cast AtomicWord or
boolean when comparing the two.

Fix "int to double" compiler warnings in IpcIoClaimMemoryNeedsRr::run().

Provide "fake" AtomicWordT implementation for non-SMP configurations.

While we can not provide real AtomicWordT implementation on the systems where
atomic operations are not available, we can use a "fake" one if Squid is
running in non-SMP mode.  Before the change, the "fake" implementation was
always asserting, which is too restrictive and leads to test failures on
systems without atomic operations.

The new implementation works under conditions similar to "fake" shared memory
segments and allows SMP-using code (e.g. Rock store) to work in non-SMP mode.
In particular, it allows tests to pass on such systems.

AtomicWordT was renamed to WordT and moved to Ipc::Atomic namespace to allow
Ipc::Atomic::Enabled() to be declared outside of the AtomicWordT template
class.  This lets us define the Enabled() method in AtomicWord.cc which avoids
dragging protos.h #include into the AtomicWord.h header.

SourceFormat Enforcement

Bug 3150: do not start useless unlinkd.

Unlinkd may be used only by UFS storage but, before the change, Squid
always started unlinkd if it was built, even if it was not needed.

Whether a SwapDir may use unlinkd depends on the SwapDir
implementation and DiskIO strategy it uses.  The patch adds
unlinkdUseful() method to SwapDir and DiskIOStrategy to decide if
unlinkd should be started.

After the change, unlinkd may be started during reconfiguration and
unlinkdInit() may be called multiple times.

After the change, unlinkdClose() may be called when unlinkd was never
started.  The patch removes a warning which was printed in this case
on Windows.

Optimization: Make read requests in [Rock] IpcIo bypass max-swap-rate limit.

Before the change, IpcIoFile::WaitBeforePop() delayed both swap ins
(hits) and swap outs (misses).  This is suboptimal because reads do
not usually accumulate unfinished I/O requests in OS buffers and,
hence, do not eventually require the OS to block all I/O.

Ideally, a disker should probably dequeue all pending disker requests,
satisfy reads ASAP, and then handle writes, but that is difficult for
several reasons.  The patch implements a simpler approach: peek the
next request to be popped, and if it is a swap in (i.e., read or hit),
then pop it without any delay.

When a read is popped, we still adjust the balance member and LastIo,
because we do want to maintain the configured average I/O rate. When a
write request comes in, it will be delayed [longer] if needed.

In the extreme case of a very long stream of read requests (no writes
at all), there will be essentially no I/O rate limit and that is what
we want.

Do not allow max-swap-rate and swap-timeout reconfiguration for Rock Store.

These options are used to configure DiskIO module during Rock SwapDir
initialization.  During reconfiguration, the values are updated in Rock
SwapDir, but they do not reach the DiskIO module.  Thus, while Squid says that
option has a new value, the new value is never really used.  This patch fixes
this inconsistency.

In the future, we may support reconfiguration for max-swap-rate and
swap-timeout, but that would require adding reconfiguration support
to DiskIO modules.

Rename Ipc::FewToFewBiQueue method peek() to findOldest()
to better match the method functionality.

Independent shared I/O page limit.

Shared memory pages are used for shared memory cache and IPC I/O module.
Before this change, the number of shared memory pages needed for IPC I/O
was calculated from the size of shared memory cache.  Moreover, shared
memory cache was required for IPC I/O.

The patch makes the limit for shared I/O pages independent from the
shared memory cache size and presence.  IPC I/O pages limit is calculated
from the number of workers and diskers; it does not depend on cache_dir
configuration.  This may change in the future if we learn how to compute
it (e.g., by multiplying max-swap-rate and swap-timeout if both are
available).

Bug 3383: store.cc:1631: "new_status != IN_MEMORY" assertion

UsingSmp() is not the right condition to detect whether we are using a shared
cache because shared memory caching may be disabled and because Coordinator
does not use a shared memory cache even if shared caching is enabled.

The assertion was triggered by icons being added to Coordinator local memory
cache. TODO: Coordinator does not need to cache [icons] at all.

sslBump: Send intermediate CA

SslBump code assumed that it is signing generated certificates with a root CA
certificate. Root certificates are usually not sent along with the server
certificates because clients must have them independently installed or
built-in. Squid was not sending the signing certificate.

In many environments, Squid signing certificate is intermediate (i.e., it
belongs to a non-root CA). If Squid does not send that intermediate signing
certificate with the generated one, the client will not be able to establish a
complete chain of trust from the generated fake to the root CA certificate,
leading to errors.

With this change, Squid may send the signing certificate (along with the
generated one) using the following rules:

   * If the configured signing certificate is self-signed,
     then just send the generated certificate alone.
     Note that root CA certificates are self-signed (by root CA).

   * Otherwise (i.e., if the configured signing certificate is an intermediate
     CA certificate), send both the intermediate CA and the generated fake
     certificate.

   * If Squid sends the intermediate CA certificate, Squid also sends
     all other certificates from the "cert=" file, Sending a chain with
     multiple intermediate CA certificates may be required when the Squid
     signing certificate was signed by another intermediate CA.

This is a Measurement Factory Project

Bug fix: The multi-language support is broken for Ssl error details

Current Ssl::ErrorDetail::useRequest never sets the ErrorDetail::request
member.The ErrorDetail::request member used to select the correct language
for the web client from Accept-Language header.

Simplified code. No functionality changes expected.

!InDaemonMode() already implies both !UsingSmp() and IamWorkerProcess()
so !InDaemonMode() can be removed from the condition.

Bug 3383: unhandled exception: theGroupBSize > 0

Do not create shared queue for IpcIoFile if there are no diskers. The queue
code requires at least one queue reader and writer, and SMP does not imply the
existence of diskers.

SourceFormat Enforcement

Remove fake segments from the global Segments array when "unlinking" them.

This change prevents "Duplicate fake segment creation" errors and makes
link/unlink code symmetric.

Also polished fake Segment destruction code.

Name shared memory segments in a more portable way
to make shm_open() work on FreeBSD and some other OSes.

Linux and friends use "/slashless-name" template for shared memory segment IDs.
HPUX and friends use "/full/path/to/some/file".
FreeBSD uses the former or the latter, depending on version and jail context.

We now distinguish the above cases and prefix the internal segment ID
accordingly. The above analysis and its implementation are based on the
boost::interprocess code.

To make matters worse, the right prefix for path-based OSes depends on whether
we are running an [installed] Squid binary or just a "make check" test case.
For test cases, we cannot use PREFIX-based paths because they may not exist.
Instead, we use the current directory. This is consistent with TESTDIR (i.e.,
cache_dir location) which each fs test case defines to be in the current
directory.

Finally, the segment name may clash with cache_dir name on path-based OSes. We
now append ".shm" to the segment name to reduce the likelihood of a collision.
TODO: Should StoreMap/etc (or their creators) append "map"/etc to their IDs?

Detect missing cppunit/extensions/HelperMacros.h for compat

ext_session_acl: updated configure checks

* Drop obsolete check for db_185.h

* Update function check to db_env_create instead of db_open

This enables Squid to skip building of the session helper on systems with
libdb older than 4.0.

Produce full list of peer options on maybe-direct forwarding case

Now that we are generating the set of possible peers before attempting to
connect.  The retry_on_error directive is no longer repeatedly cycling
through the peer selecting process failing on one peer until that peer
works.

The maybe-direct case seems to have been depending on this behaviour to
locate alternative peers before going DIRECT. The attached patch seeks
to make the maybe-direct case produce a list of all available parents
with the specific algorithm choice first.

Language: it updates

Language: hy updates

Language: he updates

Bug 1243: Build overrides configured AR setting

ext_session_acl: version 1.2

This patch makes the following changes to the session helper:

- Removes support for Berkeley DB 1.85
- Adds support for the current Berkeley DB (db.h)
- Adds support for a DB environment (if a directory is specified as
  the path then an environment is created). This gives better
  synchronisation within multiple processes
- Fixes a bug with active mode where LOGIN/LOGOUT did not write to the DB

SourceFormat Enforcement

Fix fastCheck() default result on multi-line actions.

fastCheck() on multiple lines was using the last lines action instead
of the DUNNO state replacement for inversion.

This updated fastCheck() to only use a config lines result state if that
line fully matched. In accordance with documented ACL behaviour.

Polished more fatal messages.

Added more sources needed by ufs, which some platforms link with testRock
via the fs/libfs.la dependency.

Added sources needed by ufs but linked, on some platforms, to testRock
via the fs/libfs.la dependency.

Reduced test Rock cache_dir size from 100MB to 10MB to reduce test overheads.

Made fatal shm_open() errors more detailed to triage failing tests/testRock.

Delete server-side deleteThis()

This patch finishes the conversion of ServerStateData into AsyncJob by properly
implementing the doneAll() method and by removing calls to deleteThis() or
replacing with mustStop() calls as appropriate.

The Adaptation::AccessCheck modified to schedule an AsyncJobCall when
access check finishes.

The ServerStateData and ClientHttpRequest classes modified to work with the new
Adaptation::AccessCheck.

This is a Measurement Factory project

Various fixes for Rock store unit tests.

Also some source maintenance updates.

Avoid "double to int" compiler warnings.

Could also use integer arithmetic instead of 1e3 double, but it is often safer
to use doubles when it comes to formulas because significant integer rounding
errors are difficult to spot.

Added missing stub to Rock Store test, exposed by layer-02-maximus build test.

SMP shared memory cache stats were not collected.

"Hot Object" stats were not reported for shared memory cache.

Mean disk object size stats were aggregated inaccurately for SMP.

Moved Store-related stats into a dedicated StoreStats class,
encapsulating memory cache-related (mem), disk cache-related (swap), and
global store (number of objects) stats. Used consistent naming scheme
and a common parent class to make memory and disk stats more alike.

Moved Store stats collection into corresponding Store classes rather
than forcing GetInfo() in stat.cc to know how to deal with all Store stats.

Account for max-swap-rate in swap-timeout handling for Rock.

Current swap-timeout code does not know about max-swap-rate.  It
simply finds the longest-waiting I/O in disker queues (incoming and
outgoing) and then assumes that the new I/O will wait at least that
long.  The assumption is likely to be wrong when the queue contains
lots of freshly queued requests to disker: Those requests have not
waited long yet, but a max-swap-rate limit will slow them down
shortly.

The patch changes the swap-timeout code to account for max-swap-rate
when dealing with the workers-to-disker queue: If there are N requests
pending, the new one will wait at least N/max-swap-rate seconds.  Also
expected wait time is adjusted based on the queue "balance" member, in
case we have been borrowing time against future I/O already.

Add basic "make check" tests for Rock Store, based on UFS and COSS tests.

Added null pointer guard in HttpStateData::cacheableReply()

SourceFormat Enforcement

Log field width polishing

This patch:
 - converts type of the Token::[width|precision]  members from "unsigned int" to "int"
 - renames the Token::[width|precision] members to Token::[widthMin/widthMax]
 - removes unneeded typecastings

This is a Measurement Factory project

Prep for 3.2.0.13 and 3.1.16

Docs: polish host_very_strict

Allow non-shared memory caching when there are no cache_dirs.

Before this change, we destroyed unused/idle StoreEntries if nobody was voting
to keep them in store_table. That blocked non-shared memory cache from getting
new entries if there were no cache_dirs to vote for them, which is wrong. The
new code keeps unused/idle StoreEntries in store_table if nobody objects.

Bug 3077: '\' in url query strings cause Digest authentication to fail

Polished HelperChildConfig methods. No runtime changes expected.

Removed 3 out of 5 constructors as unused.

Prevented silent conversion from int to HelperChildConfig via a
single-parameter constructor.

Removed destructor and assignment operator for being identical to the
compiler-generated ones and for implying that a copy constructor is missing.

Fixed typos in the host_verify_strict description.

Frankly, the description is likely to still make little sense to
uninitiated because we do not explain what is "Host vs IP validation"
and what the "additional strict validation comparisons" are. There was
an attempt to explain the latter, but I think it failed. Perhaps there
are more typos that hide the intended meaning?

Bug 3325: option to selectively enable strict host verify checks.

Host verify: do not pinn destination IP if URL re-write has been done.

Bug 3336: assertion failed: helper.cc:701: 'hlp->childs.n_running > 0'

Fix eCAP build failure with --disable-auth

Bug 3363: never_direct always 'unable to forward this request at this time'

never_direct allow test result was mapping to YES insteaad of NO.

Add directive dns_v4_first to make IPv4 connections before IPv6 is tried.

Default off, to prefer the faster protocol.

The use-case for this is networks which are IPv6-enabled but stuck
behind slow tunnels and whose upstream is not supporting full transit
services over IP.

Bug 3337: Http status 200 is not accepted for deny_info

Bug 3237: seq fault in free() from rfc1035RRDestroy

Properly parse HTTP list headers with embedded 8-bit characters

MSIE and maybe other browsers sometimes sends 8-bit high characters
in HTTP headers (and URLs). This was mistakenly read as CTL characters
on platforms with signed char type (i.e. x86 etc).

One visible effect of this was that HTTP Digest authentication failed
in MSIE when following a link with embedded 8-bit or UTF-8 characters.

SourceFormat Enforcement

Fixed a typo that broke builds with no HAVE_SHM.

Fix CertficateDB locking scheme

Currently we are locking every file going to be accessed by CertificateDB code
even if it is not realy needed, because of a more general lock.

This patch:
   - Replace the old FileLocker class with the pair Lock/Locker classes
   - Remove most of the locks in CertificateDB with only two locks one
     for main database locking and one lock for the file contain the
     current serial number.

This is a Measurement Factory project

Bug 3349: Bad support for adaptation service URIs with '='

Currently using URIs  which  include "=" is not supported by
ecap_service/icap_service configuration parameters. Also the squid.conf
documentation about ecap_service is outdated.

This patch
- Fixes the [e|i]cap_service line parser to allow URIs with "="
- Changes the [e|i]cap_service configuration parameter to use the following syntax:
   ecap_service id vectoring_point uri [name=value ...]
- Check for duplicated options
- Fixes the related documentation
- Also the older [e|i]cap_service syntax forms are supported:
   ecap_service id vectoring_point [1|0] uri
   ecap_service id vectoring_point [name=value ...] uri
- The "uri" options is not documented but supported.

This is a Measurement Factory project.

Added missing AtomicWordT::Value typedef to the fake AtomicWord API.

Polished SMP caching code, primarily to stay out of the way in non-SMP mode.

Do not start useless diskers. Do not assume Rock cache_dirs are present.
Do not require IpcIo DiskIO module to build Rock store.
Check IPC I/O pages limits in Rock store only when using a disker.
Warn about Rock cache_dir disk space waste.
Warn if shared memory cache is enabled in non-SMP mode.
Fake shared memory segments if needed (e.g., we are using Rock cache_dirs with
  no POSIX shared memory support) and possible (e.g., no SMP).

Added max-swap-rate=swaps/sec option to Rock cache_dir.

The option limits the rate of Rock disk access to smooth out OS disk commit
activity and to avoid blocking Rock diskers (or even other processes) on I/O.
Should be used when swap demand exceeds disk performance limits but the
underlying file system does not slow down incoming I/Os until the situation
gets out of control.

Warn if Rock disker delays are significant.

Bug 3190: Large HTTP POST stuck after early ICAP 400 error response

When an ICAP REQMOD service responds with an error to
(or the REQMOD transaction aborts while processing) a large HTTP
request, the HTTP request may get stuck because the request body
buffer gets full and nobody consumes the no-longer-needed content.

The ICAP code quits but leaves the body buffer intact in case the
client-side code wants to bypass the error. After that, nobody consumes
the request body because the buggy client side does not inform the body
pipe that there will be no other consumers, which would have triggered
a noteBodyConsumerAborted() callback and enable auto-consumption or closed
the client connection.

This is a Measurement Factory project

SourceFormat Enforcement

Refactored HttpHdrCc, with improved MemPools integration and more efficient parsing.
Implemented StringArea class.

Remove entryLimitAllowed() TODO from RockSwapDirRr::run().

RockSwapDirRr::run() calls sd->entryLimitAllowed() when sd does not
have a map yet, which causes entryLimitAllowed() to use zero for the
lower limit.  But that OK so we can remove the TODO.

Warn about Rock cache_dir disk space waste.

In some configurations Rock cache_dir may hit the maximum entry limit.
In that case a significant disk space may be wasted.  Before recent
SMP-related changes, there was code to warn the user about such
situations.  The patch resurrects that code, adjusting it as needed to
match the current realities.

Check IPC I/O pages limits in Rock store only when using a disker.

Shared memory pages are used only when Rock is running with diskers.
Otherwise, Blocking IO is used and there is no need to check for IPC
I/O pages limits.

Add sanity check to Kids::init().

Do not start useless diskers.

Before the change, a disker process was started for each configured
cache_dir.  But not all cache_dirs need a disker: only Rock store
requires one when running in SMP mode.  There was some existing code
to avoid starting useless diskers (see SwapDir::needsDiskStrand and
Config.cacheSwap.n_strands) but it was not complete.  The patch fixes
this issue.

Do not require IpcIo DiskIO module to build Rock store.

Rock can be used in non-SMP mode with Blocking DiskIO module.

Rewrite shared memory registry runners using Ipc::Mem::RegisteredRunner.

This allows simpler code and cleaner separation between shared segment
creation and openning.

Add base class for registered runners that work with shared memory.

Shared memory runners do two main things:

* create shared memory segments
* open shared memory segments created earlier

Each runner has to decide whether it needs to create and/or open
shared memory segments.  Common runners share (some) logic in making
this decisions.  The purpose of this patch is to implement this logic
in a single place to allow easy reuse and avoid duplication.

Warn if shared memory cache is enabled in non-SMP mode.

Remove useless typedef from DeactivateRegistered().

Add "fake" shared memory segment implementation.

"Fake" shared memory segments are enabled #if a system does not
support POSIX shared memory.  Such segments use regular new to
allocate memory, it is not shared among multiple processes.  The
purpose of the change is to allow code that uses Ipc::Mem::Segment to
run in non-SMP mode (that is when only a single process, except for
master, is running) on systems without POSIX shared memory support.

Note: running SHM-using features in SMP mode still requires POSIX
shared memory support, the patch does not change that.

Fix comment for Ipc::Mem::Segment::create() method.

It does not fail if a segment with the same name already exists.

Fix "variable set but not used" GCC 4.6 warnings when building without GSSAPI.

Merged from trunk

Bug fix: a test was flipped during conversion.

Merged from parent (trunk r11763, v3.2.0.12+).

Use atomic int for millisecond-based Balance instead of atomic int64_t.

Atomic int64_t may cause "undefined reference to __sync_fetch_and_add_8"
linking errors, due to GCC bugs. Those errors can be fixed by building with
CXXFLAGS='-march=i586' but there is no reason to introduce that complexity
as 2^31 milliseconds is 35791 hours which is still plenty for our purposes.

Warn if Rock disker delays are significant.

This may help detect misconfigurations (e.g., too low I/O rate) or bugs.

Optimization in HttpHdrCc::packInto : if there is nothing to fill in don't even look

Cleanup: only copy error-details.txt once per language

Bug 3373: invalid URL in ERR_CACHE_ACCESS_DENIED

Bug 3346: forward.cc:364: "entry->store_status == STORE_PENDING"

While the server writes the response to Store, the client side may
synchronously abort the entry. This happens, for example, when the
server receives a 304 response and handleIMSReply calls
sendClientOldEntry, which calls storeUnregister with our entry,
resulting in CheckQuickAbort.

Once server store write returns, if the server is done, it calls
FwdState::completed(). At that time, the server does not know that (and
should not care whether) the entry was aborted. Thus, we need to handle
aborted entries in FwdState::completed.

This is a Measurement Factory project.

Optimized HttpHdrCc::packInto and clarified its behaviour in comments
Negative values to Cache-Control directives are now explicitly discarded
Clarified documentation

Explicitly check that integer-carrying Cache-control directives are positive.
Rename MAX_STALE_ALWAYS to MAX_STALE_ANY and changed its representation to very large positive integer.
Implemented internal HttpHdrCc::setValue call.
Removed unnecessarily explicitly-masked StringArea default constructor.

Implemented explicit getters/setters for all Cache-Control directives
Moved httpHdrCcPackInto to an HttpHdrCc class member

avoided temporary in HttpHdrCc name-to-id lookup
Started implementing have/set/get/clear combo for all members of HttpHdrCc
Fixed zero-pointer-dereference in http.cc

Made HttpHdrCc::mask private.

Implemented HttpHdrCc::set and isSet to manipulate the mask

Improved HttpHdrCc documentation
Reverted spurious change in Makefile.am
Fixed potential null pointer dereference in refresh.cc
Reverted unnecessary changes to HttpHeader::getCc
Removed explicit constructor requirement for HttpHdrCc

Fixed consistency typo in HttpHdrCc.

Implemented base/StringArea

Fixed Makefile.