Fixed "no swap_filen" test. Zero swap_filen is a valid swap_filen.

Fixed busy slot accounting
The number of busy slots does not go up when a new slot overwrites an old one.

Disabled Rock::SwapDir::maintain() because it has no positive effects
with the current hashing scheme.

Quiet down swap out error reporting.

Do not report swap out errors at level 1. When things go wrong, the already
bad situation is made worse by writing lots of error messages to cache.log.

Do not report system error because the errno may be stale or irrelevant.
If error details are needed, the code should save and propagate the actual
errno in addition to the DISK_ERROR or similar status.

Revised Core/Store cooperation w.r.t. SwapDir map slot locks.

When StoreEntry is deleted, we need to release the SwapDir map slot locks it
holds, if any. This is difficult because SwapDir maintains the locks while
Squid Core maintains the entry swap_status. The Core gets swap_status-related
notifications using async calls so it is easy for swap_status to get out of
sync if SwapDir updates the map slot proactively.

The new code no longer releases the slot lock until the associated StoreEntry
is unlinked or gone, even if the slot is known to be unusable and waiting to
be deleted. We also do not rely on swap_status to guess which lock to release;
we use slot state to determine that instead.

Removed rock-specific code from StoreEntry destructor by introducing a general
SwapDir::disconnect(StoreEntry&) API.

Polished StoreEntry initialization.

Polished and fixed Rock::SwapDir debugging.

Provide a method to abnormally terminate slot writing.
It efficiently resets the slot while the slot is still exclusively locked.

Polished slot cleaning code to be able to reuse it more.

Added comments.

Fixed switchExclusiveToSharedLock() definition profile.

When we are done writing, we still need to keep the reading lock
because the StoreEntry is not gone yet and may refer back to the Slot.

Polished debugging.

Revised Slot management in Rock::DirMap.

Old code was occasionally hitting a s.state == Slot::Writing assertion when
closing the writing state. Since I could not find a specific bug that would
lead to this, I decided to simplify state management by moving Slot locking
further away from the Slot state.

Two kinds of Slot locks are now supported: exclusive and shared. These are
implemented using simple atomic counters. To obtain the shared lock, the slot
must also be in a readable, not-marked-for-freeing state (this is where the
lock and the state still overlap). The code should eventually be polished
to use explicit creation-is-acquisition lock objects.

Old code could not cope with Slot deletion event arriving when the Slot was
being written to. We now mark the slot as in need of freeing, regardless of
the slot state. This may need more work to properly cleanup marked slots.

The old code used open/closeForWriting sequences for rebuilding the map from
disk. There were possibly some race conditions in that code. It is now
replaced with an dedicated, simpler, and optimized putAt() method.

Added comments to explain slot read level maintenance assumptions.

Avoid assertions when mgr:storedir is requested before cache_dir has a map.

Support IpcIO timeouts.

Penging IpcIo requests are now stored in two alternating maps: "old" and
"new".  Every T seconds, any requests remaining in the "old" map are treated
as timed out.  After that check, the current "new" and (now empty) "old" map
pointers are swapped so that the previously "new" requests can now age for T
seconds.  New requests are always added to the "new" map. Responses are
always checked against both maps.

This approach gives us access to pending request information and allows to
report errors to the right I/O requestors without creating additional
per-request state attached to a per-request timeout event. The price is (a)
two instead of one map lookups when the response comes and (b) timeout
precision decrease from "about T" to "anywhere from T to 2*T".

Fixed Rock MapDir read and write locking:

The IoState object created by openStoreIO() can be used for many reads. Thus,
incrementing read level at open and decrementing it at [each] readCompleted
leads to negative read levels if the stored object need more than one I/O.

Moreover, the only way core Squid can swap in an entry is if an entry has our
fileno set (by our get()). Thus, the slot is already locked for reading by
get(), with the entry responsible for decreasing the read level upon
destruction. We do not need to open/close for reading in
openStoreIO/readComleted.

When writing fails, invalidate the slot before unlocking it.

Polished skipping of cache_dirs inactive in a given strand (e.g. Coordinator)
by adding SwapDir::active() method. The directory is active if it makes sense
to call its init/create/get methods in a given strand.

Fixed counting cache_dirs that need dedicated strands. We no longer assume
that all cache_dirs do but use SwapDir::needsDiskStrand() to ask each dir.
The result is stored in Config.cacheSwap.n_strands to optimize NumberOfKids().

Removed "multiple of page size" restriction on cache_dir rock max-size.

The restriction came from mmap writing days and was meant to prevent forcing
mmap to read and merge the unchanged tail of a page we were updating.

Call ioCompletedNotification after we are done with the opening sequence,
not in the middle of it. The effect should be the same, but the logs may be
easier to read, and there will be fewer chances of getting into a reentrant
mess of some kind.

Do not start rebuilding cache_dir (i.e., loading its index into RAM) until we
complete cache_dir initialization sequence, which ends in not in
Rock::SwapDir::init but in Rock::SwapDir::ioCompletedNotification where we
open the shared map or bail on errors.

It does not make sense to start loading index before the map is configured
because there will be no place to store loaded information.

Use Blocking DiskIO module when runnining in a no-daemon mode.

We cannot use IpcIo module in no-daemon mode because there are no diskers
to communicate with. If our implementation is correct, IpcIo module should
contain no shared map or other rock-specific manipulations and, hence,
should not be required for Rock Store to work.

Removed unnecessary loud debugging.

Raised debugging level for "got in-transit entry" messages.

Skip initialization for all cache_dirs except for one managed by this disker.

Merge 3p2-rock.

Restrict cache_dir creation to the disk process.

Forgot to copy the read slot into caller's buffer, causing SWAPFAIL_MISSes.

Debug output polishing in Rock::DirMap.

Shared Rock::DirMap version 12.

Shared Rock::DirMap version 11.

Merge 3p2-rock.

Shared Rock::DirMap version 10.

Preserve old registration tag when updating registration info.

Sometimes, tagless strand registers self only after its module (like
IpcIoFile) supplies a tag. We need to keep the tag for future tag searches
to succeed.

Shared Rock::DirMap version 9.

Merge 3p2-rock.

Fixed Rock::DirMap::Slot::checkKey() which was ignoring its parameter.

Store entry key in four 4-byte atomics instead of two 8-byte atomics because
older GCCs (e.g., v4.4.1) lack __sync_fetch_and_add_8.

Shared Rock::DirMap version 8.

Removed restriction on cache_dir max-size to be a multiple of pagesize.
It was specific to Mmapped DiskIO module which we no longer use.

Merge 3p2-rock.

Added forgotten StrandSearch sources.

Merge 3p2-rock.

Added IpcIo DiskIO module for communication with remote disk processes via UDS.
Used IpcIo for Rock Store filesystem module.

Added StrandSearch API: Workers use it to ask Coordinator for the right
address (i.e., kid identifier) of the disk process for a given cache_dir path.
If Coordinator does not know the answer, it waits for more disk processes to
register. Implemented using generic tagging of kids (StrandCoord) and
searching for the right tag.

Raised UDS message size maximum to 36K in order to accommodate non-trivial
rock store I/O while we are using UDS messages for I/O content.

Fixed shutdown handling broken by hiding cache_dirs from Coordinator while
switching IamPrimaryProcess() logic to use NumberOfKids() which needs
cache_dir count.

Shared Rock::DirMap version 7.

Shared Rock::DirMap version 6.

Shared Rock::DirMap version 5.

Added "disker" processes to be responsible for individual cache_dir I/O.

Determine kid process role based on the process name rather than kid ID.
This allows the process to perform role-specific actions before (or while)
squid.conf is parsed.

Merge 3p2-rock.

Shared Rock::DirMap version 4.

Rock::SwapDir::get() implementation.

Revert RockSwapDir changes.

Shared Rock::DirMap version 3.

Merge 3p2-rock.

Shared Rock::DirMap version 2.

When searching for a hit, ask each cache_dir after checking in store_table.

This allows SMP cache_dirs to share their contents without constantly worrying
about keeping the worker-specific store_table in sync among workers.

Added stream operator << for StoreEntry to ease debugging.

Shared Rock::DirMap version 1.

Change RockDirMap to use bytes instead of bits.

This is required to make it shared between multiple worker processes, because
we can not work atomically with bits.

Support multiple services and vectoring-point crossing in ICAP X-Next-Services.

Adding source files forgotten in r11167.

Merged from the 3p1-rock branch (r9630).

Added a configuration check to prevent IoState::startWriting() assertions.

Rock::IoState::startWriting() asserts that [padded] write request size does
not exceed the slot size. Padded request size always exceeds the slot size for
slots smaller than the page.

This check may also help avoid using unallocated buffer for padding, but that
part may need more work.

Added STORE_META_OBJSIZE size to keep storeSwapMetaSize in sync with
storeSwapMetaBuild.

Support multiple services and vectoring-point crossing in ICAP X-Next-Services.

Merged from the 3p1-rock branch (r9630).

Miscellaneous useful changes from 3p1-rock (r9630) unrelated to Rock Store.

Rock Store implementation merged from the 3p1-rock branch (r9630).

Cleanup: remove dead code from typedefs.h

Initially the idea was to use these as hints when porting from Squid-2
but has proven not to be very useful.

Typo in ModKqueue

Correct language code for Czech

Fix broken cfgman links on obsolete directives

Fix Solaris getrusage wrapping

Bug 2586: multiple memory leaks during reconfigure

This patch fixes:
   - a SSL_CTX object memory leak
   - a very small memory leak in MimeIcon class
   - a small memory leak while parsing adaptation_service

Make FTP and CacheMgr obey --disable-auth-basic

When teh proxy has been built with this auth module explicitly disabled
do not add headers indicating that it is available.

The side effect of not having Basic authentication support in the proxy
is that FTP is reduced to depending on URL logins and CacheMgr protected
actions cannot be used.

Support configurable status codes for deny_info

This changes the default behaviour of deny_info redirects. Making Squid
automaticaly select 307 or 303 status code where appropriate for HTTP/1.1
clients and 302 for HTTP/1.0 clients or other appropriate cases.
For example;
    deny_info 303:http://example.com/ POST

On top of the behaviour change this patch adds capability for admin to
configure deny_info with explicit status codes ranging from 200 to 599.

There are limits placed on the use of each range of status codes:
 * 2xx, 4xx and 5xx may only be set when there is a local file or template
   being used as body content on the response.
 * 3xx status may only be set when there is a URI being used as a redirect
   destination.

These limitations are enforced with a configuration hard abort due to:

3xx with a named template and 4xx/5xx with a redirect break with a range
of horrible results to our file loading and output Location: URLs. My
tests ended up with Squid scanning the FS for local files called
http://blah, redirecting the browser to 404:ERR_ACCESS_DENIED, or getting
past those with zero-sized replies and crashes when err is required to
have length.

They are going to take something much more major logic re-plumbing and
maybe deeper cleanup to get the crossover down to safe enough for just a
warning. Given the RFC defined use of each status range I did not think
it worth doing to enable something on the fine edge of non-standard.

Bug 3089: FTP command output overrides directory listing

Fix "unrecognized value for USE_LIBNETFILTERCONNTRACK: 'auto'"

Thanks to Andrew Beverly.

ftp_eprt directive to disable EPRT extensions in FTP

This allows admin to resolve compatibility problems with old devices which
encounter a range of problems when FTP extensions are used by selectively
disabling any of the extensions individually.

The other EPSV extensions already have enable/disable directives.

Portability fix: removed unused code from smblib

Bug 2959: remove SAMBAPREFIX dependency

This removes the tricky SAMBAPREFIX variable which passes full-path
information from the squid build machine down to the run-time host
helper.

Such information is not always correct when crossing machines, and the
binaries being run can easily be added to PATH in the run-time host
environment instead.

The net result of doing this is removal of Samba from the build
dependencies and increased availability of the basic_smb_auth and
ext_wbinfo_group_acl helpers.

Prevent extra lines being pulled into xprof_type.h

Portability fix: remove unneeded functions in lib/rfcnb

portability fix: lib/rfcnb symbol shuffling

Standard compliance fix: size_t is guaranteed unsigned.

Maintenance: auto-sync XPROF counter types with sources

SourceLayout: shuffle comm IO loops into libcomm and Comm namespace

Correct EUI logging documentation

Author: Henrik Nordstrom <hno@squid-cache.org>
Port from 2.7: maximum staleness limits

The default behaviour of Squid is to provide a stale copy (with Warnigng:
header) until an actove response from the origin server causes the object
to be updated or garbage collection causes its removal.

The max_stale direcive and refresh_pattern max-stale=N option allow admin
to set an upper limit on the objects age when serving stale responses.

Fixed typo in unused(?) HttpHeader::putSc() method. Range header was deleted.

Author: Florent <fcarli@gmail.com>
Bug 3129: ssl-crtd / Dynamically generated certicates' "subject" and "issuer" include "-----BEGIN CERTIFICATE-----"

Author: Henrik Nordstrom <hno@squid-cache.org>
Support RFC 5861 Cache-Control: stale-if-error option

The default behaviour for Squid is to present the stale object when
revalidation fails with a 5xx error.

stale-if-error places a maximum limit on how long this stale object may
be sent. After the limit has passed Squid is required to present the 5xx
message to the client.

Original code for Squid-2 was sponsored by Yahoo!.

Portage done by Alex Rousskov and Amos Jeffries.

Add omitted Makefile generation

Author: Marcello Romani <marcello.romani@libero.it>
Author: Amos Jeffries <squid3@treenet.co.nz>
Database Logging Daemon

Original code by Marcello Romani, this version has some additions to
initialize any missing database tables depended on during its startup
phase and some additional polish to fit within the current Squid release.

COPYRIGHT AND LICENSE

Copyright (C) 2008 by Marcello Romani

This library is free software; you can redistribute it and/or modify
it under the same terms as Perl itself, either Perl version 5.8.8 or,
at your option, any later version of Perl 5 you may have available.

CPU profiler is a dev testing feature. Disable by default.

Prep for 3.1.10 and 3.2.0.4

http_port display cleanup

 * ignore-cc is a violation when not on accel ports.

Use the right printf args for client_request_buffer_max warning

Add docs and prevent parse loops on client_request_buffer_max

Compat: static functions cannot be passed externally

SourceFormat Enforcement

Author: Chad Naugle <chad.naugle@travimp.com>
ext_edirectory_user_ip: hack fix -3 result in StringSplit algorithm

ext_edirectory_userip_acl: alternative split algorithms

Some compilers do not support dynamically allocated stack space.
Instead perform a scan and hunk copy/wipe of the passed buffers directly.
As a side effect the split is no longer triple-copying data and
double-memset'ing.

Documentation fixes

Author: Graham Keeling <graham@equiinet.com>
Bug 3113: Squid can eat far too much memory when uploading files

Problem description:
  Uploading a large file to a web site on the internet, squid's client
input buffer will increase far faster than it can be emptied to
the target website, and the machine will swiftly run out of memory.

This patch adds the client_request_buffer_max_size configuration
parameter  which specifies the maximum buffer size of a client request.

Various source format cleanups

undo damage done by earlier astyle versions and adjust some
imported code to follow reasonable style. no functional change.

Fix the "Report ERR_SECURE_CONNECT_FAIL details" patch (rev 11122)

Looks that the error_t is a define in some platforms. Rename Ssl::error_t to
Ssl::ssl_error_t to avoid compile problems

Compat: define #define PRINTF_FORMAT_ARG* for non-gcc compilers