Polished debugging. Needs more work.

Fixed debugging: print the entry size, as intended, not the entry pointer.

SourceFormat Enforcement

Removed temporary code disabling Rock::SwapDir::maintain().
Standard code now works because we do not create a replacement policy.

Polished/optimized Rock::SwapDir::maintain() guards.

Do not create an unused replacement policy and stuff it with entries
because those entries will leak since maintain() is disabled.

Made Rock::Rebuild an AsyncJob because it is.

Increment StoreController::store_dirs_rebuilding early, when SwapDir is
created and before the disk db file is opened and the actual rebuild starts.
Otherwise, if one SwapDir finishes rebuild before others start,
storeRebuildComplete() will see StoreController::store_dirs_rebuilding equal
to one, and think the rebuild is over.

This was not a problem for cache_dirs using blocking I/O because they either
did not try to open some file at SwapDir::init() time or did so synchronously,
resulting in "immediate" StoreController::store_dirs_rebuilding increment from
Store init loop point of view.

Prep for 3.1.11

Icons: remove SN.png on uninstall

Bug 2870: --disable-auth does not work

This patch attempts to make it work by removing libauth.la and all component
functionality which depends on it. So far this reduces the minimal squid
binary by a further 900 KB on disk.

It also means anything which requires an authentication process wont work.
They get wrapped in USE_AUTH or if its a specific type with the relevant
HAVE_AUTH_MODULE_* wrappers.

So far this does:
 * FTP and CacheMgr dependency on --disable-auth-basic is already committed
 * cache_peer login= functionality is greatly reduced under various
   combinations of --disable-auth, --disable-auth-basic and
   --disable-auth-negotiate
 * peering userhash algorithm is removed
 * delay pools class 4 is removed
 * ACLs testing username are dropped.

Additionally since external ACL user= field is used interchangeably in
several places with a full login and with the right helper can be
considered a full side-band authentication I have disabled the
ExtUser/ext_user components as well.

NP: pinning is not strictly dependent on NTLM, we may use it for other
    things without involving auth so left most of it in. Just the logics
    which use auth to set the pinning flag are now removable.

IDENT not being an authentication mechanism is also left in.

Author: D Kazarov <d.y.kazarov@mail.ru>
Bug 3137: RADIUS auth helper does not send identifier to RADIUS server

Author: Phil Oester <kernel@linuxace.com>
Bug 3115: stdio: log module segfaults if access_log is set to a directory

Author: Jonathan Wolfe <jonathan.wolfe@gmail.com>
Bug 3149: not caching ecap adapted body

eCAP adapters may remove or edit the Content-Length header, and to allow
caching of the adapted body squid must reflect that new (or unspecified)
content length when deciding whether or not the adapted body can be cached.

Maintenance: Fix in icons update script

Fixed "no swap_filen" test. Zero swap_filen is a valid swap_filen.

SMP SNMP

In the case the SQUID_SNMP is disabled the MessageType enum list ends with a ","
The gcc compiler does not have any problem with this but SunStudio return a
parse error.

SMP SNMP

The SunStudio compiler requires the <algorithm> include file to allow use the
std::copy

Icons Upgrade

This updates the icons from the current anthony-* GIF series to the
completely free PNG silk icons by Mark James.

Why?
 * Avoiding GIF format makes Squid just a little bit more FOSS than before.

 * These icons are also just a little bit smaller and slicker.

 * Distros which package the silk icons separately for other apps can
   leverage those packages and share the icons.

Also moves the icons to /var/www/squid/icons in accordance with the
Unix filesystem specs for static web content.

Language: template updates

Enable non-caching of external ACL results

Admin configure ttl=0 and/or negative_ttl=0 to prevent Squid storing the
ACL lookup results. The problem is that results still get cached and
re-used for the grace= period or one second, whichever is larger.

Also, in the event where two or more requests with identical details
needing to be looked up at the same time there is an optimization
which will merge and share one lookup result for all these requests.

In most situations this result sharing is beneficial, however when a
unique result is wanted it can cause problems.

This patch makes ttl=0 and negative_ttl=0 prevent their respective OK and
ERR results from being stored into the helper result cache. Sharing is
still performed for overlapping duplicate requests.

When cache=0 is configured, no caching or sharing of results is performed
at all.

Author: Leonid Evdokimov <leon@darkk.net.ru>
bootstrap.sh: Detect DEB package naming style of multiple autoconf versions

Author: Bernard <fli4l.charrier@free.fr>
Language: fr updates

Fixed busy slot accounting
The number of busy slots does not go up when a new slot overwrites an old one.

SMP SNMP: fix test unit link failures

Disabled Rock::SwapDir::maintain() because it has no positive effects
with the current hashing scheme.

de-dupe httpsAccept and httpAccept. move EUI fields to Comm::Connection

Quiet down swap out error reporting.

Do not report swap out errors at level 1. When things go wrong, the already
bad situation is made worse by writing lots of error messages to cache.log.

Do not report system error because the errno may be stale or irrelevant.
If error details are needed, the code should save and propagate the actual
errno in addition to the DISK_ERROR or similar status.

Revised Core/Store cooperation w.r.t. SwapDir map slot locks.

When StoreEntry is deleted, we need to release the SwapDir map slot locks it
holds, if any. This is difficult because SwapDir maintains the locks while
Squid Core maintains the entry swap_status. The Core gets swap_status-related
notifications using async calls so it is easy for swap_status to get out of
sync if SwapDir updates the map slot proactively.

The new code no longer releases the slot lock until the associated StoreEntry
is unlinked or gone, even if the slot is known to be unusable and waiting to
be deleted. We also do not rely on swap_status to guess which lock to release;
we use slot state to determine that instead.

Removed rock-specific code from StoreEntry destructor by introducing a general
SwapDir::disconnect(StoreEntry&) API.

Polished StoreEntry initialization.

Polished and fixed Rock::SwapDir debugging.

Provide a method to abnormally terminate slot writing.
It efficiently resets the slot while the slot is still exclusively locked.

Polished slot cleaning code to be able to reuse it more.

Added comments.

Fixed switchExclusiveToSharedLock() definition profile.

When we are done writing, we still need to keep the reading lock
because the StoreEntry is not gone yet and may refer back to the Slot.

Polished debugging.

Revised Slot management in Rock::DirMap.

Old code was occasionally hitting a s.state == Slot::Writing assertion when
closing the writing state. Since I could not find a specific bug that would
lead to this, I decided to simplify state management by moving Slot locking
further away from the Slot state.

Two kinds of Slot locks are now supported: exclusive and shared. These are
implemented using simple atomic counters. To obtain the shared lock, the slot
must also be in a readable, not-marked-for-freeing state (this is where the
lock and the state still overlap). The code should eventually be polished
to use explicit creation-is-acquisition lock objects.

Old code could not cope with Slot deletion event arriving when the Slot was
being written to. We now mark the slot as in need of freeing, regardless of
the slot state. This may need more work to properly cleanup marked slots.

The old code used open/closeForWriting sequences for rebuilding the map from
disk. There were possibly some race conditions in that code. It is now
replaced with an dedicated, simpler, and optimized putAt() method.

Added comments to explain slot read level maintenance assumptions.

Avoid assertions when mgr:storedir is requested before cache_dir has a map.

SMP SNMP

The attached patch implements aggregation of SNMP responses, similar to how
we aggregate some cache manager stats.

The code contains changes that allow us to share some of the classes between
Cache Manager and SNMP code:

  * implement the following base classes under the ipc directory/module:
    - Ipc::Forwarder (ipc/Forwarder{.cc,.h} files)
    - Ipc::Inquirer (ipc/Inquirer{.cc,.h} files)
    - Ipc::Request (ipc/Request{.cc,.h} files)
    - Ipc::Response (ipc/Response{.cc,.h} files)

  * fix the Mgr::Forwarder, Mgr::Inquirer, Mgr::Request and Mgr::Response
    classes to be implemented as kid classes of the equivalent Icp::* classes.

Also implements for the SNMP the same mechanism used for cache manager:
The SNMP requests forwarder to coordinator which collects the statistics from
kids and aggregate them.

This is a Measurement Factory project

add snmp/Makefile.am

try to handle make check errors

Applying sourceformating

try to handle compiler errors in CentOS 5.3

Support IpcIO timeouts.

Penging IpcIo requests are now stored in two alternating maps: "old" and
"new".  Every T seconds, any requests remaining in the "old" map are treated
as timed out.  After that check, the current "new" and (now empty) "old" map
pointers are swapped so that the previously "new" requests can now age for T
seconds.  New requests are always added to the "new" map. Responses are
always checked against both maps.

This approach gives us access to pending request information and allows to
report errors to the right I/O requestors without creating additional
per-request state attached to a per-request timeout event. The price is (a)
two instead of one map lookups when the response comes and (b) timeout
precision decrease from "about T" to "anywhere from T to 2*T".

Fixed Rock MapDir read and write locking:

The IoState object created by openStoreIO() can be used for many reads. Thus,
incrementing read level at open and decrementing it at [each] readCompleted
leads to negative read levels if the stored object need more than one I/O.

Moreover, the only way core Squid can swap in an entry is if an entry has our
fileno set (by our get()). Thus, the slot is already locked for reading by
get(), with the entry responsible for decreasing the read level upon
destruction. We do not need to open/close for reading in
openStoreIO/readComleted.

When writing fails, invalidate the slot before unlocking it.

merge from trunk

merge from trunk

Move IDENT results into Connection data object. rename some ConnStateData fields

Polished skipping of cache_dirs inactive in a given strand (e.g. Coordinator)
by adding SwapDir::active() method. The directory is active if it makes sense
to call its init/create/get methods in a given strand.

Fixed counting cache_dirs that need dedicated strands. We no longer assume
that all cache_dirs do but use SwapDir::needsDiskStrand() to ask each dir.
The result is stored in Config.cacheSwap.n_strands to optimize NumberOfKids().

SourceFormat Enforcement

Omitted bits from rev11198

Fix pipeline_prefetch misconfigurations

Enact the TODO/Caveat about checking post-parse for auth type clashing
with pipeline settings. This can only fix local configuration errors.

Pipeline_prefetch ON will still silently break WWW-Authenticate pass-thru
and Proxy-Authenticate pass-thru for these auth mechanisms.

Removed "multiple of page size" restriction on cache_dir rock max-size.

The restriction came from mmap writing days and was meant to prevent forcing
mmap to read and merge the unchanged tail of a page we were updating.

Call ioCompletedNotification after we are done with the opening sequence,
not in the middle of it. The effect should be the same, but the logs may be
easier to read, and there will be fewer chances of getting into a reentrant
mess of some kind.

Do not start rebuilding cache_dir (i.e., loading its index into RAM) until we
complete cache_dir initialization sequence, which ends in not in
Rock::SwapDir::init but in Rock::SwapDir::ioCompletedNotification where we
open the shared map or bail on errors.

It does not make sense to start loading index before the map is configured
because there will be no place to store loaded information.

Use Blocking DiskIO module when runnining in a no-daemon mode.

We cannot use IpcIo module in no-daemon mode because there are no diskers
to communicate with. If our implementation is correct, IpcIo module should
contain no shared map or other rock-specific manipulations and, hence,
should not be required for Rock Store to work.

Removed unnecessary loud debugging.

Raised debugging level for "got in-transit entry" messages.

Range::size() returned value type: Fix comparison with signed/unsigned types

Author: Alexandre SIMON <alexandre.simon@ciril.fr>
Bug 3144: redirector program blocks while reading STDIN

The string passed to redirect helper program may exceed the available
buffer space and be truncated. Thus having no \n terminator for the helper.

Test for this failure condition and produce an error page.

Skip initialization for all cache_dirs except for one managed by this disker.

Merge 3p2-rock.

Restrict cache_dir creation to the disk process.

Forgot to copy the read slot into caller's buffer, causing SWAPFAIL_MISSes.

Debug output polishing in Rock::DirMap.

Shared Rock::DirMap version 12.

Range::size() returned value type

This patch allow the user of the Range template class to define the type of
the returned value of Range::size() method, adding a second template argument.
The default type of the return value of Range::size() method is size_t, which
in most cases is enough (but not always, eg  HttpRange).
This patch will allow Range template to be used with non numeric types.

Shared Rock::DirMap version 11.

Merge 3p2-rock.

Shared Rock::DirMap version 10.

Preserve old registration tag when updating registration info.

Sometimes, tagless strand registers self only after its module (like
IpcIoFile) supplies a tag. We need to keep the tag for future tag searches
to succeed.

Shared Rock::DirMap version 9.

Merge 3p2-rock.

Fixed Rock::DirMap::Slot::checkKey() which was ignoring its parameter.

Store entry key in four 4-byte atomics instead of two 8-byte atomics because
older GCCs (e.g., v4.4.1) lack __sync_fetch_and_add_8.

Shared Rock::DirMap version 8.

Removed restriction on cache_dir max-size to be a multiple of pagesize.
It was specific to Mmapped DiskIO module which we no longer use.

Merge 3p2-rock.

Added forgotten StrandSearch sources.

Merge 3p2-rock.

Added IpcIo DiskIO module for communication with remote disk processes via UDS.
Used IpcIo for Rock Store filesystem module.

Added StrandSearch API: Workers use it to ask Coordinator for the right
address (i.e., kid identifier) of the disk process for a given cache_dir path.
If Coordinator does not know the answer, it waits for more disk processes to
register. Implemented using generic tagging of kids (StrandCoord) and
searching for the right tag.

Raised UDS message size maximum to 36K in order to accommodate non-trivial
rock store I/O while we are using UDS messages for I/O content.

Fixed shutdown handling broken by hiding cache_dirs from Coordinator while
switching IamPrimaryProcess() logic to use NumberOfKids() which needs
cache_dir count.

Shared Rock::DirMap version 7.

Shared Rock::DirMap version 6.

Bug 3140: memory leak in error page generation

Avoid freeing buffer m before using it. Specific to the 3.2+ logics.

Some functions needlessly return const int. De-const-ified.

-Rename snmplib/libsnmp.a to snmplib/libsnmplib.a
-Move src/snmpx to src/snmp/
-Merge the ENABLE_SNMP blocks in Makafile.am

Merge from trunk

Shared Rock::DirMap version 5.

Added "disker" processes to be responsible for individual cache_dir I/O.

Determine kid process role based on the process name rather than kid ID.
This allows the process to perform role-specific actions before (or while)
squid.conf is parsed.

Merge 3p2-rock.

Shared Rock::DirMap version 4.

Rock::SwapDir::get() implementation.

Revert RockSwapDir changes.

Shared Rock::DirMap version 3.

Merge 3p2-rock.

Shared Rock::DirMap version 2.

When searching for a hit, ask each cache_dir after checking in store_table.

This allows SMP cache_dirs to share their contents without constantly worrying
about keeping the worker-specific store_table in sync among workers.

Added stream operator << for StoreEntry to ease debugging.

Shared Rock::DirMap version 1.

Change RockDirMap to use bytes instead of bits.

This is required to make it shared between multiple worker processes, because
we can not work atomically with bits.

Support multiple services and vectoring-point crossing in ICAP X-Next-Services.

Adding source files forgotten in r11167.

Merged from the 3p1-rock branch (r9630).

Profiler: fix report sorting algorithm

The sorting was performed in a way to exclude the UNACCOUNTED and leave it
first in the display list. However with the new auto-genenerated enum all
other entries are at indeterminate locations. Using hash_lookup resulted
in only half teh list being sorted.
Fix that by referencing from UNACCOUNTED which is guaranteed to be first.

SourceFormat Enforcement

Added a configuration check to prevent IoState::startWriting() assertions.

Rock::IoState::startWriting() asserts that [padded] write request size does
not exceed the slot size. Padded request size always exceeds the slot size for
slots smaller than the page.

This check may also help avoid using unallocated buffer for padding, but that
part may need more work.

Try to return a template error page. Also return 404 error code

menu did not displayed in browser