adding

update

missed one use of hash_first()

compiler warning

Changes to hash_first, hash_next.  The **Current idea has bugs, so now
we keep state with a ->next pointer.  This simplifies the hash.c code
somewhat, but requires an interface change so that hash_first() only
initializes ->next and does not return a value.   Now we always use

while (foo = hash_next(bar))

1.2.beta21

gindent

report # on-disk objects

generate a coredump for running out of swap file numbers

update

fix filemap warning

Print Mean object size in 'info' page

compiler

dont push persistent connections if were low on FDs

Added:
- Fixed an assertion coredump in statHistCopy from
  reconfiguring with different #peers in squid.conf
- Disable persistent connections for client connections
  from broken Netscape User-Agent, version 3.* (Stewart Forster)

comments

- do not disable client-side pconns for Netscape User-Agent if it is a proxy
  connection (not a client connection)

From:    Henrik Nordstrom <hno@hem.passagen.se>
==============================================================================
Here is a in large parts reworked patch for async I/O. This replaces all
of my previous async-io patch (which was messy and broken).

    * The read offset was not preserved, corrupting deferred hits on
      pipelined connections.
    * Main <-> I/O thread communication is done using a single request
      pointer, optionally protected by a mutex.
    * CPU spin situation solved in two possible ways: Either by
      properly protecting the condition variable using a mutex, or by
      increasing the timeout-time on each timeout instead of relying on
      squid_curtime.
    * Use a 50 msec select timeout for ASYNC_IO to keep things flowing
      nicely.
    * Check for completed threads when the request queue grows.
      Completed requests are put on a FIFO queue until processed from the
      main loop.  This is done to more quickly reuse of finished
      threads.
    * Fixed a silly bug in my last version of this patch. No idea how
      the last patch could pass my tests...
    * Avoid pointer aliasing. Some compilers/optimisations have trouble
      with this (the old code was probably safe, but..).
    * Some minor code cleanups.
    * This patch is not messed up ;-)
    * Removed compiler warnings
    * No more SIGCONT signal hack or cross-level hints. This was a bad
      move both on performance and code design.
    * Mutex signalling is optional (-DAIO_PROPER_MUTEX). Using a
      volatile pointer should be safe on most/all platforms.

This patch is quite heavily tested, and seems to perform well.

I still haven't found the cause to another async-io problem. When
async-io is enabled Squid only caches about 1/2 of the requests in my
tests. Without async-io everything gets cached as expected. I have
verified that this problem in present in a unpatched b20-1 and is not
caused by this patch or any of the other 1.2b20-1 changes I have made.

adding

- httpMsgIsPersistent() is now checks for both "Mozilla" and "Netscape"
  agents.

- check for user-agent = Mozilla/3.* (i.e., netscape-3.*) and disable pconns
  for that message.

 - added "under construction" label for "binary request headers" entry.
   there are still a few places and patches that need attention.

- increased CacheDigestVer.

update

Handle "squid-internal-static" URLs for any host

mising msec->sec conversion

units on RTTs

    - Changed storeGetMemSpace().  Only purge down to the HIGH
          water mark; move locked entries to the head of the inmem
          list.

update

SSL proxy requests need full HTTP request headers.  httpBuildRequest
junk must now be public instead of static to http.c

removed EBIT gunk

force peer lookup at start time

remove wierd QUICK_ABORT_100PCT 128 stuff

Changed refresh_t->pct from an int to a double

remove const from netdbClosestParent()

skip peerRefreshDNS if there is no recent traffic

- added strListIsSubstr()

- fixed loop detection code; we must use strstr instead of strcmp when
  searching for ThisCache in a Via headers.

Prevent forwarding loops from netdbClosestParent()

added X-Squid-Error: reply header

Don't cache replies with Vary headers

replaced fde->flags EBIT stuff with int:1 list

Changed struct _fde->flags to int:1 list.

From:    Stewart Forster <slf@connect.com.au>
        This is the final patch that I decided upon that avoids extra system
calls (ie. faster).

        It adds two extra flags, FD_NOLINGER, and FD_NONBLOCKING to allow
for easy testing of these conditions when deciding what to do in comm_close().
It also allows for easy changing of the doaioclose test in the future when
it's decided what actually takes precedence.

remove debug

set HTTP request version

Fixed matchDomainName array bounds bug -- potentially checking before
the beginning of a string.

configurable closing of potentially half-closed sockets

xmalloc debug hash bucket macro

henrik wants more complaints about creating directories

Henrik:
lseek/don't close file for PUT requests

Henrik:
fix storeClientCopy copy-from-memory condition.   Require that copy_offset
be between LO and HI, not just that LO < HI.

Henrik:
be verbose when refusing new HTTP connections

Stew Forster:
Use close() instead of aioClose() if the socket as NONBLOCK set

debugging for objects with open swapout files

- Don't need eventDelete() calls because event handlers now use cbdata
- Don't call netdbExchangeStart for MULTICAST peers
- Try to get average RTT's for multicast peers
- Need to cbdataAdd(psstate) for multicast counting

Millisecond timing patch for events, comm_select/comm_poll, etc.
peerPingTimeout() now uses double the average peer RTT

FUM errors.  we're accessing 'sc' after it gets freed by a callback.
Wrapping storeClientCopy2() with cbdataLock/Unlock should prevent
it from being freed until the end of this function.
Gross solution.

Added weights to event structure.  We need to run ALL
"lightweight" events like peerPingTimeout and storeClientCopyEvent
instead of just one event per call from the select loop

Transitioning Cache Digests from "experimental" to fundamental.
Removed a lot of stats collection, espeically large histograms.
Made peerDigestInit() called from an event, instead of being
called directly -- this avoids some recursion.
The selection algorithm is still kind of hard coded as follows:
cache digests
netdb (if CD's miss)
ICP (if netdb has no RTT data)

type bug

Must memcpy() tmp_keys to ensure alignment!

update

Rewrite hash_remove_link() to use pointer-to-pointer

storeSwapInFileOpened now releases failed objects

cleaned up storeSwapInFileOpened, especially for failure cases.
Call storeReleaseRequest() directly from here to be sure the
bad object gets thrown out.

cleanup -- add ^extern

Changed ipcache_gethostbyname() to return NULL if i->addrs.count == 0;

change hash_remove_link() to return void and fatal() upon error.

FMR fix

ip_access_type unused

hash_link->item unused

Fixed byte-order bugs in cacheDigestHashKey.

- set INIT flag earlier in peerDigestInit() to avoid a loop through
  peerDigestValidate() -> peerSelect() -> pperDigestLookup() -> peerDigestInit()

eventAdd cleanups

eventAdd, eventRun, et al. now check cbdata before making a callback.
If the 'arg' pointer becomes invalid, then the event is NOT run.
Events with NULL 'arg's are always run.

removed extra cbdataLock/Unlock calls since event functions now do
that themselves

adding

hide potential coredump warnings with higher debugs

experimental comm_lingering_close()

- Enabled request->cache_control and removed REQ_CC_ONLY_IF_CACHED
- Fixed memory leak for request->cache_control field

don't exchange too-large RTTs (it broke inet_htons()).
Limit at 60 seconds

Can't rename open files on windows.

    - Added binary http headers to requests
        - request_t objects are now created and destroyed in a consistent way
        - Fixed cache control printf bug
        - Added a lot of new http header ids
        - Improved Connection: header handling; now both Connection and
          Proxy-Connection headers are checked
        - Connection request header is now handled correctly regardless
          of its position and the number of entries
        - Better handling of persistent connection "clues" in HTTP headers
        - Removed handling of "length=" directive in IMS headers;
          the directive is not in the HTTP/1.1 standard;
          standing by for objections
        - allowed/denied headers are now checked using bit masks instead of
          strcmp loops
        - removed Uri: from allowed headers; Uri is deprecated in RFC 2068
        - removed processing of Request-Range header (no in specs?)

note: binary headers for requests are not completed:
request_t still keeps and ascii image of the headers

use storePurgeMem instead of storeRelease in storeGetMemSpace

handle STORE_ABORTED in netdbExchangeHandleReply

update

reset mem->fd == -1 if we unregister that client

end-of-object fixes.  need to unregister, etc.

Dont assert mem->clients == NULL for descriptorless clients

Fixed dealing with end-of-transfer bugs.  Added lots of debugging

mem_obj->fd fixes; set it in protoDispatch()

netdbExchangeUpdatePeer

initialize mem_obj->fd = -1

removed old, unused code

David Luyer's
patch for ARP_ACL on Linux

From:    Henrik Nordstrom <hno@hem.passagen.se>
The GNU-regex check was failing on RH5, where GNU-regex is not really
needed.

From:    Henrik Nordstrom <hno@hem.passagen.se>

Here is a polished and updated test suite a bit..

* pconn-banger reports a throughtput report, like tcp-banger2
* both tools include support to validate size and a simple checksum
* A couple of pconn-banger bugs fixed.
* Wrote a small perl script that joins a URL list, and a size-checksum
report from tcp-banger to a combined list (needed to use the validation
feature).

Syntax for URL lists is eiter plain 1 URL/line, or
METHOD URL [Request-File|-] [size checksum]

The tools can send HTTP requests with any method or request-body, but
they do not (yet) support HEAD replies.

From:    Henrik Nordstrom <hno@hem.passagen.se>
A safeguard to force the client connection to close after a error
message.

fast select() timeouts for ASYNC_IO