compiler

logic fix

MEM_4K_BUF leak

missing newline on debug

- removed ascii headers from reply and request structures
- added more http headers
- fixed content of entity-headers array
- do not update headers with 304 that are not allowed by HTTP/1.1
- moved routines common for request and replies to HttpMsg.c
- rewrote clientBuildReply* and other client_side functions
  using new header interface
- code cleanup
- do not cut off "; parameter" from "digitized" Content-Type
  http fields
- Added X-Request-URI for persistent connection debugging

missing DOC_END

comments

Changes to comm_*_incoming()

Now, there is a single comm_incoming() function.  This does NOT use
select/poll.  It just calls the read handlers directly for HTTP
and ICP sockets, and relies on them to properly handle EWOULDBLOCK
and friends.

The rate at which comm_incoming gets called is configurable with
'incoming_min_rate' and 'incoming_max_rate'.   Note, these are
kind of "backwards" (being rates) and they indicate how many
other FD's to process before calling comm_incoming().  When the load
is none or low, we call comm_incoming at the 'min_rate' which defaults
to once every 16 FDs.  During high loads, 'max_rate' takes effect
and the default is every 2nd FD.

Also added a histogram to count how many connections/messages are
processed per call to comm_incoming.  This also percipitated some
StatHist.c changes.

force direct for REQ_LOOPDETECT flag

while loop in icpHandleUdp

while() loop in httpAccept

change 'you've run out of file numbers' condition.

update reference_age comments

'check_lru_age' flag of storeCheckExpired() was always called with '1'

- added comments for internalStart

update

Generate error for 'squid-internal-*' MISSes

- Do not send only-if-cached cc directive with requests for peer's digests.
  It does not allow fetching digests through neighbores.
  We should send only-if-cached when Squid can handle 504 reply correctly.

storeTimestampsSet(): don't clobber entry->lastmod.  require that
reply->last_modified be > -1 first.

new_StoreEntry(): initialize timestamps to -1

comments

update

re-fix event spin problems

removed HIERARCHICAL entry flag

event times with 0.0 can "spin" the event queue until it runs
to completion.  require a small, non-zero event time so that
other descriptors get a chance too

Deny forwarding loops in accel mode

dont need cast

don't need HIERARCHICAL StoreEntry->flag any more.

log timeouts

debugging

Henrik PUT/POST fix

adding

update

missed one use of hash_first()

compiler warning

Changes to hash_first, hash_next.  The **Current idea has bugs, so now
we keep state with a ->next pointer.  This simplifies the hash.c code
somewhat, but requires an interface change so that hash_first() only
initializes ->next and does not return a value.   Now we always use

while (foo = hash_next(bar))

1.2.beta21

gindent

report # on-disk objects

generate a coredump for running out of swap file numbers

update

fix filemap warning

Print Mean object size in 'info' page

compiler

dont push persistent connections if were low on FDs

Added:
- Fixed an assertion coredump in statHistCopy from
  reconfiguring with different #peers in squid.conf
- Disable persistent connections for client connections
  from broken Netscape User-Agent, version 3.* (Stewart Forster)

comments

- do not disable client-side pconns for Netscape User-Agent if it is a proxy
  connection (not a client connection)

From:    Henrik Nordstrom <hno@hem.passagen.se>
==============================================================================
Here is a in large parts reworked patch for async I/O. This replaces all
of my previous async-io patch (which was messy and broken).

    * The read offset was not preserved, corrupting deferred hits on
      pipelined connections.
    * Main <-> I/O thread communication is done using a single request
      pointer, optionally protected by a mutex.
    * CPU spin situation solved in two possible ways: Either by
      properly protecting the condition variable using a mutex, or by
      increasing the timeout-time on each timeout instead of relying on
      squid_curtime.
    * Use a 50 msec select timeout for ASYNC_IO to keep things flowing
      nicely.
    * Check for completed threads when the request queue grows.
      Completed requests are put on a FIFO queue until processed from the
      main loop.  This is done to more quickly reuse of finished
      threads.
    * Fixed a silly bug in my last version of this patch. No idea how
      the last patch could pass my tests...
    * Avoid pointer aliasing. Some compilers/optimisations have trouble
      with this (the old code was probably safe, but..).
    * Some minor code cleanups.
    * This patch is not messed up ;-)
    * Removed compiler warnings
    * No more SIGCONT signal hack or cross-level hints. This was a bad
      move both on performance and code design.
    * Mutex signalling is optional (-DAIO_PROPER_MUTEX). Using a
      volatile pointer should be safe on most/all platforms.

This patch is quite heavily tested, and seems to perform well.

I still haven't found the cause to another async-io problem. When
async-io is enabled Squid only caches about 1/2 of the requests in my
tests. Without async-io everything gets cached as expected. I have
verified that this problem in present in a unpatched b20-1 and is not
caused by this patch or any of the other 1.2b20-1 changes I have made.

adding

- httpMsgIsPersistent() is now checks for both "Mozilla" and "Netscape"
  agents.

- check for user-agent = Mozilla/3.* (i.e., netscape-3.*) and disable pconns
  for that message.

 - added "under construction" label for "binary request headers" entry.
   there are still a few places and patches that need attention.

- increased CacheDigestVer.

update

Handle "squid-internal-static" URLs for any host

mising msec->sec conversion

units on RTTs

    - Changed storeGetMemSpace().  Only purge down to the HIGH
          water mark; move locked entries to the head of the inmem
          list.

update

SSL proxy requests need full HTTP request headers.  httpBuildRequest
junk must now be public instead of static to http.c

removed EBIT gunk

force peer lookup at start time

remove wierd QUICK_ABORT_100PCT 128 stuff

Changed refresh_t->pct from an int to a double

remove const from netdbClosestParent()

skip peerRefreshDNS if there is no recent traffic

- added strListIsSubstr()

- fixed loop detection code; we must use strstr instead of strcmp when
  searching for ThisCache in a Via headers.

Prevent forwarding loops from netdbClosestParent()

added X-Squid-Error: reply header

Don't cache replies with Vary headers

replaced fde->flags EBIT stuff with int:1 list

Changed struct _fde->flags to int:1 list.

From:    Stewart Forster <slf@connect.com.au>
        This is the final patch that I decided upon that avoids extra system
calls (ie. faster).

        It adds two extra flags, FD_NOLINGER, and FD_NONBLOCKING to allow
for easy testing of these conditions when deciding what to do in comm_close().
It also allows for easy changing of the doaioclose test in the future when
it's decided what actually takes precedence.

remove debug

set HTTP request version

Fixed matchDomainName array bounds bug -- potentially checking before
the beginning of a string.

configurable closing of potentially half-closed sockets

xmalloc debug hash bucket macro

henrik wants more complaints about creating directories

Henrik:
lseek/don't close file for PUT requests

Henrik:
fix storeClientCopy copy-from-memory condition.   Require that copy_offset
be between LO and HI, not just that LO < HI.

Henrik:
be verbose when refusing new HTTP connections

Stew Forster:
Use close() instead of aioClose() if the socket as NONBLOCK set

debugging for objects with open swapout files

- Don't need eventDelete() calls because event handlers now use cbdata
- Don't call netdbExchangeStart for MULTICAST peers
- Try to get average RTT's for multicast peers
- Need to cbdataAdd(psstate) for multicast counting

Millisecond timing patch for events, comm_select/comm_poll, etc.
peerPingTimeout() now uses double the average peer RTT

FUM errors.  we're accessing 'sc' after it gets freed by a callback.
Wrapping storeClientCopy2() with cbdataLock/Unlock should prevent
it from being freed until the end of this function.
Gross solution.

Added weights to event structure.  We need to run ALL
"lightweight" events like peerPingTimeout and storeClientCopyEvent
instead of just one event per call from the select loop

Transitioning Cache Digests from "experimental" to fundamental.
Removed a lot of stats collection, espeically large histograms.
Made peerDigestInit() called from an event, instead of being
called directly -- this avoids some recursion.
The selection algorithm is still kind of hard coded as follows:
cache digests
netdb (if CD's miss)
ICP (if netdb has no RTT data)

type bug

Must memcpy() tmp_keys to ensure alignment!

update

Rewrite hash_remove_link() to use pointer-to-pointer

storeSwapInFileOpened now releases failed objects

cleaned up storeSwapInFileOpened, especially for failure cases.
Call storeReleaseRequest() directly from here to be sure the
bad object gets thrown out.

cleanup -- add ^extern

Changed ipcache_gethostbyname() to return NULL if i->addrs.count == 0;

change hash_remove_link() to return void and fatal() upon error.

FMR fix