"MemBuf" leak fix and initial CACHE_DIGEST code

commenting

- added httpHeaderGetLastStr() to find last X-Cache
  the implementation is not optimized yet (searches from the beginning)

- default SQUID_MAINTAIN_CACHE_DIGEST to 1

- added code to create/rebuild/rewrite store_digest
- to disable local digest support,
  set squid.h::SQUID_MAINTAIN_CACHE_DIGEST to 0
- added a hack to support simple IMS requests for ENTRY_SPECIAL entries

missing newline in cachemgr output

new dns cachemgr output

Changed squid/dnsserver communication to single-line replies.  Removed
all the unused cruft.

Fix DnsStats.replies to count full replies, not just read()s!

- Added internal support for cache digest (store_digest). The digest is
  maintained as a "mirror" of store_hash table. storeHashInsert/Delete forward
  public key objects to the store_digest object. Sending digests to other
  caches is not yet supported. Periodic digest rebuild is not yet supported.

- Rudimental reporting for store digest is done via cache manager.

Make 'cache_host_domain' AND'ed with 'cache_host_acl'

Only call comm_write() (et al) from clientSendMoreData().   other special
reply generators were modified to create and write into StoreEntries.

Fixed clientSendIMSComplete() to NOT just comm_close() the
connection if it should be Keep-Alive'd

- Removed calls to httpHeaderTestParser()
- Removed lrand48() from httpHeaderTestParser()

- Added support for only-if-cached cache-control directive.

- added mime_get_header_field() to support multiple header fields
  with the same field-name
- enabled support for only-if-cached directive

- Increased debugging level in "left dirty" pools report.

handle NULL bytes in HTTP replies which could throw off our gross
header processing.

surf-wessels 1004> client -h www.hcs.ohio-state.edu -p 80 '/random.cgi$cover.rnd' | od -c
0000000   H   T   T   P   /   1   .   0       3   0   2       F   o   u
0000020   n   d  \r  \n   S   e   r   v   e   r   :       R   a   n   d
0000040   o   m   U   R   L   /   1  \r  \n   L   o   c   a   t   i   o
0000060   n   :       h   t   t   p   :   /   /   1   4   0   .   2   5
0000100   4   .   8   4   .   2   0   0   /   i   m   a   g   e   s   /
0000120   h   c   s   /   c   o   v   e   r   /   c   d   1   8   3   6
0000140   -   3   2   .   g   i   f  \r  \n  \0  \r  \n  \r  \n

Fixed off_t/int malloc bug!!

- bug fixes

- tmp modified icp detection algorithm: access log entries with hierarchy
  field other than NONE are considered for icp. this change was done to increse
  the number of icp queries.

require both start and stop to be non-zero for ICP query svc time counting

- trying new algorithm to detect end-of-clean swap.state condition; this time
  we account for cc updates that may interleave new(dirty) entries with old
  (clean) ones.

- Added assertion to double check the end of clean logs

- removed paranoid Test() assertion to CacheDigest.c::cacheDigestAdd()
- added stats on deletions from a cache digest

- fixed digest size report
- added paranoid Test() assertion to CacheDigest.c::cacheDigestAdd()

- better stats
- minor fixes

- Add median service times to cachemgr 'info' page.
- Fixed DNS service time calculation -- the start time was set as
  the *dispatch* time, not the *request* time, so it only measured
  how long the dnsserver took to process, and did not account for
  queueing delays.
- Fixed ICP svc time calculation -- start time was set way too
  early, before DNS lookups!

- access.log start time is now synced with swap.state start time

dlinkAddTail

move RELEASE_REQUEST entries to the LRU list TAIL so they get
removed by the LRU procedure.

- Added cacheDigestClone() method.
- major test_cache_digest updates

remove special SYSLOG case for debug() macro.  MOST systems have SYSLOG
anyway, but more importantly, the _db_level var is needed for
stderr debugging.

tolower() hostnames in icon URLs

single request line (no headers) fix

purify UMR fix

potential alignment fix

update

Added --enable-forw-via-db --> #define FORW_VIA_DB

turn debug(0,0) into real debugs (33,3)

- Added a temporary hack to avoid coredumps when invalid hdr entry gets
destroyed.

- Adding stuff.

- HttpHeader now uses case-insensitive string cmp in DelByName().

debugging

need to fully free and recreate FV hash_tables

fix end-of-header detection

gindent

new headersEnd() replaces mime_headers_end and eliminates buffer overruns

only show the 'preparing for shutdown' message once

Added HTCP socket close functions

use a #define for pinger payload size

clean up reconfigure/rotate/shutdown flags and stuff

use assert instead of fatal_dump

added x-forwarded-for and via header database

Fix cache hits (swapins) during reloading

- commented out printf()s on bad log entries.

- Adding more stuff to test_cache_digest

why did we close open swap logs if its not okay to write clean ones?

Don't queue squid<->pinger messages, just send() them

Fixed probable memory accounting leak.  We were calling free() when
we should have been calling memFree() in cbdataUnlock()

- Added a timer for a no-load hash scan

Initial revision.

Added test_cache_digest.c: a test-suite for playing with cache digests

Comment regarding STRICT_HTTP_PARSER

- Added STRICT_HTTP_PARSER pp directive to control parsing of invalid but
  commonly used HTTP formats. Currently the presense of "HTTP/" sequence in a
  GET request is affected.

add bogus NEIGHBOR_END enum to avoid comma-ending-list warnings

update

Try httpRestart of httpReadReply read() returns < 0, not just == 0.

Reduced the size of CacheEntry

- Report polishing

- bug fixes

More detailed report

- Updated dependent list for cache_diff

- Replaced calls to hash_delete_link() with hash_remove_link()

- Added cache_diff.c, a stand alone program that
    - Computes the difference between the contents of two caches using
      swap logs
    - Reports the percentage of common files and other stats

- fixed hash memory leaks from Proxy Auth ACL stuff
- Moved common hash list free routines to hashFreeItems()
- removed hash_insert() and hash_delete()
- renamed hash_unlink() to hash_remove_link() and removed 'freelink' arg

compiler

printf errors/warnings

call clientWriteComplete so the client socket gets closed

check for port == 0 in PASV reply

printf fixes

more places we need to switch the timeout from the ctrl to the data
socket

update

protect htcp features with USE_HTCP

progress

change HTCP vs ICP configuration to be a cache_peer flag instead of
separate port members

debugs and misc cleanup

HTCP prototypes

send HTCP instead of ICP if HTCP port set

parse HTCP port on cache_peer line as '4287/htcp'

rearrange

add </BODY></HTML> to the end of our error pages

peer->ip_lookup_pending should not be needed any more

add configure setting of HTCP_OBJS for src/Makefile

added HTCP

writing --enable-htcp

Changed comm connect routines so that the timeout value and handler
are CLEARED when connection succeeds.  This means all the connect
callback (CNCB) functions need to re-set the timeout handlers.

Clear any FD timeouts before making the commConnect callback.

debugging

comment