BUGFIX: Plug a large SSL memory leak. SSL connections was never freed.

Note: This is done in a quite crude manner, and there most likely is
better ways of doing this. Have investigated the use of a close handler
but it won't fit well with lingering closes.

Don't log "null" SSL errors, as seen if the client aborts the connection
before sending a SSL handshake

Removed unused function declaration

BUGFIX: Certain non-fatal errors could case a client connection to hang
until connection timeout. For example after the following error:
  clientReadRequest: FD 17: no data to process

--with-aio option for including AIO libraries. Adds -lrt if found to have
aio_read.

--with-aio-threads renames to --with-aufs-threads to not cause confusion
between aio and aufs I/O.

Removed unused variable "i".

rename cf_parser.c to cf_parser.h to reduce difference between HEAD and automake branch - allowing for a code-change-free patch set

Prevent segmentation fault when using emulate_httpd_log without ident(rfc931) enabled

Rename $(srcdir)/mime.conf to mime.conf.default in Makefile.in, and in CVS

Bugzilla #215: NULL pointer access for proxy requests in accel-only mode

This patch fixes the bug by checking for NULL in aclIsProxyAuth().
If access is denied due to receipt of a proxy request with
'httpd_accel_with_proxy off' then AclMatchedName is NULL.
clientAccessCheckDone() calls aclIsProxyAuth() with the NULL pointer,
so the check could go into either function.  It was cleaner to put
it in aclIsProxyAuth().

Resolve any possible conflicts with POSIX AIO

* Use the prefix squidaio_ rather than aio_...
* Some minor cleanups

redirector comments made vague reference to 'Release Notes' but this
should instruct the reader to look at the FAQ instead.

remove reference to old 'cache_swap' option, and make this a warning
rather than a fatal error.

Bugfix: squid.conf.default needs renaming when installing

* src/Makefile.in: Change build dir squid.conf to squid.conf.default - it is more accurate.
* src/cf_gen.c: Ditto.

Change the squid-users mailing list to the new address.

WIN32/Cygwin fixes by Guido

- Better GetOSVersion function, more squid "aware", added support for
Windows XP and future Windows versions.
- Added trap in WIN32_Subsystem_Init() for unknown or unsupported (WIN32s)
Windows version.
- Fixed compile warning in comm.c
- Changed exit() WIN32 hook, now less intrusive

And some ident fixes

Test commit (by Adrian)

Implement 'sync'

* return the load based on the aio queue depth
* add a statistic line showing the number of pending disk operations

* Add support for the async write op
* Make sure we call freefunc() on the buffer in the write op case

Commit the basic code to implement async io via posix aio.
only read is done at the moment - write and sync haven't been
implemented yet.

* oops - move the aiocb array to the queue, rather than the queue entry.
* Write some comments outlining what the code is going to ahve to do.

Write a storeCossDirCallback() :)

Add a (very evil) async IO framework. It doesn't do much - just get
the calls in there. The next (few) commits will be the async code.

Yes, yes, I know it should be "Generic", but I'm trying to get COSS
to "user testing" state, so this is the best 'comprimise'.

For now, COSS will use the libaio routines (or the sync stuff in
disk.c - the calling API is the same so wrapping stuff in an #ifdef
will be quite easy) which are available on Solaris, FreeBSD
and possibly Linux.

Oops, make sure we actually *set* the selected flag!

The four-liner below alters fatal() so that fatal errors cause squid
to dump core rather than exit more-or-less-cleanly (of course, the actual
outcome depends on the user's ulimit settings).

Submitted by: Chemolli Francesco <ChemolliF@GruppoCredit.it>

Selection fixes - don't try to use a store dir that most definitely
can't take the object. COSS, for example.

Fatal if we can't open a coss store file at init time, rather than
first IO time.

COSS fixes from diskio.
This code is now stable, but <2gb and sync.
Next, >2gb.

Mismatching parameters to a debug() call
Reported by: Robin Garner <robin.garner@iname.com>
Submitted by: rbcollins

* Commit fix to authenticateAuthUserRequestSetIp()
* Tidy up comment (forced by the indent check :)

Noticed by: Robin Garner <Robin.Garner@crsrehab.gov.au>
Submitted by: rbcollins

Why was "radix.h" included twice?

Guido Serassio discovered missing pointer in aclNBCheck declaration.

Latest NTLM snapshot code, courtesy of kinkie and robert.

<quote>
It's been a while coming... but Kinkie and I now have
probably-production ready NTLM code. It's gone past 1.5 million requests
without failing. The attached patch is a rollup of many minor fixes and
some enhancements:

* Digest: fix crash on shutdown
* ACL: New type max_user_ip to replace authenticate_ip_is_strict.
* ACL: Authenication refactored, to separate authentication and
  authorisation as well as allow 'lazy auth' where authentication is
  triggered by the presence of an authentication using ACL, not
  necessarily "proxy_auth". I.e. using max_user_ip will trigger
  authentication even if no proxy_auth acl's are defined.
* Authentication: API for schemes extended to allow handling duplicate
  authentication on a authenticated _connection_ (yes NTLM again).
* Authentication: Authentication API extended to allow multiple IP's per
  auth_user, and to allow authentication as an orthogonal process to
  authorisation.
* NTLM: many minor races fixed. Should prevent the "Direction before
  ..." errors and the "Duplicate auth" + login popup bug.
* Delay pools: Support authentication (Non-NTLM)in delay pools acl's.
  Beginnings of NTLM support for same.
* Helpers: Stateful helper bugfixes to prevent negative deferred helper
  counts (which prevented ntlm challenge refreshing).
* configure: detect two more headers for NTLM compilation on some
  platforms.

</quote>

Minor arguments mismatch in file_write declaration found by Andrey Shorin.

ACL driven reply_body_max_size by Robert Collins.

Bugzilla #75

Limit memory used for select() statistics. It was allocating space for
up to SQUID_MAXFD active filedescriptors per select(), but we are
only interested in a much smaller range.

This statistics could use quite a bit of memory when SQUID_MAXFD is large
(think I measured something like 8MB for 16K filedescriptors)

Make sure flags is set properly when calling httpBuildRequestHeader
(specifically the proxying flag)

Robert Collins:

Bugzilla #198: authenticateAuthUserRequestLock() SEGV bugfix.
[got lost somewhere...]

Bugzilla #201: useragentLogClose() may call logfileClose(NULL)

Fix a 0-byte read condition while reading request bodies. We need to
stop reading when the buffer is full, and continue again when data
have been used. Thanks to Vladimir B. Savkin for finding this issue.

Also some cleanups in httpRequestFree()
* Permanently removed some old suspicious code Duane had found and commented out.
* Added a new comment at the same place, asking on the validity of the few next
  lines. Looks like we are looking a bit too deap into the store entry
  there..

Robert Collins:

Correct proxy_auth to generate a new challenge when the user was denied
due to a proxy_auth acl.

Bugzilla #197: refreshIsCachable() incorrectly checks entry->mem_obj->reply

The entry->mem_obj->reply is backwards.  It may cause NULL pointer
access.

Minor cosmetic fixes

Bugzilla #195: ERR_ZERO_SIZE_OBJECT page shows [no URL]

This patch links the request structure to the ErrorState structs
so errorpage.c can display a URL in these cases.

Bugzilla #194

Compilation fails on index() on some non-BSD plaforms

should use strchr() instead

Bugzilla #184: storeDiskdShmGet() assertion

This patch changes the mechanism for keeping track of unused shared
memory chunks.   Instead of using a linked list, now we'll use a
bitmap.  It should eliminate the problems I'm seeing on Alphas
where the linklist->ptr value has bit #33 mysteriously set.  In
the new scheme, the shm chunk pointer is always recalculated based
on the index of the bitmap.

SwapDir->suggest is unused.  It has been moved to SwapDir->fsdata->suggest.

Added back some rudimentary removal policy statistics (only implemented
for the "lru" policy as of yet)

  policy.Stat(policy, sentry)

  appends policy statistics to sentry

Bugzilla #177: LinuxPPC 2000 segfault bug

The previous patch wasn't sufficient to fix this bug.  We have to
call va_start() for each time the args will be used in some "v"
(vprintf, etc) function later on.  This patch has been
tested on Joe's powerpc-unknown-linux-gnu system.

Bugzilla #187: bugs in lib/base64.c

Possible buffer overrun and sign/unsigned conversion bugs.

Hack to allow safe_free to be called on const pointers.

Removed the need for the failing typecast..
safe_free cannot be called on const pointers.

Removed a unneeded typecast that may confuse some compilers..

Bugzilla #114

The patch for 2.4 is simple, but HEAD has changed a lot and I don't
know if the patch is necessary there, or whats the best way to do it.
As a cop-out, I added some annoying debug message asking users to
report whether or not it works correctly.

Bugzilla #185: storeDiskdDirParseQ[12]() use wrong number of args in debug/printf

Removing the MAGIC1/MAGIC2 #defines because they are not used.

Warn the admin if client_db is disabled and there is a 'maxconn' ACL
configured.

Documenting my concerns about deferring swapping out when cache_dir has
'max-size' options set.

Bugzilla #177

Joe Laffey points out that on LinuxPPC2000 (and probably QNX) calling
something like vsnprintf() or similar leaves the "args" parameter
unusable.  Calling it again with the same "args" results in a coredump.
We have code to get around this in QNX by making a copy
of the args and calling va_start() twice.

This patch tries to address the problem by splitting the _db_print()
function into smaller parts, and passing the args as parameters to
the separate _db_print_file, _db_print_stderr, and _db_print_syslog
functions.

The recent patch for Bugzilla #172 doesn't compile on HEAD, so I've
disabled it.  Looks like we can't access the RFC931 string in
peerAllowedToUse() until we make some changes to data structures.

Bugzilla #172: Ident Based ACLs fail when applied to cache_peer_access

The aclCheck_t structure passed for cache_peer_access didn't copy
the user_ident string from the request_t structure.  Further evidence
that the multiple locations for ident/proxyauth username strings needs
to be fixed and probably rewritten.

Bugzilla #165: "Store Mem Buffer" leaks badly

This fixes some excessive memory usage problems (for uncachable
responses only?) when 'maximum_object_size_in_memory' is not set
to a small value.  It was probably a coding bug from long ago
that didn't occur much because 'maximum_object_size_in_memory'
used to be hard-coded to a small value (8KB).

minor clarifications to auth module stuff

Continued fuzting with Authentication Framework section.  I added some
description of the auth module (external process) interface for Basic
Auth.

remove periods from section headings

cleaned up formatting of Authentication Framework section

Bugzilla #162

Fix for a small memory leak when delay_pools is configured to 0 (default)

Oops. ACL types dst_as, src_as and maxconn accidently got trashed by
a bad commit (by me) 18.Feb.01 (rev 1.21).

Thanks to Andres Kroonmaa for noticing the error.

Adrian noticed minor FD leaks if fstat() fails.

Added documentation for max-conn cache_peer option.

The following cache_peer options is still undocumented:

   htcp (experimental)
   carp-load-factor= (experimental, may be replaced by weight=)

Disallow -On on gcc 2.95.3 as well, as it can generate bad code.

namespace cleanup

Oops.. forgot to add prototypes needed when moving common_cachedir_options
up earlier in the file..

Data must be declared in place, forward declarations cannot be used
in a portable manner.

Oops, this should have been committed to head first and the 2.4 branch
second.

I am having some infrequent coredumps on DEC Alphas.  Somehow, shared
memory pointers are gaining a high bit set, almost as though due to
an addition/subtraction overflow.  One potential problem is that I
was storing the value of long pointer subtraction into a 32-bit integer.
I changed those integer offsets to off_t.  However, the offset value
in the inter-process messages remains 32-bits to keep the message size
small and predictable.

Bugzilla #162

cleanup after patching, remove unused code

Bugzilla #162
If Squid is configured as a httpd accelerator, then it leaks
Config2.Accel.prefix at every reconfigure/log rotation.

Reported by Rady Greab

Bugzilla #162

snmpAddNode() duplicates the oid created by snmpCreateOid() and
does not free the original. A few bytes leaked at start-up.

Reported & patched by Rady Greab

Bugzilla #162

Squid leaks 72 bytes every minute because it does not free data
allocated for comm_dns_incoming counter

Reported & patched by Radu Greab

Bugzilla #160:

> My problem is that the referer_log file is still at 0 bytes. This cannot be
> right. I have created a site with a clickthrough possibility, and it isn't
> logging the http_referer.
>
> Has anybody had simular experiences? Or can point me in the right direction?
>

I look into that. The variable holding the logfile struct just had no value
assigned. Here is a patch:

auth_rewrite update from Robert Collins

* src/authenticate.c
  (authenticateValidateUser): Check for user scheme data.
  Increase the debug level for "validated".
  (authenticateFixHeader): Add a hint for internal responses versus
  proxied responses. Use it to prevent erroneous challenges when external
  sites request authentication.

* src/client_side.c
  (clientRedirectDone): Reference lock any auth use when creating a
  new request.
  (clientBuildReplyHeader): Hint to authenticateFixHeader that this is
  a proxied response.

* src/errorpage.c
  (errorAppendEntry): Hint to authenticateFixHeader that this is an
  internal response.

* src/helper.c
  (helperStatefulSubmit): Handle broken allocators that don't clear memory.
  Better descriptive comments.
  Remove an redundant cbdata check.

* src/protos.h
  (authenticateFixHeader): New prototype.

* src/auth/basic/helpers/multi-domain-NTLM/README.txt
  Updated email address.

* src/auth/basic/helpers/multi-domain-NTLM/smb_auth.pl
  Disable debug mode for default.
  Replace actual machine names with samples.

* src/auth/ntlm/auth_ntlm.c
  (authNTLMParse): Disable pipelining if NTLM is configured to avoid
  race condition with IE misbehaving.

Bugzilla bug 102: Close useragent log on shutdown

Properly bracket the value assignment.

The ERROR macro is not used anywhere, and conflicts with a ERROR macro
on WIN32 platforms.

Documented a memory leak on SNMP initialization. Quite a large reorganisation
is requred to fix it, and it is only a small fixed amount so this have to
wait until later..

Spelling and typo corrections

snmplib function prototype cleanups

Prototype for mib_parse()

Oops.. forgot to test a last minute cleanup before the previous commit..

Generalized how cache_dir lines are dumped on mgr:config

[win32.c was forgotten in the large commit]
This patch allows squid to read the DNS servers from the registry. Guido
has reintegrated the older NT-port code to do this, and upgraded it to
fit in squid more smoothly.

This patch allows squid to read the DNS servers from the registry. Guido
has reintegrated the older NT-port code to do this, and upgraded it to
fit in squid more smoothly.

Support multiple SSL certificates. See http://squid.sourceforge.net/ssl/
for details.

Sourceforge tag: ssl-20010504

Added glue for OpenLDAP 2.x / Current Internet Draft API. The new API
is unfortunately not backwards compatible with the old RFC1823 API.

Oops.. had deleted the default for -u in a cleanup. This was not intentional.

ispell

Properly handle multiple whitespace in /etc/hosts. Was addning ipcache
entries with a blank host name.

and I cannot even apply a single character patch..