]> git.ipfire.org Git - thirdparty/squid.git/log
thirdparty/squid.git
13 years agoAdded ssl::bump_mode logformat code to log SslBump decisions.
Alex Rousskov [Sun, 1 Jul 2012 03:55:21 +0000 (21:55 -0600)] 
Added ssl::bump_mode logformat code to log SslBump decisions.

Reshuffled (a little) how the bumping decision for CONNECT is made to
streamline the code. This was necessary to consistently distinguish '-' from
'none' logged modes.

Do not evaluate ssl_bump when we are going to respond to a CONNECT request
with an HTTP 407 (Proxy Authentication Required) or with a redirect response.
Such evaluation was pointless because the code never bumps in such cases
because, unlike regular errors, these responses cannot be delayed and served
later inside the bumped tunnel.

13 years agoRemoved FilledChecklist::checkCallback() as harmful and not needed.
Alex Rousskov [Thu, 28 Jun 2012 18:26:44 +0000 (12:26 -0600)] 
Removed FilledChecklist::checkCallback() as harmful and not needed.

The method was resetting the authentication state (auth_user_request) of a
connection just before notifying the caller of the async ACL check result. The
reset restarts authentication sequence, creating a 407 "loop" for auth schemes
that require more than one step (e.g., NTLM).

The method is no longer needed because we do not need to explicitly "unlock"
auth_user_request anymore. It is refcounted now.

There are other cases where connection authentication state () is reset from
within the ACL code. Some of those cases are not needed and some might even
cause similar bugs, but I did not risk misclassifying them in this commit.

13 years agoIf we re-pin, we must re-initialize SSL. BumpSslServerFirst.take09
Alex Rousskov [Wed, 20 Jun 2012 23:03:53 +0000 (17:03 -0600)] 
If we re-pin, we must re-initialize SSL.

The latest merge-from-trunk broke this logic because it disabled SSL
initialization for pinned connections.

13 years agoMore comments and docs polishing.
Alex Rousskov [Wed, 20 Jun 2012 21:26:13 +0000 (15:26 -0600)] 
More comments and docs polishing.

13 years agoPolished names, comments, and code formatting.
Alex Rousskov [Tue, 19 Jun 2012 21:51:49 +0000 (15:51 -0600)] 
Polished names, comments, and code formatting.

13 years agoMerged from trunk (r12181, v3.2.0.17+)
Alex Rousskov [Tue, 19 Jun 2012 16:08:52 +0000 (10:08 -0600)] 
Merged from trunk (r12181, v3.2.0.17+)

13 years agoAccount for Store disk client quota when bandwidth-limiting the server.
Alex Rousskov [Mon, 18 Jun 2012 23:13:05 +0000 (17:13 -0600)] 
Account for Store disk client quota when bandwidth-limiting the server.

It is not clear why the store client type matters when
MemObject::mostBytesAllowed() is trying to find the maximum delay pool
quota for reading from the next hop HTTP server.  Whether the client(s)
are reading from disk or RAM, the corresponding server-side bandwidth
ought to be limited.

This code was removed as a part of bug 3462 investigation, but it is not
needed to fix bug 3462.

13 years agoBug 3462: Delay Pools and ICAP
Julien Pinon [Mon, 18 Jun 2012 23:08:56 +0000 (17:08 -0600)] 
Bug 3462: Delay Pools and ICAP

Allow StoreEntry::bytesWanted() API to ignore delay pools. Use that
feature when shoveling adapted response body from ICAP/eCAP BodyPipe
into Store.

If we do not ignore delay pools in
ServerStateData::handleMoreAdaptedBodyAvailable() context, and our pool
quota is exhausted, we will stop reading from the adaptation BodyPipe,
but there is no code/API to notify a BodyPipe reader when the quota
becomes available again.  With no reads from the pipe, the ICAP service
stops sending more adapted body data and possibly stops reading the
virgin body data from Squid, resulting in a stuck ICAP RESPMOD and the
master HTTP transaction.

We do need to call StoreEntry::bytesWanted() in this context because
otherwise Squid may run out of RAM (Squid bug #2619). The fix for that
problem inadvertently created this bug when delay pools were enabled.

Long-term, a "kick BodyPipe consumer when there is quota" code should be
added, and delay pools should be enabled for ICAP responses, but with
enough knobs for admins to disable ICAP pooling where needed. Most ICAP
environments will probably want to disable bandwidth controls because
ICAP service traffic is usually "local".

Removed StoreEntry::bytesWanted() TRY_FWD_HDR_WAIT guard that disabled
delay pool application until the final HTTP response headers are
received (HttpStateData::haveParsedReplyHeaders() is called). Nobody
could fully explain why that condition was really needed (and we
obviously want to limit bandwidth consumption at all response processing
stages, in general). The now-removed guard was bypassing delay pool
checks for virgin HTTP response (until the ICAP server responded with
adapted headers), causing bandwidth overuse.

Possibly fixes or helps with Squid bug #2606 as well.

13 years agoBug 2976: squid reports ERR_INVALID_URL for transparently captured requests when...
Christos Tsantilas [Mon, 18 Jun 2012 15:43:05 +0000 (18:43 +0300)] 
Bug 2976: squid reports ERR_INVALID_URL for transparently captured requests when reconfiguring

During reconfigure the configured AnyP::PortCfg objects in http_port_list
may deleted so it is not safe to use them while processing Http requests.
For this reason inside prepareTransparentURL (file client_side.cc) function
the protocol was hard-coded to "http" instead of read it from the related
AnyP::PortCfg object.
But this is breaks the intercepted https traffic.

This patch:
  1. Inside prepareTransparentURL read the protocol from the related
     AnyP::PortCfg object
  2. add_http_port() locks the new port pointer before linking it.
  3. parsePortCfg() locks the new port pointer before linking it.
  4. free_PortCfg() unlock the old port pointer before unlinking
     it. It does not delete the old pointer.

This patch also discussed in squid-dev user mailing list in
 "Re: [PATCH] Squid host rewrite for intercepted https requests"
thread.

This is a Measurement Factory project

13 years agoSourceFormat Enforcement
Automatic source maintenance [Sun, 17 Jun 2012 01:19:07 +0000 (19:19 -0600)] 
SourceFormat Enforcement

13 years agoLanguage: hy updates
Arthur Tumanyan [Sun, 17 Jun 2012 00:01:36 +0000 (12:01 +1200)] 
Language: hy updates

13 years agoFix several ACL-related bugs including broken default rules and ACCESS_DUNNO.
Alex Rousskov [Sat, 16 Jun 2012 15:03:46 +0000 (09:03 -0600)] 
Fix several ACL-related bugs including broken default rules and ACCESS_DUNNO.

For example:

    # broken when "goodGuys" matches (denies good guys)
    acl_driven_option deny !goodGuys

and

    # broken if badGuys fails to match or mismatch (allows bad guys)
    acl_driven_option allow !badGuys

Fixing the above resulted in significant changes (and more fixes!)
detailed below.

 * Revised ACLChecklist::fastCheck() and nonBlockingCheck() APIs to
   clarify all possible outcomes and to specify that exceptional ACL
   check outcomes (not ALLOW or DENIED) are not ignored/skipped but
   result in the same exceptional final answer. I believe this is the
   right behavior even if it is going to break some [already broken
   IMHO] existing configurations. Skipping failed ACLs is insecure and
   may lead to confusing results.

 * Correctly handle cases where no rules were matched and, hence, the
   keyword/action of the last seen rule (if any) has to be "reversed".

 * Do not ignore non-allow/deny outcomes of rules in fastCheck().

 * Move away from setting the "default" (and usually wrong) "current"
   answer and then sometimes adjusting it. Set the answer only when we
   know what it is. This is done using markFinished() call which now
   accepts the [final] answer value and debugging reason for selecting
   that answer.

 * Streamline and better document ACLChecklist::matchAclList()
   interface.  Use it in a more consistent fashion.

 * Rewrote ACLChecklist::matchAclList() implementation when it comes to
   handling ACLList::matches() outcomes. Better document and restrict
   supported outcomes. Assert on unsupported outcomes (for now).

 * Removed ACLChecklist::lastACLResult(). It was doing nothing but
   duplicating nodeMatched value as far as I could tell.

 * Removed ProxyAuthNeeded class. It is an async state that does not
   perform async operations and, hence, is not needed.

 * Move IdentLookup::checkForAsync() connection check into
   ACLIdent::match() to avoid creating an async state that is not
   needed.

 * Polished aclMatchExternal() and greatly simplified
   ACLExternal::ExternalAclLookup() to avoid creating async state under
   non-async conditions, to avoid checking for the same conditions
   twice, to fix wrong debugging messages, and to simplify (and possibly
   fix) the overall algorithm.

   The aclMatchExternal() call now checks most of the corner cases,
   discards stale cached entries, and schedules either a background
   cache update or a regular external lookup as needed.

   ACLExternal::ExternalAclLookup() code is now
   ExternalACLLookup::Start().  It initiates an external lookup. It does
   not deal with the cached entry at all. It relies on
   aclMatchExternal() to check various preconditions.

   Some of the old code made little sense to me, and this is the biggest
   ACL-specific change in this project, with the highest probability of
   new bugs or unintended side-effects.

   My goal here was to prevent aclMatchExternal() from creating an async
   state where none was needed because new ACLChecklist::matchAclList()
   code prohibited such self-contradictory outcomes. However, I later
   discovered that it is not possible to prohibit them without rewriting
   how Squid DNS cache lookups are working -- ipcache_nbgethostbyname()
   and similar code may call back immediately if the item is in the
   cache. Since I did not want to rewrite DNS code as well, I ended up
   relaxing the ACLChecklist::matchAclList() code requirements, going a
   step back to where we sometimes call ACLList::matches() twice for the
   same ACL node.

   Thus, it is probably possible to undo most of the external_acl.cc
   changes.  I left them in because I think they improve the quality of
   the code and possibly fix a bug or two.

 * Adjusted ACLMaxUserIP::match(), ACLProxyAuth::match(), and
   ACLExternal::match() to explicitly stop ACL processing when an
   exceptional state is discovered instead of just setting the current
   answer and proceeding as if more ACLs could be checked. On the other
   hand, we now do not set the answer if the corresponding internal
   matching code (e.g., AuthenticateAcl()) needs an async operation
   because we do not know the answer yet.

 * Fixed HttpStateData::handle1xx() and
   HttpStateData::finishingBrokenPost() to correctly handle
   fastCheck(void) return values. They were assuming that there are only
   two possible return values (ACCESS_DENIED/ALLOWED), potentially
   subjecting more messages to invasive adaptations than necessary.

TODO:

 * Rename currentAnswer() to finalAnswer(). We probably never change the
   "current" answer any more.

13 years agoBug 3405: ssl_crtd crashes failing to remove certificate
Alex Rousskov [Sat, 16 Jun 2012 02:17:14 +0000 (20:17 -0600)] 
Bug 3405: ssl_crtd crashes failing to remove certificate

13 years agoNon-bumping broken for intercept
Christos Tsantilas [Thu, 14 Jun 2012 21:48:10 +0000 (00:48 +0300)] 
Non-bumping broken for intercept

When an intercepted SSL connection matches "ssl_bump none" in
squid.conf, Squid correctly refuses to bump it and establishes a TCP
tunnel using a fake CONNECT request. Unfortunately, the HTTP client
terminates with an "unknown protocol" SSL error.

Also the client_dst_passthru does not work as expected for intercepted requests

13 years agoFix testHttpParser compile error 'variable tracking size limit exceeded'
Amos Jeffries [Wed, 13 Jun 2012 03:17:53 +0000 (15:17 +1200)] 
Fix testHttpParser compile error 'variable tracking size limit exceeded'

This can occur due to long lists of unit tests needing a lot of local
variable state tracking. Essentially 'function too long' after CPPUNIT
macros have been expanded.

Break the large set of request-line unit tests into groups related to
sub-parts of the request-line.

13 years agoBug 3561: cbdata cookie assertion after bug #3505 fix.
Alex Rousskov [Tue, 12 Jun 2012 14:41:36 +0000 (08:41 -0600)] 
Bug 3561: cbdata cookie assertion after bug #3505 fix.

13 years agoSQL database session helper
Amos Jeffries [Tue, 12 Jun 2012 08:50:53 +0000 (20:50 +1200)] 
SQL database session helper

Session lookup helper which utilizes any SQL database backend.

For now it is a read-only session lookup. Session management is expected
to be controlled by an external system, such as a captive portal login
page.

13 years agoPerformance: ACLFilledChecklist fills istelf from HttpRequest
Amos Jeffries [Tue, 12 Jun 2012 07:01:02 +0000 (01:01 -0600)] 
Performance: ACLFilledChecklist fills istelf from HttpRequest

13 years agoBug 3564: eCAP not supporting CoAP URI schemes
Amos Jeffries [Mon, 11 Jun 2012 06:03:50 +0000 (00:03 -0600)] 
Bug 3564: eCAP not supporting CoAP URI schemes

13 years agoFixed typo in r12165 (Bug 2138: NTLM passthrough using accel peer and ssl)
Alex Rousskov [Fri, 8 Jun 2012 15:10:10 +0000 (09:10 -0600)] 
Fixed typo in r12165 (Bug 2138: NTLM passthrough using accel peer and ssl)

13 years agossl_crtd compile issues with libsslutil
Alexander Komyagin [Fri, 8 Jun 2012 11:33:21 +0000 (05:33 -0600)] 
ssl_crtd compile issues with libsslutil

13 years agoPrep for 3.1.20
Amos Jeffries [Fri, 8 Jun 2012 11:00:03 +0000 (05:00 -0600)] 
Prep for 3.1.20

13 years agoStart ssl_crtd even if only https_port(s) are configured to bump SSL.
Alex Rousskov [Thu, 7 Jun 2012 17:46:16 +0000 (11:46 -0600)] 
Start ssl_crtd even if only https_port(s) are configured to bump SSL.

The right code was deleted during a recent trunk merge.

13 years agoBug 3526: permit high-speed nonce regeneration
Frederic Bourgeois [Thu, 7 Jun 2012 10:27:46 +0000 (04:27 -0600)] 
Bug 3526: permit high-speed nonce regeneration

13 years agoBug 2138: NTLM passthrough using accel cache_peer and ssl
Juan [Wed, 6 Jun 2012 00:28:11 +0000 (18:28 -0600)] 
Bug 2138: NTLM passthrough using accel cache_peer and ssl

13 years agoDrop dead include from xusleep.c
Amos Jeffries [Tue, 5 Jun 2012 23:55:22 +0000 (17:55 -0600)] 
Drop dead include from xusleep.c

13 years agoSourceFormat Enforcement
Automatic source maintenance [Tue, 5 Jun 2012 00:23:48 +0000 (18:23 -0600)] 
SourceFormat Enforcement

13 years agoRemove xcountws PROF_type
Amos Jeffries [Mon, 4 Jun 2012 10:03:11 +0000 (04:03 -0600)] 
Remove xcountws PROF_type

13 years agoCleanup: remove xcountws() function
Amos Jeffries [Mon, 4 Jun 2012 10:00:44 +0000 (04:00 -0600)] 
Cleanup: remove xcountws() function

Reduces dependencies and removes one more unnecessary symbol

13 years agoSourceLayout: convert hash.c to hash.cc
Amos Jeffries [Sun, 3 Jun 2012 08:10:29 +0000 (02:10 -0600)] 
SourceLayout: convert hash.c to hash.cc

Fix compiler identified C'isms. No other changes.

13 years agoAssume [] surround an IPv6 address and strip them BumpSslServerFirst.take08
Alex Rousskov [Sat, 2 Jun 2012 00:21:53 +0000 (18:21 -0600)] 
Assume [] surround an IPv6 address and strip them

Browsers such as Firefox, Chromium, and Safari prefer bare IPv6 addresses in
CNs. They generate confusing errors when they see bracketed CNs. For example:

You attempted to reach [2001:470:1:18::120], but instead you actually reached
a server identifying itself as [2001:470:1:18::120]. Chromium can say for sure
that you reached [2001:470:1:18::120], but cannot verify that that is the same
site as [2001:470:1:18::120] which you intended to reach.

13 years agoFixed several ACL-related bugs, including:
Alex Rousskov [Fri, 1 Jun 2012 22:01:43 +0000 (16:01 -0600)] 
Fixed several ACL-related bugs, including:

    # broken when "goodGuys" matches (denies good guys)
    acl_driven_option deny !goodGuys

and

    # broken if badGuys fails to match or mismatch (allows bad guys)
    acl_driven_option allow !badGuys

Fixing the above resulted in significant changes (and more fixes!)
detailed below.

 * Revised ACLChecklist::fastCheck() and nonBlockingCheck() APIs to
   clarify all possible outcomes and to specify that exceptional ACL
   check outcomes (not ALLOW or DENIED) are not ignored/skipped but
   result in the same exceptional final answer. I believe this is the
   right behavior even if it is going to break some [already broken
   IMHO] existing configurations. Skipping failed ACLs is insecure and
   may lead to confusing results.

 * Correctly handle cases where no rules were matched and, hence, the
   keyword/action of the last seen rule (if any) has to be "reversed".

 * Do not ignore non-allow/deny outcomes of rules in fastCheck().

 * Move away from setting the "default" (and usually wrong) "current"
   answer and then sometimes adjusting it. Set the answer only when we
   know what it is. This is done using markFinished() call which now
   accepts the [final] answer value and debugging reason for selecting
   that answer.

 * Streamline and better document ACLChecklist::matchAclList()
   interface.  Use it in a more consistent fashion.

 * Rewrote ACLChecklist::matchAclList() implementation when it comes to
   handling ACLList::matches() outcomes. Better document and restrict
   supported outcomes. Assert on unsupported outcomes (for now).

 * Removed ACLChecklist::lastACLResult(). It was doing nothing but
   duplicating nodeMatched value as far as I could tell.

 * Removed ProxyAuthNeeded class. It is an async state that does not
   perform async operations and, hence, is not needed.

 * Move IdentLookup::checkForAsync() connection check into
   ACLIdent::match() to avoid creating an async state that is not
   needed.

 * Polished aclMatchExternal() and greatly simplified
   ACLExternal::ExternalAclLookup() to avoid creating async state under
   non-async conditions, to avoid checking for the same conditions
   twice, to fix wrong debugging messages, and to simplify (and possibly
   fix) the overall algorithm.

   The aclMatchExternal() call now checks most of the corner cases,
   discards stale cached entries, and schedules either a background
   cache update or a regular external lookup as needed.

   ACLExternal::ExternalAclLookup() code is now
   ExternalACLLookup::Start().  It initiates an external lookup. It does
   not deal with the cached entry at all. It relies on
   aclMatchExternal() to check various preconditions.

   Some of the old code made little sense to me, and this is the biggest
   ACL-specific change in this project, with the highest probability of
   new bugs or unintended side-effects.

   My goal here was to prevent aclMatchExternal() from creating an async
   state where none was needed because new ACLChecklist::matchAclList()
   code prohibited such self-contradictory outcomes. However, I later
   discovered that it is not possible to prohibit them without rewriting
   how Squid DNS cache lookups are working -- ipcache_nbgethostbyname()
   and similar code may call back immediately if the item is in the
   cache. Since I did not want to rewrite DNS code as well, I ended up
   relaxing the ACLChecklist::matchAclList() code requirements, going a
   step back to where we sometimes call ACLList::matches() twice for the
   same ACL node.

   Thus, it is probably possible to undo most of the external_acl.cc
   changes.  I left them in because I think they improve the quality of
   the code and possibly fix a bug or two.

 * Adjusted ACLMaxUserIP::match(), ACLProxyAuth::match(), and
   ACLExternal::match() to explicitly stop ACL processing when an
   exceptional state is discovered instead of just setting the current
   answer and proceeding as if more ACLs could be checked. On the other
   hand, we now do not set the answer if the corresponding internal
   matching code (e.g., AuthenticateAcl()) needs an async operation
   because we do not know the answer yet.

 * Fixed HttpStateData::handle1xx() and
   HttpStateData::finishingBrokenPost() to correctly handle
   fastCheck(void) return values. They were assuming that there are only
   two possible return values (ACCESS_DENIED/ALLOWED), potentially
   subjecting more messages to invasive adaptations than necessary.

13 years agoBug 3013: segmentation fault on shutdown commSetCloseOnExec at comm.cc:1889
Christos Tsantilas [Fri, 1 Jun 2012 07:44:48 +0000 (01:44 -0600)] 
Bug 3013: segmentation fault on shutdown commSetCloseOnExec at comm.cc:1889

13 years agoSourceFormat Enforcement
Automatic source maintenance [Thu, 31 May 2012 01:09:59 +0000 (19:09 -0600)] 
SourceFormat Enforcement

13 years agoBootstrapped
Automatic source maintenance [Thu, 31 May 2012 00:20:44 +0000 (18:20 -0600)] 
Bootstrapped

13 years agoBug 3233: Invalid URL accepted with url host is white spaces
Amos Jeffries [Wed, 30 May 2012 10:59:01 +0000 (04:59 -0600)] 
Bug 3233: Invalid URL accepted with url host is white spaces

13 years agoBug 3074: Improper URL handling with empty path (RFC 3986)
Fyodor [Wed, 30 May 2012 10:55:16 +0000 (04:55 -0600)] 
Bug 3074: Improper URL handling with empty path (RFC 3986)

13 years agoBug 3463: dnsserver fails to compile
Christos Tsantilas [Wed, 30 May 2012 10:25:42 +0000 (04:25 -0600)] 
Bug 3463: dnsserver fails to compile

13 years agoBug 3390: Proxy auth data visible to scripts
Francesco Chemolli [Wed, 30 May 2012 03:45:12 +0000 (21:45 -0600)] 
Bug 3390: Proxy auth data visible to scripts

13 years agoBug 3537: polish StatHist copy to avoid memory errors
Timo Teras [Wed, 30 May 2012 03:36:54 +0000 (21:36 -0600)] 
Bug 3537: polish StatHist copy to avoid memory errors

13 years agoAuthor: Dan Searle <dan.searle@censornet.com>
Christos Tsantilas [Tue, 29 May 2012 19:03:39 +0000 (22:03 +0300)] 
Author: Dan Searle <dan.searle@censornet.com>
External credentials to ICAP

Pass user credentials obtained from external ACLs to the ICAP service
using Proxy-Authorization and X-Client-Username ICAP headers.

13 years agoBug 3380: Fix compile error after patch r12149 applied
Christos Tsantilas [Tue, 29 May 2012 18:58:03 +0000 (21:58 +0300)] 
Bug 3380: Fix compile error after patch r12149 applied

Include the "compat/cmsg.h" header in src/ipc/TypedMsgHdr.h file to allow
squid compile.

13 years agoBug 3380: Mac OSX compile errors with CMSG_SPACE
Dmitry Kurochkin [Tue, 29 May 2012 12:20:02 +0000 (06:20 -0600)] 
Bug 3380: Mac OSX compile errors with CMSG_SPACE

13 years agoFix bashism in SQUID_STATE_SAVE
Amos Jeffries [Tue, 29 May 2012 09:34:10 +0000 (03:34 -0600)] 
Fix bashism in SQUID_STATE_SAVE

13 years agoResolve latest merge from trunk(r12137) issues
Christos Tsantilas [Mon, 28 May 2012 13:44:26 +0000 (16:44 +0300)] 
Resolve latest merge from trunk(r12137) issues

During the latest merge from trunk a part of the "Intelligent handling of
CONNECT denials" patch code removed

13 years agoExtend g++ compatibility for extern inline functions
Francesco Chemolli [Mon, 28 May 2012 02:55:56 +0000 (20:55 -0600)] 
Extend g++ compatibility for extern inline functions

13 years agoDefine PRIuSIZE for displaying size_t
Amos Jeffries [Mon, 28 May 2012 02:40:52 +0000 (20:40 -0600)] 
Define PRIuSIZE for displaying size_t

This allows us to avoid casting size_t to long long for printf.

./configure script auto-detects the supposedly standard %zu macro in case
it is missing and compat/types.h defines some alternatives for systems
which do not define it.

13 years agoWindows: Disable WCCP, WCCPv2, DiskDaemon by default on MinGW
Francesco Chemolli [Mon, 28 May 2012 00:19:43 +0000 (18:19 -0600)] 
Windows: Disable WCCP, WCCPv2, DiskDaemon by default on MinGW

13 years agoWindows: Support DiskIO AIO on Win32
Francesco Chemolli [Sun, 27 May 2012 23:51:04 +0000 (17:51 -0600)] 
Windows: Support DiskIO AIO on Win32

13 years agoWindows: Implemented working check for libiphlpapi
Francesco Chemolli [Sun, 27 May 2012 23:46:56 +0000 (17:46 -0600)] 
Windows: Implemented working check for libiphlpapi

13 years agoPreserve bumped client IP
Christos Tsantilas [Fri, 25 May 2012 08:36:31 +0000 (11:36 +0300)] 
Preserve bumped client IP

The bumped tproxied connections does not use the client IP as the source address
from web server point of view in the case of bump-server-first mode.

13 years agoSourceFormat Enforcement
Automatic source maintenance [Thu, 24 May 2012 00:23:52 +0000 (18:23 -0600)] 
SourceFormat Enforcement

13 years agoFix protocol names in AnyP::PortCfg after http_port_list revamp in r12121.
Alex Rousskov [Wed, 23 May 2012 23:34:49 +0000 (17:34 -0600)] 
Fix protocol names in AnyP::PortCfg after http_port_list revamp in r12121.

The bug manifests itself when the URIs of intercepted requests are rewritten
into "https_port://..." strings, resulting in "Invalid port '0'" errors in
urlParse, followed by HTTP 400 (Bad Request) rejection.

There are other, more subtle cases where wrong PortCfg protocol matters.

13 years agoFix protocol names in AnyP::PortCfg after http_port_list revamp in r12121.
Alex Rousskov [Wed, 23 May 2012 23:23:12 +0000 (17:23 -0600)] 
Fix protocol names in AnyP::PortCfg after http_port_list revamp in r12121.

The bug manifests itself when the URIs of intercepted requests are rewritten
into "https_port://..." strings, resulting in "Invalid port '0'" errors in
urlParse followed by HTTP 400 (Bad Request) rejection.

There are other, more subtle cases where wrong PortCfg protocol matters.

13 years agoSourceFormat Enforcement
Automatic source maintenance [Tue, 22 May 2012 00:39:25 +0000 (18:39 -0600)] 
SourceFormat Enforcement

13 years agoRegister RFC 6585 status codes
Amos Jeffries [Mon, 21 May 2012 02:53:31 +0000 (20:53 -0600)] 
Register RFC 6585 status codes

13 years agoBug 3526: digest authentication crash
Frederic Bourgeois [Thu, 17 May 2012 01:59:44 +0000 (13:59 +1200)] 
Bug 3526: digest authentication crash

13 years agoErrorState::auth_user_request and ConnStateData::auth_user_request exist only if...
Christos Tsantilas [Mon, 14 May 2012 20:58:03 +0000 (23:58 +0300)] 
ErrorState::auth_user_request and ConnStateData::auth_user_request exist only if USE_AUTH defined

13 years agoMerged from trunk (r12137, v3.2.0.17+)
Christos Tsantilas [Mon, 14 May 2012 13:59:37 +0000 (16:59 +0300)] 
Merged from trunk (r12137,  v3.2.0.17+)

13 years agoMake StatHist::clear inline to reduce dependencies
Amos Jeffries [Mon, 14 May 2012 12:45:54 +0000 (00:45 +1200)] 
Make StatHist::clear inline to reduce dependencies

13 years agoMerged from trunk (r12132, v3.2.0.17+)
Christos Tsantilas [Mon, 14 May 2012 10:37:40 +0000 (13:37 +0300)] 
Merged from trunk (r12132,  v3.2.0.17+)

13 years agoBug 3545: FreeBSD dnsserver segfaults
Marcin Wisnicki [Mon, 14 May 2012 02:40:12 +0000 (20:40 -0600)] 
Bug 3545: FreeBSD dnsserver segfaults

13 years agoBug 3186: Digest auth caches failed state without revalidating
Will Roberts [Mon, 14 May 2012 01:06:54 +0000 (19:06 -0600)] 
Bug 3186: Digest auth caches failed state without revalidating

13 years agoSourceFormat Enforcement
Automatic source maintenance [Mon, 14 May 2012 00:23:32 +0000 (18:23 -0600)] 
SourceFormat Enforcement

13 years agoPortability fix: remove GNU-specific syntax
Amos Jeffries [Sun, 13 May 2012 03:26:00 +0000 (15:26 +1200)] 
Portability fix: remove GNU-specific syntax

detected by clang++.

13 years agoBug 3537: statistics histogram leaks memory
Timo Teras [Sat, 12 May 2012 03:48:02 +0000 (21:48 -0600)] 
Bug 3537: statistics histogram leaks memory

13 years agoLog TCP_REDIRECT when Squid generates a 300-399 status response
Amos Jeffries [Sat, 12 May 2012 03:21:00 +0000 (21:21 -0600)] 
Log TCP_REDIRECT when Squid generates a 300-399 status response

To identify when 3xx is received from upstream or generated by Squid.

3xx from servers or ICAP/eCAP will continue to use TCP_MISS
and other status codes.

13 years agoBug 2885: AIX: check and set required compiler flags
Karl Benoit [Fri, 11 May 2012 05:45:20 +0000 (17:45 +1200)] 
Bug 2885: AIX: check and set required compiler flags

13 years agoBug 3466: Adaptation stuck on last single-byte body piece
Alex Rousskov [Tue, 8 May 2012 18:14:08 +0000 (12:14 -0600)] 
Bug 3466: Adaptation stuck on last single-byte body piece

Changed StoreEntry::bytesWanted(range) to return range.end when the entry can
accommodate range.end bytes. This makes it possible to use that method for
single-byte ranges. Old code returned zero for such ranges, which was
difficult to distinguish from situations where no bytes were wanted at all.

TODO: The StoreEntry::bytesWanted(range) API is left undocumented because it
seems to be slightly broken and/or inconsistent with callers and with the
DelayId::bytesWanted(min, max) API. AFAICT, we should convert
StoreEntry::bytesWanted API from range-based to min/max-based or even just
max-based.

Store Entry API does not use the lower end of the range (except for the
now-removed assertion that the range is not empty). I suspect that Store API
was meant to be used with (first, last+1) "byte position" parameters (returning
the number of bytes wanted) while the DelayId API was meant to be used with
(min, max) "number of bytes" parameters.  However, StoreEntry::bytesWanted
implementation does not follow this assumption so perhaps my speculation is
wrong and there are more problems, including this change.

13 years agoDrop ACCESS_AUTH_EXPIRED_* extended auth states
Amos Jeffries [Tue, 8 May 2012 01:21:10 +0000 (19:21 -0600)] 
Drop ACCESS_AUTH_EXPIRED_* extended auth states

Alternative approaches being discussed by squid-dev still, but agreed
that this was the wrong approach to implementation rollout.

13 years agoRevert revno11955 fix for bug 3444
Amos Jeffries [Tue, 8 May 2012 01:13:51 +0000 (19:13 -0600)] 
Revert revno11955 fix for bug 3444

13 years agoAdd support for TLSv1.1 and TLSv1.2 options and methods
Amos Jeffries [Sun, 6 May 2012 01:29:22 +0000 (19:29 -0600)] 
Add support for TLSv1.1 and TLSv1.2 options and methods

When OpenSSL v1.0.1+ is being built against.

Also update the documentation for sslproxy_version which was not
mentioning what the supported version codes were.

Future work:
* make version config option(s) accept a set of named versions and
  convert to codes internally.
* redesign how version and options are handled. Admin should be able to
  just list the TLSv* wanted and Squid figure out the appropriate options
  from there.

13 years agoRFC 6585 extends HTTP
Amos Jeffries [Sun, 6 May 2012 01:27:25 +0000 (19:27 -0600)] 
RFC 6585 extends HTTP

13 years agoRe-enabled support for bump-client-first mode using enhanced ssl_bump option.
Alex Rousskov [Fri, 4 May 2012 22:21:44 +0000 (16:21 -0600)] 
Re-enabled support for bump-client-first mode using enhanced ssl_bump option.

Even though bump-server-first is an overall better method, bumping the client
first is useful for backward compatibility and possibly for serving internal
Squid objects such as icons.

The code path implementing bump-client-first approach was preserved during the
bump-server-first changes, so we just needed to add a configuration option to
allow the admin to pick between two modes. We did that by using custom "mode"
keywords with the existing ssl_bump option. The old allow/deny pair of
standard keywords could not be used to select one of the two modes for an
"allowed" connection.

13 years agoACL Optimization: inline currentAnswer() methods to reduce copying
Alex Rousskov [Fri, 4 May 2012 22:20:07 +0000 (16:20 -0600)] 
ACL Optimization: inline currentAnswer() methods to reduce copying
of answer objects which now contain two integers instead of just one.

13 years agoAllow for custom keywords in ACL lists (in addition to allow/deny).
Alex Rousskov [Fri, 4 May 2012 22:17:15 +0000 (16:17 -0600)] 
Allow for custom keywords in ACL lists (in addition to allow/deny).

Motivation: Ssl_bump used allow/deny keywords and standard ACL processing. We
wanted to change those keywords to specify how the connection should be bumped
(client-first, server-first, or not bumped at all).

We could implement that using a set of independent ACL lists, each with its
own keyword, similar to how request_header_access and many other options do
it. However, that would mean losing support for slow ACLs (or implementing
such support by hand).  All current request_header_access-like options do not
support slow ACLs because generic ACL code does not preserve information about
which acl_access list has [slowly] matched and, hence, we cannot tell which
custom keyword (e.g., which header name) to use after the match.

To solve the problem, we converted allow_t enum into a class that can carry
the old matching result code (ACCESS_*) and a custom "match kind or keyword"
integer that the caller can optionally inspect if access is allowed (i.e., if
some acl_access list matched).  When a squid.conf option is parsed into an
acl_access object, Squid sets the allow.kind field to the corresponding
keyword. When the ACL list is checked at runtime and there is a match, the
previously set allow.kind value is propagated to the final answer (XXX: not
implemented?) which the high-level caller can optionally check.

The old allow_t-using code does not need to be modified because the new
allow_t class allows for implicit conversion from and to ALLOW_* constants.

Caveat: When no ACLs match, the generic ACL code processing a chain of
acl_access rules will negate the last rule allow/deny keyword. Such "implicit"
rule would not carry any "matched keyword or kind" information (the _implicit_
last ACL list cannot have any explicit keywords). Thus, the high-level caller
should be careful when interpreting the answer to deal with such implicit
matches. Most likely, the high-level code must disclaim support for implicit
rules (in documentation) and treat any matches without keyword information as
if no rule has matched.

Eventually, the core ACL code can be reshaped so that the caller can control
whether implicit rules are allowed.

13 years agoBug fix: src ACL broken with sslproxy_cert_error, part2
Christos Tsantilas [Fri, 27 Apr 2012 12:58:34 +0000 (15:58 +0300)] 
Bug fix: src ACL broken with sslproxy_cert_error, part2

Use the original CONNECT request instead of creating the fake request.
Set flags.sslPeek to mark the CONNECT request as the one used for peeking at
the origin server certificate. Forward.cc now use that flag when special
handling is needed.

This will allow as to use original request which includes CONNECT request
headers (eg X-Forwarded-For header) and other settings, with sslproxy_*
acl checks.

13 years agoSourceFormat Enforcement
Automatic source maintenance [Thu, 26 Apr 2012 01:04:17 +0000 (19:04 -0600)] 
SourceFormat Enforcement

13 years agoBug 3258: Requests hang when Host forgery verify fails
Guy Helmer [Wed, 25 Apr 2012 22:32:00 +0000 (10:32 +1200)] 
Bug 3258: Requests hang when Host forgery verify fails

13 years agoSSL and ssl_crtd was broken after latest changes
Christos Tsantilas [Wed, 25 Apr 2012 21:08:51 +0000 (00:08 +0300)] 
SSL and ssl_crtd was broken after latest changes

The http_port_list struct renamed to AnyP::PortCfg

13 years agoSourceLayout: port config and select-loop priority polishing
Amos Jeffries [Wed, 25 Apr 2012 05:29:20 +0000 (23:29 -0600)] 
SourceLayout: port config and select-loop priority polishing

- renames http_port_list to AnyP::PortCfg
- de-duplicate https_port_list into AnyP::PortCfg
- shuffles related globals and defines into anyp/PortCfg.*
- renames MAXHTTPPORTS to MAXTCPLISTENPORTS to suit its actual coverage of HTTP and HTTPS ports.
- shuffled config port clone function into a method.
- rename ICP/HTCP/SNMP API functions to consistent *OpenPorts() and *ClosePorts()

  NP:following applies to incoming_* and *_poll_cnt directives.
- renames *_icp_* to *_udp_*
- renames *_http_* to *_tcp_*
- shuffles duplicated struct SquidConf options into a shared structure
- shuffles related defines into comm/Loops.h
- documents options better

- various other cosmetic syntax tweaks and polish

One bug fix:
  comm_dns_incoming was not being propigated in StatsHist copy/clone.
  Now is. I seem to remember mention of something similar being zero before,
  but can't find the bug report.

13 years agoBug fix: src ACL broken with sslproxy_cert_error
Christos Tsantilas [Mon, 23 Apr 2012 16:34:04 +0000 (19:34 +0300)] 
Bug fix: src ACL broken with sslproxy_cert_error

The following Squid configuration uses src ACL with sslproxy_cert_error:
   acl me src 172.16.101.51
   sslproxy_cert_error allow me
Cache log shows that the source IP address is missing when the 'me' ACL
is checked for sslproxy_cert_error:
   | ACL::checklistMatches: checking 'me'
   | aclIpAddrNetworkCompare: compare: *[::]/[ff...ff] ([::])*  vs ...
   | aclIpMatchIp: '[::]' NOT found

The problem is that the HttpRequest::client_addr is not set, for  the fake
HTTPS request created to initiate the  bump-server-first procedure.

13 years agoCert adaptation algorithms: skip ACL checks if they are not realy needed
Christos Tsantilas [Fri, 20 Apr 2012 17:23:04 +0000 (20:23 +0300)] 
Cert adaptation algorithms: skip ACL checks if they are not realy needed

Skip ACLs checks for algorithms that we know are going to be ignored because
they matched once already.

13 years agoDetail the error page error
Christos Tsantilas [Fri, 20 Apr 2012 17:14:56 +0000 (20:14 +0300)] 
Detail the error page error

This patch trying to handle at least the following three cases when we are
reporting error details to the user and logging error details:

1) Shallow error: The same code discovers the error and creates the
error page. The request details will be in sync with the error page
details because they are discovered at the same time, by the same code.

2) Honored deep error: Somewhere deep inside, say, ICAP or DNS code, an
error was detected and detailed. The error condition/answer slowly and
asynchronously propagated to the place where the error page is being
created. We want to preserve that original deep detail if any or provide
the current high-level detail if no deep detail is available.

3) Bypassed deep error1 followed by error2: Somewhere deep inside, say,
ICAP or DNS code, error1 was detected and detailed. The error1 condition
started propagating up but the ICAP or DNS transaction was eventually
successfully retried. Later, a deep or shallow error2 was discovered.
The error1 detail becomes irrelevant when we started to retry the failed
transaction.

This patch:
  - Reset the error details when ICAP transactions retried, adaptation services
    retried or replaced by the fail-over service and when the forwarding code
    retry the connection to the destication servers.

  - On SSLBump errors the error details, logged in both master CONNECT request
    plus the first tunnelled GET request. To achieve this the error details
    of the bump-server-first fake request saved to the CONNECT HttpRequest
    object, and the logging of CONNECT request delayed until we have the
    bump-server-first answer (freeAllContexts called after SSL-Server answered).

 - Fix the cases where we set custom error codes (internal squid error codes)
   to ErrorState::xerrno member. This member is only for system errors.

 - We should not set ErrorState::xerrno to system err number unless we know
   that the current system error triggered the error page generation.
   This patch sets this member only to the system errorno passed by squid
   API (eg AsyncCalls API).
   This is also fix a possible bug in gopher.cc subsystem.

 - We are setting the HttpRequest:detailError inside ErrorState::BuildHttpReply
   method, where we have all the information required to corrently build
   HttpRequest error details.

13 years agoPolished sslproxy_cert_sign and sslproxy_cert_adapt documentation.
Alex Rousskov [Fri, 20 Apr 2012 17:18:17 +0000 (11:18 -0600)] 
Polished sslproxy_cert_sign and sslproxy_cert_adapt documentation.

Most importantly, we now explicitly document that sslproxy_cert_adapt stops
searching for other ACL matches within the same adaptation algorithm group
once the first matching sslproxy_cert_adapt is found within an adaptation
algorithm group.

13 years agoMark verified intercept traffic correctly after DNS lookup
Alexander Komyagin [Wed, 18 Apr 2012 22:28:06 +0000 (10:28 +1200)] 
Mark verified intercept traffic correctly after DNS lookup

13 years agoSsl certificate domain mismatch errors on IP-based URLs
Christos Tsantilas [Tue, 17 Apr 2012 16:08:41 +0000 (19:08 +0300)] 
Ssl certificate domain mismatch errors on IP-based URLs

The ssl::certDomainMismatch acl can not be used with ip-based urls. For example
let's assume that a user enters https://74.125.65.99/, using a Google IP addressin the URL instead of www.google.com. If the sslBump used with
"sslproxy_cert_error allow all" and "sslproxy_cert_adapt setCommonName ssl::certDomainMismatch"
the browser displays a browser "Server's certificate does not match the URL"
error.

This is because for all cases we have the ip address instead of the hostname
we are detecting the cert domain mismatch errors when the first GET request
comes. At the time the sslproxy_cert_adatp access list processed the error is
not detected yet.
For intercepted connections this is the desired behaviour.

This patch fix the ssl-bump-first to check for domain-mismatch errors while
retrieving the SSL certificate from the server, hoping that CONNECT is using
a user-entered address (a host name or a user-entered IP).

13 years agobug fix: assertion failed: client_side.cc:3720: "alg && param"
Christos Tsantilas [Tue, 17 Apr 2012 15:21:39 +0000 (18:21 +0300)] 
bug fix: assertion failed: client_side.cc:3720: "alg && param"

Someone can hit this assertion when have two "sslproxy_cert_adapt setCommonName"
configuration lines the first with parameter but the second without parameter:
  sslproxy_cert_adapt setCommonName{toThisOne} AN_IP
  sslproxy_cert_adapt setCommonName AN_IP

Inside ConnStateData::buildSslCertGenerationParams method inside the loop
  for (sslproxy_cert_adapt *ca = Config.ssl_client.cert_adapt; ....) {...}
the second time the loop entered the param is NULL and never set because
certProperties.setCommonName is already set, so we hit the assertion.

The problem solved with removing the assertion.

13 years agoBug 3484: Docs: sslproxy_cert_error example flawed
Alex Rousskov [Thu, 12 Apr 2012 19:57:57 +0000 (13:57 -0600)] 
Bug 3484: Docs: sslproxy_cert_error example flawed

Synced ACL name after ACL type change in r12117.

This is still far from perfect because dstdomain is not really a FAST ACL
either: Its documentation says that it becomes slow on IP addresses.

13 years agoPrep for 3.2.0.17
Amos Jeffries [Thu, 12 Apr 2012 13:27:15 +0000 (07:27 -0600)] 
Prep for 3.2.0.17

13 years agoBug 3484: Docs: sslproxy_cert_error example flawed
Guy Helmer [Thu, 12 Apr 2012 03:12:59 +0000 (15:12 +1200)] 
Bug 3484: Docs: sslproxy_cert_error example flawed

13 years agoAdditional 308 status handling
Amos Jeffries [Wed, 11 Apr 2012 09:10:15 +0000 (03:10 -0600)] 
Additional 308 status handling

* relay "Permanent Redirect" message on status line
* MAY cache these responses with heuristics
* accept this status as a redirect status from URL redirectors

13 years agoSourceFormat Enforcement
Automatic source maintenance [Wed, 11 Apr 2012 00:15:57 +0000 (18:15 -0600)] 
SourceFormat Enforcement

13 years agosslproxy_cert_sign/sslproxy_cert_adapt: Document the SQUID_X509_V_ERR_DOMAIN_MISMATCH bug
Christos Tsantilas [Tue, 10 Apr 2012 16:02:41 +0000 (19:02 +0300)] 
sslproxy_cert_sign/sslproxy_cert_adapt: Document the SQUID_X509_V_ERR_DOMAIN_MISMATCH bug

Replace the documentation for the SQUID_X509_V_ERR_DOMAIN_MISMATCH related bug
with a "WARNING" which describes the problem.

13 years agoC++ type checking does not permit sockaddr static_cast
Amos Jeffries [Tue, 10 Apr 2012 12:02:15 +0000 (06:02 -0600)] 
C++ type checking does not permit sockaddr static_cast

13 years agoBug 3441: Part 3: Replace corrupted v1 swap.state with new v2 format.
Alex Rousskov [Tue, 10 Apr 2012 04:26:14 +0000 (22:26 -0600)] 
Bug 3441: Part 3: Replace corrupted v1 swap.state with new v2 format.

A fix for bug 3408 changed the offset at which we start writing dirty
swap.state entries from StoreSwapLogHeader::record_size to StoreSwapLogHeader
size.  However, the log-reading code still read the entries starting from the
old offset (which is required to remain compatible with how a clean swap.state
is written).

Wrong starting offset essentially means that the vast majority of read
swap.state entries were bogus. They could only match some real entry when 64*n
is divisible by 12 and perhaps when their random data just happened to match a
real entry. Part 2 of this bug fix (trunk r11995) started to pad the [dirty]
swap.state header to start entry writing at StoreSwapLogHeader::record_size
boundary.

Changes specific to Part 3:

Unfortunately, since old v1 logs could contain completely bogus entries as the
result of being read (at some point) from the wrong offset, we should not load
v1 logs any more (neither dirty nor clean because what looks clean now could
be based on a previously dirty and, hence, corrupted log). This forced us to
raise the swap.state format version from 1 to 2.

After this change, if a v1 swap log is detected, Squid ignores it and does a
from-directory rebuild as if no swap.state files were found.

Since we had to change swap.state format version, we also made log entry size
and composition the same across virtually all platforms; added checksums so
that a similar bug would not go unnoticed for so long (and would not result in
log corruption); and increased the size of time-related entries to avoid the
"year 2038" problem.

The swap log entries are still written to disk in host byte order.

We now also zero the [dirty] swap.state header padding to prevent random and
potentially sensitive garbage in logs.

Cache index rebuild kinds are now reported using the following three labels:

* Rebuild using a swap log created by Squid during clean shutdown: "clean log"
* Rebuild using a swap log accumulated by a running Squid: "dirty log"
* Rebuild using directory scan: "no log"

The first kind used to be reported as CLEAN and the other two as DIRTY rebuild.

13 years agoLanguage: fr updates
Bernard [Fri, 6 Apr 2012 18:05:45 +0000 (06:05 +1200)] 
Language: fr updates

13 years agoDomain mismatch when CONNECT has domain
Christos Tsantilas [Thu, 5 Apr 2012 17:10:41 +0000 (20:10 +0300)] 
Domain mismatch when CONNECT has domain

Customers want Squid to detect domain mismatch as early as possible so
that Squid uses a minimal valid fake certificate and serves a
[customized] Squid error. Currently, the browser always displays the
built-in error even if CONNECT has a domain name.

This patch tells Squid to use CONNECT host name if not peeking or if it is not
an IP while peeking. It also sends SNI information if host name is not an IP.

Also on error pages use the server certificate CN as hostname only if the
CONNECT host name is not an IP address.

13 years agoAdd checks to assure that a cached certificate is valid for current request
Christos Tsantilas [Thu, 5 Apr 2012 16:38:31 +0000 (19:38 +0300)] 
Add checks to assure that a cached certificate is valid for current request

Add checks in Ssl::certificateMatchesProperties to assure:
 - The CN name of the cached certificate matches the requested CN
 - "Not After" and "Not Before" fields of the cached certificate are valid

Ssl::CommonHostName and getOrganization  functions moved to gadgets.cc to allow
use by ssl_crtd daemon

13 years agoTypo in cachemgr CGI manual
Amos Jeffries [Thu, 5 Apr 2012 01:15:20 +0000 (13:15 +1200)] 
Typo in cachemgr CGI manual