Fix SBuf and SBufList unit tests linkage

tests/testSBufList on CentOS needs MemObject::endOffset().

Initial Large Rock and Collapsed Forwarding support.

Large Rock: Support disk (and shared memory) caching of responses exceeding
one db slot (or one shared memory page) in size. A single db slot/page size is
still limited to 32KB (smaller values can be configured for disk caches using
the newly added cache_dir slot-size option). Removal of old rock cache dir
(followed by squid-z) is required -- the on-disk db structure has changed.

Collapsed Forwarding: Optionally merge concurrent cachable requests for the
same URI earlier: After the request headers have been parsed (as before), but
now _before_ the response headers have been received. Merging of requests
received by different SMP workers is supported. Controlled by the new
collapsed_forwarding directive in squid.conf. Disabled by default because all
but one of the merged requests have to be delayed (until the response headers
are received) for the merging to work, which may be worse than forwarding all
concurrent requests immediately. The overall feature idea and request
eligibility conditions are based on Collapsed Forwarding in Squid2.

Summary of other important changes (merged branch log contains the details):

* Tightened StoreEntry locking. Split StoreEntry::lock() into "just lock" and
  "update entry reference time" interfaces, addressing an old XXX.  Improved
  entry lock/unlock debugging. Needs more work.

* Adjusted StoreIOState::write() API to allow callers detect write errors.

* Simplified MemObject::write() API to remove an essentially unused callback.

* Mark client streams that sent everything as STREAM_COMPLETE. The old code
  used STREAM_UNPLANNED_COMPLETE if the completed stream was associated with a
  non-persistent connection, which did not make sense to me and, IIRC, led to
  store entry aborts even though the entries were not damaged in any way.

* mem_hdr::hasContigousContentRange() now returns true for empty ranges.

* Support "appending" ReadWriteLock state that can be shared by readers and
  the writer. The writer promises not to update key metadata (except growing
  object size and next pointers) and readers promise to be careful when
  reading growing slices.

* Fixed StoreEntry::mayStartSwapOut() logic to handle terminated swapouts.

* Improved STORE_MEM_CLIENT detection and documented known (and mostly old)
  StoreEntry::storeClientType() problems.

* Removed StoreEntry::hidden_mem_obj hack.

* Polished StoreEntry debugging to report more info, less noise. Use e: prefix.

* Added a script to extract store entry(ies) debugging from cache.log.

Added MemBlob::appended() method. Handy during out-of-band buffer manipulation.

Merged from trunk 13199.

Removed stale copy-pasted boilerplate.

Added missing stubs in testCharacterSet

SourceFormat Enforcement

Polishing touches to address PREVIEW review concerns dated 2013/07/03.

Make the Http1Parser::request_offets details private

Make URI request-line field accessor for Http1Parser

Also, convert the client-side parseHttpRequest() sub-functions to make
use of it. Removing several strlen() and a memory allocation.

Convert Http1Parser header block to SBuf storage

This does add a data copy for the mime headers block, but allows us to
consume data out of the underlying I/O buffer and parse the block into
SBuf cheaply.

Remove the now useless hdr_start, hdr_end, mimeHeaderBytes_ members.

Rename mime_get_header_field() as Http1Parser::getHeaderField()

Fix tokenizer's Makefile.am

Merged characterset branch

Merged from trunk

Drop useless function mime_get_header()

Also, drop the unused prefix parameter from mime_get_header_field().

Do not use HERE in new or changed debugs() statements.

Polished StoreEntry creation/destruction debugging.

Merge from sbuf-tokenizer

Polish debug of request header block

Make Http1Parser::parseRequestFirstLine() private and document

Also shuffle the prefix garbage tolerance processing to a separate method
skipGarbageLines() and document the intended operations (it is currently
non-conformant with RFC 2616).

Shuffle request headersEnd call into Http1Parser::parseRequest actions

Http1Parser will now respond with signals for 'incomplete parse' until
the entire first line and any mime headers are present. The size and
content of mime headers are guaranteed once the parser responds with a
true result.

HTTP/0.9, HTTP/1.* and future versions using "HTTP/" are all accounted for
and handled in accordance with HTTP RFC 2616 requirements (adjusted for
later HTTPbis WG clarifications).

TODO: Parsing of the mime header fields.

Reverted multi-ranges as they require c++0x initializers

Prep for 3.4.2

Fix CharacterSet ranged constructor

more predefined charactersets

Added ability to manage ranges to CharacterSet

Implemented CharacterSet's operator + and addRange, fixed bug in interface of operator+=, added some common CharacterSets, initial unit tests

Merged from trunk

Merged from trunk

Bug 3498: FTP PUT assertion Server.cc:246: "r->body_pipe != NULL"

Made test-builds.sh happy by adding missing stubs and adjusting existing ones.

Make HttpParser parse method directly into HttpRequestMethod object

There appears to be no need for the HTTP method object to be outside
the parser. We can simplify the processing code by parsing directly into
the object from the I/O buffer.

TODO:
* fix parsing of whitespace prefix in accordance with HTTPbis specs.
* make parser incremental to end of method

Updated tests/testRock and the store rebuild stubs it needs.
Synced tests/testUfs after updating the store rebuild stubs.

Store uses StoreController::store_dirs_rebuilding to decide whether the entry
release should be delayed. Thus, storeRebuildComplete() must update it. Also
synced the corresponding CPPUNIT_ASSERT_EQUAL() statements to expect a zero
value after the rebuild is completed.

Do not create an entry just to get its key: Creating forces a public key which
necessarily invalidates the previously cached entry with the same key, if any.

Unlock unused entries. This helps with their release later (and adds more
realism to the test case).

Fixed entry #5 test case to account for the fact that creating a second entry
with the same public key invalidates the first entry.

Release instead of just unlinking entries. StoreEntry::release() is the public
interface which updates internal tables as needed. StoreEntry::unlink() is an
internal call for updating the disk cache-related state; it does not update
the the in-transit index.

Check that StoreEntry lock does not go negative
which may happen if unlocked (and possibly deleted) entry is unlocked (again).

Fix typo in client_side.cc parser result handling

Shuffle HttpRequestMethod.h to libsquid-http.la

Add support for FTP MLSD and MLST commands (RFC 3659)

FileZilla is a popular FTP clients supporting that command (via FEAT detection).
It will use MLSD instead of LIST if the server claims support for MLST and/or
MLSD command.

Add missing http/forward.h

Cleanup HttpRequestMethod.h useless lines

Fix http/Http1Parser.h wrapper macro

Merged from trunk rev.13197

Rename HttpParser as Http::Http1Parser

Make HttpParser parse version directly into AnyP::ProtocolVersion object

There appears to be no need for the protocol version object to be outside
the parser. We can simplify the processing code by parsing directly into
the object from the I/O buffer.

TODO: allow parsing of non-HTTP protocol labels.

Bug 3806: Caching responses with Vary header

Various fixes making Vary caching work better.
More work is needed to re-enable shared memory caching of Vary responses.

bag5s r12741: Do not start storing the vary marker object until its key becomes public.
bag5s r12742: Log failed (due to "Vary object loop" or "URL mismatch") hits as TCP_MISSes.
bag5s r12743: Refuse to cache Vary-controlled objects in shared memory (for now).

Based on trunk r13179.

Shuffle HttpParser to libsquid-http as Http1Parser

Drop HttpParser::Pointer::getRaw() uses

Detatch useless build dependencies on HttpParser.h

Convert API of HttpParser::parseRequest() from tristate to boolean

Move HttpParserParseReqLine() legacy function to HttpParser method

Inline and document the HTTP message size macros

Drop HttpParser MSGDODEBUG

Documentation tweak

Bug 3985: 60s limit introduced by balance_on_multiple_ip breaks bad IP recovery

Alternative fix if necessary would be to calculate a dynamic timeout
value based on number and timeouts for connections and forwarding.

However, as noted in the bug report the address markings are reset every
TTL when the stored RR are replaced. This meets the criteria for periodic
retries of marked-BAD IPs. Also if all IPs are marked BAD they all get
un-marked and retried. So for now just remove the TTL hack.

Fix \-unescaping in quoted strings from helpers

strwordtok() was unescaping '\' values in unquoted tokens. This causes
problems with NTLM helper response user\DOMAIN values which are sent as
a un-quoted un-escaped value.

Restrict un-escaping of '\' to only occur when inside "quoted" words.

WCCPv2: fix assertion 'Cannot convert non-IPv4 to IPv4' on FreeBSD

FreeBSD does not set the from-address on recv() if there was an error
reading the packet. This can result in Ip::Address assertion if the
error is not checked for before the IP address is mapped into Squid
internal format.

Fix missing cast in rev.13162

Made "make check" happier by syncing test case with Store API changes
and making StoreEntry::hashDelete() more forgiving.

Recognize FTP 125 (Data connection already open) as we do 150 response,
now for the upload/STOR case (the download case was handled in ftp-gw r12789).

Microsoft servers seem to favor 125 responses in some conditions.

Absorb parser work from parser-ng

Merged from trunk

Added missing header in client_side_reply.cc for clang

Add missing StoreEntry::lock() parameters, require unlock() parameter,
and polish un/lock() context debugging.

Fix missing include in rev.13190

Added StoreEntry::lock() call dropped when merging from trunk r13172.

Rename SBuf::find_first_of and find_first_not_of to camelCase.

Added send_hit and store_miss squid.conf directives
to control caching of responses using response info.

The existing "cache" directive is checked before Squid has access to the
response and, hence, could not use response-based ACLs such as http_status.
Response-based ACLs may be essential when fine-tuning caching. Squid Bug 3937
(StoreID can lead to 302 infinite loop) is a good use case.

Updated old "cache" directive documentation to provide more information, to
help folks distinguish the three related directives, and to polish for
clarity.

TODO: Support lookup_hit and possibly deprecate/remove "cache".

Merge CharacterSet

Reverted buggy change on CharacterSet::operator+=, documentation touches

Merged from trunk

Merged from trunk

Merged from trunk

Merged from trunk

Add unit tests for method parsing update

Fix missing include in rev.13186

Improved CharacterSet documentation.

Merged from trunk

Using std::copy_if for CharacterSet::operator +=

Clarified documentatio for CharacterSet; moved CharacterSet::add and constructor to .cc file

Move CharacterSet::operator += to .cc file; change SBuf::find_first_not_of to match STL

HTTP/1.1: method names are case-sensitive

RFC 2616 states that method names are case sensitive, but the Squid
parser has been accepting them case-insensitive.

Enforce case-sensitive behaviour when performing strict HTTP parse.

NOTE: avoid HTTP_VIOLATIONS since there is no normative MUST/SHOULD
involved in the specification texts.

Bug 3980: FATAL ERROR due to max_user_ip -s option

Moved CharacterSet's backing storage to std::vector<uint8_t> to gain speed at the expense of space.
Improved CharacterSet's constructor
Made CharacterSet's name parameter optional with default value.

Moved CharacterSet as forward-declaration in SBuf.h

Implemented CharacterSet-based SBuf::find_first_of and find_first_not_of

Silence SBufDetailedStats stubs

Merge SBufList

Clarified comment in SBufAlgos.h, improved coding standards adherence

Implemented Tokenizer::token and its unit test

Urls contain ipv6 ipaddresses may not logged correctly

The urls which include an ipv6 address as hostname does not logged correctly
in the following cases:
 - When a user is already logged in to an ftp server and a
   new USER command entered with ipv6 address as hostname the logged url
   does not put ipv6 address inside brackets ([]).
 - On FTP error responses generated by squid the url which includes ipv6
   addresses apearred with brackets urlencoded. eg:
         ftp://%5B::1%5D/

Implemented more Tokenizer methods and unit tests

Fixed initialization problem in testCharacterSet
Removed debug code in testTokenizer
Completed testTokenizerPrefix

Broken: try and figure out CharacterSet::operator +=; more Tokenizer::prefix unit tests

Ftp server host does not reset when a new USER command given

Fix linker errors "relocation R_X86_64_32 against .rodata"

... "can not be used when making a shared object; recompile with -fPIC"

Caused by some libraries built without libtool in certain environments.
NP: there are other libraries in Squid built without libtool but they
    appear not to be having these linker issues at this time.

Also, fixes "undefined symbol eui64_aton" uncovered by these changes.

FTP gw tracking of server directory

This feature works as follows:
- Squid probes the remote directory by inserting PWD commands after the initial
  login and after every CWD command sent by the client.
- Squid remembers the current directory
- client-side generates the URL in pseudo HTTP requests from the domain name
  and the current directory (e.g. GET ftp://ftp.example.com/pub).
- For FTP commands with directories or file names as arguments (e.g. file
  donwload/upload, directory listing), these arguments are appended to the
  current directory (e.g. “RETR project/file.txt” becomes
  “GET ftp://ftp.example.com/pub/project/file.txt”;).

The feature can be controlled via a new ftp-track-dirs=[on|off] option for the
ftp_port squid.conf parameter.
Ftp server directory tracking is disabled by default.

Regression in URL helper API

The backward compatibility logics in redirect.cc are not working as
intended on redirection URLs due to the presence of '=' in the URL and
how the key=value name parsing is performed.

A typical redirection URL looks like:
  http://example.com/?url=http://www.example.net/

and 3.4 has a parser that splits tokens at '=' unconditionally and then
passes the bits as a key and value to the redirector logics which
complains that it does not understand the answer of the URL redirector.
Or treats is an an unknown key=value with no redirection URL.

Either case is handled as a no-redirection result from the helper.

This limits the key names to alphanumeric, hyphen and underscore
characters. Valid URL responses contain characters outside this set and
should no longer be interpreted as keys regardless of the '=' character.

Fix missing test stub in rev.13178

Bug 3806: Caching responses with Vary header

Set sslcrtvalidator_children concurrency option default value to 1