Merge from trunk

Merge from trunk

Remove useless semicolon in class definitions

Fix parser buffer accounting for dropped garbage bytes

The connection buffer shift/consume operation was relying on the message
size value in context to consume the correct number of bytes. Now that
the garbage is no longer counted as message header bytes it was not
being consumed.

The fix for consuming garbage and adjusting the parser buffer start
between parser calls not only fixes the garbage collection but can be
used in place of the indirect buffer consume calculation.

The ConnStateData parse method is now responsible for shifting/consuming
message header bytes in the buffer of emptying the buffer when connection
is to be aborted.

Shuffle request_header_max_size limit checks into RequestParser

TODO: make parseHttpRequestAbort() produce error pages based on Parser.
      For now this alters the client-side error page displayed to the
      generic INVALID_REQUEST page.

Split Http1::RequestParser into request-specific and generic classes

Remove TODO which has been designed away

Audit followup: rename Http1Parser Http1::RequestParser

Create Http::One:: / Http1:: namespace accordingly.

TODO: rename files once APi shuffling has been completed.

Merge storeentry-refactor, fix store unit test

BaseMultiQueue is virtual but had no virtual destructor

Got rid of Store.cci

Fix SBuf::rfind

Update Http1Parser API after audit

Merged from trunk

Fix SBuf and SBufList unit tests linkage

tests/testSBufList on CentOS needs MemObject::endOffset().

Initial Large Rock and Collapsed Forwarding support.

Large Rock: Support disk (and shared memory) caching of responses exceeding
one db slot (or one shared memory page) in size. A single db slot/page size is
still limited to 32KB (smaller values can be configured for disk caches using
the newly added cache_dir slot-size option). Removal of old rock cache dir
(followed by squid-z) is required -- the on-disk db structure has changed.

Collapsed Forwarding: Optionally merge concurrent cachable requests for the
same URI earlier: After the request headers have been parsed (as before), but
now _before_ the response headers have been received. Merging of requests
received by different SMP workers is supported. Controlled by the new
collapsed_forwarding directive in squid.conf. Disabled by default because all
but one of the merged requests have to be delayed (until the response headers
are received) for the merging to work, which may be worse than forwarding all
concurrent requests immediately. The overall feature idea and request
eligibility conditions are based on Collapsed Forwarding in Squid2.

Summary of other important changes (merged branch log contains the details):

* Tightened StoreEntry locking. Split StoreEntry::lock() into "just lock" and
  "update entry reference time" interfaces, addressing an old XXX.  Improved
  entry lock/unlock debugging. Needs more work.

* Adjusted StoreIOState::write() API to allow callers detect write errors.

* Simplified MemObject::write() API to remove an essentially unused callback.

* Mark client streams that sent everything as STREAM_COMPLETE. The old code
  used STREAM_UNPLANNED_COMPLETE if the completed stream was associated with a
  non-persistent connection, which did not make sense to me and, IIRC, led to
  store entry aborts even though the entries were not damaged in any way.

* mem_hdr::hasContigousContentRange() now returns true for empty ranges.

* Support "appending" ReadWriteLock state that can be shared by readers and
  the writer. The writer promises not to update key metadata (except growing
  object size and next pointers) and readers promise to be careful when
  reading growing slices.

* Fixed StoreEntry::mayStartSwapOut() logic to handle terminated swapouts.

* Improved STORE_MEM_CLIENT detection and documented known (and mostly old)
  StoreEntry::storeClientType() problems.

* Removed StoreEntry::hidden_mem_obj hack.

* Polished StoreEntry debugging to report more info, less noise. Use e: prefix.

* Added a script to extract store entry(ies) debugging from cache.log.

Added MemBlob::appended() method. Handy during out-of-band buffer manipulation.

Merged from trunk 13199.

Removed stale copy-pasted boilerplate.

Added missing stubs in testCharacterSet

SourceFormat Enforcement

Polishing touches to address PREVIEW review concerns dated 2013/07/03.

Make the Http1Parser::request_offets details private

Make URI request-line field accessor for Http1Parser

Also, convert the client-side parseHttpRequest() sub-functions to make
use of it. Removing several strlen() and a memory allocation.

Convert Http1Parser header block to SBuf storage

This does add a data copy for the mime headers block, but allows us to
consume data out of the underlying I/O buffer and parse the block into
SBuf cheaply.

Remove the now useless hdr_start, hdr_end, mimeHeaderBytes_ members.

Rename mime_get_header_field() as Http1Parser::getHeaderField()

Fix tokenizer's Makefile.am

Merged characterset branch

Merged from trunk

Drop useless function mime_get_header()

Also, drop the unused prefix parameter from mime_get_header_field().

Do not use HERE in new or changed debugs() statements.

Polished StoreEntry creation/destruction debugging.

Merge from sbuf-tokenizer

Polish debug of request header block

Make Http1Parser::parseRequestFirstLine() private and document

Also shuffle the prefix garbage tolerance processing to a separate method
skipGarbageLines() and document the intended operations (it is currently
non-conformant with RFC 2616).

Shuffle request headersEnd call into Http1Parser::parseRequest actions

Http1Parser will now respond with signals for 'incomplete parse' until
the entire first line and any mime headers are present. The size and
content of mime headers are guaranteed once the parser responds with a
true result.

HTTP/0.9, HTTP/1.* and future versions using "HTTP/" are all accounted for
and handled in accordance with HTTP RFC 2616 requirements (adjusted for
later HTTPbis WG clarifications).

TODO: Parsing of the mime header fields.

Reverted multi-ranges as they require c++0x initializers

Prep for 3.4.2

Fix CharacterSet ranged constructor

more predefined charactersets

Added ability to manage ranges to CharacterSet

Implemented CharacterSet's operator + and addRange, fixed bug in interface of operator+=, added some common CharacterSets, initial unit tests

Merged from trunk

Merged from trunk

Bug 3498: FTP PUT assertion Server.cc:246: "r->body_pipe != NULL"

Made test-builds.sh happy by adding missing stubs and adjusting existing ones.

Make HttpParser parse method directly into HttpRequestMethod object

There appears to be no need for the HTTP method object to be outside
the parser. We can simplify the processing code by parsing directly into
the object from the I/O buffer.

TODO:
* fix parsing of whitespace prefix in accordance with HTTPbis specs.
* make parser incremental to end of method

Updated tests/testRock and the store rebuild stubs it needs.
Synced tests/testUfs after updating the store rebuild stubs.

Store uses StoreController::store_dirs_rebuilding to decide whether the entry
release should be delayed. Thus, storeRebuildComplete() must update it. Also
synced the corresponding CPPUNIT_ASSERT_EQUAL() statements to expect a zero
value after the rebuild is completed.

Do not create an entry just to get its key: Creating forces a public key which
necessarily invalidates the previously cached entry with the same key, if any.

Unlock unused entries. This helps with their release later (and adds more
realism to the test case).

Fixed entry #5 test case to account for the fact that creating a second entry
with the same public key invalidates the first entry.

Release instead of just unlinking entries. StoreEntry::release() is the public
interface which updates internal tables as needed. StoreEntry::unlink() is an
internal call for updating the disk cache-related state; it does not update
the the in-transit index.

Check that StoreEntry lock does not go negative
which may happen if unlocked (and possibly deleted) entry is unlocked (again).

Fix typo in client_side.cc parser result handling

Shuffle HttpRequestMethod.h to libsquid-http.la

Add support for FTP MLSD and MLST commands (RFC 3659)

FileZilla is a popular FTP clients supporting that command (via FEAT detection).
It will use MLSD instead of LIST if the server claims support for MLST and/or
MLSD command.

Add missing http/forward.h

Cleanup HttpRequestMethod.h useless lines

Fix http/Http1Parser.h wrapper macro

Merged from trunk rev.13197

Rename HttpParser as Http::Http1Parser

Make HttpParser parse version directly into AnyP::ProtocolVersion object

There appears to be no need for the protocol version object to be outside
the parser. We can simplify the processing code by parsing directly into
the object from the I/O buffer.

TODO: allow parsing of non-HTTP protocol labels.

Bug 3806: Caching responses with Vary header

Various fixes making Vary caching work better.
More work is needed to re-enable shared memory caching of Vary responses.

bag5s r12741: Do not start storing the vary marker object until its key becomes public.
bag5s r12742: Log failed (due to "Vary object loop" or "URL mismatch") hits as TCP_MISSes.
bag5s r12743: Refuse to cache Vary-controlled objects in shared memory (for now).

Based on trunk r13179.

Shuffle HttpParser to libsquid-http as Http1Parser

Drop HttpParser::Pointer::getRaw() uses

Detatch useless build dependencies on HttpParser.h

Convert API of HttpParser::parseRequest() from tristate to boolean

Move HttpParserParseReqLine() legacy function to HttpParser method

Inline and document the HTTP message size macros

Drop HttpParser MSGDODEBUG

Documentation tweak

Bug 3985: 60s limit introduced by balance_on_multiple_ip breaks bad IP recovery

Alternative fix if necessary would be to calculate a dynamic timeout
value based on number and timeouts for connections and forwarding.

However, as noted in the bug report the address markings are reset every
TTL when the stored RR are replaced. This meets the criteria for periodic
retries of marked-BAD IPs. Also if all IPs are marked BAD they all get
un-marked and retried. So for now just remove the TTL hack.

Fix \-unescaping in quoted strings from helpers

strwordtok() was unescaping '\' values in unquoted tokens. This causes
problems with NTLM helper response user\DOMAIN values which are sent as
a un-quoted un-escaped value.

Restrict un-escaping of '\' to only occur when inside "quoted" words.

WCCPv2: fix assertion 'Cannot convert non-IPv4 to IPv4' on FreeBSD

FreeBSD does not set the from-address on recv() if there was an error
reading the packet. This can result in Ip::Address assertion if the
error is not checked for before the IP address is mapped into Squid
internal format.

Fix missing cast in rev.13162

Made "make check" happier by syncing test case with Store API changes
and making StoreEntry::hashDelete() more forgiving.

Recognize FTP 125 (Data connection already open) as we do 150 response,
now for the upload/STOR case (the download case was handled in ftp-gw r12789).

Microsoft servers seem to favor 125 responses in some conditions.

Absorb parser work from parser-ng

Merged from trunk

Added missing header in client_side_reply.cc for clang

Add missing StoreEntry::lock() parameters, require unlock() parameter,
and polish un/lock() context debugging.

Fix missing include in rev.13190

Added StoreEntry::lock() call dropped when merging from trunk r13172.

Rename SBuf::find_first_of and find_first_not_of to camelCase.

Added send_hit and store_miss squid.conf directives
to control caching of responses using response info.

The existing "cache" directive is checked before Squid has access to the
response and, hence, could not use response-based ACLs such as http_status.
Response-based ACLs may be essential when fine-tuning caching. Squid Bug 3937
(StoreID can lead to 302 infinite loop) is a good use case.

Updated old "cache" directive documentation to provide more information, to
help folks distinguish the three related directives, and to polish for
clarity.

TODO: Support lookup_hit and possibly deprecate/remove "cache".

Merge CharacterSet

Reverted buggy change on CharacterSet::operator+=, documentation touches

Merged from trunk

Merged from trunk

Merged from trunk

Merged from trunk

Add unit tests for method parsing update

Fix missing include in rev.13186

Improved CharacterSet documentation.

Merged from trunk

Using std::copy_if for CharacterSet::operator +=

Clarified documentatio for CharacterSet; moved CharacterSet::add and constructor to .cc file

Move CharacterSet::operator += to .cc file; change SBuf::find_first_not_of to match STL

HTTP/1.1: method names are case-sensitive

RFC 2616 states that method names are case sensitive, but the Squid
parser has been accepting them case-insensitive.

Enforce case-sensitive behaviour when performing strict HTTP parse.

NOTE: avoid HTTP_VIOLATIONS since there is no normative MUST/SHOULD
involved in the specification texts.

Bug 3980: FATAL ERROR due to max_user_ip -s option

Moved CharacterSet's backing storage to std::vector<uint8_t> to gain speed at the expense of space.
Improved CharacterSet's constructor
Made CharacterSet's name parameter optional with default value.

Moved CharacterSet as forward-declaration in SBuf.h

Implemented CharacterSet-based SBuf::find_first_of and find_first_not_of

Silence SBufDetailedStats stubs