auth: Removed dead code from oauth2 mechanism

acl plugin: Fix Coverity warning

Just switch the MALLOC_ADD() parameters, so that arithmetic doesn't get
inside a sizeof().

lib-http: client: Fixed i_unreached() failure occurring when a host's list of IPs changes while a connection is still pending.

In that case, the IP of the pending connection may no longer be associated with that host.
If the IP was not found anymore, the i_unreached() error occurred.

auth: Export oauth2 pass_attrs to passdb reply

virtual: Include virtual mailbox name in "Mailbox ID unexpectedly lost" error

lib-storage: Allow mail_storage_set_error() to use existing error_string

Fixes some code that may be attempting to copy an error from one storage to
another, but actually ends up trying to copy within the same storage.

lib-mail: istream-attachment-connector now allows msg_size=-1 for "unknown".

lib-mail: Make sure istream-attachment-connector detects wrong mail size.

lib-mail: Fix memory leak in test-istream-attachment

lib-mail: Improve istream-attachment-extractor unit test for EIO errors

lib-mail: istream-attachment-extractor - use EIO for internal errors

These happen only if the attachment writing failed for some reason.
The input stream itself can't have any errors, so EINVAL isn't proper.

lib-mail: istream-attachment-extractor - remove unnecessary code

It's enough to set the stream_errno.

lib: Added i_stream_create_min_sized*()

lib: istream-sized - consistently set stream_errno=EINVAL if stream is too large

Earlier it was sometimes done and sometimes not, depending on whether the
parent istream happened to stop at the expected boundary.

lib: istream-sized - set stream_errno=EPIPE if stream is too small

lib: istream-sized - remove explicit i_error() logging

The stream_errno is set, so it's the caller's responsibility to log the
error. There's no need to log it twice.

lib: istream-sized should log errors with its own name, not parent's name

lib: remove failed bool from sized_istream struct

This is no longer needed as we are now checking for
stream_errno also in istream.c

lib: Added i_stream_create_sized_range()

This is just a small wrapper to i_stream_create_sized() to specify stream's
start offset.

maildir: Fix checking vsize caching decision in "is this pop3 user?"

If vsize extension is used, it's practically the same as if vsize's caching
decision was YES.

pop3c: Remove unnecessarily duplicated code setting vsize to cache

This is important now that the vsize can be added also to index's vsize
extension.

pop3c: Prefetched streams didn't call istream_opened() or set virtual_size

trash plugin: Use correct hook for overriding mail_user vfuncs

This was always wrong to do, and it crashes after
f32382d2da479a4371e08c443679528db37ea988

expire plugin: Use correct hook for overriding mail_user vfuncs

This was always wrong to do, and it crashes after
f32382d2da479a4371e08c443679528db37ea988

lazy-expunge: Fix error handling for GUID lookups

If the mail is already expunged, the error should be ignored.
In other situations the original error string should be preserved as
part of the logged error message.

lib-storage: Add missing service_user ref when creating shared mailbox's user.

Was forgotten from d1bf4ae66b8bf3b9e28df1823d6d4adda2b923b6

Fixes:
Panic: file mail-storage-service.c: line 1513 (mail_storage_service_user_unref): assertion failed: (user->refcount > 0)

lib-mail: Fix message_part_data_is_plain_7bit()

Content-Type parameters weren't handled exactly right.
Broken by recent changes.

quota: Don't log "Internal quota calculation error"

It's not very informative and we can't give a better error message without
changing the APIs. The real error should have been logged already anyway,
so this is just duplication of an error. I think originally this was added
because some backend forgot to log an error.

global: Replace mail_storage_service_user_free() with _unref()

lib-storage: Use refcounting for mail_storage_service_user

doveadm import was freeing the user too early, which resulted
mail_user._service_user pointing to freed memory. More importantly,
after 34512eaad8b1b2f929e6d6e3a2f7252c29fba97b user->set was pointing
to already freed memory.

lib-lda: Fix pigeonhole testsuite to not crash

lib: Fix again test-utc-mktime with 32bit time_t

lib-lda: Fix delivery logging when Sieve performs multiple actions

Previous code assumed that it would work like:
 - save/copy
 - transaction commit
 - mail_deliver_ctx_get_log_var_expand_table()
 - repeat for transaction 2

While it really works:
 - transaction 1: save/copy
 - transaction 2: save/copy
 - transaction 1: commit
 - mail_deliver_ctx_get_log_var_expand_table()
 - transaction 2: commit
 - mail_deliver_ctx_get_log_var_expand_table()

So the cache needs to be stored per transaction. This code still wouldn't
work correctly if Sieve saved mails multiple times within the same
transaction, but that doesn't happen (at least currently).

lib-lda: Refactor - mail_deliver_log_update_cache() doesn't need entire deliver_ctx

lib-lda: Refactor - Add struct mail_deliver_mailbox

lib: Fix test-utc-mktime with 32bit time_t

lib-mail: Place input/output of message-date tests in one struct

Define both input and output of a message date test case in a single
struct so it is easier to follow and less error prone. Also add some
leap second tests.

lib: Place input/output of utc_mktime tests in one struct

Define both input and output of a utc_mktime test case in a single
struct so it is easier to follow and less error prone.

lib: Accept leap second in utc_mktime

Accept leap second at any time in utc_mktime since utc_mktime is being
used before applying the timezone offset everywhere.

imap: Fix error message in failed FETCH's NO reply.

This was broken only with the new imap_fetch_failure = no-after setting.

imapc: Error handling wasn't setting storage error everywhere.

This would have used the previous error, which might not have been correct.

lib-index: Unconstifty pointer array

clang complained about the extra const.

lib-index: Add missing initialization for chained hooks

lib,lib-storage: Move hook building code to lib

This allows it to be reused elsewhere

lib-index: Allow multiple hooks for transaction creation

lib-storage: Fix mail.access_type for search prefetches

lmtp: Fix lmtp_user_concurrency_limit when userdb changes the username

Anvil LOOKUP was done with the original username, while CONNECT/DISCONNECT
was done with the changed username. So LOOKUP always thought that there
were zero concurrent sessions for the user.

cassandra: Don't use i_error() from non-main thread

It will only cause crashes. This was done only if the internal
communication pipe couldn't be written to, which was pretty unlikely
to happen.

lib-storage: Fix assert-crash on corrupted dovecot.list.index with name_id==0

Fixes:
Panic: file hash.c: line 213 (hash_table_insert_node): assertion failed: (key != NULL)

lib-storage: Add asserts to make sure lookup_abort is being used correctly.

lib-storage, pop3-migration: Reset lookup_abort before continuing to search

This doesn't really fix anything right now, but it'll allow adding the
asserts in the following commit.

auth: Make sure tokeninfo or introspection URL is given

auth: Make tokeninfo optional

It is not supported by all OAuth2 solutions

lib-oauth2: Support basic authorization

lib-lda: Do not involve mail-deliver plugin unnecessarely

If no mail delivery by LDA/LMTP is being done, do not
hook into the process.

Fixes signal 11 crash with lazy-expunge.

lib-compression: Fix test-compression to build without zlib

imap: Revert change to use [PARSE] in FETCH replies.

Lets leave this for v2.3. Apparently Roundcube has some workarounds that
assume [UNKNOWNCTE].

Partially reverts 8fe64e2af5b6ce7b6ffa6453beaf569dca089e59

pop3c: Add no pipelining pop3c feature

This should help with certain broken pop3c
servers that advertise that they support pipelining
but they really don't.

Partially implemented IMAP SEARCH=X-MIMEPART capability.

This capability is currently Dovecot-specific.

lib-imap: Created test-imap-envelope.

lib-imap: imap-envelope: Added function for parsing ENVELOPE from string.

lib-imap: Added more comments to imap-bodystructure and imap-envelope.

lib-imap: imap-bodystructure: Added support for making imap_bodystructure_parse() work without a pre-existing message_part tree.

It can now create the tree from the BODYSTRUCTURE string itself.

lib-mail: message-part-data: Implemented message_part_data_get_filename().

Gets the message part's filename if it has any.

lib-mail: message-part-data: Renamed struct message_part_envelope_data to message_part_envelope.

lib-imap: imap-envelope: Moved imap_envelope_headers to lib-mail/message-part-data as message_part_envelope_headers.

lib-imap: imap-bodystructure: Moved message_part_data header parsing and query functions to their own module in lib-mail.

Moved code from imap-bodystructure and imap-envelope.

lib-imap: imap-bodystructure: Renamed imap_bodystructure_is_plain_7bit() to message_part_data_is_plain_7bit().

lib-imap: imap-envelope: Renamed imap_envelope_parse_header() to message_part_envelope_parse_from_header().

lib-imap: imap-evenvelope: Changed imap_envelope_get_field() into a private equivalent.

lib-imap: imap-bodystructure: Renamed imap_bodystructure_parse_header() to message_part_data_parse_from_header().

lib-imap: imap-bodystructure: Grouped together functions relating to the conversion of BODYSTRUCTURE to BODY.

This only moves code.

lib-imap: imap-bodystructure: Changed struct message_part_body to contain fully decoded data.

Contained unparsed IMAP string data before.

lib-imap: imap-envelope: Added function to parse struct message_part_envelope_data from parsed imap args.

lib-imap: imap-bodystructure: Renamed `d' parameter to `data' in parse_content_header() function.

lib-imap: imap-envelope: Removed useless pool field from struct message_part_envelope_data.

lib-imap: imap-bodystructure: Removed useless pool field from struct message_part_data.

lib-mail: Gave message_part_data its own field in struct message_part.

lib-imap: imap-bodystructure: Renamed struct message_part_body_data to message_part_data.

lib-imap: Removed existing envelope parsing function.

This is currently only used by imaptest. Alternative API is provided in later commit.

lib-imap: test-imap-bodystructure: Added normalization tests.

lib-imap: imap-bodystructure: Allow alternative syntax and omitted optional elements in parser input.

This makes the parser accept any RFC-compliant BODYSTRUCTURE syntax, instead of only what Dovecot itself produces.
This way the parser could reliably be used in the lib-imap-client if ever needed.

lib-imap: test-imap-bodystructure: Added more tests.

lib-imap: test-imap-bodystructure: Improved handing of parse errors.

Actually show the parse error.

lib-imap: test-imap-bodystructure: Added support for more than one test case.

lib-imap: imap-bodystructure: Fixed parse error message about invalid Content-M5 field.

example-config: Add mail_sort_max_read_count setting.

example-config: Add mail_vsize_bg_after_count setting.

example-config: Add imap_fetch_failure setting.

lib-mail: Fix matched-parameter in HEADER_FILTER_ADD_MISSING_EOH callback

The matched-parameter in the regular EOH callback is the reverse of what
it's in v2.3 tree. So preserve it here.

.gitignore: Fixed location of ignored m4 files.

Probably got cherry-picked wrong from development branch.

lib-http: test-http-response-parse: Properly test multiple sequential responses.

auth: oauth2 mechanism: Fixed implicit boolean expression involving a pointer.

Found with Clang -Wstrict-bool.

lib-storage: Add explicit MAIL_ERROR_LOOKUP_ABORT error

The MAIL_ERROR_NOTPOSSIBLE was a bit too generic to assume to mean the same
thing. It doesn't look like there are any external plugins that break
because of this change.

lib-storage: Add mail.access_type

lib-storage: Add mail_sort_max_read_count setting.

This controls how many slow mail accesses sorting can perform before it
fails:

a NO [LIMIT] Requested sort would have taken too long

The SORT reply is still returned, but it's likely not correct.

lib-storage: Add MAIL_ERROR_LIMIT

imap: If SEARCH/SORT fails but returns some results, send them to client.

The previous error handling fixes cause SEARCH/SORT to now fail if there
are any problems reading mails. This change makes the commands still
return the best known results, so the IMAP client can still use them,
even though they may not be entirely correct.

lib-storage: Fix error handling when searching mails

Only expunge errors and failures caused by lookup_abort should be ignored.
The rest of the mail errors mean that the search result might not be
correct. We'll still run the search as fully as possible, but we just
return an error at the end.

lib-storage: Search optimization - avoid parsing message_parts unnecessarily

If they're not already cached, the mail is parsed twice: once to get the
message_parts and again to perform the actual search. The searching can
however do the message_parts parsing internally as well.