pop3: Fix pop3_logout_format=%{deleted_size} expansion when there are no deletions

Should be "0", not empty string.

%{auth_domain} shouldn't include the leading '@'

lib-ldap: Fixed compiling with OpenBSD

auth: Escape local_name

login-common: Include local_name in login_var_expand_table

This way it can be used in login_log_format

lib-program-client: Fixed boolean expressions.

Problems found with clang -Wstrict-bool.

auth: Fixed assert-crash on invalid auth-client input

For example if client sends invalid input like:
auth: Error: BUG: Authentication client sent unknown command: XYZ

Fixes crash:
auth: Panic: key not found from hash

Added "doveadm process status"

This allows asking for processes' current status in master process.

Added "doveadm service status"

This allows asking for services' current status in master process.

doveadm-master: Code cleanup - simplify sending command args to master.

This also escapes the parameters to make sure nothing bad can be sent.

doveadm service stop: Convert to doveadm v2 API

doveadm service stop: Code cleanup - Prepare for other service commands.

doveadm service stop: Moved command handling to doveadm-master.c

It's talking to master process, and there will be other non-service commands
that talk to the master process in the same way.

doveadm user: If lookup fails, don't write it to the same line as header.

doveadm-server: Show incoming connection's IP and running command is process title.

auth: Pass local_name to auth-request

This allows using local_name in various places,
such as passdb/userdb queries.

login proxy: Hanging outgoing SSL connections caused using already-freed memory

This mainly happened when login proxy closed the connection due to connect
timeout. The ssl-proxy still had a reference and existed for a longer time.
If SSL handshake still succeeded afterwards, it now called
login_proxy_ssl_handshaked(), which accessed the already-freed proxy and
likely crashed.

Fixed the ssl-client proxy code specifically. Alternatively ssl_proxy_free()
could be calling ssl_proxy_destroy() always, but since ssl-server side of
the code seems to have been working fine, I don't want to accidentally
break it.

v2.2.26.rc1 released.

lib-program-client: Correctly handle error code

lib: Copy target_uid from restrict_access_settings

One cannot assign to set->uid, causing compile error.

lib-program-client: Try drop setuid root by default

But not if root privileges are asked for.

lib: Add drop_setuid_root for restrict_access

drop_setuid_root, when set to true, will detect
and try to drop getuid()==0. This is done by
recovering current effective UID to set->uid
if set->uid == -1, and then doing seteuid(0).
It will also drop out any other extra privileges,
such as extra groups not requested for.

lib-storage: clean up mailbox_list_create to improve readability

There is no reason to use mailbox_list_driver_find() here instead of
mailbox_list_find_class() as (1) we do not need the index into the list
driver array, and (2) dealing with double-pointers is harder than regular
pointers.

.gitignore: Updated to include auto-added m4/*

push-notification: Error handling fix and cleanups.

dovecot-ldap.conf.ext: Updated sasl_bind comment.

lib-program-client: Fix memory access problem

lib-program-client: Backport test-program-client-unix

lib-program-client: Fix local tests

lib-program-client: Disable valgrind

For local test, we can't use valgrind,
it's too unreliable (breaks execution sometimes).

lib-program-client: Move version string to define

lib-program-client: Add switch_ioloop vfunc

This lets program-client backends do their own
special io loop switching.

lib-program-client: Use milliseconds in idle timeout

lib-program-client: Use child-wait

This makes the client waiting asynchronous.

lib-program-client: Disconnect asynchronously

lib-program-client: Use restrict-access

This makes the program-client execution behave
more consistent to the rest of the core code.

lib: Add reference counting to child_wait_pid

lib-storage: Make sure mailbox_uidvalidity_next() doesn't return 0.

0 isn't a valid IMAP UIDVALIDITY, and Dovecot treats 0 as "not assigned".

lib-dcrypt: add a test for password change

Test that you can encrypt a key with password, encrypt a key with the
password protected key, change the password, and still load a key that you
encrypted with the key encrypted using the first password.

doveadm: trim doveadm dump dcrypt-key input

dcrypt does not like extra newlines at the end of a key.

push-notification: Resolve indentation problem

push-notification: Re-open mailbox and sync it to get unseen count.

push-notification: Add unseen count to OX driver.

global: Handle broken Content-Type headers consistently.

1) Only the first Content-Type header is used. (Simpler than using the last.)

2) Invalid Content-Types are parsed as far as we can. This is mainly to make
sure they aren't treated as missing Content-Types, which could cause them to
become text/plain.

lib-imap: imap_bodystructure_parse() ignores text/plain flag mismatch for now.

Maybe we can enable it some day far into the future, but for now this just
causes unnecessary cache file rebuilds.

lib-imap: Don't write a broken Content-Type as text/plain to BODYSTRUCTURE

Mainly because it doesn't match with MESSAGE_PART_FLAG_TEXT in message_part.

config: Compare local_name case insensitive

DNS and certificate names should be compared
case insensitive.

lib: Add null_strcasecmp

auth-policy: Use request's pool instead of new pool

This fixes existing memory leak in auth_report,
which is caused by using separate memory pool
instead of request's pool.

Thank you for Andrea Carpani for extensive
debugging.

dict-sql: Use LIMIT in SQL queries with dict_iterate_set_limit()

lib-dict: Added dict_iterate_set_limit()

lib-dict: Duplicate result value in mempool

Duplicate the result value already in callback
to avoid it getting lost during async calls.

Reported & tested by Pierre Jaury.

lib-fs: Fixed fs_metadata_find() to actually work

lib-mail: Fixed infinite loop in istream-attachment-extractor

Broken by 7f74811b7. Pretty much any larger attachment going through
this istream had a good potential of going into an infinite loop.

lib-fs: Added FS_METADATA_WRITE_FNAME to allow renaming a file being written.

lib-fs: Added internal fs_metadata_find() helper function

lib-fs: Optimize changing FS_METADATA_INTERNAL_PREFIX metadata.

file->metadata_changed doesn't need to change in that situation. It's used
by fs-metawrap to find out if it needs to rewrite metadata during a write,
but internal metadata isn't written to its header.

sdbox: Removed duplicated code.

lib-dcrypt: change unit test ec curve to secp521r1

This curve is more common, so unit tests will pass on more machines.

lib-fs: Lazily initialize timings to save memory.

lib-storage: Use MAILDIR_INFO_SEP_S

Replace hardcoded : with MAILDIR_INFO_SEP_S

lib-dcrypt: Fix uninitialized memory

lib-dcrypt: str_new to t_str_new in some test-crypto tests

str_new from default_pool was not properly freed.

lib-dcrypt: enc_key and pw must be NULL on storing unencrypted private key

Add tests for password and key encryption, and get_info on them. Also
give examples of valid cipher values for password and key encryption in
dcrypt.h comment.

lib-dcrypt: fix comment of dovecot format v2 to use colon

Version 2 field separator was changed to colon.

auth: Compiler warning fix

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

uri-util: Added public function for parsing single percent encoding instances.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-index: unlink_directory has no error

imap-hibernate: Adjust API usage for ostream

Revert "uri-util: Fixed assertion failure for invalid character in path segment."

This reverts commit dbbdcc1224f81a40e746a09e6d44af7c4f24ff71.

Revert "lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components."

This reverts commit 5b6dc4c53617362baf8713815621bebbeb38c8cc.

lib: Don't set ostream buffer as blocking

lib: Added ostream.blocking boolean

Similar to istream.blocking.

lib: ostream-file: Allow creating derived file output streams.

lib: ostream-file: Split o_stream_file_writev() from o_stream_file_writev_full().

lib: ostream-file: Renamed o_stream_writev() to o_stream_file_writev_full().

lib: ostream-file: Renamed iov_size to iov_count everywhere and made it unsigned int for consistency.

auth: Pass userdb fields to worker

If this is not done, then those userdb handlers
that need access to userdb variables for e.g.
interpolation, cannot access them.

auth: Don't re-insert userdb results from auth cache data back to cache.

This was also breaking TTLs for the cached userdb results, because each
re-insert reset the TTL.

lib-program-client: Fixed potential panic in test-program-client-local

If the run finished before io_loop_run(), it would panic with:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-program-client: Fixed program_client_run() that succeeds rapidly.

program_client_run_async() could have called the callback with result=0
before io_loop_run(). This happened with local client.

Fixes in test-program-client-local:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

fs-metawrap: Don't assert-crash when trying to write an empty file.

Fixes:
Panic: file fs-metawrap.c: line 401 (fs_metawrap_write_stream_finish): assertion failed: (file->super_output->offset > 0 || file->super_output->stream_errno != 0)

lib-fs: Renamed internal i_stream_mail_read() to i_stream_fs_stats_read()

Just to make backtraces look clearer. Originally forgot to change this
after copy&pasting code from istream-mail.c

lib-program-client: Fixed running test-program-client-local as root.

uid/gid == -1 isn't treated as "don't change" in here.

auth: Fix default SASL bind for LDAP

User may configure Dovecot to use SASL bind as default bind method.  This can
be the case when ldapi:/// (or ldaps:///) with SASL EXTERNAL is used.
Currently, Dovecot returns LDAP connection to wrong bind state after first
successful auth bind, LDAP simple bind always used to rebind.  This may broke
setup when ACL in LDAP configured not to allow search/bind for such simple
bind.

auth: Introduce db_ldap_bind_sasl() function

Do refactoring in db_ldap_connect() before fixing the SASL bind issue in the next commit.

doveadm director kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm director kick: Escape username properly.

This only mattered if the username contained \001, TAB or LF characters,
which isn't normal.

director: Escape username when handling USER-KICK.

This could have caused problems if username parameter contained TABs or LFs,
which of course shouldn't normally happen.

doveadm proxy kick: Support multiple user parameters.

doveadm proxy kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm proxy list: Show all user_* fields in output.

*-login: Store user_* passdb fields to client->alt_usernames.

last-login: Don't execute last_login on IMAP unhibernation.

quota: Don't execute quota_over_script if userdb lookup was over 10 secs ago

imap-hibernate: Preserve mail_user.session_create_time through hibernation

lib-storage: Added mail_user.session_create_time and .session_restored

imap-hibernate: Properly fix hibernation

The previous fix did not properly fix hibernation
as the clients still dropped out of hibernate.
Also the tag used was no longer following. This
change will track tag changes and keeps the
hibernation process going on until the user enters
something else than DONE\r\ntag IDLE\r\n in same
packet.