Add -a append option to mdb_load

To allow reloading of custom-sorted DBs from mdb_dump

ITS#8612 Fix Solaris builds with liblmdb

This patch fixes liblmdb builds on Solaris and derivatives by defining
_POSIX_PTHREAD_SEMANTICS

Tweak ITS#8722 fix: Use XCURSOR_REFRESH()

This checks XCURSOR_INITED() and fixes the mn_flags check.

XCURSOR_REFRESH() fixups/cleanup

* Check NUMKEYS(), similar to f34b61f9471d1c03fe0517b9d817c50c920e378a
  "ITS#8722 fix FIRST_DUP/LAST_DUP cursor bounds check".
* Move XCURSOR_INITED() into XCURSOR_REFRESH().  This adds a check in
  mdb_cursor_put, below /* converted, write the original data first */.
* Factor mc_ki[] out to XCURSOR_REFRESH().
* Replace an mc_pg[] with mp which is equal (mdb_cursor_del0).

ITS#8728 fix MDB_VL32 freeing overflow page

ITS#8722 fix FIRST_DUP/LAST_DUP cursor bounds check

Doc tweaks

Note about DB names being C strings

Add mdb_cursor_is_db()

Return 1 if the cursor is pointing to a named DB record

mdb_dbi_open tweak

Always save the terminating NUL of the incoming DB name
Stop using the old mdb_open/mdb_close function names
 .. should consider renaming mdb_stat/mdb_drop to mdb_dbi_... too.

ITS#8704 Fix PREVMETA, rename to PREVSNAPSHOT

and enforce exclusive access to environment. Also fix txn_begin/pick_meta
to use correct meta page, and reset the flag after successful commit.

Unref ovpages when deleting them

Drop always-false MDB_WRITEMAP test when IS_DIRTY_NW()

ITS#8704 Add MDB_PREVMETA support to tools

ITS#8704 Add PREVMETA to envflags()

ITS#8704 add MDB_PREVMETA flag to mdb_env_open

used to open the previous meta page, in case the latest one
is corrupted

From https://github.com/LMDB/lmdb/pull/12

Expose MDB_ENCRYPT flag

Rename mdb_env_getflags->envflags, clarify options

The old name resembled existing function mdb_env_get_flags().

mdb_page_get() can ignore the toplevel spill list

...when we search dirty list before instead of after spill list.

Drop mdb_page_get() arg 'level', it's always NULL

Doc fixes

Less hungry mdb_pages_xkeep()

Skip pages that are dirty only in an ancestor txn

Keep MC_OVPG() == NULL when not MDB_REMAPPING()

Needed since 418ea8b94e14567ba2be9f9772f38f563a0d7e9c introduced
option MDB_REMAP_CHUNKS.

ITS#8699 more for cursor_del ITS#8622

Set C_DEL flag on reinit'd subcursor

Fix 418ea8b94e SEGV on spilled ovpg

Don't spill an ovpg that is referenced in a cursor

Drop P_DIRTY, and MDB_WRITEMAP dirty/spill lists

mt_workid = mt_txnid when WRITEMAP, so dirty pages == "spilled"
pages and mdb_page_flush() does nothing.

mp_txnid = page state, avoids searching dirty_list

In nested txns, check mp_txnid to see which txn dirtied the page.
This change will also let us remove the P_DIRTY flag, and keep
some flags in (dirty page).mp_txnid if we should need it.

Demo - move P_DIRTY to P_ADM_FLAGS, page_dirty()

...to have something substantial to test P_ADM_FLAGS with,
at least until we drop the P_DIRTY flag.

Divide page flags in P_ADM_FLAGS and the rest

P_ADM_FLAGS flags are tied to the page, even through page_loose-alloc.
OTOH mdb_page_split() should only duplicate the relevant flags.

This is just the code for the feature, P_ADM_FLAGS is 0 for now.
We'll need it for P_HIDESPILL later.

Drop unnecessary searches in the spill lists

Check with IS_MUTABLE() if an MDB_page is spilled, instead of
searching spill lists.  When unspilling, skip parent spill lists.

Skip unnecessary mdb_page_get()s when spilling

Do not bring in pages merely to see if they should be skipped.

Protect freelist at end of mdb_freelist_save()

Use mdb_page_loose() more

Verify final loose_count in mdb_txn_commit()

Mismatch may indicate that pages leaked or got used twice
in the same snapshot.

mdb_page_touch: Always set MDB_TXN_ERROR on error

Fix mdb_enctest()

Accept a partial ovpage.  I.e. decryption of the beginning
should not depend on the data at the end.
Make the key and IV less regular. (Divisor 67 has period>64.)

Move misplaced OVERFLOW_NOTYET code

...so it would set pgno,txnid in the MDB_dovpage, not the actual ovpage

Fix broken mdb_page_get(ovpage) optimization

Fix last commit - sizeof(pgno_t) and C90 compat

Scaled back on overflow page work

Still keeping page header at top of overflow page for now

checkpoint - moving overflow page headers

Moving headers outside of overflow page.

Data format change: add txnid to page header

Trivial encryption when $LMDB_FLAGS = "e"

Get flags from $LMDB_FLAGS when MDB_TEST

Now we don't need to tweak the code of callers to test encryption.

Save/restore enc IV in page 0

Plug some information leaks

Zero out decrypted pages before freeing them.
Do proper init on reused loose pages.

Add test code for remap / encryption

Page-level encryption support

Currently encrypts all but the meta pages
Still needs to store/retrieve the initialization vector

Rename mdb_env_close0() -> mdb_env_close_active()

Hopefully we'll remember now what goes in which function.

Optimization for mdb_rpage_get()

The caller already knows if it's using an overflow page, so
pass the number of expected pages in instead of having to
map the page first and check the count there.

RPAGE_CACHE is now dynamically selectable

Behavior is controlled by MDB_REMAP_CHUNKS envflag
Remapping is always enabled in MDB_VL32

Add new MDB_RPAGE_CACHE def

Separate 32/64 dependency from rpage buffer mechanism

Fix Android recognition

The official macro is __ANDROID__; ANDROID may or may not be defined.

MDB_VL32

Use the same size dirty list for both 64 and 32 bit.

ITS#8622 fix xcursor after cursor_del

Re-fix 6b1df0e4c7fadd21d1233d7157229b2d89ccaa04 from ITS#8406

ITS#8582 Fill in MDB_LOCK_FORMAT

Attempt to stop liblmdb variants compiled with conflicting options
from using the lockfile at the same time and thus breaking it.

Clear any struct padding in idbuf

Simplify mdb_hash_val() -> mdb_hash()

Simpler usage since it's only called once, rename to match new usage,
and drop 3 loop pessimizations which were optimizations 20 years ago.

Store lock ID instead of pathname in lockfile

This limits the namespace which the user can meddle with for
POSIX semaphores and Windows mutexes.  Their names change a
bit, they no longer have fixed lengths.

ITS#8582 MDB_LOCK_VERSION = 2 due to format change

ITS#8582 keep mutex at end of struct

since it's variable size on Linux/glibc

Workaround VL32 cursor refcounting miscount

Don't try to deref cursor page if txn's pagelist is empty

Further fix f8ce8a82717ddefdc912fa47c07f1bdee2a3336b

Fully revert the change to GET_MULTIPLE

Fix f8ce8a82717ddefdc912fa47c07f1bdee2a3336b

GET_MULTIPLE was broken

Happy New Year

More C_EOF tweaks

ITS#8557 fix prev commit

Tweak cursor_next C_EOF check

Allow C_EOF flag to be stale

ITS#8557 fix mdb_cursor_last

Optimize mdb_page_search_root(PS_LAST) when cursor is already near
last position, ignoring C_EOF flag for now.

ITS#8558 fix mdb_load with escaped plaintext

ITS#8554 kFreeBSD is like BSD

Doesn't have POSIX robust mutexes - GNU userland on BSD kernel

More MDB_node doc

Doxygen fixes. Use DISTRIBUTE_GROUP_DOC.

- DISTRIBUTE_GROUP_DOC makes doxygen give several fields the
  same doc: mn_hi + mn_lo in MDB_node.
- With mdb_mutex_t + mdb_mutexref_t, instead split them up.
- Don't hide a doxygen #name inside double quotes.

Mention MDB_PREV_MULTIPLE along with MDB_NEXT_MULTIPLE

ITS#8504 Fix prev commit: mc_error, #ifdef SIGPIPE

Never clear mc_error, we could lose a failure in the other thread.

ITS#8504 mdb_env_copyfd2(): Don't abort on SIGPIPE

Return EPIPE instead.

ITS#7377 Catch mdb_cursor_sibling() error

Clean up and comment C_UNTRACK

Don't use it as a "cursor is tracked" hint in mdb_pages_xkeep().
It's been harmless so far, but would break after mdb_cursor_copy().
Checking m0 directly short-circuits better anyway.

ITS#8355 cleanup

Drop ~C_EOF, pointless after 8c215aa970215a58ee0df458813c0405ad27a6e9

MDB_VL32 cleanup: MDB_env.mm_mapsize type

ITS#8542 mdb_dbi_open(): Protect mainDB cursors

Cleanup: Add flag DB_DUPDATA, drop DB_DIRTY hack

MDB_CP_COMPACT comments

doxygen cleanup

Note functions which must set MDB_TXN_ERROR on failure

Other functions depend on them to do so.
For mdb_node_read(), instead remove such a dependence.

MDB_VL32 mdb_page_get(): Set MDB_TXN_ERROR on failure.

Fix mdb_env_open() with MDB_VL32

Init me_rpmutex independently of MDB_NOLOCK.
Plug leaks on mdb_env_open() failure.
Tweak mdb_env_close0() to handle the rearranged mdb_env_open().

Factor out refreshing sub-page pointers

More for ITS#8406

xcursor fixup depends on init state

More for ITS#8406

Revert excess cursor fixup

Only set me_mfd if needed. Drop unused read access.

ITS#8505 Clarify fork() caveat, mdb_env_get_fd(), flock->fcntl.

ITS#8505 Protect parent from fork()-pthread_exit()

ITS#8505 Set FD_CLOEXEC for me_mfd,env_copy as well

Move opening files to mdb_fopen()

No change in functionality.

Factor filename handling out to mdb_fname_*()

No change in functionality, except needs less mallocing.

ITS#7992 Tighter utf8_to_utf16(), fix errcodes

The 0xFFFD check seems due to misleading MultiByteToWideChar() doc.
Bad UTF-8 gives 0xFFFD in the output string, not the return value.

Clean up strange fcntl result check

...and check !MDB_CLOEXEC in an 'if' rather than '#if'
to match its non-zero usage.

Drop spurious Errcode() call

ITS#7682 F_NOCACHE: Allow error, skip any O_DIRECT

We can run without F_NOCACHE if it fails. And we do not know
what combining it with O_DIRECT means, if a system has both.

Silence warning for initializer "mdb_copy my = {0}"

1st struct member was not a scalar.