ITS#9376 Fixes for repeated deletes with xcursor

On DUPSORT DBs, must initialize xcursor regardless of whether
caller requested its data. Also in cursor_prev must check whether
cursor index is still within range before using it.

Support db_pagesize in mdb_load

Since setting was added in de08119a296a4e8569fa04d7bfcbc7b3c2b41f2f

ITS#9364 fix doxygen comment

ITS#9364 Add docs for crypto modules

ITS#9364 Add crypto support to all tools

Using dynamically loaded crypto modules

ITS#9364 use crypto table properly

ITS#9364 tweak crypto sample again

ITS#9364 tweak sample

Cheat with OpenSSL 1.1 internal structures to avoid malloc/free per page

ITS#9364 add sample for authenticated encryption

ITS#9364 add error code texts

ITS#9364 rework crypto API

And add support for per-page checksums. Reserve space for checksum
at tail of page. Pass pgno+txnid as IV input for encryption.

ITS#9017 fixes for encryption

Fix rawpart flag collision

Fix fallthru warning

Add mdb_env_set_pagesize()

More RAWPART support

Use mmap to read and initialize the meta pages, raw device
may not support read/write syscalls.

Preliminary raw partition support

Autodetects that a block device is being used.

ITS#9278 fix robust mutex cleanup for FreeBSD

FreeBSD 11 supports robust process-shared POSIX mutexes,
but requires them to be explicitly destroyed before munmap

ITS#9017 cleanup Windows off_t

ITS#9017 doxygen comment for MDB_FIXEDSIZE

ITS#9017 LMDB: fix off_t usage on Windows

ITS#9017 LMDB: allow using fixed file size on Windows

ITS#9017 LMDB: improve Windows sync commit perf

ITS#9155 lmdb: free mt_spill_pgs in non-nested txn on end

Happy New Year!

Silence spurious fallthru warning

ITS#9118 add MAP_NOSYNC for FreeBSD

ITS#8704 add missing opt flags in prev commit

ITS#9068 fix backslash escaping

mdb_load wasn't properly inserting escaped backslashes into the data.
mdb_dump wasn't escaping backslashes when generating printable output.

ITS#9007 don't free loose writemap pages

Broken in ITS#8756

ITS#8978 Fix mdb_env_open2() failing when getting handle for NTDLL.dll

Always call GetModuleHandleW() with Unicode string, as mdb_fopen() is
calling CreateFileW() already.

ITS#8969 tweak mdb_page_split

Bump up number of keys for which we use fine-grained splitpoint search

IDLs for VL32 must be same size as for 64bit

Happy New Year

Happy New Year!

ITS#8857 document mdb_cursor_del does not invalidate the cursor

ITS#8908 DOC: GET_MULTIPLE etc don't return the key

Unnecessary since these are DUPs, the key will always be the same

ITS#8891 fix M$ WINAPI typedefs

ITS#8756 remove loose pg from dirty list in freelist_save

ITS#8844 use getpid() in mdb_env_close0()

ITS#8831 move flag init into readhdr

Avoid stomping on flags from 1st readhr invocation

Happy New Year

ITS#8819 can't use fakepage mp_ptrs directly

ITS#8324 More for Win32 NTDLL junk

Use GetProcAddress at runtime, avoid buildtime NTDLL link issues

Add mdb_drop tool

ITS#8760 fix regression in 0.9.19

Add -a append option to mdb_load

To allow reloading of custom-sorted DBs from mdb_dump

ITS#8612 Fix Solaris builds with liblmdb

This patch fixes liblmdb builds on Solaris and derivatives by defining
_POSIX_PTHREAD_SEMANTICS

Tweak ITS#8722 fix: Use XCURSOR_REFRESH()

This checks XCURSOR_INITED() and fixes the mn_flags check.

XCURSOR_REFRESH() fixups/cleanup

* Check NUMKEYS(), similar to f34b61f9471d1c03fe0517b9d817c50c920e378a
  "ITS#8722 fix FIRST_DUP/LAST_DUP cursor bounds check".
* Move XCURSOR_INITED() into XCURSOR_REFRESH().  This adds a check in
  mdb_cursor_put, below /* converted, write the original data first */.
* Factor mc_ki[] out to XCURSOR_REFRESH().
* Replace an mc_pg[] with mp which is equal (mdb_cursor_del0).

ITS#8728 fix MDB_VL32 freeing overflow page

ITS#8722 fix FIRST_DUP/LAST_DUP cursor bounds check

Doc tweaks

Note about DB names being C strings

Add mdb_cursor_is_db()

Return 1 if the cursor is pointing to a named DB record

mdb_dbi_open tweak

Always save the terminating NUL of the incoming DB name
Stop using the old mdb_open/mdb_close function names
 .. should consider renaming mdb_stat/mdb_drop to mdb_dbi_... too.

ITS#8704 Fix PREVMETA, rename to PREVSNAPSHOT

and enforce exclusive access to environment. Also fix txn_begin/pick_meta
to use correct meta page, and reset the flag after successful commit.

Unref ovpages when deleting them

Drop always-false MDB_WRITEMAP test when IS_DIRTY_NW()

ITS#8704 Add MDB_PREVMETA support to tools

ITS#8704 Add PREVMETA to envflags()

ITS#8704 add MDB_PREVMETA flag to mdb_env_open

used to open the previous meta page, in case the latest one
is corrupted

From https://github.com/LMDB/lmdb/pull/12

Expose MDB_ENCRYPT flag

Rename mdb_env_getflags->envflags, clarify options

The old name resembled existing function mdb_env_get_flags().

mdb_page_get() can ignore the toplevel spill list

...when we search dirty list before instead of after spill list.

Drop mdb_page_get() arg 'level', it's always NULL

Doc fixes

Less hungry mdb_pages_xkeep()

Skip pages that are dirty only in an ancestor txn

Keep MC_OVPG() == NULL when not MDB_REMAPPING()

Needed since 418ea8b94e14567ba2be9f9772f38f563a0d7e9c introduced
option MDB_REMAP_CHUNKS.

ITS#8699 more for cursor_del ITS#8622

Set C_DEL flag on reinit'd subcursor

Fix 418ea8b94e SEGV on spilled ovpg

Don't spill an ovpg that is referenced in a cursor

Drop P_DIRTY, and MDB_WRITEMAP dirty/spill lists

mt_workid = mt_txnid when WRITEMAP, so dirty pages == "spilled"
pages and mdb_page_flush() does nothing.

mp_txnid = page state, avoids searching dirty_list

In nested txns, check mp_txnid to see which txn dirtied the page.
This change will also let us remove the P_DIRTY flag, and keep
some flags in (dirty page).mp_txnid if we should need it.

Demo - move P_DIRTY to P_ADM_FLAGS, page_dirty()

...to have something substantial to test P_ADM_FLAGS with,
at least until we drop the P_DIRTY flag.

Divide page flags in P_ADM_FLAGS and the rest

P_ADM_FLAGS flags are tied to the page, even through page_loose-alloc.
OTOH mdb_page_split() should only duplicate the relevant flags.

This is just the code for the feature, P_ADM_FLAGS is 0 for now.
We'll need it for P_HIDESPILL later.

Drop unnecessary searches in the spill lists

Check with IS_MUTABLE() if an MDB_page is spilled, instead of
searching spill lists.  When unspilling, skip parent spill lists.

Skip unnecessary mdb_page_get()s when spilling

Do not bring in pages merely to see if they should be skipped.

Protect freelist at end of mdb_freelist_save()

Use mdb_page_loose() more

Verify final loose_count in mdb_txn_commit()

Mismatch may indicate that pages leaked or got used twice
in the same snapshot.

mdb_page_touch: Always set MDB_TXN_ERROR on error

Fix mdb_enctest()

Accept a partial ovpage.  I.e. decryption of the beginning
should not depend on the data at the end.
Make the key and IV less regular. (Divisor 67 has period>64.)

Move misplaced OVERFLOW_NOTYET code

...so it would set pgno,txnid in the MDB_dovpage, not the actual ovpage

Fix broken mdb_page_get(ovpage) optimization

Fix last commit - sizeof(pgno_t) and C90 compat

Scaled back on overflow page work

Still keeping page header at top of overflow page for now

checkpoint - moving overflow page headers

Moving headers outside of overflow page.

Data format change: add txnid to page header

Trivial encryption when $LMDB_FLAGS = "e"

Get flags from $LMDB_FLAGS when MDB_TEST

Now we don't need to tweak the code of callers to test encryption.

Save/restore enc IV in page 0

Plug some information leaks

Zero out decrypted pages before freeing them.
Do proper init on reused loose pages.

Add test code for remap / encryption

Page-level encryption support

Currently encrypts all but the meta pages
Still needs to store/retrieve the initialization vector

Rename mdb_env_close0() -> mdb_env_close_active()

Hopefully we'll remember now what goes in which function.

Optimization for mdb_rpage_get()

The caller already knows if it's using an overflow page, so
pass the number of expected pages in instead of having to
map the page first and check the count there.

RPAGE_CACHE is now dynamically selectable

Behavior is controlled by MDB_REMAP_CHUNKS envflag
Remapping is always enabled in MDB_VL32

Add new MDB_RPAGE_CACHE def

Separate 32/64 dependency from rpage buffer mechanism

Fix Android recognition

The official macro is __ANDROID__; ANDROID may or may not be defined.

MDB_VL32

Use the same size dirty list for both 64 and 32 bit.

ITS#8622 fix xcursor after cursor_del

Re-fix 6b1df0e4c7fadd21d1233d7157229b2d89ccaa04 from ITS#8406