[3601] Addressed additional review comments

doc/guide/admin.xml
src/lib/dhcpsrv/dhcpsrv_messages.mes
src/lib/dhcpsrv/lease_file_loader.h
    minor clean up, typos

src/lib/dhcpsrv/tests/csv_lease_file4_unittest.cc
src/lib/dhcpsrv/tests/csv_lease_file6_unittest.cc
    removed unnecessary use of scoped_ptr

src/lib/util/csv_file.cc
    CSVRow::trim() - replaced use of std::vector<>::erase with resise

src/lib/util/versioned_csv_file.h
src/lib/util/versioned_csv_file.cc
    VersionedCSVFile::next() - reorganized to use input_schema_state_
    VersionedCSVFile::columnCountError() - new convenience method
    minor cleanups

[3601] Addressed review comments, added ability to downgrade

Several minor cleanup items based on review comments.  Implemented
support for downgrading files from newer schema versions:

doc/guide/admin.xml
    amended text on upgrading memfile to discuss downgrading

src/lib/dhcpsrv/dhcpsrv_messages.mes
src/lib/dhcpsrv/lease_file_loader.h
    revamped log messages to accomodate downgrading

src/lib/dhcpsrv/memfile_lease_mgr.cc
src/lib/dhcpsrv/memfile_lease_mgr.h
    added commentary to MemfileLeaseMgr ctor
    automatic conversion logic accomdates both upgrading and downgrading

src/lib/dhcpsrv/tests/csv_lease_file4_unittest.cc
src/lib/dhcpsrv/tests/csv_lease_file6_unittest.cc
    replaced tooManyHeaderColumns test with downGrade test

src/lib/util/csv_file.h
src/lib/util/csv_file.cc
    added CSVRow::trim()

src/lib/util/tests/csv_file_unittest.cc
    added CSVRow.trim test

src/lib/util/tests/versioned_csv_file_unittest.cc
    added VersionedCSVFileTest.currentSchemaTest test
    replaced tooManyHeaderColumns test with downGrading test
    revamped tests to check  getInputSchemaState() and needsConversion()

src/lib/util/versioned_csv_file.h
    Updated commentary to describe downgrade support

src/lib/util/versioned_csv_file.cc
    enum InputSchemaState
    input_schema_state_
    input_header_count_
    getInputHeaderCount()
    getInputSchemaState()
    needsConversion()

    next(CSVRow& row) - now supports downgrading rows
    validateHeder() -  now throws if called when no schema has been defined,
    and supports downgrading rows

[3601] Added discussion of memfile lease file upgrading to admin guide

[3601] Added unit tests for automatic LFC upgrade

src/lib/dhcpsrv/tests/memfile_lease_mgr_unittest.cc
    Added two new unit tests to verify lease file upgrade
    via automatic LFC invocation:
        TEST_F(MemfileLeaseMgrTest, leaseUpgrade4)
        TEST_F(MemfileLeaseMgrTest, leaseUpgrade6)

[3601] Memfile_LeaseMgr now runs LFC automatically if lease files need upgrading

Memfile_LeaseMgr loads the lease files during instantiation. If it detects
that any of the files loaded are out of date, it will invoke LFC directly,
whether or not LFC is enabled.

src/lib/dhcpsrv/dhcpsrv_messages.mes
    added two new log messages:
        DHCPRSV_MEMFILE_UPGRADING_LEASE_FILES
        DHCPSRV_MEMFILE_NEEDS_UPGRADING

src/lib/dhcpsrv/lease_file_loader.h
    LeaseFileLoader::load() - emits DHCPSRV_MEMFILE_NEEDS_UPGRADING log
    when an out of date file is detected

src/lib/dhcpsrv/memfile_lease_mgr.cc
    LFCSetup::setup() - added run_once_now parameter, which causes the
    method to invoke the LFC callback immediately, regardless of the value
    of LFC interval.
    Memfile_LeaseMgr::Memfile_LeaseMgr() - added logic to track if
    files loaded need upgrading and pass that into lfcSetup()

    Memfile_LeaseMgr::loadLeasesFromFiles() - change to return a boolean
    true if any of the files loaded need upgrading.

    Memfile_LeaseMgr::lfcSetup() - added upgrade_needed parameter, which
    is passed through to LFCSetup::setup() as "run_once_now"

[3601] Added methods to VersionedCSVFile for tracking when updating is needed

src/lib/util/csv_file.h
    Made recreate() virtual

src/lib/util/versioned_csv_file.h
src/lib/util/versioned_csv_file.cc
    Added several methods to VersionedCSVFile:

    getValidColumnCount() - returns number of valid columns in header

    recreate() - wraps base class method, ensuring valid column
    count gets set to number of defined columns for new files

    needsUpgrading() - returns bool true if file schema is out of date

    getInputSchemaVersion() - returns schema version found in file

    getSchemaVersion() - returns current schema version

    getVersionedColumn() - returns the column definition for a given index

src/lib/util/tests/versioned_csv_file_unittest.cc
    Added checks for new methods to existing tests

[3601] CSVLeaseFile4 and CSVLeaseFile6 now derive from  VersionedCSVFile

src/lib/dhcpsrv/csv_lease_file4.h
src/lib/dhcpsrv/csv_lease_file4.cc
    - CSVLeaseFile4 now derives from VersionedCSVFile
    - initializes schema metadata not just column names
    - uses VersionedCSVFile methods rather than CSVFile methods

src/lib/dhcpsrv/csv_lease_file6.h
src/lib/dhcpsrv/csv_lease_file6.cc
    - CSVLeaseFile6 now derives from VersionedCSVFile
    - initializes schema metadata not just column names
    - uses VersionedCSVFile methods rather than CSVFile methods

src/lib/dhcpsrv/tests/csv_lease_file4_unittest.cc
    - Added new unit tests:
    TEST_F(CSVLeaseFile4Test, mixedSchemaload)
    TEST_F(CSVLeaseFile4Test, tooFewHeaderColumns)
    TEST_F(CSVLeaseFile4Test, invalidHeaderColumn)
    TEST_F(CSVLeaseFile4Test, tooManyHeaderColumns)

src/lib/dhcpsrv/tests/csv_lease_file6_unittest.cc
    - Added new unit tests:
    TEST_F(CSVLeaseFile6Test, mixedSchemaLoad)
    TEST_F(CSVLeaseFile6Test, tooFewHeaderColumns)
    TEST_F(CSVLeaseFile6Test, invalidHeaderColumn)
    TEST_F(CSVLeaseFile6Test, tooManyHeaderColumns)

[3601] Added isc::util::VersionedCSVFile

src/lib/util/versioned_csv_file.h
src/lib/util/versioned_csv_file.cc
    New files which implement VersionedCSVFile, CSV file which can
    support mulitple schema versions

src/lib/util/tests/versioned_csv_file_unittest.h
src/lib/util/tests/versioned_csv_file_unittest.cc
    new files for Unit tests for VersionedCSVFile

src/lib/util/Makefile.am
    added new files

src/lib/util/csv_file.cc
    includes read error message if header fails to validate

src/lib/util/csv_file.h
    removed @todo for 3626, no longer applicable

src/lib/util/tests/Makefile.am
    added versioned_csv_file_unittest.cc

[master] Changed string.h for cstring (cf #4089)

[master] Added ChangeLog entry 1040 for #3780

[master] Servers now exit if MySQL or PostgreSQL connectivity is lost

    Merge branch 'trac3780'

[3780] Addressed review comments

    Fixed misspelling in log message.

[master] Added ChangeLog entry for #3979.

[master] Merge branch 'trac3979'

[3979] Corrected a typos in the user guide.

[3979] Corrected order of parameters in the lease-expiration.json.

This is a result of the review. This change was suggested so as
the order of lease expiration specific parameters follows the
order in which they are described.

[3979] Fixed a broken <para> oops

[3979] Did some clean up and rewording

[master] Added ChangeLog entry for #3977.

[master] Merge branch 'trac3977'

[trac3977] update comment to be v4 instead of v6

[3977] Addressed review comments.

[3979] Updated user guide for lease expiration.

[3979] Removed lease expiration from the server limitations.

[3979] Removed notes in the statistics about lease expiration not impl.

[3979] Added examples demonstrating processing expired leases.

[master] Updated git hash

[master] Finished merge of trac3978 (new leases-reclaim command)

[master] Finished merge of trac3978 (new leases-reclaim command)

[master] Merged trac3978 (new leases-reclaim command)

[3979] Added description of leases-reclaim command to User Guide.

[trac3977] Tidy up some typos

[3780] MySQL and Postgres lease managers now exit on fatal error detection

src/lib/dhcpsrv/dhcpsrv_messages.mes
    added messages DHCPSRV_MYSQL_FATAL_ERROR, DHCPSRV_PGSQL_FATAL_ERROR

src/lib/dhcpsrv/mysql_lease_mgr.cc
    added MySQL client error code include

    MySqlLeaseMgr::checkError() - method is no longer inlined in
    the header.  Expanded to detect unrecoverable errors, log
    them and call exit().

src/lib/dhcpsrv/mysql_lease_mgr.h
    Removed inline implemenation of MySqlLeaseMgr::checkError(),
    and expanded commentary

src/lib/dhcpsrv/pgsql_lease_mgr.cc
    PgSqlLeaseMgr::addLeaseCommon() - now uses checkStatementError()

    PgSqlLeaseMgr::checkStatementError() - Expanded to detect
    unrecoverable errors, log them and call exit().

src/lib/dhcpsrv/pgsql_lease_mgr.h
    Expanded commentary for PgSqlLeaseMgr::checkStatementError()

[3979] Added new chapter about lease reclamation to the User Guide.

[3978] Addressed comments

[master] Merge branch 'master' of ssh://git.kea.isc.org/git/kea

[master] spelling

[master] Added ChangeLog entry 1036 for trac #3969.

[master] Implemented schema upgrade for Postgres schema 2.0

    Merged in branch 'trac3969'

[3969] Addressed review comments

[master] Replaced EXPECT_EQ by EXPECT_TRUE == on HWAddr

[master] Updated git hash

[master] Finished merge of trac4071 (internal record format in option doc)

[master] Merged trac4071 (internal record format in option doc)

[master] Merged trac4059 (layer 2 DHCPv6 relays)

[master] Updated git hash

[master] Finished merge of trac4058 (DHCPv4 Subnet Selection option)

[3977] Added system_messages program to .gitignore.

[3977] Removed unused code generating NCRs.

[3977] Do not generate NCRs for prefix delegation.

[3977] Improved logging in methods queueing NCRs and reclaiming leases.

[3977] Added variants of PktX::makeLabel excluding transaction id.

[3969] Added upgrade support from Postgres schema 1.0 to 2.0

Upgrade adds state column to both lease tables, the state table,
and the lease dump functions.

src/bin/admin/scripts/pgsql/upgrade_1.0_to_2.0.sh -
    new script for upgrading postgres schema

src/bin/admin/tests/dhcpdb_create_1.0.pgsql
    new sql script for creating 1.0 schema db

configure.ac
    added entry for new upgrade script

src/bin/admin/kea-admin.in
    pgsql_upgrade() - modified to set Postgres password env variable
    and pass in remaining args as psql expects them

src/bin/admin/scripts/pgsql/Makefile.am
    added entry for new upgrade script

src/bin/admin/tests/Makefile.am
    added entry for 1.0 schema script

src/bin/admin/tests/pgsql_tests.sh.in
    pgsql_upgrade_test()  - revamped now that Postgres actually
    has its first upgrade script.

[3977] Name change requests are now generated when lease is reused.

This change triggered a lot of code refactoring for generating the
NameChangeRequests. Long story short is that the functions responsible
for generating NCRs from the lease information have been moved to
the libdhcpsrv where they better fit and where they may be used
by both allocation engine and the servers.

[master] ChangeLog for trac3443

[master] Merge branch 'trac3443'

[4071] Tried inline description of standard option records

[3443] Minor changes after review.

[master] Fixing one more params binding issue in PostgreSQL.

This change was omitted during the previous commit.

[master] Do not use temporary variables to bind to PostgreSQL queries.

This change has been reviewed and approved on jabber.

[3978] Rearranged DHCPv4 unit tests

[3978] Cleaned up code

[3978] new command handler takes no argument

[3978] Added unit tests

[3978] Tentative leases-reclaim command

[3978] spelling

[3978] spelling

[3978] commands-list -> list-commands

[master] Added ChangeLog entry for #3968.

[master] Merge branch 'trac3968'

[master] Merge branch 'master' of ssh://git.kea.isc.org/git/kea

[master] Removed extra data_source_unittest.cc file

[master] Compilation fix.

[master] Fixed bare make distcheck

[master] Fixed Makefile.am

[master] Updated git hash

[master] Removed remaining references to system_messages.py

[master] Finished merge of trac3516 (trac3516)

[3968] Updated PostgreSQL schema per review comments.

[3968] Added ASC sorting for indexes by expiration.

[3968] New constraints added to the upgrade scripts and tests.

Also, updated the lease_hwaddr_source table with missing
entries from the lease.cc.

[3968] Merge branch 'master' into trac3968

[3968] Added additional constraints to mysql creation script.

[4059] Added new cases to selectSubnetRelayLinkaddr unit test

[master] Added Changelog entry for #4075.

[master] Merge branch 'trac4075'

[4058] Added an initResponse unit test

[4058] Moved client-id option copy

[3516] Added some comments in processFile() for loop

[3516] Added a cap to DictionaryType

[master] Unit-test fixes after trac3987 merge.

[master] ChangeLog updated after trac3986 merge.

[master] Merge branch 'trac3987' (lease6_decline hook)

[3987] Changes after review:

 - comments, message corrected
 - unit-tests renamed to follow naming convention better

[master] Added ChangeLog entry for #3975.

[master] Merge branch 'trac3975'

[master] ChangeLog updated after #3985 merge.

[3975] Addressed review comments.

[3443] Removed some redundant length checks

Also some refomatting to better conform to Kea style guide and
added some method headers.

[master] Merge branch 'trac3985' (automated declined v6 lease recovery)