]> git.ipfire.org Git - people/ms/libloc.git/blobdiff - src/database.c
database: Free mmapped countries section
[people/ms/libloc.git] / src / database.c
index 9fd7c708d5bad517120709346223c433c08941ad..b92a803d5d3db9a8be49049ee803d7a06f6180e2 100644 (file)
 
 #include <loc/libloc.h>
 #include <loc/as.h>
+#include <loc/as-list.h>
 #include <loc/compat.h>
 #include <loc/country.h>
+#include <loc/country-list.h>
 #include <loc/database.h>
 #include <loc/format.h>
 #include <loc/network.h>
@@ -52,29 +54,32 @@ struct loc_database {
 
        FILE* f;
 
-       unsigned int version;
+       enum loc_database_version version;
        time_t created_at;
        off_t vendor;
        off_t description;
        off_t license;
 
-       char* signature;
-       size_t signature_length;
+       // Signatures
+       char* signature1;
+       size_t signature1_length;
+       char* signature2;
+       size_t signature2_length;
 
        // ASes in the database
-       struct loc_database_as_v0* as_v0;
+       struct loc_database_as_v1* as_v1;
        size_t as_count;
 
        // Network tree
-       struct loc_database_network_node_v0* network_nodes_v0;
+       struct loc_database_network_node_v1* network_nodes_v1;
        size_t network_nodes_count;
 
        // Networks
-       struct loc_database_network_v0* networks_v0;
+       struct loc_database_network_v1* networks_v1;
        size_t networks_count;
 
        // Countries
-       struct loc_database_country_v0* countries_v0;
+       struct loc_database_country_v1* countries_v1;
        size_t countries_count;
 
        struct loc_stringpool* pool;
@@ -96,18 +101,28 @@ struct loc_database_enumerator {
 
        // Search string
        char* string;
-       char country_code[3];
-       uint32_t asn;
+       struct loc_country_list* countries;
+       struct loc_as_list* asns;
        enum loc_network_flags flags;
+       int family;
+
+       // Flatten output?
+       int flatten;
 
        // Index of the AS we are looking at
        unsigned int as_index;
 
+       // Index of the country we are looking at
+       unsigned int country_index;
+
        // Network state
        struct in6_addr network_address;
        struct loc_node_stack network_stack[MAX_STACK_DEPTH];
        int network_stack_depth;
        unsigned int* networks_visited;
+
+       // For subnet search
+       struct loc_network_list* stack;
 };
 
 static int loc_database_read_magic(struct loc_database* db) {
@@ -128,42 +143,41 @@ static int loc_database_read_magic(struct loc_database* db) {
                DEBUG(db->ctx, "Magic value matches\n");
 
                // Parse version
-               db->version = be16toh(magic.version);
-               DEBUG(db->ctx, "Database version is %u\n", db->version);
+               db->version = magic.version;
 
                return 0;
        }
 
-       ERROR(db->ctx, "Database format is not compatible\n");
+       ERROR(db->ctx, "Unrecognized file type\n");
 
        // Return an error
        return 1;
 }
 
-static int loc_database_read_as_section_v0(struct loc_database* db,
-               const struct loc_database_header_v0* header) {
+static int loc_database_read_as_section_v1(struct loc_database* db,
+               const struct loc_database_header_v1* header) {
        off_t as_offset  = be32toh(header->as_offset);
        size_t as_length = be32toh(header->as_length);
 
        DEBUG(db->ctx, "Reading AS section from %jd (%zu bytes)\n", (intmax_t)as_offset, as_length);
 
        if (as_length > 0) {
-               db->as_v0 = mmap(NULL, as_length, PROT_READ,
+               db->as_v1 = mmap(NULL, as_length, PROT_READ,
                        MAP_SHARED, fileno(db->f), as_offset);
 
-               if (db->as_v0 == MAP_FAILED)
+               if (db->as_v1 == MAP_FAILED)
                        return -errno;
        }
 
-       db->as_count = as_length / sizeof(*db->as_v0);
+       db->as_count = as_length / sizeof(*db->as_v1);
 
        INFO(db->ctx, "Read %zu ASes from the database\n", db->as_count);
 
        return 0;
 }
 
-static int loc_database_read_network_nodes_section_v0(struct loc_database* db,
-               const struct loc_database_header_v0* header) {
+static int loc_database_read_network_nodes_section_v1(struct loc_database* db,
+               const struct loc_database_header_v1* header) {
        off_t network_nodes_offset  = be32toh(header->network_tree_offset);
        size_t network_nodes_length = be32toh(header->network_tree_length);
 
@@ -171,22 +185,22 @@ static int loc_database_read_network_nodes_section_v0(struct loc_database* db,
                (intmax_t)network_nodes_offset, network_nodes_length);
 
        if (network_nodes_length > 0) {
-               db->network_nodes_v0 = mmap(NULL, network_nodes_length, PROT_READ,
+               db->network_nodes_v1 = mmap(NULL, network_nodes_length, PROT_READ,
                        MAP_SHARED, fileno(db->f), network_nodes_offset);
 
-               if (db->network_nodes_v0 == MAP_FAILED)
+               if (db->network_nodes_v1 == MAP_FAILED)
                        return -errno;
        }
 
-       db->network_nodes_count = network_nodes_length / sizeof(*db->network_nodes_v0);
+       db->network_nodes_count = network_nodes_length / sizeof(*db->network_nodes_v1);
 
        INFO(db->ctx, "Read %zu network nodes from the database\n", db->network_nodes_count);
 
        return 0;
 }
 
-static int loc_database_read_networks_section_v0(struct loc_database* db,
-               const struct loc_database_header_v0* header) {
+static int loc_database_read_networks_section_v1(struct loc_database* db,
+               const struct loc_database_header_v1* header) {
        off_t networks_offset  = be32toh(header->network_data_offset);
        size_t networks_length = be32toh(header->network_data_length);
 
@@ -194,22 +208,22 @@ static int loc_database_read_networks_section_v0(struct loc_database* db,
                (intmax_t)networks_offset, networks_length);
 
        if (networks_length > 0) {
-               db->networks_v0 = mmap(NULL, networks_length, PROT_READ,
+               db->networks_v1 = mmap(NULL, networks_length, PROT_READ,
                        MAP_SHARED, fileno(db->f), networks_offset);
 
-               if (db->networks_v0 == MAP_FAILED)
+               if (db->networks_v1 == MAP_FAILED)
                        return -errno;
        }
 
-       db->networks_count = networks_length / sizeof(*db->networks_v0);
+       db->networks_count = networks_length / sizeof(*db->networks_v1);
 
        INFO(db->ctx, "Read %zu networks from the database\n", db->networks_count);
 
        return 0;
 }
 
-static int loc_database_read_countries_section_v0(struct loc_database* db,
-               const struct loc_database_header_v0* header) {
+static int loc_database_read_countries_section_v1(struct loc_database* db,
+               const struct loc_database_header_v1* header) {
        off_t countries_offset  = be32toh(header->countries_offset);
        size_t countries_length = be32toh(header->countries_length);
 
@@ -217,14 +231,14 @@ static int loc_database_read_countries_section_v0(struct loc_database* db,
                (intmax_t)countries_offset, countries_length);
 
        if (countries_length > 0) {
-               db->countries_v0 = mmap(NULL, countries_length, PROT_READ,
+               db->countries_v1 = mmap(NULL, countries_length, PROT_READ,
                        MAP_SHARED, fileno(db->f), countries_offset);
 
-               if (db->countries_v0 == MAP_FAILED)
+               if (db->countries_v1 == MAP_FAILED)
                        return -errno;
        }
 
-       db->countries_count = countries_length / sizeof(*db->countries_v0);
+       db->countries_count = countries_length / sizeof(*db->countries_v1);
 
        INFO(db->ctx, "Read %zu countries from the database\n",
                db->countries_count);
@@ -232,8 +246,30 @@ static int loc_database_read_countries_section_v0(struct loc_database* db,
        return 0;
 }
 
-static int loc_database_read_header_v0(struct loc_database* db) {
-       struct loc_database_header_v0 header;
+static int loc_database_read_signature(struct loc_database* db,
+               char** dst, char* src, size_t length) {
+       // Check for a plausible signature length
+       if (length > LOC_SIGNATURE_MAX_LENGTH) {
+               ERROR(db->ctx, "Signature too long: %zu\n", length);
+               return -EINVAL;
+       }
+
+       DEBUG(db->ctx, "Reading signature of %zu bytes\n", length);
+
+       // Allocate space
+       *dst = malloc(length);
+       if (!*dst)
+               return -ENOMEM;
+
+       // Copy payload
+       memcpy(*dst, src, length);
+
+       return 0;
+}
+
+static int loc_database_read_header_v1(struct loc_database* db) {
+       struct loc_database_header_v1 header;
+       int r;
 
        // Read from file
        size_t size = fread(&header, 1, sizeof(header), db->f);
@@ -249,49 +285,50 @@ static int loc_database_read_header_v0(struct loc_database* db) {
        db->description = be32toh(header.description);
        db->license     = be32toh(header.license);
 
-       // Read signature
-       db->signature_length = be32toh(header.signature_length);
-       if (db->signature_length) {
-               // Check for a plausible signature length
-               if (db->signature_length > LOC_SIGNATURE_MAX_LENGTH) {
-                       ERROR(db->ctx, "Signature too long: %ld\n", db->signature_length);
-                       return -EINVAL;
-               }
+       db->signature1_length = be16toh(header.signature1_length);
+       db->signature2_length = be16toh(header.signature2_length);
 
-               DEBUG(db->ctx, "Reading signature of %ld bytes\n",
-                       db->signature_length);
+       // Read signatures
+       if (db->signature1_length) {
+               r = loc_database_read_signature(db, &db->signature1,
+                       header.signature1, db->signature1_length);
+               if (r)
+                       return r;
+       }
 
-               db->signature = malloc(db->signature_length);
-               for (unsigned int i = 0; i < db->signature_length; i++)
-                       db->signature[i] = header.signature[i];
+       if (db->signature2_length) {
+               r = loc_database_read_signature(db, &db->signature2,
+                       header.signature2, db->signature2_length);
+               if (r)
+                       return r;
        }
 
        // Open pool
        off_t pool_offset  = be32toh(header.pool_offset);
        size_t pool_length = be32toh(header.pool_length);
 
-       int r = loc_stringpool_open(db->ctx, &db->pool,
+       r = loc_stringpool_open(db->ctx, &db->pool,
                db->f, pool_length, pool_offset);
        if (r)
                return r;
 
        // AS section
-       r = loc_database_read_as_section_v0(db, &header);
+       r = loc_database_read_as_section_v1(db, &header);
        if (r)
                return r;
 
        // Network Nodes
-       r = loc_database_read_network_nodes_section_v0(db, &header);
+       r = loc_database_read_network_nodes_section_v1(db, &header);
        if (r)
                return r;
 
        // Networks
-       r = loc_database_read_networks_section_v0(db, &header);
+       r = loc_database_read_networks_section_v1(db, &header);
        if (r)
                return r;
 
        // countries
-       r = loc_database_read_countries_section_v0(db, &header);
+       r = loc_database_read_countries_section_v1(db, &header);
        if (r)
                return r;
 
@@ -299,9 +336,11 @@ static int loc_database_read_header_v0(struct loc_database* db) {
 }
 
 static int loc_database_read_header(struct loc_database* db) {
+       DEBUG(db->ctx, "Database version is %u\n", db->version);
+
        switch (db->version) {
-               case 0:
-                       return loc_database_read_header_v0(db);
+               case LOC_DATABASE_VERSION_1:
+                       return loc_database_read_header_v1(db);
 
                default:
                        ERROR(db->ctx, "Incompatible database version: %u\n", db->version);
@@ -387,31 +426,41 @@ static void loc_database_free(struct loc_database* db) {
        DEBUG(db->ctx, "Releasing database %p\n", db);
 
        // Removing all ASes
-       if (db->as_v0) {
-               r = munmap(db->as_v0, db->as_count * sizeof(*db->as_v0));
+       if (db->as_v1) {
+               r = munmap(db->as_v1, db->as_count * sizeof(*db->as_v1));
                if (r)
                        ERROR(db->ctx, "Could not unmap AS section: %s\n", strerror(errno));
        }
 
        // Remove mapped network sections
-       if (db->networks_v0) {
-               r = munmap(db->networks_v0, db->networks_count * sizeof(*db->networks_v0));
+       if (db->networks_v1) {
+               r = munmap(db->networks_v1, db->networks_count * sizeof(*db->networks_v1));
                if (r)
                        ERROR(db->ctx, "Could not unmap networks section: %s\n", strerror(errno));
        }
 
        // Remove mapped network nodes section
-       if (db->network_nodes_v0) {
-               r = munmap(db->network_nodes_v0, db->network_nodes_count * sizeof(*db->network_nodes_v0));
+       if (db->network_nodes_v1) {
+               r = munmap(db->network_nodes_v1, db->network_nodes_count * sizeof(*db->network_nodes_v1));
                if (r)
                        ERROR(db->ctx, "Could not unmap network nodes section: %s\n", strerror(errno));
        }
 
-       loc_stringpool_unref(db->pool);
+       // Remove mapped countries section
+       if (db->countries_v1) {
+               r = munmap(db->countries_v1, db->countries_count * sizeof(*db->countries_v1));
+               if (r)
+                       ERROR(db->ctx, "Could not unmap countries section: %s\n", strerror(errno));
+       }
+
+       if (db->pool)
+               loc_stringpool_unref(db->pool);
 
        // Free signature
-       if (db->signature)
-               free(db->signature);
+       if (db->signature1)
+               free(db->signature1);
+       if (db->signature2)
+               free(db->signature2);
 
        // Close database file
        if (db->f)
@@ -431,11 +480,14 @@ LOC_EXPORT struct loc_database* loc_database_unref(struct loc_database* db) {
 
 LOC_EXPORT int loc_database_verify(struct loc_database* db, FILE* f) {
        // Cannot do this when no signature is available
-       if (!db->signature) {
+       if (!db->signature1 && !db->signature2) {
                DEBUG(db->ctx, "No signature available to verify\n");
                return 1;
        }
 
+       // Start the stopwatch
+       clock_t start = clock();
+
        // Load public key
        EVP_PKEY* pkey = PEM_read_PUBKEY(f, NULL, NULL, NULL);
        if (!pkey) {
@@ -450,7 +502,14 @@ LOC_EXPORT int loc_database_verify(struct loc_database* db, FILE* f) {
        EVP_MD_CTX* mdctx = EVP_MD_CTX_new();
 
        // Initialise hash function
-       EVP_DigestVerifyInit(mdctx, NULL, NULL, NULL, pkey);
+       r = EVP_DigestVerifyInit(mdctx, NULL, NULL, NULL, pkey);
+       if (r != 1) {
+               ERROR(db->ctx, "Error initializing signature validation: %s\n",
+                       ERR_error_string(ERR_get_error(), NULL));
+               r = 1;
+
+               goto CLEANUP;
+       }
 
        // Reset file to start
        rewind(db->f);
@@ -459,23 +518,47 @@ LOC_EXPORT int loc_database_verify(struct loc_database* db, FILE* f) {
        struct loc_database_magic magic;
        fread(&magic, 1, sizeof(magic), db->f);
 
+       hexdump(db->ctx, &magic, sizeof(magic));
+
        // Feed magic into the hash
-       EVP_DigestVerifyUpdate(mdctx, &magic, sizeof(magic));
+       r = EVP_DigestVerifyUpdate(mdctx, &magic, sizeof(magic));
+       if (r != 1) {
+               ERROR(db->ctx, "%s\n", ERR_error_string(ERR_get_error(), NULL));
+               r = 1;
+
+               goto CLEANUP;
+       }
 
        // Read the header
-       struct loc_database_header_v0 header_v0;
+       struct loc_database_header_v1 header_v1;
+       size_t bytes_read;
 
        switch (db->version) {
-               case 0:
-                       fread(&header_v0, 1, sizeof(header_v0), db->f);
+               case LOC_DATABASE_VERSION_1:
+                       bytes_read = fread(&header_v1, 1, sizeof(header_v1), db->f);
+                       if (bytes_read < sizeof(header_v1)) {
+                               ERROR(db->ctx, "Could not read header\n");
+                               r = 1;
 
-                       // Clear signature
-                       for (unsigned int i = 0; i < sizeof(header_v0.signature); i++) {
-                               header_v0.signature[i] = '\0';
+                               goto CLEANUP;
                        }
 
+                       // Clear signatures
+                       memset(header_v1.signature1, '\0', sizeof(header_v1.signature1));
+                       header_v1.signature1_length = 0;
+                       memset(header_v1.signature2, '\0', sizeof(header_v1.signature2));
+                       header_v1.signature2_length = 0;
+
+                       hexdump(db->ctx, &header_v1, sizeof(header_v1));
+
                        // Feed header into the hash
-                       EVP_DigestVerifyUpdate(mdctx, &header_v0, sizeof(header_v0));
+                       r = EVP_DigestVerifyUpdate(mdctx, &header_v1, sizeof(header_v1));
+                       if (r != 1) {
+                               ERROR(db->ctx, "%s\n", ERR_error_string(ERR_get_error(), NULL));
+                               r = 1;
+
+                               goto CLEANUP;
+                       }
                        break;
 
                default:
@@ -489,24 +572,63 @@ LOC_EXPORT int loc_database_verify(struct loc_database* db, FILE* f) {
        char buffer[64 * 1024];
 
        while (!feof(db->f)) {
-               size_t bytes_read = fread(buffer, 1, sizeof(buffer), db->f);
+               bytes_read = fread(buffer, 1, sizeof(buffer), db->f);
 
-               EVP_DigestVerifyUpdate(mdctx, buffer, bytes_read);
+               hexdump(db->ctx, buffer, bytes_read);
+
+               r = EVP_DigestVerifyUpdate(mdctx, buffer, bytes_read);
+               if (r != 1) {
+                       ERROR(db->ctx, "%s\n", ERR_error_string(ERR_get_error(), NULL));
+                       r = 1;
+
+                       goto CLEANUP;
+               }
        }
 
-       // Finish
-       r = EVP_DigestVerifyFinal(mdctx,
-               (unsigned char*)db->signature, db->signature_length);
+       // Check first signature
+       if (db->signature1) {
+               hexdump(db->ctx, db->signature1, db->signature1_length);
+
+               r = EVP_DigestVerifyFinal(mdctx,
+                       (unsigned char*)db->signature1, db->signature1_length);
+
+               if (r == 0) {
+                       DEBUG(db->ctx, "The first signature is invalid\n");
+                       r = 1;
+               } else if (r == 1) {
+                       DEBUG(db->ctx, "The first signature is valid\n");
+                       r = 0;
+               } else {
+                       ERROR(db->ctx, "Error verifying the first signature: %s\n",
+                               ERR_error_string(ERR_get_error(), NULL));
+                       r = -1;
+               }
+       }
 
-       if (r == 0) {
-               DEBUG(db->ctx, "The signature is valid\n");
-       } else if (r == 1) {
-               DEBUG(db->ctx, "The signature is invalid\n");
-       } else {
-               ERROR(db->ctx, "Error verifying the signature: %s\n",
-                       ERR_error_string(ERR_get_error(), NULL));
+       // Check second signature only when the first one was invalid
+       if (r && db->signature2) {
+               hexdump(db->ctx, db->signature2, db->signature2_length);
+
+               r = EVP_DigestVerifyFinal(mdctx,
+                       (unsigned char*)db->signature2, db->signature2_length);
+
+               if (r == 0) {
+                       DEBUG(db->ctx, "The second signature is invalid\n");
+                       r = 1;
+               } else if (r == 1) {
+                       DEBUG(db->ctx, "The second signature is valid\n");
+                       r = 0;
+               } else {
+                       ERROR(db->ctx, "Error verifying the second signature: %s\n",
+                               ERR_error_string(ERR_get_error(), NULL));
+                       r = -1;
+               }
        }
 
+       clock_t end = clock();
+       INFO(db->ctx, "Signature checked in %.4fms\n",
+               (double)(end - start) / CLOCKS_PER_SEC * 1000);
+
 CLEANUP:
        // Cleanup
        EVP_MD_CTX_free(mdctx);
@@ -544,8 +666,8 @@ static int loc_database_fetch_as(struct loc_database* db, struct loc_as** as, of
 
        int r;
        switch (db->version) {
-               case 0:
-                       r = loc_as_new_from_database_v0(db->ctx, db->pool, as, db->as_v0 + pos);
+               case LOC_DATABASE_VERSION_1:
+                       r = loc_as_new_from_database_v1(db->ctx, db->pool, as, db->as_v1 + pos);
                        break;
 
                default:
@@ -564,8 +686,10 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
        off_t lo = 0;
        off_t hi = db->as_count - 1;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        while (lo <= hi) {
                off_t i = (lo + hi) / 2;
@@ -578,11 +702,13 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
                // Check if this is a match
                uint32_t as_number = loc_as_get_number(*as);
                if (as_number == number) {
+#ifdef ENABLE_DEBUG
                        clock_t end = clock();
 
                        // Log how fast this has been
                        DEBUG(db->ctx, "Found AS%u in %.4fms\n", as_number,
                                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
                        return 0;
                }
@@ -617,34 +743,36 @@ static int loc_database_fetch_network(struct loc_database* db, struct loc_networ
 
        int r;
        switch (db->version) {
-               case 0:
-                       r = loc_network_new_from_database_v0(db->ctx, network,
-                               address, prefix, db->networks_v0 + pos);
+               case LOC_DATABASE_VERSION_1:
+                       r = loc_network_new_from_database_v1(db->ctx, network,
+                               address, prefix, db->networks_v1 + pos);
                        break;
 
                default:
                        return -1;
        }
 
+#ifdef ENABLE_DEBUG
        if (r == 0) {
                char* string = loc_network_str(*network);
                DEBUG(db->ctx, "Got network %s\n", string);
                free(string);
        }
+#endif
 
        return r;
 }
 
-static int __loc_database_node_is_leaf(const struct loc_database_network_node_v0* node) {
+static int __loc_database_node_is_leaf(const struct loc_database_network_node_v1* node) {
        return (node->network != htobe32(0xffffffff));
 }
 
 static int __loc_database_lookup_handle_leaf(struct loc_database* db, const struct in6_addr* address,
                struct loc_network** network, struct in6_addr* network_address, unsigned int prefix,
-               const struct loc_database_network_node_v0* node) {
+               const struct loc_database_network_node_v1* node) {
        off_t network_index = be32toh(node->network);
 
-       DEBUG(db->ctx, "Handling leaf node at %jd (%jd)\n", (intmax_t)(node - db->network_nodes_v0), (intmax_t)network_index);
+       DEBUG(db->ctx, "Handling leaf node at %jd (%jd)\n", (intmax_t)(node - db->network_nodes_v1), (intmax_t)network_index);
 
        // Fetch the network
        int r = loc_database_fetch_network(db, network,
@@ -655,8 +783,7 @@ static int __loc_database_lookup_handle_leaf(struct loc_database* db, const stru
        }
 
        // Check if the given IP address is inside the network
-       r = loc_network_match_address(*network, address);
-       if (r) {
+       if (!loc_network_match_address(*network, address)) {
                DEBUG(db->ctx, "Searched address is not part of the network\n");
 
                loc_network_unref(*network);
@@ -671,7 +798,7 @@ static int __loc_database_lookup_handle_leaf(struct loc_database* db, const stru
 // Searches for an exact match along the path
 static int __loc_database_lookup(struct loc_database* db, const struct in6_addr* address,
                struct loc_network** network, struct in6_addr* network_address,
-               const struct loc_database_network_node_v0* node, unsigned int level) {
+               const struct loc_database_network_node_v1* node, unsigned int level) {
        int r;
        off_t node_index;
 
@@ -693,7 +820,7 @@ static int __loc_database_lookup(struct loc_database* db, const struct in6_addr*
 
                // Move on to the next node
                r = __loc_database_lookup(db, address, network, network_address,
-                       db->network_nodes_v0 + node_index, level + 1);
+                       db->network_nodes_v1 + node_index, level + 1);
 
                // End here if a result was found
                if (r == 0)
@@ -725,17 +852,21 @@ LOC_EXPORT int loc_database_lookup(struct loc_database* db,
 
        *network = NULL;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        int r = __loc_database_lookup(db, address, network, &network_address,
-               db->network_nodes_v0, 0);
+               db->network_nodes_v1, 0);
 
+#ifdef ENABLE_DEBUG
        clock_t end = clock();
 
        // Log how fast this has been
        DEBUG(db->ctx, "Executed network search in %.4fms\n",
                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
        return r;
 }
@@ -761,8 +892,8 @@ static int loc_database_fetch_country(struct loc_database* db,
 
        int r;
        switch (db->version) {
-               case 0:
-                       r = loc_country_new_from_database_v0(db->ctx, db->pool, country, db->countries_v0 + pos);
+               case LOC_DATABASE_VERSION_1:
+                       r = loc_country_new_from_database_v1(db->ctx, db->pool, country, db->countries_v1 + pos);
                        break;
 
                default:
@@ -782,8 +913,10 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
        off_t lo = 0;
        off_t hi = db->countries_count - 1;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        while (lo <= hi) {
                off_t i = (lo + hi) / 2;
@@ -798,11 +931,13 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
                int result = strcmp(code, cc);
 
                if (result == 0) {
+#ifdef ENABLE_DEBUG
                        clock_t end = clock();
 
                        // Log how fast this has been
                        DEBUG(db->ctx, "Found country %s in %.4fms\n", cc,
                                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
                        return 0;
                }
@@ -825,8 +960,34 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
 
 // Enumerator
 
+static void loc_database_enumerator_free(struct loc_database_enumerator* enumerator) {
+       DEBUG(enumerator->ctx, "Releasing database enumerator %p\n", enumerator);
+
+       // Release all references
+       loc_database_unref(enumerator->db);
+       loc_unref(enumerator->ctx);
+
+       if (enumerator->string)
+               free(enumerator->string);
+
+       if (enumerator->countries)
+               loc_country_list_unref(enumerator->countries);
+
+       if (enumerator->asns)
+               loc_as_list_unref(enumerator->asns);
+
+       // Free network search
+       free(enumerator->networks_visited);
+
+       // Free subnet stack
+       if (enumerator->stack)
+               loc_network_list_unref(enumerator->stack);
+
+       free(enumerator);
+}
+
 LOC_EXPORT int loc_database_enumerator_new(struct loc_database_enumerator** enumerator,
-               struct loc_database* db, enum loc_database_enumerator_mode mode) {
+               struct loc_database* db, enum loc_database_enumerator_mode mode, int flags) {
        struct loc_database_enumerator* e = calloc(1, sizeof(*e));
        if (!e)
                return -ENOMEM;
@@ -837,11 +998,20 @@ LOC_EXPORT int loc_database_enumerator_new(struct loc_database_enumerator** enum
        e->mode = mode;
        e->refcount = 1;
 
+       // Flatten output?
+       e->flatten = (flags & LOC_DB_ENUMERATOR_FLAGS_FLATTEN);
+
        // Initialise graph search
-       //e->network_stack[++e->network_stack_depth] = 0;
        e->network_stack_depth = 1;
        e->networks_visited = calloc(db->network_nodes_count, sizeof(*e->networks_visited));
 
+       // Allocate stack
+       int r = loc_network_list_new(e->ctx, &e->stack);
+       if (r) {
+               loc_database_enumerator_free(e);
+               return r;
+       }
+
        DEBUG(e->ctx, "Database enumerator object allocated at %p\n", e);
 
        *enumerator = e;
@@ -854,22 +1024,6 @@ LOC_EXPORT struct loc_database_enumerator* loc_database_enumerator_ref(struct lo
        return enumerator;
 }
 
-static void loc_database_enumerator_free(struct loc_database_enumerator* enumerator) {
-       DEBUG(enumerator->ctx, "Releasing database enumerator %p\n", enumerator);
-
-       // Release all references
-       loc_database_unref(enumerator->db);
-       loc_unref(enumerator->ctx);
-
-       if (enumerator->string)
-               free(enumerator->string);
-
-       // Free network search
-       free(enumerator->networks_visited);
-
-       free(enumerator);
-}
-
 LOC_EXPORT struct loc_database_enumerator* loc_database_enumerator_unref(struct loc_database_enumerator* enumerator) {
        if (!enumerator)
                return NULL;
@@ -891,40 +1045,38 @@ LOC_EXPORT int loc_database_enumerator_set_string(struct loc_database_enumerator
        return 0;
 }
 
-LOC_EXPORT int loc_database_enumerator_set_country_code(struct loc_database_enumerator* enumerator, const char* country_code) {
-       // Set empty country code
-       if (!country_code || !*country_code) {
-               *enumerator->country_code = '\0';
-               return 0;
-       }
+LOC_EXPORT struct loc_country_list* loc_database_enumerator_get_countries(
+               struct loc_database_enumerator* enumerator) {
+       if (!enumerator->countries)
+               return NULL;
 
-       // Treat A1, A2, A3 as special country codes,
-       // but perform search for flags instead
-       if (strcmp(country_code, "A1") == 0) {
-               return loc_database_enumerator_set_flag(enumerator,
-                       LOC_NETWORK_FLAG_ANONYMOUS_PROXY);
-       } else if (strcmp(country_code, "A2") == 0) {
-               return loc_database_enumerator_set_flag(enumerator,
-                       LOC_NETWORK_FLAG_SATELLITE_PROVIDER);
-       } else if (strcmp(country_code, "A3") == 0) {
-               return loc_database_enumerator_set_flag(enumerator,
-                       LOC_NETWORK_FLAG_ANYCAST);
-       }
+       return loc_country_list_ref(enumerator->countries);
+}
 
-       // Country codes must be two characters
-       if (!loc_country_code_is_valid(country_code))
-               return -EINVAL;
+LOC_EXPORT int loc_database_enumerator_set_countries(
+               struct loc_database_enumerator* enumerator, struct loc_country_list* countries) {
+       if (enumerator->countries)
+               loc_country_list_unref(enumerator->countries);
 
-       for (unsigned int i = 0; i < 3; i++) {
-               enumerator->country_code[i] = country_code[i];
-       }
+       enumerator->countries = loc_country_list_ref(countries);
 
        return 0;
 }
 
-LOC_EXPORT int loc_database_enumerator_set_asn(
-               struct loc_database_enumerator* enumerator, unsigned int asn) {
-       enumerator->asn = asn;
+LOC_EXPORT struct loc_as_list* loc_database_enumerator_get_asns(
+               struct loc_database_enumerator* enumerator) {
+       if (!enumerator->asns)
+               return NULL;
+
+       return loc_as_list_ref(enumerator->asns);
+}
+
+LOC_EXPORT int loc_database_enumerator_set_asns(
+               struct loc_database_enumerator* enumerator, struct loc_as_list* asns) {
+       if (enumerator->asns)
+               loc_as_list_unref(enumerator->asns);
+
+       enumerator->asns = loc_as_list_ref(asns);
 
        return 0;
 }
@@ -936,6 +1088,13 @@ LOC_EXPORT int loc_database_enumerator_set_flag(
        return 0;
 }
 
+LOC_EXPORT int loc_database_enumerator_set_family(
+               struct loc_database_enumerator* enumerator, int family) {
+       enumerator->family = family;
+
+       return 0;
+}
+
 LOC_EXPORT int loc_database_enumerator_next_as(
                struct loc_database_enumerator* enumerator, struct loc_as** as) {
        *as = NULL;
@@ -996,16 +1155,64 @@ static int loc_database_enumerator_stack_push_node(
        return 0;
 }
 
-LOC_EXPORT int loc_database_enumerator_next_network(
-               struct loc_database_enumerator* enumerator, struct loc_network** network) {
-       // Reset network
-       *network = NULL;
+static int loc_database_enumerator_filter_network(
+               struct loc_database_enumerator* enumerator, struct loc_network* network) {
+       // Skip if the family does not match
+       if (enumerator->family && loc_network_address_family(network) != enumerator->family) {
+               DEBUG(enumerator->ctx, "Filtered network %p because of family not matching\n", network);
+               return 1;
+       }
 
-       // Do not do anything if not in network mode
-       if (enumerator->mode != LOC_DB_ENUMERATE_NETWORKS)
-               return 0;
+       // Skip if the country code does not match
+       if (enumerator->countries && !loc_country_list_empty(enumerator->countries)) {
+               const char* country_code = loc_network_get_country_code(network);
 
-       int r;
+               if (!loc_country_list_contains_code(enumerator->countries, country_code)) {
+                       DEBUG(enumerator->ctx, "Filtered network %p because of country code not matching\n", network);
+                       return 1;
+               }
+       }
+
+       // Skip if the ASN does not match
+       if (enumerator->asns && !loc_as_list_empty(enumerator->asns)) {
+               uint32_t asn = loc_network_get_asn(network);
+
+               if (!loc_as_list_contains_number(enumerator->asns, asn)) {
+                       DEBUG(enumerator->ctx, "Filtered network %p because of ASN not matching\n", network);
+                       return 1;
+               }
+       }
+
+       // Skip if flags do not match
+       if (enumerator->flags && !loc_network_match_flag(network, enumerator->flags)) {
+               DEBUG(enumerator->ctx, "Filtered network %p because of flags not matching\n", network);
+               return 1;
+       }
+
+       // Do not filter
+       return 0;
+}
+
+static int __loc_database_enumerator_next_network(
+               struct loc_database_enumerator* enumerator, struct loc_network** network, int filter) {
+       // Return top element from the stack
+       while (1) {
+               *network = loc_network_list_pop_first(enumerator->stack);
+
+               // Stack is empty
+               if (!*network)
+                       break;
+
+               // Throw away any networks by filter
+               if (filter && loc_database_enumerator_filter_network(enumerator, *network)) {
+                       loc_network_unref(*network);
+                       *network = NULL;
+                       continue;
+               }
+
+               // Return result
+               return 0;
+       }
 
        DEBUG(enumerator->ctx, "Called with a stack of %u nodes\n",
                enumerator->network_stack_depth);
@@ -1031,11 +1238,11 @@ LOC_EXPORT int loc_database_enumerator_next_network(
                enumerator->networks_visited[node->offset]++;
 
                // Pop node from top of the stack
-               struct loc_database_network_node_v0* n =
-                       enumerator->db->network_nodes_v0 + node->offset;
+               struct loc_database_network_node_v1* n =
+                       enumerator->db->network_nodes_v1 + node->offset;
 
                // Add edges to stack
-               r = loc_database_enumerator_stack_push_node(enumerator,
+               int r = loc_database_enumerator_stack_push_node(enumerator,
                        be32toh(n->one), 1, node->depth + 1);
 
                if (r)
@@ -1061,42 +1268,167 @@ LOC_EXPORT int loc_database_enumerator_next_network(
                        if (r)
                                return r;
 
-                       // Check if we are interested in this network
+                       // Return all networks when the filter is disabled
+                       if (!filter)
+                               return 0;
 
-                       // Skip if the country code does not match
-                       if (*enumerator->country_code &&
-                                       !loc_network_match_country_code(*network, enumerator->country_code)) {
+                       // Check if we are interested in this network
+                       if (loc_database_enumerator_filter_network(enumerator, *network)) {
                                loc_network_unref(*network);
                                *network = NULL;
 
                                continue;
                        }
 
-                       // Skip if the ASN does not match
-                       if (enumerator->asn &&
-                                       !loc_network_match_asn(*network, enumerator->asn)) {
-                               loc_network_unref(*network);
-                               *network = NULL;
+                       return 0;
+               }
+       }
 
-                               continue;
-                       }
+       // Reached the end of the search
+       return 0;
+}
 
-                       // Skip if flags do not match
-                       if (enumerator->flags &&
-                                       !loc_network_match_flag(*network, enumerator->flags)) {
-                               loc_network_unref(*network);
-                               *network = NULL;
+static int __loc_database_enumerator_next_network_flattened(
+               struct loc_database_enumerator* enumerator, struct loc_network** network) {
+       // Fetch the next network
+       int r = __loc_database_enumerator_next_network(enumerator, network, 1);
+       if (r)
+               return r;
+
+       // End if we could not read another network
+       if (!*network)
+               return 0;
+
+       struct loc_network* subnet = NULL;
+       struct loc_network_list* subnets;
+
+       // Create a list with all subnets
+       r = loc_network_list_new(enumerator->ctx, &subnets);
+       if (r)
+               return r;
+
+       // Search all subnets from the database
+       while (1) {
+               // Fetch the next network in line
+               r = __loc_database_enumerator_next_network(enumerator, &subnet, 0);
+               if (r) {
+                       loc_network_unref(subnet);
+                       loc_network_list_unref(subnets);
+
+                       return r;
+               }
+
+               // End if we did not receive another subnet
+               if (!subnet)
+                       break;
+
+               // Collect all subnets in a list
+               if (loc_network_is_subnet(*network, subnet)) {
+                       r = loc_network_list_push(subnets, subnet);
+                       if (r) {
+                               loc_network_unref(subnet);
+                               loc_network_list_unref(subnets);
+
+                               return r;
                        }
 
-                       return 0;
+                       loc_network_unref(subnet);
+                       continue;
                }
+
+               // If this is not a subnet, we push it back onto the stack and break
+               r = loc_network_list_push(enumerator->stack, subnet);
+               if (r) {
+                       loc_network_unref(subnet);
+                       loc_network_list_unref(subnets);
+
+                       return r;
+               }
+
+               loc_network_unref(subnet);
+               break;
        }
 
-       // Reached the end of the search
+       DEBUG(enumerator->ctx, "Found %zu subnet(s)\n", loc_network_list_size(subnets));
+
+       // We can abort here if the network has no subnets
+       if (loc_network_list_empty(subnets)) {
+               loc_network_list_unref(subnets);
 
-       // Mark all nodes as non-visited
-       for (unsigned int i = 0; i < enumerator->db->network_nodes_count; i++)
-               enumerator->networks_visited[i] = 0;
+               return 0;
+       }
+
+       // If the network has any subnets, we will break it into smaller parts
+       // without the subnets.
+       struct loc_network_list* excluded = loc_network_exclude_list(*network, subnets);
+       if (!excluded) {
+               loc_network_list_unref(subnets);
+               return -1;
+       }
+
+       // Merge subnets onto the stack
+       r = loc_network_list_merge(enumerator->stack, subnets);
+       if (r) {
+               loc_network_list_unref(subnets);
+               loc_network_list_unref(excluded);
+
+               return r;
+       }
+
+       // Push excluded list onto the stack
+       r = loc_network_list_merge(enumerator->stack, excluded);
+       if (r) {
+               loc_network_list_unref(subnets);
+               loc_network_list_unref(excluded);
+
+               return r;
+       }
 
+       loc_network_list_unref(subnets);
+       loc_network_list_unref(excluded);
+
+       // Drop the network and restart the whole process again to pick the next network
+       loc_network_unref(*network);
+
+       return __loc_database_enumerator_next_network_flattened(enumerator, network);
+}
+
+LOC_EXPORT int loc_database_enumerator_next_network(
+               struct loc_database_enumerator* enumerator, struct loc_network** network) {
+       // Do not do anything if not in network mode
+       if (enumerator->mode != LOC_DB_ENUMERATE_NETWORKS)
+               return 0;
+
+       // Flatten output?
+       if (enumerator->flatten)
+               return __loc_database_enumerator_next_network_flattened(enumerator, network);
+
+       return __loc_database_enumerator_next_network(enumerator, network, 1);
+}
+
+LOC_EXPORT int loc_database_enumerator_next_country(
+               struct loc_database_enumerator* enumerator, struct loc_country** country) {
+       *country = NULL;
+
+       // Do not do anything if not in country mode
+       if (enumerator->mode != LOC_DB_ENUMERATE_COUNTRIES)
+               return 0;
+
+       struct loc_database* db = enumerator->db;
+
+       while (enumerator->country_index < db->countries_count) {
+               // Fetch the next country
+               int r = loc_database_fetch_country(db, country, enumerator->country_index++);
+               if (r)
+                       return r;
+
+               // We do not filter here, so it always is a match
+               return 0;
+       }
+
+       // Reset the index
+       enumerator->country_index = 0;
+
+       // We have searched through all of them
        return 0;
 }