]> git.ipfire.org Git - people/ms/libloc.git/blobdiff - src/database.c
database: Unmap all mapped sections when freeing database
[people/ms/libloc.git] / src / database.c
index 07cb66c5f68a937b63a976bdc1fb9bf274024dca..73d23945203b0d2d2b4168f7ecf7903b410d6a0b 100644 (file)
        Lesser General Public License for more details.
 */
 
+#include <arpa/inet.h>
 #include <endian.h>
 #include <errno.h>
+#include <netinet/in.h>
 #include <stddef.h>
 #include <stdint.h>
 #include <stdio.h>
@@ -30,6 +32,7 @@
 #include <loc/as.h>
 #include <loc/database.h>
 #include <loc/format.h>
+#include <loc/network.h>
 #include <loc/private.h>
 #include <loc/stringpool.h>
 
@@ -46,6 +49,14 @@ struct loc_database {
        struct loc_database_as_v0* as_v0;
        size_t as_count;
 
+       // Network tree
+       struct loc_database_network_node_v0* network_nodes_v0;
+       size_t network_nodes_count;
+
+       // Networks
+       struct loc_database_network_v0* networks_v0;
+       size_t networks_count;
+
        struct loc_stringpool* pool;
 };
 
@@ -80,7 +91,10 @@ static int loc_database_read_magic(struct loc_database* db, FILE* f) {
 }
 
 static int loc_database_read_as_section_v0(struct loc_database* db,
-               FILE* f, off_t as_offset, size_t as_length) {
+               FILE* f, const struct loc_database_header_v0* header) {
+       off_t as_offset  = be32toh(header->as_offset);
+       size_t as_length = be32toh(header->as_length);
+
        DEBUG(db->ctx, "Reading AS section from %jd (%zu bytes)\n", as_offset, as_length);
 
        if (as_length > 0) {
@@ -98,6 +112,52 @@ static int loc_database_read_as_section_v0(struct loc_database* db,
        return 0;
 }
 
+static int loc_database_read_network_nodes_section_v0(struct loc_database* db,
+               FILE* f, const struct loc_database_header_v0* header) {
+       off_t network_nodes_offset  = be32toh(header->network_tree_offset);
+       size_t network_nodes_length = be32toh(header->network_tree_length);
+
+       DEBUG(db->ctx, "Reading network nodes section from %jd (%zu bytes)\n",
+               network_nodes_offset, network_nodes_length);
+
+       if (network_nodes_length > 0) {
+               db->network_nodes_v0 = mmap(NULL, network_nodes_length, PROT_READ,
+                       MAP_SHARED, fileno(f), network_nodes_offset);
+
+               if (db->network_nodes_v0 == MAP_FAILED)
+                       return -errno;
+       }
+
+       db->network_nodes_count = network_nodes_length / sizeof(*db->network_nodes_v0);
+
+       INFO(db->ctx, "Read %zu network nodes from the database\n", db->network_nodes_count);
+
+       return 0;
+}
+
+static int loc_database_read_networks_section_v0(struct loc_database* db,
+               FILE* f, const struct loc_database_header_v0* header) {
+       off_t networks_offset  = be32toh(header->network_data_offset);
+       size_t networks_length = be32toh(header->network_data_length);
+
+       DEBUG(db->ctx, "Reading networks section from %jd (%zu bytes)\n",
+               networks_offset, networks_length);
+
+       if (networks_length > 0) {
+               db->networks_v0 = mmap(NULL, networks_length, PROT_READ,
+                       MAP_SHARED, fileno(f), networks_offset);
+
+               if (db->networks_v0 == MAP_FAILED)
+                       return -errno;
+       }
+
+       db->networks_count = networks_length / sizeof(*db->networks_v0);
+
+       INFO(db->ctx, "Read %zu networks from the database\n", db->networks_count);
+
+       return 0;
+}
+
 static int loc_database_read_header_v0(struct loc_database* db, FILE* f) {
        struct loc_database_header_v0 header;
 
@@ -124,10 +184,17 @@ static int loc_database_read_header_v0(struct loc_database* db, FILE* f) {
                return r;
 
        // AS section
-       off_t as_offset  = be32toh(header.as_offset);
-       size_t as_length = be32toh(header.as_length);
+       r = loc_database_read_as_section_v0(db, f, &header);
+       if (r)
+               return r;
 
-       r = loc_database_read_as_section_v0(db, f, as_offset, as_length);
+       // Network Nodes
+       r = loc_database_read_network_nodes_section_v0(db, f, &header);
+       if (r)
+               return r;
+
+       // Networks
+       r = loc_database_read_networks_section_v0(db, f, &header);
        if (r)
                return r;
 
@@ -199,15 +266,31 @@ LOC_EXPORT struct loc_database* loc_database_ref(struct loc_database* db) {
 }
 
 static void loc_database_free(struct loc_database* db) {
+       int r;
+
        DEBUG(db->ctx, "Releasing database %p\n", db);
 
        // Removing all ASes
        if (db->as_v0) {
-               int r = munmap(db->as_v0, db->as_count * sizeof(*db->as_v0));
+               r = munmap(db->as_v0, db->as_count * sizeof(*db->as_v0));
                if (r)
                        ERROR(db->ctx, "Could not unmap AS section: %s\n", strerror(errno));
        }
 
+       // Remove mapped network sections
+       if (db->networks_v0) {
+               r = munmap(db->networks_v0, db->networks_count * sizeof(*db->networks_v0));
+               if (r)
+                       ERROR(db->ctx, "Could not unmap networks section: %s\n", strerror(errno));
+       }
+
+       // Remove mapped network nodes section
+       if (db->network_nodes_v0) {
+               r = munmap(db->network_nodes_v0, db->network_nodes_count * sizeof(*db->network_nodes_v0));
+               if (r)
+                       ERROR(db->ctx, "Could not unmap network nodes section: %s\n", strerror(errno));
+       }
+
        loc_stringpool_unref(db->pool);
 
        loc_unref(db->ctx);
@@ -305,3 +388,188 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
 
        return 1;
 }
+
+// Returns the network at position pos
+static int loc_database_fetch_network(struct loc_database* db, struct loc_network** network, struct in6_addr* address, off_t pos) {
+       if ((size_t)pos >= db->networks_count)
+               return -EINVAL;
+
+       DEBUG(db->ctx, "Fetching network at position %jd\n", pos);
+
+       int r;
+       switch (db->version) {
+               case 0:
+                       r = loc_network_new_from_database_v0(db->ctx, network, address, db->networks_v0 + pos);
+                       break;
+
+               default:
+                       return -1;
+       }
+
+       if (r == 0) {
+               char* string = loc_network_str(*network);
+               DEBUG(db->ctx, "Got network %s\n", string);
+               free(string);
+       }
+
+       return r;
+}
+
+static int __loc_database_lookup_leaf_node(struct loc_database* db, const struct in6_addr* address,
+               struct loc_network** network, struct in6_addr* network_address,
+               const struct loc_database_network_node_v0* node) {
+       // Check if this node is a leaf node
+       if (node->zero != htobe32(0xffffffff))
+               return 1;
+
+       DEBUG(db->ctx, "Node is a leaf: %jd\n", node - db->network_nodes_v0);
+
+       // Fetch the network
+       int r = loc_database_fetch_network(db, network,
+               network_address, be32toh(node->one));
+       if (r)
+               return r;
+
+       // Check if the given IP address is inside the network
+       r = loc_network_match_address(*network, address);
+       if (r) {
+               DEBUG(db->ctx, "Searched address is not part of the network\n");
+
+               loc_network_unref(*network);
+               *network = NULL;
+               return 1;
+       }
+
+       // A network was found and the IP address matches
+       return 0;
+}
+
+// Returns the highest result available
+static int __loc_database_lookup_max(struct loc_database* db, const struct in6_addr* address,
+               struct loc_network** network, struct in6_addr* network_address,
+               const struct loc_database_network_node_v0* node, int level) {
+
+       // If the node is a leaf node, we end here
+       int r = __loc_database_lookup_leaf_node(db, address, network, network_address, node);
+       if (r <= 0)
+               return r;
+
+       off_t node_index;
+
+       // Try to go down the ones path first
+       if (node->one) {
+               node_index = be32toh(node->one);
+               in6_addr_set_bit(network_address, level, 1);
+
+               // Check boundaries
+               if (node_index > 0 && (size_t)node_index <= db->network_nodes_count) {
+                       r = __loc_database_lookup_max(db, address, network, network_address,
+                               db->network_nodes_v0 + node_index, level + 1);
+
+                       // Abort when match was found or error
+                       if (r <= 0)
+                               return r;
+               }
+       }
+
+       // ... and if that fails, we try to go down one step on a zero
+       // branch and then try the ones again...
+       if (node->zero) {
+               node_index = be32toh(node->zero);
+               in6_addr_set_bit(network_address, level, 0);
+
+               // Check boundaries
+               if (node_index > 0 && (size_t)node_index <= db->network_nodes_count) {
+                       r = __loc_database_lookup_max(db, address, network, network_address,
+                               db->network_nodes_v0 + node_index, level + 1);
+
+                       // Abort when match was found or error
+                       if (r <= 0)
+                               return r;
+               }
+       }
+
+       // End of path
+       return 1;
+}
+
+// Searches for an exact match along the path
+static int __loc_database_lookup(struct loc_database* db, const struct in6_addr* address,
+               struct loc_network** network, struct in6_addr* network_address,
+               const struct loc_database_network_node_v0* node, int level) {
+       // If the node is a leaf node, we end here
+       int r = __loc_database_lookup_leaf_node(db, address, network, network_address, node);
+       if (r <= 0)
+               return r;
+
+       off_t node_index;
+
+       // Follow the path
+       int bit = in6_addr_get_bit(address, level);
+       in6_addr_set_bit(network_address, level, bit);
+
+       if (bit == 0)
+               node_index = be32toh(node->zero);
+       else
+               node_index = be32toh(node->one);
+
+       // If we point back to root, the path ends here
+       if (node_index == 0) {
+               DEBUG(db->ctx, "Tree ends here\n");
+               return 1;
+       }
+
+       // Check boundaries
+       if ((size_t)node_index >= db->network_nodes_count)
+               return -EINVAL;
+
+       // Move on to the next node
+       r = __loc_database_lookup(db, address, network, network_address,
+               db->network_nodes_v0 + node_index, level + 1);
+
+       // End here if a result was found
+       if (r == 0)
+               return r;
+
+       // Raise any errors
+       else if (r < 0)
+               return r;
+
+       DEBUG(db->ctx, "Could not find an exact match at %u\n", level);
+
+       // If nothing was found, we have to search for an inexact match
+       return __loc_database_lookup_max(db, address, network, network_address, node, level);
+}
+
+LOC_EXPORT int loc_database_lookup(struct loc_database* db,
+               struct in6_addr* address, struct loc_network** network) {
+       struct in6_addr network_address;
+       memset(&network_address, 0, sizeof(network_address));
+
+       *network = NULL;
+
+       // Save start time
+       clock_t start = clock();
+
+       int r = __loc_database_lookup(db, address, network, &network_address,
+               db->network_nodes_v0, 0);
+
+       clock_t end = clock();
+
+       // Log how fast this has been
+       DEBUG(db->ctx, "Executed network search in %.8fs\n",
+               (double)(end - start) / CLOCKS_PER_SEC);
+
+       return r;
+}
+
+LOC_EXPORT int loc_database_lookup_from_string(struct loc_database* db,
+               const char* string, struct loc_network** network) {
+       struct in6_addr address;
+
+       int r = loc_parse_address(db->ctx, string, &address);
+       if (r)
+               return r;
+
+       return loc_database_lookup(db, &address, network);
+}