]> git.ipfire.org Git - people/ms/libloc.git/blobdiff - src/database.c
database: Free mmapped countries section
[people/ms/libloc.git] / src / database.c
index 29823b2b512c8249a82f0c816bdde631beb2d829..b92a803d5d3db9a8be49049ee803d7a06f6180e2 100644 (file)
@@ -38,6 +38,7 @@
 
 #include <loc/libloc.h>
 #include <loc/as.h>
+#include <loc/as-list.h>
 #include <loc/compat.h>
 #include <loc/country.h>
 #include <loc/country-list.h>
@@ -101,7 +102,7 @@ struct loc_database_enumerator {
        // Search string
        char* string;
        struct loc_country_list* countries;
-       uint32_t asn;
+       struct loc_as_list* asns;
        enum loc_network_flags flags;
        int family;
 
@@ -249,11 +250,11 @@ static int loc_database_read_signature(struct loc_database* db,
                char** dst, char* src, size_t length) {
        // Check for a plausible signature length
        if (length > LOC_SIGNATURE_MAX_LENGTH) {
-               ERROR(db->ctx, "Signature too long: %ld\n", length);
+               ERROR(db->ctx, "Signature too long: %zu\n", length);
                return -EINVAL;
        }
 
-       DEBUG(db->ctx, "Reading signature of %ld bytes\n", length);
+       DEBUG(db->ctx, "Reading signature of %zu bytes\n", length);
 
        // Allocate space
        *dst = malloc(length);
@@ -445,6 +446,13 @@ static void loc_database_free(struct loc_database* db) {
                        ERROR(db->ctx, "Could not unmap network nodes section: %s\n", strerror(errno));
        }
 
+       // Remove mapped countries section
+       if (db->countries_v1) {
+               r = munmap(db->countries_v1, db->countries_count * sizeof(*db->countries_v1));
+               if (r)
+                       ERROR(db->ctx, "Could not unmap countries section: %s\n", strerror(errno));
+       }
+
        if (db->pool)
                loc_stringpool_unref(db->pool);
 
@@ -618,7 +626,7 @@ LOC_EXPORT int loc_database_verify(struct loc_database* db, FILE* f) {
        }
 
        clock_t end = clock();
-       DEBUG(db->ctx, "Signature checked in %.4fms\n",
+       INFO(db->ctx, "Signature checked in %.4fms\n",
                (double)(end - start) / CLOCKS_PER_SEC * 1000);
 
 CLEANUP:
@@ -678,8 +686,10 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
        off_t lo = 0;
        off_t hi = db->as_count - 1;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        while (lo <= hi) {
                off_t i = (lo + hi) / 2;
@@ -692,11 +702,13 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
                // Check if this is a match
                uint32_t as_number = loc_as_get_number(*as);
                if (as_number == number) {
+#ifdef ENABLE_DEBUG
                        clock_t end = clock();
 
                        // Log how fast this has been
                        DEBUG(db->ctx, "Found AS%u in %.4fms\n", as_number,
                                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
                        return 0;
                }
@@ -740,11 +752,13 @@ static int loc_database_fetch_network(struct loc_database* db, struct loc_networ
                        return -1;
        }
 
+#ifdef ENABLE_DEBUG
        if (r == 0) {
                char* string = loc_network_str(*network);
                DEBUG(db->ctx, "Got network %s\n", string);
                free(string);
        }
+#endif
 
        return r;
 }
@@ -769,8 +783,7 @@ static int __loc_database_lookup_handle_leaf(struct loc_database* db, const stru
        }
 
        // Check if the given IP address is inside the network
-       r = loc_network_match_address(*network, address);
-       if (r) {
+       if (!loc_network_match_address(*network, address)) {
                DEBUG(db->ctx, "Searched address is not part of the network\n");
 
                loc_network_unref(*network);
@@ -839,17 +852,21 @@ LOC_EXPORT int loc_database_lookup(struct loc_database* db,
 
        *network = NULL;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        int r = __loc_database_lookup(db, address, network, &network_address,
                db->network_nodes_v1, 0);
 
+#ifdef ENABLE_DEBUG
        clock_t end = clock();
 
        // Log how fast this has been
        DEBUG(db->ctx, "Executed network search in %.4fms\n",
                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
        return r;
 }
@@ -896,8 +913,10 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
        off_t lo = 0;
        off_t hi = db->countries_count - 1;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        while (lo <= hi) {
                off_t i = (lo + hi) / 2;
@@ -912,11 +931,13 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
                int result = strcmp(code, cc);
 
                if (result == 0) {
+#ifdef ENABLE_DEBUG
                        clock_t end = clock();
 
                        // Log how fast this has been
                        DEBUG(db->ctx, "Found country %s in %.4fms\n", cc,
                                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
                        return 0;
                }
@@ -949,6 +970,12 @@ static void loc_database_enumerator_free(struct loc_database_enumerator* enumera
        if (enumerator->string)
                free(enumerator->string);
 
+       if (enumerator->countries)
+               loc_country_list_unref(enumerator->countries);
+
+       if (enumerator->asns)
+               loc_as_list_unref(enumerator->asns);
+
        // Free network search
        free(enumerator->networks_visited);
 
@@ -1036,9 +1063,20 @@ LOC_EXPORT int loc_database_enumerator_set_countries(
        return 0;
 }
 
-LOC_EXPORT int loc_database_enumerator_set_asn(
-               struct loc_database_enumerator* enumerator, unsigned int asn) {
-       enumerator->asn = asn;
+LOC_EXPORT struct loc_as_list* loc_database_enumerator_get_asns(
+               struct loc_database_enumerator* enumerator) {
+       if (!enumerator->asns)
+               return NULL;
+
+       return loc_as_list_ref(enumerator->asns);
+}
+
+LOC_EXPORT int loc_database_enumerator_set_asns(
+               struct loc_database_enumerator* enumerator, struct loc_as_list* asns) {
+       if (enumerator->asns)
+               loc_as_list_unref(enumerator->asns);
+
+       enumerator->asns = loc_as_list_ref(asns);
 
        return 0;
 }
@@ -1117,31 +1155,39 @@ static int loc_database_enumerator_stack_push_node(
        return 0;
 }
 
-static int loc_network_match_countries(struct loc_network* network, struct loc_country_list* countries) {
-       const char* country_code = loc_network_get_country_code(network);
-
-       return loc_country_list_contains_code(countries, country_code);
-}
-
 static int loc_database_enumerator_filter_network(
                struct loc_database_enumerator* enumerator, struct loc_network* network) {
        // Skip if the family does not match
-       if (enumerator->family && loc_network_address_family(network) != enumerator->family)
+       if (enumerator->family && loc_network_address_family(network) != enumerator->family) {
+               DEBUG(enumerator->ctx, "Filtered network %p because of family not matching\n", network);
                return 1;
+       }
 
        // Skip if the country code does not match
-       if (enumerator->countries && !loc_network_match_countries(network, enumerator->countries))
-               return 1;
+       if (enumerator->countries && !loc_country_list_empty(enumerator->countries)) {
+               const char* country_code = loc_network_get_country_code(network);
+
+               if (!loc_country_list_contains_code(enumerator->countries, country_code)) {
+                       DEBUG(enumerator->ctx, "Filtered network %p because of country code not matching\n", network);
+                       return 1;
+               }
+       }
 
        // Skip if the ASN does not match
-       if (enumerator->asn &&
-                       !loc_network_match_asn(network, enumerator->asn))
-               return 1;
+       if (enumerator->asns && !loc_as_list_empty(enumerator->asns)) {
+               uint32_t asn = loc_network_get_asn(network);
+
+               if (!loc_as_list_contains_number(enumerator->asns, asn)) {
+                       DEBUG(enumerator->ctx, "Filtered network %p because of ASN not matching\n", network);
+                       return 1;
+               }
+       }
 
        // Skip if flags do not match
-       if (enumerator->flags &&
-                       !loc_network_match_flag(network, enumerator->flags))
+       if (enumerator->flags && !loc_network_match_flag(network, enumerator->flags)) {
+               DEBUG(enumerator->ctx, "Filtered network %p because of flags not matching\n", network);
                return 1;
+       }
 
        // Do not filter
        return 0;
@@ -1151,7 +1197,7 @@ static int __loc_database_enumerator_next_network(
                struct loc_database_enumerator* enumerator, struct loc_network** network, int filter) {
        // Return top element from the stack
        while (1) {
-               *network = loc_network_list_pop(enumerator->stack);
+               *network = loc_network_list_pop_first(enumerator->stack);
 
                // Stack is empty
                if (!*network)
@@ -1265,8 +1311,12 @@ static int __loc_database_enumerator_next_network_flattened(
        while (1) {
                // Fetch the next network in line
                r = __loc_database_enumerator_next_network(enumerator, &subnet, 0);
-               if (r)
-                       goto END;
+               if (r) {
+                       loc_network_unref(subnet);
+                       loc_network_list_unref(subnets);
+
+                       return r;
+               }
 
                // End if we did not receive another subnet
                if (!subnet)
@@ -1275,8 +1325,12 @@ static int __loc_database_enumerator_next_network_flattened(
                // Collect all subnets in a list
                if (loc_network_is_subnet(*network, subnet)) {
                        r = loc_network_list_push(subnets, subnet);
-                       if (r)
-                               goto END;
+                       if (r) {
+                               loc_network_unref(subnet);
+                               loc_network_list_unref(subnets);
+
+                               return r;
+                       }
 
                        loc_network_unref(subnet);
                        continue;
@@ -1284,8 +1338,12 @@ static int __loc_database_enumerator_next_network_flattened(
 
                // If this is not a subnet, we push it back onto the stack and break
                r = loc_network_list_push(enumerator->stack, subnet);
-               if (r)
-                       goto END;
+               if (r) {
+                       loc_network_unref(subnet);
+                       loc_network_list_unref(subnets);
+
+                       return r;
+               }
 
                loc_network_unref(subnet);
                break;
@@ -1303,29 +1361,36 @@ static int __loc_database_enumerator_next_network_flattened(
        // If the network has any subnets, we will break it into smaller parts
        // without the subnets.
        struct loc_network_list* excluded = loc_network_exclude_list(*network, subnets);
-       if (!excluded || loc_network_list_empty(excluded)) {
-               r = 1;
-               goto END;
+       if (!excluded) {
+               loc_network_list_unref(subnets);
+               return -1;
        }
 
-       // Replace network with the first one
-       loc_network_unref(*network);
-
-       *network = loc_network_list_pop_first(excluded);
+       // Merge subnets onto the stack
+       r = loc_network_list_merge(enumerator->stack, subnets);
+       if (r) {
+               loc_network_list_unref(subnets);
+               loc_network_list_unref(excluded);
 
-       // Push the rest onto the stack
-       loc_network_list_reverse(excluded);
-       loc_network_list_merge(enumerator->stack, excluded);
+               return r;
+       }
 
-       loc_network_list_unref(excluded);
+       // Push excluded list onto the stack
+       r = loc_network_list_merge(enumerator->stack, excluded);
+       if (r) {
+               loc_network_list_unref(subnets);
+               loc_network_list_unref(excluded);
 
-END:
-       if (subnet)
-               loc_network_unref(subnet);
+               return r;
+       }
 
        loc_network_list_unref(subnets);
+       loc_network_list_unref(excluded);
 
-       return r;
+       // Drop the network and restart the whole process again to pick the next network
+       loc_network_unref(*network);
+
+       return __loc_database_enumerator_next_network_flattened(enumerator, network);
 }
 
 LOC_EXPORT int loc_database_enumerator_next_network(