]> git.ipfire.org Git - people/ms/libloc.git/blobdiff - src/database.c
database: Free mmapped countries section
[people/ms/libloc.git] / src / database.c
index 6849d97abb9dadb02eaea94a9e8cc45e76993fb7..b92a803d5d3db9a8be49049ee803d7a06f6180e2 100644 (file)
 
 #include <loc/libloc.h>
 #include <loc/as.h>
+#include <loc/as-list.h>
 #include <loc/compat.h>
 #include <loc/country.h>
+#include <loc/country-list.h>
 #include <loc/database.h>
 #include <loc/format.h>
 #include <loc/network.h>
@@ -99,8 +101,8 @@ struct loc_database_enumerator {
 
        // Search string
        char* string;
-       char country_code[3];
-       uint32_t asn;
+       struct loc_country_list* countries;
+       struct loc_as_list* asns;
        enum loc_network_flags flags;
        int family;
 
@@ -248,11 +250,11 @@ static int loc_database_read_signature(struct loc_database* db,
                char** dst, char* src, size_t length) {
        // Check for a plausible signature length
        if (length > LOC_SIGNATURE_MAX_LENGTH) {
-               ERROR(db->ctx, "Signature too long: %ld\n", length);
+               ERROR(db->ctx, "Signature too long: %zu\n", length);
                return -EINVAL;
        }
 
-       DEBUG(db->ctx, "Reading signature of %ld bytes\n", length);
+       DEBUG(db->ctx, "Reading signature of %zu bytes\n", length);
 
        // Allocate space
        *dst = malloc(length);
@@ -444,6 +446,13 @@ static void loc_database_free(struct loc_database* db) {
                        ERROR(db->ctx, "Could not unmap network nodes section: %s\n", strerror(errno));
        }
 
+       // Remove mapped countries section
+       if (db->countries_v1) {
+               r = munmap(db->countries_v1, db->countries_count * sizeof(*db->countries_v1));
+               if (r)
+                       ERROR(db->ctx, "Could not unmap countries section: %s\n", strerror(errno));
+       }
+
        if (db->pool)
                loc_stringpool_unref(db->pool);
 
@@ -617,7 +626,7 @@ LOC_EXPORT int loc_database_verify(struct loc_database* db, FILE* f) {
        }
 
        clock_t end = clock();
-       DEBUG(db->ctx, "Signature checked in %.4fms\n",
+       INFO(db->ctx, "Signature checked in %.4fms\n",
                (double)(end - start) / CLOCKS_PER_SEC * 1000);
 
 CLEANUP:
@@ -677,8 +686,10 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
        off_t lo = 0;
        off_t hi = db->as_count - 1;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        while (lo <= hi) {
                off_t i = (lo + hi) / 2;
@@ -691,11 +702,13 @@ LOC_EXPORT int loc_database_get_as(struct loc_database* db, struct loc_as** as,
                // Check if this is a match
                uint32_t as_number = loc_as_get_number(*as);
                if (as_number == number) {
+#ifdef ENABLE_DEBUG
                        clock_t end = clock();
 
                        // Log how fast this has been
                        DEBUG(db->ctx, "Found AS%u in %.4fms\n", as_number,
                                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
                        return 0;
                }
@@ -739,11 +752,13 @@ static int loc_database_fetch_network(struct loc_database* db, struct loc_networ
                        return -1;
        }
 
+#ifdef ENABLE_DEBUG
        if (r == 0) {
                char* string = loc_network_str(*network);
                DEBUG(db->ctx, "Got network %s\n", string);
                free(string);
        }
+#endif
 
        return r;
 }
@@ -768,8 +783,7 @@ static int __loc_database_lookup_handle_leaf(struct loc_database* db, const stru
        }
 
        // Check if the given IP address is inside the network
-       r = loc_network_match_address(*network, address);
-       if (r) {
+       if (!loc_network_match_address(*network, address)) {
                DEBUG(db->ctx, "Searched address is not part of the network\n");
 
                loc_network_unref(*network);
@@ -838,17 +852,21 @@ LOC_EXPORT int loc_database_lookup(struct loc_database* db,
 
        *network = NULL;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        int r = __loc_database_lookup(db, address, network, &network_address,
                db->network_nodes_v1, 0);
 
+#ifdef ENABLE_DEBUG
        clock_t end = clock();
 
        // Log how fast this has been
        DEBUG(db->ctx, "Executed network search in %.4fms\n",
                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
        return r;
 }
@@ -895,8 +913,10 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
        off_t lo = 0;
        off_t hi = db->countries_count - 1;
 
+#ifdef ENABLE_DEBUG
        // Save start time
        clock_t start = clock();
+#endif
 
        while (lo <= hi) {
                off_t i = (lo + hi) / 2;
@@ -911,11 +931,13 @@ LOC_EXPORT int loc_database_get_country(struct loc_database* db,
                int result = strcmp(code, cc);
 
                if (result == 0) {
+#ifdef ENABLE_DEBUG
                        clock_t end = clock();
 
                        // Log how fast this has been
                        DEBUG(db->ctx, "Found country %s in %.4fms\n", cc,
                                (double)(end - start) / CLOCKS_PER_SEC * 1000);
+#endif
 
                        return 0;
                }
@@ -948,6 +970,12 @@ static void loc_database_enumerator_free(struct loc_database_enumerator* enumera
        if (enumerator->string)
                free(enumerator->string);
 
+       if (enumerator->countries)
+               loc_country_list_unref(enumerator->countries);
+
+       if (enumerator->asns)
+               loc_as_list_unref(enumerator->asns);
+
        // Free network search
        free(enumerator->networks_visited);
 
@@ -1017,40 +1045,38 @@ LOC_EXPORT int loc_database_enumerator_set_string(struct loc_database_enumerator
        return 0;
 }
 
-LOC_EXPORT int loc_database_enumerator_set_country_code(struct loc_database_enumerator* enumerator, const char* country_code) {
-       // Set empty country code
-       if (!country_code || !*country_code) {
-               *enumerator->country_code = '\0';
-               return 0;
-       }
+LOC_EXPORT struct loc_country_list* loc_database_enumerator_get_countries(
+               struct loc_database_enumerator* enumerator) {
+       if (!enumerator->countries)
+               return NULL;
 
-       // Treat A1, A2, A3 as special country codes,
-       // but perform search for flags instead
-       if (strcmp(country_code, "A1") == 0) {
-               return loc_database_enumerator_set_flag(enumerator,
-                       LOC_NETWORK_FLAG_ANONYMOUS_PROXY);
-       } else if (strcmp(country_code, "A2") == 0) {
-               return loc_database_enumerator_set_flag(enumerator,
-                       LOC_NETWORK_FLAG_SATELLITE_PROVIDER);
-       } else if (strcmp(country_code, "A3") == 0) {
-               return loc_database_enumerator_set_flag(enumerator,
-                       LOC_NETWORK_FLAG_ANYCAST);
-       }
+       return loc_country_list_ref(enumerator->countries);
+}
 
-       // Country codes must be two characters
-       if (!loc_country_code_is_valid(country_code))
-               return -EINVAL;
+LOC_EXPORT int loc_database_enumerator_set_countries(
+               struct loc_database_enumerator* enumerator, struct loc_country_list* countries) {
+       if (enumerator->countries)
+               loc_country_list_unref(enumerator->countries);
 
-       for (unsigned int i = 0; i < 3; i++) {
-               enumerator->country_code[i] = country_code[i];
-       }
+       enumerator->countries = loc_country_list_ref(countries);
 
        return 0;
 }
 
-LOC_EXPORT int loc_database_enumerator_set_asn(
-               struct loc_database_enumerator* enumerator, unsigned int asn) {
-       enumerator->asn = asn;
+LOC_EXPORT struct loc_as_list* loc_database_enumerator_get_asns(
+               struct loc_database_enumerator* enumerator) {
+       if (!enumerator->asns)
+               return NULL;
+
+       return loc_as_list_ref(enumerator->asns);
+}
+
+LOC_EXPORT int loc_database_enumerator_set_asns(
+               struct loc_database_enumerator* enumerator, struct loc_as_list* asns) {
+       if (enumerator->asns)
+               loc_as_list_unref(enumerator->asns);
+
+       enumerator->asns = loc_as_list_ref(asns);
 
        return 0;
 }
@@ -1132,23 +1158,36 @@ static int loc_database_enumerator_stack_push_node(
 static int loc_database_enumerator_filter_network(
                struct loc_database_enumerator* enumerator, struct loc_network* network) {
        // Skip if the family does not match
-       if (enumerator->family && loc_network_address_family(network) != enumerator->family)
+       if (enumerator->family && loc_network_address_family(network) != enumerator->family) {
+               DEBUG(enumerator->ctx, "Filtered network %p because of family not matching\n", network);
                return 1;
+       }
 
        // Skip if the country code does not match
-       if (*enumerator->country_code &&
-                       !loc_network_match_country_code(network, enumerator->country_code))
-               return 1;
+       if (enumerator->countries && !loc_country_list_empty(enumerator->countries)) {
+               const char* country_code = loc_network_get_country_code(network);
+
+               if (!loc_country_list_contains_code(enumerator->countries, country_code)) {
+                       DEBUG(enumerator->ctx, "Filtered network %p because of country code not matching\n", network);
+                       return 1;
+               }
+       }
 
        // Skip if the ASN does not match
-       if (enumerator->asn &&
-                       !loc_network_match_asn(network, enumerator->asn))
-               return 1;
+       if (enumerator->asns && !loc_as_list_empty(enumerator->asns)) {
+               uint32_t asn = loc_network_get_asn(network);
+
+               if (!loc_as_list_contains_number(enumerator->asns, asn)) {
+                       DEBUG(enumerator->ctx, "Filtered network %p because of ASN not matching\n", network);
+                       return 1;
+               }
+       }
 
        // Skip if flags do not match
-       if (enumerator->flags &&
-                       !loc_network_match_flag(network, enumerator->flags))
+       if (enumerator->flags && !loc_network_match_flag(network, enumerator->flags)) {
+               DEBUG(enumerator->ctx, "Filtered network %p because of flags not matching\n", network);
                return 1;
+       }
 
        // Do not filter
        return 0;
@@ -1158,7 +1197,7 @@ static int __loc_database_enumerator_next_network(
                struct loc_database_enumerator* enumerator, struct loc_network** network, int filter) {
        // Return top element from the stack
        while (1) {
-               *network = loc_network_list_pop(enumerator->stack);
+               *network = loc_network_list_pop_first(enumerator->stack);
 
                // Stack is empty
                if (!*network)
@@ -1272,8 +1311,12 @@ static int __loc_database_enumerator_next_network_flattened(
        while (1) {
                // Fetch the next network in line
                r = __loc_database_enumerator_next_network(enumerator, &subnet, 0);
-               if (r)
-                       goto END;
+               if (r) {
+                       loc_network_unref(subnet);
+                       loc_network_list_unref(subnets);
+
+                       return r;
+               }
 
                // End if we did not receive another subnet
                if (!subnet)
@@ -1282,8 +1325,12 @@ static int __loc_database_enumerator_next_network_flattened(
                // Collect all subnets in a list
                if (loc_network_is_subnet(*network, subnet)) {
                        r = loc_network_list_push(subnets, subnet);
-                       if (r)
-                               goto END;
+                       if (r) {
+                               loc_network_unref(subnet);
+                               loc_network_list_unref(subnets);
+
+                               return r;
+                       }
 
                        loc_network_unref(subnet);
                        continue;
@@ -1291,8 +1338,12 @@ static int __loc_database_enumerator_next_network_flattened(
 
                // If this is not a subnet, we push it back onto the stack and break
                r = loc_network_list_push(enumerator->stack, subnet);
-               if (r)
-                       goto END;
+               if (r) {
+                       loc_network_unref(subnet);
+                       loc_network_list_unref(subnets);
+
+                       return r;
+               }
 
                loc_network_unref(subnet);
                break;
@@ -1310,31 +1361,36 @@ static int __loc_database_enumerator_next_network_flattened(
        // If the network has any subnets, we will break it into smaller parts
        // without the subnets.
        struct loc_network_list* excluded = loc_network_exclude_list(*network, subnets);
-       if (!excluded || loc_network_list_empty(excluded)) {
-               r = 1;
-               goto END;
+       if (!excluded) {
+               loc_network_list_unref(subnets);
+               return -1;
        }
 
-       // Reverse the list
-       loc_network_list_reverse(excluded);
+       // Merge subnets onto the stack
+       r = loc_network_list_merge(enumerator->stack, subnets);
+       if (r) {
+               loc_network_list_unref(subnets);
+               loc_network_list_unref(excluded);
 
-       // Replace network with the first one
-       loc_network_unref(*network);
+               return r;
+       }
 
-       *network = loc_network_list_pop(excluded);
+       // Push excluded list onto the stack
+       r = loc_network_list_merge(enumerator->stack, excluded);
+       if (r) {
+               loc_network_list_unref(subnets);
+               loc_network_list_unref(excluded);
 
-       // Push the rest onto the stack
-       loc_network_list_merge(enumerator->stack, excluded);
+               return r;
+       }
 
+       loc_network_list_unref(subnets);
        loc_network_list_unref(excluded);
 
-END:
-       if (subnet)
-               loc_network_unref(subnet);
-
-       loc_network_list_unref(subnets);
+       // Drop the network and restart the whole process again to pick the next network
+       loc_network_unref(*network);
 
-       return r;
+       return __loc_database_enumerator_next_network_flattened(enumerator, network);
 }
 
 LOC_EXPORT int loc_database_enumerator_next_network(