jenkins: Add all supported Debian architectures

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

configure: Fail if Lua was enabled, but not found

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Remove extra tests we currently don't support

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Don't expect any tests to fail

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Always Lua extension, too

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

configure: Check syntax of Lua check

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

configure: Don't automatically detect systemdunitdir

This is no longer possible on newer versions of systemd where the
variable has been removed from pkg-config.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Initial import

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

data: Import today's database

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

po: Update POTFILES.in

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

perl: Return nothing in case invalid data has been passed to libloc

The old croach approch instantly will stop the script if invalid data
will be passed to libloc and also will fail to proper execute the
testsuite.

Signed-off-by: Stefan Schantl <stefan.schantl@ipfire.org>
Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Don't import /4 or /10 networks from the routing table

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Ignore any sudden disconnects when we fetch a Geofeed

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Update a few AWS locations

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

perl: Fix a couple of NULL-pointer derefences in the module

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

libloc: Refactor summarizing IP address ranges

The algorithm seems to have had some bugs where it generated too many
unnecessary subnets which caused the system to run out of memory very
quickly when determining bogons.

This version of the algorithm is now a little bit smarter and should be
significantly faster as well.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tests: lua: Set a variable to true if we are checking for a boolean later

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Ensure that the testsuite is being executed with the correct version

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Check if we got returned something on some tests

Since Lua does not know about exceptions, functions usually return nil
instead of some value.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Ensure that we set timestamps in the announcements table

Otherwise aging out older announcements does not work.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Fix raising an exception if no network was found

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

database: Have the lookup function return 0 even if nothing was found

This is a potentially breaking change, but I think we need to do this as
the previous return code was not very descriptive.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Implement setting a log callback function

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

libloc: Allow passing a pointer to the log callback

This is basically re-implemnting the logic to pass log settings as the
previous functions were inappropriately named.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

Revert "database: Re-open the file handle in r+ mode"

This reverts commit 7654a5beb9b46758af613f15e01f8e0d0b3bd730.

This change breaks the library on Linux.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Initialize the database object pointer

Unfortunately Lua does not initialize any new user data. Therefore it
could happen that the cleanup function will try to tidy up after a new
Database object could not be set up correctly and cause a segmentation
fault.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

configure: Scan for multiple Lua versions

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

database: Re-open the file handle in r+ mode

On Mac OS, we cannot re-read our temporary file from the testsuite unless we re-open in r+ mode.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

writer: Move the cursor back to end when finished writing

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

writer: Fail if the header could not be written successfully

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

Makefile: Don't try to use -export-symbols if --version-script= isn't available

libtool seems to mess up our symbol table by prepending an underscore character
to all lines which renders the file unparsable.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

configure: Use pkg-config to find OpenSSL

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Drop EDROP as it has been merged into DROP

https://www.spamhaus.org/resource-hub/network-security/spamhaus-drop-and-edrop-to-become-a-single-list/

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Add method to access database creation time

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Add function that returns subnets of a network

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

network: Add function to return a reverse pointer for networks

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tests: Set LD_LIBRARY_PATH

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

address: Add functions to access a specific byte/nibble in an address

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Cleanup any database iterators

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Create a simple iterator for all networks

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tests: Fix bit length tests

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Don't raise an error if a network cannot be found

The lookup function now returns nil which is easier to handle than
catching a Lua error.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

lua: Add compatibility function to compile with Lua >= 5.1

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tests: Add tests for #13236

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

network: Fix handling bit length on merge

The check was kind of useless because of incorrect values from the bit
length function.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

address: Fix bit length calculation

I have no idea what the previous version computed, but it wasn't the
right thing.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Permit Geofeeds for everything instead of ignoring

This seems to become the default and so we should avoid making the
overrides file too verbose.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Drop even more indexes

We have gone a little bit wild on this but should not need them.

This patch also migrates any GIST indexes to SP-GIST.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Drop any indexes we no longer need

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Make the export 200x faster

The export became a huge problem here as it was very slow. One large
query produced one very large output which was difficult to test and
validate as the total export could easily take 17-20 hrs.

This patch fixes this so that the export now takes around ~5min. Sadly
we are still not using more than one processor core, because PostgreSQL
thinks its faster with just the one, but we trade a lot of CPU time for
a little bit of extra memory instead.

We create a new temporary table that holds all networks that we are
interested in. We then run a couple of broken down queries that perform
one thing instead of multiple at the same time.

First, we add all AS numbers, then all countries which are the longest
queries taking now around 20-30s. Then we apply any data from the
external feeds and our own overrides.

The final export requires about 1.7 GiB of memory because we don't
perform any deduplication in the database any more. That has been a lot
better implemented in our own code and I don't think that < 2 GiB is a
reason for concern.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Replace all GIST indexes with SP-GIST

They are a lot faster for our application.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: ANALYZE all tables before we are running the export

This should help the query planner to make better decisions when
planning the large queries.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Remove more traces of the Geofeed overrides table

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Convert networks back to string

psycopg3 returns inet types as IP networks.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Allow storing multiple Geofeeds for the same network

This is very likely not required except for a couple of overrides.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Currently update the source when encountering a conflict

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Unify the way we check Geofeed URLs

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Import Geofeed overrides with other Geofeeds

The previous approach neglegted that we check if a Geofeed is permitted
to change the location for a subnet so that Geofeeds cannot overwrite
any subnets they don't belong to.

That means that we will have to add those networks to the Geofeeds as
well.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Remove a debugging line

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Convert the file handle to text before passing to the CSV parser

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Fix another variable error in CSV parser

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Skip ASN lines in extended format

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Fix another incorrect variable name

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Fix incorrect variable name

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Use database pipelining when parsing feeds

Pipelining should allow us to parse feeds faster since we no longer wait
for a response from the database for each row that we are inserting.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Timeout if fetching a Geofeed takes longer than 5 seconds

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Wrap everything into asyncio

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

database: Create a connection pool for async operation

This is very useful when we want to run multiple tasks concurrently
using asyncio.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Ignore comments in Geofeeds

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Check imported Geofeed override URLs

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Add structure to add Geofeed overrides

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tree: Don't check if we need to fill the stack

If the stack is empty, the for loop won't run and we will straight go to
where we push the network onto the stack.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tree: Be smarter when removing networks from the stack

Since we are working through a sorted tree, we will either only see
subnets of a network or we won't. Once we see a network that isn't a
subnet, we remove the supernet until nothing is left on the stack.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tree: Fix memory leak in dedup code

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

Add README.md

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

Update translations

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Merge the downloader into our main downloader

I don't know why we ended up with duplicated code here, but there seems
to be no reason whatsoever for this.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Move the split functions into the main importer

This has no functional changes, but moved the functions into a different
file.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

database: Migrate to psycopg3

Fixes: #12953
Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: No longer import Geofeeds concurrently

This is kind of a problem since many servers have gone away, respond
very slowly, etc. But since we are moving towards psycopg3, we cannot do
this the old way any more.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Drop the geofeed sources when updating RIR data

This is a cleaner way to drop any previously imported content and should
also be faster because we can drop a lot of DELETE staments for objects
without Geofeeds.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Create a better structure to import RIRs

All information about all RIRs will now be imported in one large
database transaction per RIR which should bring us better integrity and
help us to phase out any stale data.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Add option to only import specific RIRs

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Also import networks that are smaller than /48 or /24

These cannot appear in the global routing table, but that does not mean
that there isn't any value in importing them into our database.

In case they are just noise, we will filter them out later on.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Improve checks for unspecified networks

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Improve check for network objects

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Change country code logic

If we have imported something without valid country codes, we still need
to import that network object into the database. Further information
could come from a Geofeed. Otherwise we still want to have this network
here for later processing.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Skip any countries that we don't know

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: When storing country codes, make the code more straight-forward

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Return known countries as a set()

It should be possible to search through sets quicker.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Make translating country codes more extensible

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Ignore certain country codes

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Fail if no countries have been imported, yet

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Remove superfluous function call

Normally a function call doesn't have that much overhead in Python, but
since we are calling all these that many times I am sure this is all
adding up.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Use the downloader to import Geofeeds

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Drop any data from feeds we no longer support

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Drop source field from overrides table

Since we now import all feeds into a separate table including their own
source, we can drop this from the *_overrides tables as we only import
our own data here.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Refactor parsing Spamhaus ASNDROP

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Refactor parsing Spamhaus DROP feeds

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

importer: Add the option to only update one feed

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>