changes: Add file for ticket 40450 (prop324)

Closes #40450

Signed-off-by: David Goulet <dgoulet@torproject.org>

cc: Add comments and clean up some syntax

Signed-off-by: David Goulet <dgoulet@torproject.org>

Turn cell queue watermark limits into consensus params.

This allows us to have quicker reaction to blocked orconns as
a congestion signal.

Add a max cwnd consensus parameter and clamp.

Turn orconn watermarks into consensus parameters.

Tuning these may reduce memory usage and latency.

Turn CircEWMA tick len into consensus parameter.

This will assist tuning of CircEWMA in Shadow and Live.

Support time-based half-closed connection handling.

Since we no longer use stream SENDMEs for congestion control, we must now use
time to decide when data should stop arriving on a half-closed stream.

oom: Consider edge connections as well

Signed-off-by: David Goulet <dgoulet@torproject.org>

MAKEFILE: Add flow control files to makefile

Prop#324: Hook up flow control

Prop#324: Stream flow control functions

trace: Add congestion control BDP update tracepoints

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add lttng trace support.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Support rate limiting of edge connections reads.

We only need to rate limit reading on edges for flow control, as per the rate
that comes in the XON from the other side. When we rate limit reading from the
edge source to this rate, we will only deliver that fast to the other side,
thus satisfying its rate request.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Prop#324: Add fields to edge connection.

Export the n_ewma function for flow control use.

Export a global notion of monotime clock stall/jump.

Monotime clock functionality is a global property, and flow control
also needs to know if it can trust the clock.

Add trunnel definitions for xon/xoff cells.

one more pass over the changelog

Run format_changelog.

Edit changelog with a few grammar and simplicity fixes.

Bump version to 0.4.7.1-alpha

Signed-off-by: David Goulet <dgoulet@torproject.org>

changelog: ChangeLog for 0.4.7.1-alpha release

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branches 'tor-gitlab/mr/439' and 'tor-gitlab/mr/441'

Update Tor's man 1 page

Add few missing periods, convert tabs to spaces.
No new significant content added.

Signed-off-by: skaluzka <skaluzka@protonmail.com>

tor.1 man page: Add mention of fingerprint-ed25519, and clarify differences

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Only check for bindable ports if we are unsure if it will fail.

We currently assume that the only way for Tor to listen on ports in the
privileged port range (1 to 1023), on Linux, is if we are granted the
NET_BIND_SERVICE capability. Today on Linux, it's possible to specify
the beginning of the unprivileged port range using a sysctl
configuration option. Docker (and thus the CI service Tor uses) recently
changed this sysctl value to 0, which causes our tests to fail as they
assume that we should NOT be able to bind to a privileged port *without*
the NET_BIND_SERVICE capability.

In this patch, we read the value of the sysctl value via the /proc/sys/
filesystem iff it's present, otherwise we assume the default
unprivileged port range begins at port 1024.

See: tor#40275

Use Debian bullseye for our hardened build.

Force amd64 for CI builds.

Clear asciidoc-helper.sh syntax

Remove all unnecessary ";" characters at the end of several lines.
Align all indentations to 4 spaces.
Update console messages related to XML_CATALOG_FILES and
.bashrc file.

Signed-off-by: skaluzka <skaluzka@protonmail.com>

Align and fix indentations in several maint scripts

Use 4 spaces indentations, convert tabs to spaces.
No real code changes.

Merge remote-tracking branch 'tor-gitlab/mr/426'

Merge branch 'tor-gitlab/mr/424'

Improve fname_is_c func in pratracker/includes.py

Use tuples for bname.startswith and fname.endswith in "fname_is_c"
function.

Add spaces between the "and" when logging the "Your server has not managed to confirm reachability for its" on dual-stack relays

Add reference implementation for ntor v3.

Initial backend for an ntor-v3 implementation.

This code is based directly on the specification, without looking at
the reference implementation or the implementation in Arti.
Nonetheless, it is now passing with the test vectors generated by
the reference implementation.

Remove changes files that have already been in changelogs for 0.4.6

Correct syntax & formatting in test_pratracker.sh

Use 4 spaces for indentations.
Use the same syntax for all functions.
No real code changes (except removal of unnecessary ";" from
"exit 1" command).

Merge remote-tracking branch 'tor-gitlab/mr/420'

Merge remote-tracking branch 'tor-gitlab/mr/419'

dir: Do not flag non-running failing HSDir

When a directory request fails, we flag the relay as non Running so we
don't use it anymore.

This can be problematic with onion services because there are cases
where a tor instance could have a lot of services, ephemeral ones, and
keeps failing to upload descriptors, let say due to a bad network, and
thus flag a lot of nodes as non Running which then in turn can not be
used for circuit building.

This commit makes it that we never flag nodes as non Running on a onion
service directory request (upload or fetch) failure as to keep the
hashring intact and not affect other parts of tor.

Fortunately, the onion service hashring is _not_ selected by looking at
the Running flag but since we do a 3-hop circuit to the HSDir, other
services on the same instance can influence each other by removing nodes
from the consensus for path selection.

This was made apparent with a small network that ran out of nodes to
used due to rapid succession of onion services uploading and failing.
See #40434 for details.

Fixes #40434

Signed-off-by: David Goulet <dgoulet@torproject.org>

Forward merge the latest ChangeLog/ReleaseNotes

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.6' into main

Merge branch 'maint-0.4.5' into maint-0.4.6

Always teardown capture of logs in CAPTURE().

This will hopefully solve an issue where our gmtime related tests are
failing on 32-bit builds.

Merge branch 'maint-0.4.6' into main

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Use debian:buster instead of debian:stable for now.

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Disable message checking for some 32-bit tests about timegm failure.

Since we merged 40383, we don't expect these to give the same
warning on every platform.

Merge branch 'maint-0.4.6'

"ours" to avoid version bump.

Make the version 0.4.6.7, not 0.4.6.7-dev.

Merge branch 'maint-0.4.5' into maint-0.4.6

"ours" to avoid version bump

Make the version 0.4.5.10, not 0.4.5.10-dev.

Merge branch 'maint-0.3.5' into maint-0.4.5

"ours" to avoid version bump

Make the version 0.3.6.16, not 0.3.6.16-dev.

Update combine_libs script

Remove commented code from production.
Align indentations to 4 spaces.

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Update version to 0.3.5.16

Signed-off-by: David Goulet <dgoulet@torproject.org>

Update version to 0.4.5.10

Signed-off-by: David Goulet <dgoulet@torproject.org>

Update version to 0.4.6.7

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Update GeoIP files to match IPFire location DB as per 2021/08/12.

Merge branch 'maint-0.4.6' into main

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Merge remote-tracking branch 'tor-gitlab/mr/417' into maint-0.3.5

Merge branch 'maint-0.4.6' into main

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Disable ed25519-donna's batch verification.

Fixes bug 40078.

As reported by hdevalence our batch verification logic can cause an assert
crash.

The assert happens because when the batch verification of ed25519-donna fails,
the code in `ed25519_checksig_batch()` falls back to doing a single
verification for each signature.

The crash occurs because batch verification failed, but then all signatures
individually verified just fine.

That's because batch verification and single verification use a different
equation which means that there are sigs that can pass single verification
but fail batch verification.

Fixing this would require modding ed25519-donna which is not in scope for
this ticket, and will be soon deprecated in favor of arti and
ed25519-dalek, so my branch instead removes batch verification.

Merge branch 'maint-0.4.6' into main

Merge branch 'maint-0.4.5' into maint-0.4.6

fallbackdir: Regenerate list

New list for all stable releases.

Closes #40447

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

relay: Reduce streaming compression ratio from HIGH to LOW

Fixes #40301

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.6' into main

Merge branch 'maint-0.4.5' into maint-0.4.6

relay: Reduce streaming compression ratio from HIGH to LOW

Fixes #40301

Signed-off-by: David Goulet <dgoulet@torproject.org>

Make inbuf and outbuf len check params const

MAKEFILE: include new CC algs in makefile

TOR_NOLA: Implement a pure BDP tracking CC alg

How come no one ever named a congestion control algorithm after New Orleans?

TOR_VEGAS: Implement Prop#324 TOR_VEGAS.

TOR_WESTWOOD: Implement Prop#324 TOR_WESTWOOD