version: Bump version to 0.4.7.6-rc

release: ChangeLog and ReleaseNotes for 0.4.7.6-rc

fallbackdir: Update list generated on April 07, 2022

Update geoip files to match ipfire location db, 2022/04/07.

Merge branch 'tor-gitlab/mr/557'

document running_long_enough_to_decide_unreachable()

It came as a surprise that Serge, the bridge authority, omits the Running
flag for all bridges in its first 30 minutes after a restart:
https://bugs.torproject.org/tpo/anti-censorship/rdsys/102

The fix we're doing for now is to accept it as correct behavior in
Tor, and change all the supporting tools to be able to handle bridge
networkstatus docs that have no Running bridges.

I'm documenting it here inside Tor too so the next person might not
be so surprised.

ci: print test_network_log contents

cat will always print "cat: test_network_log: Is a directory". change it to
head -n -0, which is arguably not the perfect format but is at least somewhat
useful.

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'tor-gitlab/mr/556' into maint-0.4.5

Sandbox: Permit the clone3 system call

Apparently glibc-2.34 uses clone3, when previously it just used
clone.

Closes ticket #40590.

version: Bump version to 0.4.7.5-alpha-dev

version: Bump version to 0.4.7.5-alpha

release: ChangeLog and ReleaseNotes for 0.4.7.5-alpha

fallbackdir: Update list generated on March 25, 2022

Update geoip files to match ipfire location db, 2022/03/25.

Light editing to changes entries for 0.4.7.5-alpha

Merge branch 'tor-gitlab/mr/550'

Merge branch 'tor-gitlab/mr/548'

hs: Helper function to setup congestion control

We had 3 callsites setting up the circuit congestion control and so this
commit consolidates all 3 calls into 1 function.

Related to #40586

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Transfer ccontrol from circuit to cpath

Once the cpath is finalized, e2e encryption setup, transfer the ccontrol
from the rendezvous circuit to the cpath.

This allows the congestion control subsystem to properly function for
both upload and download side of onion services.

Closes #40586

Signed-off-by: David Goulet <dgoulet@torproject.org>

dns: Remove reachable BUG()

Fixes #40587

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/490'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

Merge branch 'tor-gitlab/mr/533' into maint-0.4.5

relay: Reconfigure libevent options only on DNS params change

Related #40312

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: On new consensus, reconfigure DNS nameservers

This applies only for relays. Previous commit adds two new consensus
parameters that dictate how libevent is configured with DNS resolution.
And so, with a new consensus, we now look at those values in case they
ever change.

Without this, Exit relay would have to HUP or restart to apply any new
Exit DNS consensus parameters.

Related to #40312

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Lower DNS Exit-side timeout

Introduces two new consensus parameter:

  exit_dns_timeout: Number of seconds before libevent should consider
  the DNS request a timeout.

  exit_dns_num_attempts: Number of attempts that libeven should retry a
  previously failing query before calling it a timeout.

Closes #40312

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/547'

crypto: Clarifying comment for the random hostname calculation

Closes #40520

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add changes file for ticket 40560

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Unit tests for overload onionskin ntor

Part of #40560

Signed-off-by: David Goulet <dgoulet@torproject.org>

rephist: Introduce a fraction and period for overload onionskin

This code was heavily reused from the previous DNS timeout work done in
ticket #40491 that was removed afterall from our code.

Closes #40560

Signed-off-by: David Goulet <dgoulet@torproject.org>

dns: Wake up a dormant tor with a DNSPort request

Fixes #40577

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/546'

Changes file for #40568

Emit control port notification for XON/XOFF

Control port STREAM XON/XOFF status event notification

Merge branch 'tor-gitlab/mr/543'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

hs: Schedule mainloop event on dirinfo change

Due to a possible Guard subsystem recursion, when the HS client gets
notified that the directory information has changed, it must run it in a
seperate mainloop event to avoid such issue.

See the ticket for more information on the recursion. This also fixes a
fatal assert.

Fixes #40579

Signed-off-by: David Goulet <dgoulet@torproject.org>

readme: Fix sentence in Releases section

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Don't BUG() when setting up RP congestion control

It is possible to not have the descriptor anymore by the time the
rendezvous circuit opens. Don't BUG() on that.

Instead, when sending the INTRODUCE1 cell, make sure the descriptor we
have (or have just fetched) matches what we setup in the rendezvous
circuit.

If not, the circuit is closed and another one is opened for a retry.

Fixes #40576

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

hs: Fix multiple port label on single metric

Prometheus needs unique labels and so this bug was causing an onion
service with multiple ports to have multiple "port=" label for the
metrics requiring a port label.

Fixes #40581

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Fix multiple port label on single metric

Prometheus needs unique labels and so this bug was causing an onion
service with multiple ports to have multiple "port=" label for the
metrics requiring a port label.

Fixes #40581

Signed-off-by: David Goulet <dgoulet@torproject.org>

don't list non-stable releases in ReleaseNotes

(the idea is that ReleaseNotes is for learning what you get when you
move from one stable to another, whereas ChangeLog is for learning what
changed in each released version of tor.)

fix typo in changelog

Make a check for origin circuit explicit.

Ensure CIRC_BW event is emitted immediately upon slow start exit.

This ensures sbws gets this information quickly, so it can begin measurement.

Add congestion control fields to CIRC_BW control port event

version: Bump version to 0.4.7.4-alpha-dev

version: Bump version to 0.4.7.4-alpha

release: ChangeLog and ReleaseNotes for 0.4.7.4-alpha

fallbackdir: Update list generated on February 25, 2022

Update geoip files to match ipfire location db, 2022/02/25.

Fix typos

Merge branch 'tor-gitlab/mr/488'

cc: Fix memleak when building extension response

Fixes #40575

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/536'

and fix those typos in the releasenotes too

fix typos, remove wrong stanzas, update 0.4.6.10

we were missing the 0.4.6.10 changes in ReleaseNotes, and the
0.4.0.5 releasenotes mistakenly included some 0.4.0.x bugfixes.

fix a typo in a comment

Reject intro2 cells that request unadvertized congestion control.

Properly initialize the cc_enabled field in hs intro data.

Add test for sendme_inc validation.

Add test for sendme_cell_is_next with sendme_inc of 31

Add test for circuit_sendme_cell_is_next() when sendme_inc is 100.

This ensures compatibility with old tor.

Add changes file

Add a delta parameter to Vegas.

This allows us to cap the queue use during steady state. In shadow, this
reduced instances of long circuit queues at relays.

Exit slow start at the gamma threshold

This improves performance and fairness.

Increment by at least 2 sendme_incs in slow start

Only apply more frequent cwnd updates after slow start.

Make N_EWMA a percentage of CWND update rate, capped by a max value.

This proved better in Shadow sims than just a multiple of CWND.

Relocate two parameters from circuit scope to global scope.

Changes in these will not affect in-progress transfers.

Guard against 0 time delta in BDP calc.

This can only happen in Shadow, but it will cause issues there.

Increase RTT ratio used to detect monotime jumps/stalls.

In Shadow, we saw RTT jumps as high as 1000 naturally.

So let's set this to 5000, to give us some breathing room.

Fix NULL pointer deref in logs

Properly compute the number or recv cells from deliver_window

Without this conversion, there is an implict 1000-recv_cells, which causes
the mod to fail if it is not a factor of 1000.

Use path type hint for Vegas queue parameters.

These parameters will vary depending on path length, especially for onions.

Set new defaults for congestion control parameters.

Defaults determined from Shadow experimentation.

More parameter functionality changes to follow.

cc: Change edge_get_ccontrol() to look at both cpath and on_circuit

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Fix tests for congestion control

hs: Setup congestion control on service rends using intro data

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Decode and cache the INTRODUCE cell congestion control extension

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Build INTRODUCE extension in the encrypted section

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Setup congestion control on client rends

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Republish onion descriptor on sendme_inc change

Republishing is necessary to ensure that clients connect using the correct
sendme_inc upon any change. Additionally, introduction points must be
re-chosen, so that cached descriptors with old values are not usable.

We do not expect to change sendme_inc, unless cell size or TLS record size
changes, so this should be rare.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Decode flow-control line

This puts the flow control version (unparsed) in the descriptor. The
client doesn't use it yet.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Encode flow control value in the descriptor

This simply adds the "flow-control" line, as detailed in prop324, to the
descriptor. No decoding is done at this commit.

Part of #40506

cc: Export sendme_inc validation into public function

This is needed for client validation of server descriptor value,
before launching a rend/intro.

cc: Use trunnel extension for ntorv3 circ parameters

Signed-off-by: David Goulet <dgoulet@torproject.org>

trunnel: Make hs/cell_common.trunnel generic

Move it to extension.trunnel instead so that extension ABI construction
can be used in other parts of tor than just HS cells.

Specifically, we'll use it in the ntorv3 data payload and make a
congestion control parameter extension using that binary structure.

Only rename. No code behavior changes.

Signed-off-by: David Goulet <dgoulet@torproject.org>

protover: Add function to get the value of a single type

We can now query the protover subsystem to get the current value we
support for a specific protover type.

This will be useful for prop324 onion service part which puts in the
FlowCtrl value in the service descriptor.

No behavior change.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add test for congestion control negotiation logic.

Add test for TAP vs ntor2+ntor3 onion queue ordering

Add hidden torrc option to always try CC negotiation.

This is for public network testing and for sbws. Should not otherwise be used,
hence it is an undocumented __option.

The option deliberately does not allow force-disabling congestion control, as
this is bad for queueing and fairness.