upstream: oops, missed one more %p

OpenBSD-Commit-ID: e7e62818d1564cc5cd9086eaf7a51cbd1a9701eb

upstream: remove a bunch of %p in format strings; leftovers of

debuggings past. prompted by Michael Forney, ok dtucker@

OpenBSD-Commit-ID: 4853a0d6c9cecaba9ecfcc19066e52d3a8dcb2ac

Add includes.h to compat tests.

On platforms where closefrom returns void (eg glibc>=2.34) the prototype
for closefrom in its compat tests would cause compile errors.  Remove
this and have the tests pull in the compat headers in the same way as
the main code.  bz#3336.

upstream: adapt to scp -M flag change; make scp3.sh test SFTP mode too

OpenBSD-Regress-ID: 43fea26704a0f0b962b53c1fabcb68179638f9c0

upstream: Prepare for a future where scp(1) uses the SFTP protocol by

default. Replace recently added -M option to select the protocol with -O
(olde) and -s (SFTP) flags, and label the -s flag with a clear warning that
it will be removed in the near future (so no, don't use it in scripts!).

prompted by/feedback from deraadt@

OpenBSD-Commit-ID: 92ad72cc6f0023c9be9e316d8b30eb6d8d749cfc

upstream: make scp -3 the default for remote-to-remote copies. It

provides a much better and more intuitive user experience and doesn't require
exposing credentials to the source host.

thanks naddy@ for catching the missing argument in usage()

"Yes please!" - markus@
"makes a lot of sense" - deraadt@
"the right thing to do" - dtucker@

OpenBSD-Commit-ID: d0d2af5f0965c5192ba5b2fa461c9f9b130e5dd9

upstream: make scp in SFTP mode try to use relative paths as much

as possible. Previosuly, it would try to make relative and ~/-rooted paths
absolute before requesting transfers.

prompted by and much discussion deraadt@
ok markus@

OpenBSD-Commit-ID: 46639d382ea99546a4914b545fa7b00fa1be5566

upstream: SFTP protocol extension to allow the server to expand

~-prefixed paths, in particular ~user ones. Allows scp in sftp mode to accept
these paths, like scp in rcp mode does.

prompted by and much discussion deraadt@
ok markus@

OpenBSD-Commit-ID: 7d794def9e4de348e1e777f6030fc9bafdfff392

upstream: when scp is in SFTP mode, try to deal better with ~

prefixed paths. ~user paths aren't supported, but ~/ paths will be accepted
and prefixed with the SFTP server starting directory (more to come)

prompted by and discussed with deraadt@
ok markus@

OpenBSD-Commit-ID: 263a071f14555c045fd03132a8fb6cbd983df00d

upstream: on fatal errors, make scp wait for ssh connection before

exiting avoids LogLevel=verbose (or greater) messages from ssh appearing
after scp has returned exited and control has returned to the shell; ok
markus@

(this was originally committed as r1.223 along with unrelated stuff that
I rolled back in r1.224)

OpenBSD-Commit-ID: 1261fd667ad918484889ed3d7aec074f3956a74b

upstream: rever r1.223 - I accidentally committed unrelated changes

OpenBSD-Commit-ID: fb73f3865b2647a27dd94db73d6589506a9625f9

upstream: show only the final path component in the progress meter;

more useful with long paths (that may truncate) and better matches
traditional scp behaviour; spotted by naddy@ ok deraadt@

OpenBSD-Commit-ID: 26b544d0074f03ebb8a3ebce42317d8d7ee291a3

upstream: on fatal errors, make scp wait for ssh connection before

exiting avoids LogLevel=verbose (or greater) messages from ssh appearing
after scp has returned exited and control has returned to the shell; ok
markus@

OpenBSD-Commit-ID: ef9dab5ef5ae54a6a4c3b15d380568e94263456c

upstream: xstrdup environment variable used by ForwardAgent. bz#3328

from goetze at dovetail.com, ok djm@ deraadt@

OpenBSD-Commit-ID: 760320dac1c3b26904284ba417a7d63fccc5e742

upstream: Although it's POSIX, not all shells used in Portable support

the implicit 'in "$@"' after 'for i'.

OpenBSD-Regress-ID: 3c9aec6bca4868f85d2742b6ba5223fce110bdbc

Move portable specific settings down.

This brings the top hunk of the file back in sync with OpenBSD
so patches to the CVS Id should apply instead of always being
rejected.

upstream: Move setting of USER further down the startup In portable

we have to change this and having it in the same hunk as the CVS Id string
means applying changes fails every. single. time.

OpenBSD-Regress-ID: 87cd603eb6db58c9b430bf90adacb7f90864429b

upstream: Drop -q in ssh-log-wrapper.sh to preserve logs.

scp and sftp like to add -q to the command line passed to ssh which
overrides the LogLevel we set in the config files and suppresses output
to the debug logs so drop any "-q" from the invoked ssh.  In the one
case where we actually want to use -q in the banner test, call the ssh
binary directly bypassing the logging wrapper.

OpenBSD-Regress-ID: e2c97d3c964bda33a751374c56f65cdb29755b75

upstream: Fix prototype mismatch for do_cmd. ok djm@

OpenBSD-Commit-ID: 1c1598bb5237a7ae0be99152f185e0071163714d

upstream: sftp-client.c needs poll.h

remove unused variable

OpenBSD-Commit-ID: 233ac6c012cd23af62f237167a661db391055a16

Include poll.h and friends for struct pollfd.

upstream: do_upload() used a near-identical structure for

tracking expected status replies from the server to what do_download() was
using.

Refactor it to use the same structure and factor out some common
code into helper functions.

OpenBSD-Commit-ID: 0c167df8ab6df4a5292c32421922b0cf379e9054

upstream: make scp(1) in SFTP mode follow symlinks like

traditional scp(1) ok markus@

OpenBSD-Commit-ID: 97255e55be37e8e26605e4ba1e69f9781765d231

upstream: fix incorrect directory permissions on scp -3

transfers; ok markus@

OpenBSD-Commit-ID: 64b2abaa5635a2be65ee2e77688ad9bcebf576c2

upstream: a bit more debugging of file attributes being

sent/received over the wire

OpenBSD-Commit-ID: f68c4e207b08ef95200a8b2de499d422808e089b

upstream: make scp(1) in SFTP mode output better match original

scp(1) by suppressing "Retrieving [path]" lines that were emitted to support
the interactive sftp(1) client. ok markus@

OpenBSD-Commit-ID: 06be293df5f156a18f366079be2f33fa68001acc

upstream: factor out a structure duplicated between downloading

and crossloading; ok markus@

OpenBSD-Commit-ID: 96eede24d520569232086a129febe342e4765d39

upstream: use sftp_client crossloading to implement scp -3

feedback/ok markus@

OpenBSD-Commit-ID: 7db4c0086cfc12afc9cfb71d4c2fd3c7e9416ee9

upstream: support for "cross"-loading files/directories, i.e.

downloading from one SFTP server while simultaneously uploading to another.

feedback & ok markus@

OpenBSD-Commit-ID: 3982878e29d8df0fa4ddc502f5ff6126ac714235

upstream: factor our SSH2_FXP_OPEN calls into their own function;

"looks fine" markus@

OpenBSD-Commit-ID: d3dea2153f08855c6d9dacc01973248944adeffb

upstream: prepare for scp -3 implemented via sftp

OpenBSD-Commit-ID: 194aac0dd87cb175334b71c2a30623a5ad55bb44

upstream: Make diff invocation more portable.

POSIX does not require diff to have -N, so compare in both directions
with just -r, which should catch missing files in either directory.

OpenBSD-Regress-ID: 0e2ec8594556a6f369ed5a0a90c6806419b845f7

upstream: regression test for scp -3

OpenBSD-Regress-ID: b44375d125c827754a1f722ec6b6b75b634de05d

upstream: Document "ProxyJump none". bz#3334.

OpenBSD-Commit-ID: f78cc6f55731f2cd35c3a41d5352ac1ee419eba7

upstream: Allow for different (but POSIX compliant) behaviour of

basename(3) and prevent a use-after-free in that case in the new sftp-compat
code.

POSIX allows basename(3) to either return a pointer to static storage
or modify the passed string and return a pointer to that.  OpenBSD does
the former and works as is, but on other platforms "filename" points
into "tmp" which was just freed.  This makes the freeing of tmp
consistent with the other variable in the loop.

Pinpointed by the -portable Valgrind regress test.  ok djm@ deraadt@

OpenBSD-Commit-ID: 750f3c19bd4440e4210e30dd5d7367386e833374

use openbsd-compat glob.h is required

Missing space between macro arg and punctuation.

From jmc@

Avoid lines >80 chars.  From jmc@

upstream: regression tests for scp SFTP protocol support; mostly by

Jakub Jelen in GHPR#194 ok markus

OpenBSD-Regress-ID: 36f1458525bcb111741ec8547eaf58b13cddc715

upstream: Treat doas with arguments as a valid SUDO variable.

Allows one to specify SUDO="doas -n" which I do while running make regress.

ok dtucker@

OpenBSD-Regress-ID: 4fe5814b5010dbf0885500d703bea06048d11005

upstream: support for using the SFTP protocol for file transfers in

scp, via a new "-M sftp" option. Marked as experimental for now.

Some corner-cases exist, in particular there is no attempt to
provide bug-compatibility with scp's weird "double shell" quoting
rules.

Mostly by Jakub Jelen in GHPR#194 with some tweaks by me. ok markus@
Thanks jmc@ for improving the scp.1 bits.

OpenBSD-Commit-ID: 6ce4c9157ff17b650ace571c9f7793d92874051c

upstream: fix a formatting error and add some Xr; from debian at

helgefjell de

removed references to rlogin etc. as no longer relevant;
suggested by djm

ok djm dtucker

OpenBSD-Commit-ID: 3c431c303068d3aec5bb18573a0bd5e0cd77c5ae

upstream: fix a formatting error and mark up known_hosts

consistently; issues reported by debian at helgefjell de

ok djm dtucker

OpenBSD-Commit-ID: a1fd8d21dc77f507685443832df0c9700481b0ce

upstream: no need to talk about version 2 with the -Q option, so

rewrite the text to read better;

issue reported by debian at helgefjell de
ok djm dtucker

OpenBSD-Commit-ID: 59fe2e8219c37906740ad062e0fdaea487dbe9cf

upstream: word fix; reported by debian at helgefjell de

OpenBSD-Commit-ID: 0c6fd22142422a25343c5bd1a618f31618f41ece

upstream: standardise the grammar in the options list; issue

reported by debian at helgefjell de

ok dtucker djm

OpenBSD-Commit-ID: 7ac15575045d82f4b205a42cc7d5207fe4c3f8e6

Check for RLIMIT_NOFILE before trying to use it.

lastenv is only used in setenv.

Prevents an unused variable warning on platforms that have setenv but
not unsetenv.

Move SUDO to "make test" command line.

Environment variables don't get passed by vmrun, so move to command
line.

Set SUDO for tests and cleanup.

Pass OPENSSL=no to make tests too.

upstream: Skip unit and makefile-based key conversion tests when

we're building with OPENSSL=no.

OpenBSD-Regress-ID: 20455ed9a977c93f846059d1fcb48e29e2c8d732

upstream: Replace OPENSSL as the variable that points to the

openssl binary with OPENSSL_BIN.  This will allow us to use the OPENSSL
variable from mk.conf or the make(1) command line indicating if we're
building with our without OpenSSL, and ultimately get the regress tests
working in the OPENSSL=no configuration.

OpenBSD-Regress-ID: 2d788fade3264d7803e5b54cae8875963f688c4e

upstream: Skip RFC4716 format import and export tests when built

without OpenSSL.

OpenBSD-Regress-ID: d2c2d5d38c1acc2b88cc99cfe00a2eb8bb39dfa4

upstream: Don't omit ssh-keygen -y from usage when built without

OpenSSL.  It is actually available, albeit only for ed25519 keys.

OpenBSD-Commit-ID: 7a254c33d0e6a55c30c6b016a8d298d3cb7a7674

upstream: Exclude key conversion options from usage when built

without OpenSSL since those are not available, similar to what we currently
do with the moduli screening options.  We can also use this to skip the
conversion regression tests in this case.

OpenBSD-Commit-ID: 3c82caa398cf99cd4518c23bba5a2fc66b16bafe

Test OpenBSD upstream with and without OpenSSL.

upstream: test for first-match-wins in authorized_keys environment=

options

OpenBSD-Regress-ID: 1517c90276fe84b5dc5821c59f88877fcc34c0e8

upstream: Simplify keygen-convert by using $SSH_KEYTYPES directly.

OpenBSD-Regress-ID: cdbe408ec3671ea9ee9b55651ee551370d2a4108

upstream: don't leak environment= variable when it is not the first

match

OpenBSD-Commit-ID: 7fbdc3dfe0032deaf003fd937eeb4d434ee4efe0

upstream: punctuation;

OpenBSD-Commit-ID: 64be152e378c45975073ab1c07e0db7eddd15806

upstream: mention in comment that read_passphrase(..., RP_ALLOW_STDIN)

will try to use askpass first. bz3314

convert a couple of debug() -> debug_f() while here

OpenBSD-Commit-ID: c7e812aebc28fcc5db06d4710e0f73613dee545c

upstream: Test conversion of ed25519 and ecdsa keys too.

OpenBSD-Regress-ID: 3676d2d00e58e0d6d37f2878f108cc2b83bbe4bb

upstream: Add test for exporting pubkey from a passphrase-protected

private key.

OpenBSD-Regress-ID: da99d93e7b235fbd5b5aaa01efc411225e6ba8ac

upstream: regression test for time-limited signature keys

OpenBSD-Regress-ID: 2a6f3bd900dbee0a3c96f1ff23e032c93ab392bc

upstream: note successful authentication method in final "Authenticated

to ..." message and partial auth success messages (all at LogLevel=verbose)
ok dtucker@

OpenBSD-Commit-ID: 06834b89ceb89f8f16c5321d368a66c08f441984

upstream: Add a ForkAfterAuthentication ssh_config(5) counterpart

to the ssh(1) -f flag. Last part of GHPR231 from Volker Diels-Grabsch. ok
dtucker

OpenBSD-Commit-ID: b18aeda12efdebe2093d55263c90fe4ea0bce0d3

upstream: Add a StdinNull directive to ssh_config(5) that allows

the config file to do the same thing as -n does on the ssh(1) commandline.
Patch from Volker Diels-Grabsch via GHPR231; ok dtucker

OpenBSD-Commit-ID: 66ddf3f15c76796d4dcd22ff464aed1edd62468e

upstream: make authorized_keys environment="..." directives

first-match-wins and more strictly limit their maximum number; prompted by
OOM reported by OSS-fuzz (35470).

feedback and ok dtucker@

OpenBSD-Commit-ID: 01f63fc10dcd995e7aed9c378ad879161af83121

upstream: Let allowed signers files used by ssh-keygen(1)

signatures support key lifetimes, and allow the verification mode to specify
a signature time to check at. This is intended for use by git to support
signing objects using ssh keys. ok dtucker@

OpenBSD-Commit-ID: 3e2c67b7dcd94f0610194d1e8e4907829a40cf31

upstream: Use SUDO when setting up hostkey.

OpenBSD-Regress-ID: 990cf4481cab8dad62e90818a9b4b36c533851a7

upstream: Increase time margin for rekey tests. Should help

reliability on very heavily loaded hosts.

OpenBSD-Regress-ID: 4c28a0fce3ea89ebde441d7091464176e9730533

Add sshfp-connect.sh file missed in previous.

upstream: Ensure that all returned SSHFP records for the specified host

name and hostkey type match instead of only one.  While there, simplify the
code somewhat and add some debugging.  Based on discussion in bz#3322, ok
djm@.

OpenBSD-Commit-ID: 0a6a0a476eb7f9dfe8fe2c05a1a395e3e9b22ee4

upstream: Id sync only, -portable already has this.

Put dh_set_moduli_file call inside ifdef WITH_OPENSSL. Fixes
build with OPENSSL=no.

OpenBSD-Commit-ID: af54abbebfb12bcde6219a44d544e18204defb15

upstream: Add test for host key verification via SSHFP records. This

requires some external setup to operate so is disabled by default (see
comments in sshfp-connect.sh).

OpenBSD-Regress-ID: c52c461bd1df3a803d17498917d156ef64512fd9

upstream: Add ed25519 key and test SSHFP export of it. Only test

RSA SSHFP export if we have RSA functionality compiled in.

OpenBSD-Regress-ID: b4ff5181b8c9a5862e7f0ecdd96108622333a9af

upstream: Group keygen tests together.

OpenBSD-Regress-ID: 07e2d25c527bb44f03b7c329d893a1f2d6c5c40c

upstream: Add test for ssh-keygen printing of SSHFP records.

OpenBSD-Regress-ID: fde9566b56eeb980e149bbe157a884838507c46b

upstream: wrap some long lines

OpenBSD-Commit-ID: 4f5186b1466656762dae37d3e569438d900c350d

upstream: fix sftp on ControlPersist connections, broken by recent

SessionType change; spotted by sthen@

OpenBSD-Commit-ID: 4c5ddc5698790ae6ff50d2a4f8f832f0eeeaa234

upstream: Explicitly check for and start time-based rekeying in the

client and server mainloops.

Previously the rekey timeout could expire but rekeying would not start
until a packet was sent or received. This could cause us to spin in
select() on the rekey timeout if the connection was quiet.

ok markus@

OpenBSD-Commit-ID: 4356cf50d7900f3df0a8f2117d9e07c91b9ff987

upstream: reorder SessionType; ok djm

OpenBSD-Commit-ID: c7dd0b39e942b1caf4976a0b1cf0fed33d05418c

Make whitespace consistent.

Add ARM64 Linux self-hosted runner.

upstream: add a SessionType directive to ssh_config, allowing the

configuration file to offer equivalent control to the -N (no session) and -s
(subsystem) command-line flags.

Part of GHPR#231 by Volker Diels-Grabsch with some minor tweaks;
feedback and ok dtucker@

OpenBSD-Commit-ID: 726ee931dd4c5cc7f1d7a187b26f41257f9a2d12

upstream: fix some broken tests; clean up output

OpenBSD-Regress-ID: 1d5038edb511dc4ce1622344c1e724626a253566

Add configure-time detection for SSH_TIME_T_MAX.

Should fix printing cert times exceeding INT_MAX (bz#3329) on platforms
were time_t is a long long.  The limit used is for the signed type, so if
some system has a 32bit unsigned time_t then the lower limit will still
be imposed and we would need to add some way to detect this.  Anyone using
an unsigned 64bit can let us know when it starts being a problem.

upstream: Make limit for time_t test unconditional in the

format_absolute_time fix for bz#3329 that allows printing of timestamps past
INT_MAX. This was incorrectly included with the previous commit.   Based on
discussion with djm@.

OpenBSD-Commit-ID: 835936f6837c86504b07cabb596b613600cf0f6e

upstream: Use existing format_absolute_time() function when

printing cert validity instead of doing it inline.  Part of bz#3329.

OpenBSD-Commit-ID: a13d4e3c4f59644c23745eb02a09b2a4e717c00c

upstream: silence redundant error message; reported by Fabian Stelzer

OpenBSD-Commit-ID: 9349a703016579a60557dafd03af2fe1d44e6aa2

Re-indent krb5 section after pkg-config addition.

Support finding Kerberos via pkg-config

This makes cross compilation easier.

Update comments about EGD to include prngd.

upstream: Fix a couple of whitespace things. Portable already has

these so this removes two diffs between the two.

OpenBSD-Commit-ID: 769f017ebafd8e741e337b3e9e89eb5ac73c9c56

upstream: Order includes as per style(9). Portable already has

these so this removes a handful of diffs between the two.

OpenBSD-Commit-ID: 8bd7452d809b199c19bfc49511a798f414eb4a77

upstream: Remove comment referencing now-removed

RhostsRSAAuthentication.  ok djm@

OpenBSD-Commit-ID: 3d864bfbd99a1d4429a58e301688f3be464827a9

upstream: allow spaces to appear in usernames for local to remote,

and scp -3 remote to remote copies. with & ok dtucker bz#1164

OpenBSD-Commit-ID: e9b550f3a85ffbb079b6720833da31317901d6dd

upstream: Remove obsolete comments about SSHv1 auth methods. ok

djm@

OpenBSD-Commit-ID: 6060f70966f362d8eb4bec3da2f6c4712fbfb98f

Remove reference to ChallengeResponse.

challenge_response_authentication was removed from the struct, keeping
kbd_interactive_authentication.