upstream: Fix ssh-rsa fallback for old PuTTY interop tests.

OpenBSD-Regress-ID: a19ac929da604843a5b5f0f48d2c0eb6e0773d37

upstream: Add a function to skip remaining tests.

Many tests skip tests for various reasons but not in a consistent way and
don't always clean up, so add that and switch the tests that do that over.

OpenBSD-Regress-ID: 72d2ec90a3ee8849486956a808811734281af735

upstream: Specify path to PuTTY keys.

Portable needs this and it makes no difference on OpenBSD, so resync
them.  (Id sync only, Portable already had this.)

OpenBSD-Regress-ID: 33f6f66744455886d148527af8368811e4264162

upstream: Better compat tests with old PuTTY.

When running PuTTY interop tests and using a PuTTY version older than
0.76, re-enable the ssh-rsa host key algorithm (the 256 and 512 variants
of RSA were added some time between 0.73 and 0.76).

OpenBSD-Regress-ID: e6138d6987aa705fa1e4f216db0bb386e1ff38e1

Resync PuTTY interop tests.

Resync behaviour when REGRESS_INTEROP_PUTTY is not set with OpenBSD.

upstream: Specify hostkeyalgorithms in SSHFP test.

Specify host key algorithms in sshd's default set for the SSHFP test,
from djm@.  Make the reason for when the test is skipped a bit clearer.

OpenBSD-Regress-ID: 4f923dfc761480d5411de17ea6f0b30de3e32cea

upstream: adapt to RSA/SHA1 deprectation

OpenBSD-Regress-ID: 952397c39a22722880e4de9d1c50bb1a14f907bb

upstream: After years of forewarning, disable the RSA/SHA-1

signature algorithm by default. It is feasible to create colliding SHA1
hashes, so we need to deprecate its use.

RSA/SHA-256/512 remains available and will be transparently selected
instead of RSA/SHA1 for most SSH servers released in the last five+
years. There is no need to regenerate RSA keys.

The use of RSA/SHA1 can be re-enabled by adding "ssh-rsa" to the
PubkeyAcceptedAlgorithms directives on the client and server.

ok dtucker deraadt

OpenBSD-Commit-ID: 189bcc4789c7254e09e23734bdd5def8354ff1d5

upstream: wrap at 80 columns

OpenBSD-Commit-ID: 47ca2286d6b52a9747f34da16d742879e1a37bf0

Replace shell function with ssh-keygen -A.

Prevents the init script in the SysV package from trying (and failing)
to generate unsupported key types.  Remove now-unused COMMENT_OUT_ECC.
ok tim@

Remove obsolete Redhat PAM config and init script.

depend

update version numbers

upstream: openssh-8.7

OpenBSD-Commit-ID: 8769dff0fd76ae3193d77bf83b439adee0f300cd

Also check pid in pselect_notify_setup.

Spotted by djm@.

Prefix pselect functions to clarify debug messages

Fix race in pselect replacement code.

On the second and subsequent calls to pselect the notify_pipe was not
added to the select readset, opening up a race that om G. Christensen
discovered on multiprocessor Solaris <=9 systems.

Also reinitialize notify_pipe if the pid changes.  This will prevent a
parent and child from using the same FD, although this is not an issue
in the current structure it might be in future.

Check compiler for c99 declarations after code.

The sntrup761 reference code contains c99-style declarations after code
so don't try to build that if the compiler doesn't support it.

Remove trailing backslash on regress-unit-binaries

Put stdint.h inside HAVE_STDINT_H.

From Tom G. Christensen.

Improve github test driver script.

 - use a trap to always output any failed regress logs (since the script
   sets -e, the existing log output is never invoked).
 - pass LTESTS and SKIP_LTESTS when re-running with sshd options (eg.
   UsePAM).

Remove deprecated ubuntu-16.04 test targets.

Github has deprecated ubuntu-16.04 and it will be removed on 20
September.

Skip agent ptrace test on hurd.

Add hurd test target.

Skip scp3 tests on all dfly58 and 60 configs.

openbsd-compat/openbsd-compat.h: put bsd-signal.h before bsd-misc.h
to get sigset_t from signal.h needed for the pselect replacement.

Test OpenSSH from OpenBSD head on 6.8 and 6.9.

Skip scp3 test on dragonfly 58 and 60.

The tests hang, so skip until we figure them out.

upstream: mention that CASignatureAlgorithms accepts +/- similarly to

the other algorithm list directives; ok jmc bz#3335

OpenBSD-Commit-ID: 0d46b53995817052c78e2dce9dbd133963b073d9

upstream: In the editline(3) branch of the sftp(1) event loop,

handle SIGINT rather than ignoring it, such that the user can use Ctrl-C to
discard the currently edited command line and get a fresh prompt, just like
in ftp(1), bc(1), and in shells.

It is critical to not use ssl_signal() for this particular case
because that function unconditionally sets SA_RESTART, but here we
need the signal to interrupt the read(2) in the el_gets(3) event loop.

OK dtucker@ deraadt@

OpenBSD-Commit-ID: 8025115a773f52e9bb562eaab37ea2e021cc7299

upstream: scp: tweak man page and error message for -3 by default

Now that the -3 option is enabled by default, flip the documentation
and error message logic from "requires -3" to "blocked by -R".

ok djm@

OpenBSD-Commit-ID: a872592118444fb3acda5267b2a8c3d4c4252020

upstream: scp: do not spawn ssh with two -s flags for

remote-to-remote copies

Do not add another "-s" to the argument vector every time an SFTP
connection is initiated.  Instead, introduce a subsystem flag to
do_cmd() and add "-s" when the flag is set.

ok djm@

OpenBSD-Commit-ID: 25df69759f323661d31b2e1e790faa22e27966c1

upstream: test -Oprint-pubkey

OpenBSD-Regress-ID: 3d51afb6d1f287975fb6fddd7a2c00a3bc5094e0

upstream: when verifying sshsig signatures, support an option

(-Oprint-pubkey) to dump the full public key to stdout; based on patch from
Fabian Stelzer; ok markus@

OpenBSD-Commit-ID: 0598000e5b9adfb45d42afa76ff80daaa12fc3e2

upstream: oops, missed one more %p

OpenBSD-Commit-ID: e7e62818d1564cc5cd9086eaf7a51cbd1a9701eb

upstream: remove a bunch of %p in format strings; leftovers of

debuggings past. prompted by Michael Forney, ok dtucker@

OpenBSD-Commit-ID: 4853a0d6c9cecaba9ecfcc19066e52d3a8dcb2ac

Add includes.h to compat tests.

On platforms where closefrom returns void (eg glibc>=2.34) the prototype
for closefrom in its compat tests would cause compile errors.  Remove
this and have the tests pull in the compat headers in the same way as
the main code.  bz#3336.

upstream: adapt to scp -M flag change; make scp3.sh test SFTP mode too

OpenBSD-Regress-ID: 43fea26704a0f0b962b53c1fabcb68179638f9c0

upstream: Prepare for a future where scp(1) uses the SFTP protocol by

default. Replace recently added -M option to select the protocol with -O
(olde) and -s (SFTP) flags, and label the -s flag with a clear warning that
it will be removed in the near future (so no, don't use it in scripts!).

prompted by/feedback from deraadt@

OpenBSD-Commit-ID: 92ad72cc6f0023c9be9e316d8b30eb6d8d749cfc

upstream: make scp -3 the default for remote-to-remote copies. It

provides a much better and more intuitive user experience and doesn't require
exposing credentials to the source host.

thanks naddy@ for catching the missing argument in usage()

"Yes please!" - markus@
"makes a lot of sense" - deraadt@
"the right thing to do" - dtucker@

OpenBSD-Commit-ID: d0d2af5f0965c5192ba5b2fa461c9f9b130e5dd9

upstream: make scp in SFTP mode try to use relative paths as much

as possible. Previosuly, it would try to make relative and ~/-rooted paths
absolute before requesting transfers.

prompted by and much discussion deraadt@
ok markus@

OpenBSD-Commit-ID: 46639d382ea99546a4914b545fa7b00fa1be5566

upstream: SFTP protocol extension to allow the server to expand

~-prefixed paths, in particular ~user ones. Allows scp in sftp mode to accept
these paths, like scp in rcp mode does.

prompted by and much discussion deraadt@
ok markus@

OpenBSD-Commit-ID: 7d794def9e4de348e1e777f6030fc9bafdfff392

upstream: when scp is in SFTP mode, try to deal better with ~

prefixed paths. ~user paths aren't supported, but ~/ paths will be accepted
and prefixed with the SFTP server starting directory (more to come)

prompted by and discussed with deraadt@
ok markus@

OpenBSD-Commit-ID: 263a071f14555c045fd03132a8fb6cbd983df00d

upstream: on fatal errors, make scp wait for ssh connection before

exiting avoids LogLevel=verbose (or greater) messages from ssh appearing
after scp has returned exited and control has returned to the shell; ok
markus@

(this was originally committed as r1.223 along with unrelated stuff that
I rolled back in r1.224)

OpenBSD-Commit-ID: 1261fd667ad918484889ed3d7aec074f3956a74b

upstream: rever r1.223 - I accidentally committed unrelated changes

OpenBSD-Commit-ID: fb73f3865b2647a27dd94db73d6589506a9625f9

upstream: show only the final path component in the progress meter;

more useful with long paths (that may truncate) and better matches
traditional scp behaviour; spotted by naddy@ ok deraadt@

OpenBSD-Commit-ID: 26b544d0074f03ebb8a3ebce42317d8d7ee291a3

upstream: on fatal errors, make scp wait for ssh connection before

exiting avoids LogLevel=verbose (or greater) messages from ssh appearing
after scp has returned exited and control has returned to the shell; ok
markus@

OpenBSD-Commit-ID: ef9dab5ef5ae54a6a4c3b15d380568e94263456c

upstream: xstrdup environment variable used by ForwardAgent. bz#3328

from goetze at dovetail.com, ok djm@ deraadt@

OpenBSD-Commit-ID: 760320dac1c3b26904284ba417a7d63fccc5e742

upstream: Although it's POSIX, not all shells used in Portable support

the implicit 'in "$@"' after 'for i'.

OpenBSD-Regress-ID: 3c9aec6bca4868f85d2742b6ba5223fce110bdbc

Move portable specific settings down.

This brings the top hunk of the file back in sync with OpenBSD
so patches to the CVS Id should apply instead of always being
rejected.

upstream: Move setting of USER further down the startup In portable

we have to change this and having it in the same hunk as the CVS Id string
means applying changes fails every. single. time.

OpenBSD-Regress-ID: 87cd603eb6db58c9b430bf90adacb7f90864429b

upstream: Drop -q in ssh-log-wrapper.sh to preserve logs.

scp and sftp like to add -q to the command line passed to ssh which
overrides the LogLevel we set in the config files and suppresses output
to the debug logs so drop any "-q" from the invoked ssh.  In the one
case where we actually want to use -q in the banner test, call the ssh
binary directly bypassing the logging wrapper.

OpenBSD-Regress-ID: e2c97d3c964bda33a751374c56f65cdb29755b75

upstream: Fix prototype mismatch for do_cmd. ok djm@

OpenBSD-Commit-ID: 1c1598bb5237a7ae0be99152f185e0071163714d

upstream: sftp-client.c needs poll.h

remove unused variable

OpenBSD-Commit-ID: 233ac6c012cd23af62f237167a661db391055a16

Include poll.h and friends for struct pollfd.

upstream: do_upload() used a near-identical structure for

tracking expected status replies from the server to what do_download() was
using.

Refactor it to use the same structure and factor out some common
code into helper functions.

OpenBSD-Commit-ID: 0c167df8ab6df4a5292c32421922b0cf379e9054

upstream: make scp(1) in SFTP mode follow symlinks like

traditional scp(1) ok markus@

OpenBSD-Commit-ID: 97255e55be37e8e26605e4ba1e69f9781765d231

upstream: fix incorrect directory permissions on scp -3

transfers; ok markus@

OpenBSD-Commit-ID: 64b2abaa5635a2be65ee2e77688ad9bcebf576c2

upstream: a bit more debugging of file attributes being

sent/received over the wire

OpenBSD-Commit-ID: f68c4e207b08ef95200a8b2de499d422808e089b

upstream: make scp(1) in SFTP mode output better match original

scp(1) by suppressing "Retrieving [path]" lines that were emitted to support
the interactive sftp(1) client. ok markus@

OpenBSD-Commit-ID: 06be293df5f156a18f366079be2f33fa68001acc

upstream: factor out a structure duplicated between downloading

and crossloading; ok markus@

OpenBSD-Commit-ID: 96eede24d520569232086a129febe342e4765d39

upstream: use sftp_client crossloading to implement scp -3

feedback/ok markus@

OpenBSD-Commit-ID: 7db4c0086cfc12afc9cfb71d4c2fd3c7e9416ee9

upstream: support for "cross"-loading files/directories, i.e.

downloading from one SFTP server while simultaneously uploading to another.

feedback & ok markus@

OpenBSD-Commit-ID: 3982878e29d8df0fa4ddc502f5ff6126ac714235

upstream: factor our SSH2_FXP_OPEN calls into their own function;

"looks fine" markus@

OpenBSD-Commit-ID: d3dea2153f08855c6d9dacc01973248944adeffb

upstream: prepare for scp -3 implemented via sftp

OpenBSD-Commit-ID: 194aac0dd87cb175334b71c2a30623a5ad55bb44

upstream: Make diff invocation more portable.

POSIX does not require diff to have -N, so compare in both directions
with just -r, which should catch missing files in either directory.

OpenBSD-Regress-ID: 0e2ec8594556a6f369ed5a0a90c6806419b845f7

upstream: regression test for scp -3

OpenBSD-Regress-ID: b44375d125c827754a1f722ec6b6b75b634de05d

upstream: Document "ProxyJump none". bz#3334.

OpenBSD-Commit-ID: f78cc6f55731f2cd35c3a41d5352ac1ee419eba7

upstream: Allow for different (but POSIX compliant) behaviour of

basename(3) and prevent a use-after-free in that case in the new sftp-compat
code.

POSIX allows basename(3) to either return a pointer to static storage
or modify the passed string and return a pointer to that.  OpenBSD does
the former and works as is, but on other platforms "filename" points
into "tmp" which was just freed.  This makes the freeing of tmp
consistent with the other variable in the loop.

Pinpointed by the -portable Valgrind regress test.  ok djm@ deraadt@

OpenBSD-Commit-ID: 750f3c19bd4440e4210e30dd5d7367386e833374

use openbsd-compat glob.h is required

Missing space between macro arg and punctuation.

From jmc@

Avoid lines >80 chars.  From jmc@

upstream: regression tests for scp SFTP protocol support; mostly by

Jakub Jelen in GHPR#194 ok markus

OpenBSD-Regress-ID: 36f1458525bcb111741ec8547eaf58b13cddc715

upstream: Treat doas with arguments as a valid SUDO variable.

Allows one to specify SUDO="doas -n" which I do while running make regress.

ok dtucker@

OpenBSD-Regress-ID: 4fe5814b5010dbf0885500d703bea06048d11005

upstream: support for using the SFTP protocol for file transfers in

scp, via a new "-M sftp" option. Marked as experimental for now.

Some corner-cases exist, in particular there is no attempt to
provide bug-compatibility with scp's weird "double shell" quoting
rules.

Mostly by Jakub Jelen in GHPR#194 with some tweaks by me. ok markus@
Thanks jmc@ for improving the scp.1 bits.

OpenBSD-Commit-ID: 6ce4c9157ff17b650ace571c9f7793d92874051c

upstream: fix a formatting error and add some Xr; from debian at

helgefjell de

removed references to rlogin etc. as no longer relevant;
suggested by djm

ok djm dtucker

OpenBSD-Commit-ID: 3c431c303068d3aec5bb18573a0bd5e0cd77c5ae

upstream: fix a formatting error and mark up known_hosts

consistently; issues reported by debian at helgefjell de

ok djm dtucker

OpenBSD-Commit-ID: a1fd8d21dc77f507685443832df0c9700481b0ce

upstream: no need to talk about version 2 with the -Q option, so

rewrite the text to read better;

issue reported by debian at helgefjell de
ok djm dtucker

OpenBSD-Commit-ID: 59fe2e8219c37906740ad062e0fdaea487dbe9cf

upstream: word fix; reported by debian at helgefjell de

OpenBSD-Commit-ID: 0c6fd22142422a25343c5bd1a618f31618f41ece

upstream: standardise the grammar in the options list; issue

reported by debian at helgefjell de

ok dtucker djm

OpenBSD-Commit-ID: 7ac15575045d82f4b205a42cc7d5207fe4c3f8e6

Check for RLIMIT_NOFILE before trying to use it.

lastenv is only used in setenv.

Prevents an unused variable warning on platforms that have setenv but
not unsetenv.

Move SUDO to "make test" command line.

Environment variables don't get passed by vmrun, so move to command
line.

Set SUDO for tests and cleanup.

Pass OPENSSL=no to make tests too.

upstream: Skip unit and makefile-based key conversion tests when

we're building with OPENSSL=no.

OpenBSD-Regress-ID: 20455ed9a977c93f846059d1fcb48e29e2c8d732

upstream: Replace OPENSSL as the variable that points to the

openssl binary with OPENSSL_BIN.  This will allow us to use the OPENSSL
variable from mk.conf or the make(1) command line indicating if we're
building with our without OpenSSL, and ultimately get the regress tests
working in the OPENSSL=no configuration.

OpenBSD-Regress-ID: 2d788fade3264d7803e5b54cae8875963f688c4e

upstream: Skip RFC4716 format import and export tests when built

without OpenSSL.

OpenBSD-Regress-ID: d2c2d5d38c1acc2b88cc99cfe00a2eb8bb39dfa4

upstream: Don't omit ssh-keygen -y from usage when built without

OpenSSL.  It is actually available, albeit only for ed25519 keys.

OpenBSD-Commit-ID: 7a254c33d0e6a55c30c6b016a8d298d3cb7a7674

upstream: Exclude key conversion options from usage when built

without OpenSSL since those are not available, similar to what we currently
do with the moduli screening options.  We can also use this to skip the
conversion regression tests in this case.

OpenBSD-Commit-ID: 3c82caa398cf99cd4518c23bba5a2fc66b16bafe

Test OpenBSD upstream with and without OpenSSL.

upstream: test for first-match-wins in authorized_keys environment=

options

OpenBSD-Regress-ID: 1517c90276fe84b5dc5821c59f88877fcc34c0e8

upstream: Simplify keygen-convert by using $SSH_KEYTYPES directly.

OpenBSD-Regress-ID: cdbe408ec3671ea9ee9b55651ee551370d2a4108

upstream: don't leak environment= variable when it is not the first

match

OpenBSD-Commit-ID: 7fbdc3dfe0032deaf003fd937eeb4d434ee4efe0

upstream: punctuation;

OpenBSD-Commit-ID: 64be152e378c45975073ab1c07e0db7eddd15806

upstream: mention in comment that read_passphrase(..., RP_ALLOW_STDIN)

will try to use askpass first. bz3314

convert a couple of debug() -> debug_f() while here

OpenBSD-Commit-ID: c7e812aebc28fcc5db06d4710e0f73613dee545c

upstream: Test conversion of ed25519 and ecdsa keys too.

OpenBSD-Regress-ID: 3676d2d00e58e0d6d37f2878f108cc2b83bbe4bb

upstream: Add test for exporting pubkey from a passphrase-protected

private key.

OpenBSD-Regress-ID: da99d93e7b235fbd5b5aaa01efc411225e6ba8ac

upstream: regression test for time-limited signature keys

OpenBSD-Regress-ID: 2a6f3bd900dbee0a3c96f1ff23e032c93ab392bc

upstream: note successful authentication method in final "Authenticated

to ..." message and partial auth success messages (all at LogLevel=verbose)
ok dtucker@

OpenBSD-Commit-ID: 06834b89ceb89f8f16c5321d368a66c08f441984