upstream: Test did not compile due to missing symbols. Add source

sshbuf-misc.c to regress as it was done in ssh make file. from Moritz Buhl

OpenBSD-Regress-ID: 9e1c23476bb845f3cf3d15d9032da3ed0cb2fcf5

tweak warning flags

Enable -Wextra if compiler supports it

Set -Wno-error=format-truncation if available to prevent expected
string truncations in openbsd-compat from breaking -Werror builds

proc_pidinfo()-based closefrom() for OS X

Refactor closefrom() to use a single brute-force close() loop fallback.

Based on patch from likan_999.student@sina.com in bz#3049. ok dtucker@

upstream: Call comma-separated lists as such to clarify semantics

Options such as Ciphers take values that may be a list of ciphers;  the
complete list, not indiviual elements, may be prefixed with a dash or plus
character to remove from or append to the default list respectively.

Users might read the current text as if each elment took an optional prefix,
so tweak the wording from "values" to "list" to prevent such ambiguity for
all options supporting this semantics (those that provide a list of
available elements via "ssh -Q ...").

Input and OK jmc

OpenBSD-Commit-ID: 4fdd175b0e5f5cb10ab3f26ccc38a93bb6515d57

upstream: include sshbuf-misc.c in SRCS_BASE

OpenBSD-Commit-ID: 99dd10e72c04e93849981d43d64c946619efa474

Fix pasto in fallback code.

There is no parameter called "pathname", it should simply be "path".
bz#3059, patch from samuel at cendio.se.

use SC_ALLOW_ARG_MASK to limit mmap protections

Restrict to PROT_(READ|WRITE|NONE), i.e. exclude PROT_EXEC

allow mprotect(2) with PROT_(READ|WRITE|NONE) only

Used by some hardened heap allocators. Requested by Yegor
Timoshenko in https://github.com/openssh/openssh-portable/pull/142

upstream: switch percent_expand() to use sshbuf instead of a limited

fixed buffer; ok markus@

OpenBSD-Commit-ID: 3f9ef20bca5ef5058b48c1cac67c53b9a1d15711

upstream: produce a useful error message if the user's shell is set

incorrectly during "match exec" processing. bz#2791 reported by Dario
Bertini; ok dtucker

OpenBSD-Commit-ID: cf9eddd6a6be726cb73bd9c3936f3888cd85c03d

upstream: Change description of TCPKeepAlive from "inactive" to

"unresponsive" to clarify what it checks for.  Patch from jblaine at
kickflop.net via github pr#129, ok djm@.

OpenBSD-Commit-ID: 3682f8ec7227f5697945daa25d11ce2d933899e9

upstream: Allow the maximimum uint32 value for the argument passed to

-b which allows better error messages from later validation.  bz#3050, ok
djm@

OpenBSD-Commit-ID: 10adf6876b2401b3dc02da580ebf67af05861673

upstream: Many key types are supported now, so take care to check

the size restrictions and apply the default size only to the matching key
type. tweak and ok dtucker@

OpenBSD-Commit-ID: b825de92d79cc4cba19b298c61e99909488ff57e

upstream: Remove now-redundant perm_ok arg since

sshkey_load_private_type will now return SSH_ERR_KEY_BAD_PERMISSIONS in that
case.  Patch from jitendra.sharma at intel.com, ok djm@

OpenBSD-Commit-ID: 07916a17ed0a252591b71e7fb4be2599cb5b0c77

Fix mem leak in unit test.

Patch from jitendra.sharma at intel.com.

upstream: fix some memleaks in test_helper code

bz#3037 from Jitendra Sharma

OpenBSD-Regress-ID: 71440fa9186f5842a65ce9a27159385c6cb6f751

upstream: typo; from Christian Hesse

OpenBSD-Commit-ID: 82f6de7438ea7ee5a14f44fdf5058ed57688fdc3

upstream: let sshbuf_find/cmp take a void* for the

search/comparison argument, instead of a u_char*. Saves callers needing to
cast.

OpenBSD-Commit-ID: d63b69b7c5dd570963e682f758f5a47b825605ed

upstream: When using a combination of a Yubikey+GnuPG+remote

forwarding the gpg-agent (and options ControlMaster+RemoteForward in
ssh_config(5)) then the codepath taken will call mux_client_request_session
-> mm_send_fd -> sendmsg(2). Since sendmsg(2) is not allowed in that codepath
then pledge(2) kills the process.

The solution is to add "sendfd" to pledge(2), which is not too bad considering
a little bit later we reduce pledge(2) to only "stdio proc tty" in that
codepath.

Problem reported and diff provided by Timothy Brown <tbrown at freeshell.org>

OK deraadt@

OpenBSD-Commit-ID: 7ce38b6542bbec00e441595d0a178e970a9472ac

upstream: Fix typo in CASignatureAlgorithms wherein what should be

a comma is a dot. Patch from hnj2 via github pr#141.

OpenBSD-Commit-ID: 01f5a460438ff1af09aab483c0a70065309445f0

Report success of individual tests as well as all.

This puts the "all tests passed" message back at the end where the
test harnesses can find it.

convert to UTF-8; from Mike Frysinger

upstream: Restrict limit-keytype to types supported by build. This

means we have to skip a couple tests when only one key type is supported.

OpenBSD-Regress-ID: 22d05befb9c7ce21ce8dc22acf1ffe9e2ef2e95e

Remove override disabling DH-GEX.

The DH-GEX override doesn't work when build without OpenSSL, and
we'll prefer curve25519 these days, removing the need for it.

upstream: Only use supported key types during KRL test, preferring

ed25519 since it's supported by both OpenSSL and non-OpenSSL builds.

OpenBSD-Regress-ID: 9f2bb3eadd50fcc8245b1bd8fd6f0e53602f71aa

upstream: Switch keys-command test from rsa to ed25519 since it's

supported for both OpenSSL and non-OpenSSL builds.

OpenBSD-Regress-ID: 174be4be876edd493e4a5c851e5bc579885e7a0a

upstream: Make certificate tests work with the supported key

algorithms.  Allows tests to pass when built without OpenSSL.

OpenBSD-Regress-ID: 617169a6dd9d06db3697a449d9a26c284eca20fc

upstream: Construct list of key types to test based on the types

supported by the binaries.

OpenBSD-Regress-ID: fcbd115efacec8ab0ecbdb3faef79ac696cb1d62

upstream: Only use DSA key type in tests if binaries support it.

OpenBSD-Regress-ID: 770e31fe61dc33ed8eea9c04ce839b33ddb4dc96

Split test targets further.

Splits test into file-tests, t-exec, unit and interop-tests and their
respective dependencies.  Should allow running any set individually
without having to build the other dependencies that are not needed
for that specific test.

Add lib dependencies for regress binary targets.

Make "unit" a dependency of "test".

upstream rev 1.28: fix comment typo.

Split regress-binaries into two targets.

Split the binaries for the unit tests out into a regress-unit-binaries
target, and add a dependency on it for only the unit tests.  This allows
us to run the integration tests only ("make t-exec") without building
the unit tests, which allows us to run a subset of the tests when
building --without-openssl without trying (and failing) to build the
unit tests.

This means there are two targets for "unit" which I *think* is valid
(it works in testing, and makedepend will generate Makefiles of this
form)a but I could be wrong.

upstream: Skip DH group generation test if binaries don't support

DH-GEX.

OpenBSD-Regress-ID: 7c918230d969ecf7656babd6191a74526bffbffd

upstream: Only test conversion of key types supported by the

binaries.

OpenBSD-Regress-ID: e3f0938a0a7407e2dfbb90abc3ec979ab6e8eeea

upstream: Only add ssh-dss to allowed key types if it's supported

by the binary.

OpenBSD-Regress-ID: 395a54cab16e9e4ece9aec047ab257954eebd413

Remove sys/cdefs.h include.

It's not needed on -portable (that's handled by includes.h) and not all
platforms have it.

Add headers to prevent warnings w/out OpenSSL.

Include stdlib.h for free() and calloc().

Re-apply portability changes to current sha2.{c,h}.

Rather than attempt to apply 14 years' worth of changes to OpenBSD's sha2
I imported the current versions directly then re-applied the portability
changes.  This also allowed re-syncing digest-libc.c against upstream.

Import current sha2.c and sha2.h from OpenBSD.

These are not changed from their original state, the next commit will
re-apply the portable changes.

Rename valgrind "errors" to "failures".

When valgrind is enabled, test-exec.sh counts the number of invocations
that valgrind detects failures in, not the total number of errors detected.
This makes the name to be more accurate.

Skip running sftp-chroot under Valgrind.

upstream: Remove the sleeps and thus races from the forwarding

test.  They were originally required to work with Protocol 1, but now we can
use ssh -N and the control socket without the sleeps. While there, suppress
output fro the control exit commands.

OpenBSD-Regress-ID: 4c51a1d651242f12c90074c18c61008a74c1c790

upstream: Allow SLEEPTIME to be overridden.

OpenBSD-Regress-ID: 1596ab168729954be3d219933b2d01cc93687e76

upstream: Move sleep time into a variable so that we can increase

it for platforms or configurations that are much slower then usual.

OpenBSD-Regress-ID: 88586cabc800062c260d0b876bdcd4ca3f58a872

upstream: add regression tests for scp for out-of-destination path file

creation by Harry Sintonen via Jakub Jelen in bz3007

OpenBSD-Regress-ID: 01ae5fbc6ce400b2df5a84dc3152a9e31f354c07

upstream: Accept the verbose flag when searching for host keys in known

hosts (i.e. "ssh-keygen -vF host") to print the matching host's random- art
signature too. bz#3003 "amusing, pretty" deraadt@

OpenBSD-Commit-ID: 686221a5447d6507f40a2ffba5393984d889891f

Revert one dependency per line change.

It turns out that having such a large number of lines in the .depend
file will cause the memory usage of awk during AC_SUBST to blow up on at
least NetBSD's awk, causing configure to fail.

fix SIGWINCH delivery of Solaris for mux sessions

Remove PRIV_PROC_SESSION which was limiting ability to send SIGWINCH
signals to other sessions.  bz#3030; report and fix from Darren Moffat

Force dependencies one per line.

Force makedepend to output one dependency per line, which will make
reading diffs against it much easier.  ok djm@

make depend.

Show when skipping valgrind for a test.

Enable connect-privsep test with valgrind.

connect-privsep seems to work OK with valgrind now so don't skip
valgrind on it.

Show valgrind results and error counts.

Fix format string integer type in error message.

upstream: fix off-by-one in sshbuf_dtob64() base64 wrapping that could

cause extra newlines to be appended at the end of the base64 text (ugly, but
harmless). Found and fixed by Sebastian Kinne

OpenBSD-Commit-ID: 9fe290bd68f706ed8f986a7704ca5a2bd32d7b68

Fail tests if Valgrind enabled and reports errors.

Also dump the failing valgrind report to stdout (not the cleanest
solution, but better than nothing).

Allow low-priv tests to write to pipe dir.

When running regression tests with Valgrind and SUDO, the low-priv agent
tests need to be able to create pipes in the appropriate directory.

Put valgrind vgdb files to a specific directory.

Valgrind by default puts vgdb files and pipes under /tmp, however it
is not always able to clean them up, which can cause test failures when
there's a pid/file collision.  Using a specific directory ensures that
we can clean up and start clean.

upstream: adapt to sshbuf_dtob64() change

OpenBSD-Regress-ID: 82374a83edf0955fd1477169eee3f5d6467405a6

upstream: Remove ssh1 files from CLEANFILES since ssh1 no longer

supported.

OpenBSD-Regress-ID: 5b9ae869dc669bac05939b4a2fdf44ee067acfa0

upstream: Update names of host key files in CLEANFILES to match

recent changes to the tests.

OpenBSD-Regress-ID: 28743052de3acf70b06f18333561497cd47c4ecf

depend

upstream: remove mostly vestigal uuencode.[ch]; moving the only unique

functionality there (wrapping of base64-encoded data) to sshbuf functions;
feedback and ok markus@

OpenBSD-Commit-ID: 4dba6735d88c57232f6fccec8a08bdcfea44ac4c

Hook memmem compat code into build.

This fixes builds on platforms that don't have it (at least old DragonFly,
probably others).

Import memmem.c from OpenBSD.

upstream: unit tests for sshbuf_cmp() and sshbuf_find(); ok markus

OpenBSD-Regress-ID: b52d36bc3ab6dc158c1e59a9a4735f821cf9e1fd

upstream: support PKCS8 as an optional format for storage of

private keys, enabled via "ssh-keygen -m PKCS8" on operations that save
private keys to disk.

The OpenSSH native key format remains the default, but PKCS8 is a
superior format to PEM if interoperability with non-OpenSSH software
is required, as it may use a less terrible KDF (IIRC PEM uses a single
round of MD5 as a KDF).

adapted from patch by Jakub Jelen via bz3013; ok markus

OpenBSD-Commit-ID: 027824e3bc0b1c243dc5188504526d73a55accb1

upstream: two more bounds-checking sshbuf counterparts to common

string operations: sshbuf_cmp() (bcmp-like) and sshbuf_find() (memmem like)

feedback and ok markus@

OpenBSD-Commit-ID: fd071ec2485c7198074a168ff363a0d6052a706a

Clear valgrind-out dir to prevent collisions.

Allow agent tests to write to valgrind dir.

upstream: unit tests for sshbuf_peek/poke bounds-checked random access

functions. ok markus@

OpenBSD-Regress-ID: 034c4284b1da6b12e25c762a6b958efacdafbaef

upstream: add some functions to perform random-access read/write

operations inside buffers with bounds checking. Intended to replace manual
pointer arithmetic wherever possible.

feedback and ok markus@

OpenBSD-Commit-ID: 91771fde7732738f1ffed078aa5d3bee6d198409

upstream: include SHA2-variant RSA key algorithms in KEX proposal;

allows ssh-keyscan to harvest keys from servers that disable olde SHA1
ssh-rsa. bz#3029 from Jakub Jelen

OpenBSD-Commit-ID: 9f95ebf76a150c2f727ca4780fb2599d50bbab7a

upstream: print explicit "not modified" message if a file was

requested for resumed download but was considered already complete.

bz#2978 ok dtucker

OpenBSD-Commit-ID: f32084b26a662f16215ee4ca4a403d67e49ab986

upstream: Fix a typo and make <esc><right> move right to the

closest end of a word just like <esc><left> moves left to the closest
beginning of a word.

ok djm

OpenBSD-Commit-ID: 6afe01b05ed52d8b12eb1fda6e9af5afb5e198ee

fix typo that prevented detection of Linux VRF

Reported by hexiaowen AT huawei.com

upstream: cap the number of permiopen/permitlisten directives we're

willing to parse on a single authorized_keys line; ok deraadt@

OpenBSD-Commit-ID: a43a752c2555d26aa3fc754805a476f6e3e30f46

Move log.h include inside ifdefs.

Fixes build on some other platforms that don't have va_list immediately
available (eg NetBSD).

Include log.h for debug() and friends.

Should fix some compiler warnings on IRIX (bz#3032).

sftp-realpath.c needs includes.h

remove realpath() compat replacement

We shipped a BSD implementation of realpath() because sftp-server
depended on its behaviour.

OpenBSD is now moving to a more strictly POSIX-compliant realpath(2),
so sftp-server now unconditionally requires its own BSD-style realpath
implementation. As such, there is no need to carry another independant
implementation in openbsd-compat.

ok dtucker@

upstream: Remove some set but never used variables. ok daraadt@

OpenBSD-Commit-ID: 824baf9c59afc66a4637017e397b9b74a41684e7

upstream: still compile uuencode.c, unbreaks build

OpenBSD-Commit-ID: 5ea3d63ab972691f43e9087ab5fd8376d48e898f

upstream: revert header removal that snuck into previous

OpenBSD-Commit-ID: 3919cdd58989786660b8269b325646ef8856428e

upstream: add a local implementation of BSD realpath() for

sftp-server use ahead of OpenBSD's realpath changing to match POSIX;

ok deraadt@ (thanks for snaps testing)

OpenBSD-Commit-ID: 4f8cbf7ed8679f6237264301d104ecec64885d55

Add prototype for strnlen to prevent warnings.

Cast *ID types to unsigned long when printing.

UID and GID types vary by platform so cast to u_long and use %lu when
printing them to prevent warnings.

Add prototype for compat strndup.(bz#3032).

Add missing bracket in EGD seeding code.

When configured --with-prngd-socket the code had a missing bracket after
an API change.  Fix that and a couple of warnings.  bz#3032 , from
ole.weidner at protonmail.ch

upstream: Add (recently added) rsa_oldfmt to CLEANFILES.

OpenBSD-Regress-ID: 405beda94e32aa6cc9c80969152fab91f7c54bd3

upstream: Adapt the PuTTY/Conch tests to new key names.

A recent regress change (2a9b3a2ce411d16cda9c79ab713c55f65b0ec257 in
portable) broke the PuTTY and Twisted Conch interop tests, because the
key they want to use is now called ssh-rsa rather than rsa.  Adapt the
tests to the new file names.  bz#3020, patch from cjwatson at debian.org.

OpenBSD-Regress-ID: fd342a37db4d55aa4ec85316f73082c8eb96e64e

upstream: Add a sleep to allow forwards to come up.

Currently when the multiplex client requests a forward it returns
once the request has been sent but not necessarily when the forward
is up.  This causes intermittent text failures due to this race,
so add some sleeps to mitigate this until we can fix it properly.

OpenBSD-Regress-ID: 384c7d209d2443d25ea941d7f677e932621fb253

Remove nc stderr redirection to resync w/OpenBSD.

Do not fatal on failed lookup of group "tty".

Some platforms (eg AIX and Cygwin) do not have a "tty" group.  In those
cases we will fall back to making the tty device the user's primary
group, so do not fatal if the group lookup fails.  ok djm@

upstream: fatal() if getgrnam() cannot find "tty"

OpenBSD-Commit-ID: d148c1c052fa0ed7d105b5428b5c1bab91630048

upstream: stat() returns precisely -1 to indicate error

OpenBSD-Commit-ID: 668e8d022ed4ab847747214f64119e5865365fa1

upstream: snprintf/vsnprintf return < 0 on error, rather than -1.

OpenBSD-Commit-ID: a261c421140a0639bb2b66bbceca72bf8239749d