devmapper: check for valid device abstraction in get_grub_dev

This was lost when code was refactored. Patch restores previous behavior.

It is still not clear whether this is the right one. Due to the way we
detect DM abstraction, partitions on DM are skipped, we fall through to
generic detection which ends up in assuming parent device is BIOS disk.

It is useful to install GRUB on VM disk from the host. But it also means
that GRUB will mistakenly allow install on real system as well.

For now let's fix regression; future behavior needs to be discussed.

Closes: 45163

windows: correct LBA in generated EFI HDD media paths

GRUB keeps partition offset and size in units of 512B sectors. Media paths
are defined in terms of LBA which are presumed to match HDD sector size.

This is probably cosmetic (EFI requires that partition is searched by GUID)
and still incorrect if GPT was created using different logical block size.
But current code is obviously wrong and new has better chances to be correct.

lsefimmap: support persistent memory and other UEFI 2.5 features

This should accompany
76ce1de740 Translate UEFI persistent memory type

1. Add a string for the EfiPersistentMemory type 14 that was
added in UEFI 2.5.

2. Decode the memory attributes that were added in UEFI 2.5:
* NV (non-volatile)
* MORE_RELIABLE (higher reliable, e.g., mirrored memory in a system
  with partial memory mirroring)
* RO (read-only)

3. Use proper IEC binary units (KiB, MiB, etc.) for power-of-two
values rather than misusing SI power-of-ten units (KB, MB, etc.)

4. The lsmmap command only decodes memory ranges sizes up to GiB scale
units.  Persistent memory ranges will reach into the TiB scale.
Since 64-bit size field supports TiB, PiB, and EiB, decode all of
them for completeness.

5. In the lsefimmap command, rewrite the print statements to
* avoid rounding
* avoid a big nested if/else tree.

For example: In the sixth entry below, the value of 309MB implies
316416KB but is really reporting 316436KB.

Widen the size column to 6 digits to accommodate typical cases.
The worst case value would require 14 digits; if that happens,
let the columns get out of sync.

Old format:
Type      Physical start  - end             #Pages     Size Attributes
conv-mem  0000000000000000-0000000000092fff 00000093  588KB UC WC WT WB
reserved  0000000000093000-0000000000093fff 00000001    4KB UC WC WT WB
conv-mem  0000000000094000-000000000009ffff 0000000c   48KB UC WC WT WB
conv-mem  0000000000100000-000000000fffffff 0000ff00  255MB UC WC WT WB
BS-code   0000000010000000-0000000010048fff 00000049  292KB UC WC WT WB
conv-mem  0000000010049000-000000002354dfff 00013505  309MB UC WC WT WB
ldr-data  000000002354e000-000000003ecfffff 0001b7b2  439MB UC WC WT WB
BS-data   000000003ed00000-000000003ed7ffff 00000080  512KB UC WC WT WB
conv-mem  000000003ed80000-000000006af5ffff 0002c1e0  705MB UC WC WT WB
reserved  000000006af60000-000000006b55ffff 00000600    6MB UC WC WT WB
BS-data   000000006b560000-000000006b560fff 00000001    4KB UC WC WT WB
RT-data   000000006b561000-000000006b5e1fff 00000081  516KB RT UC WC WT WB
BS-data   000000006b5e2000-000000006ecfafff 00003719   55MB UC WC WT WB
BS-code   000000006ecfb000-000000006ecfbfff 00000001    4KB UC WC WT WB
conv-mem  000000006ecfc000-00000000711fafff 000024ff   36MB UC WC WT WB
BS-data   00000000711fb000-000000007128dfff 00000093  588KB UC WC WT WB
Unk 0d    0000000880000000-0000000e7fffffff 00600000   24GB UC WC WT WB NV
reserved  0000001680000000-0000001c7fffffff 00600000   24GB UC WC WT WB NV

New format:
Type      Physical start  - end             #Pages        Size Attributes
conv-mem  0000000000000000-0000000000092fff 00000093    588KiB UC WC WT WB
reserved  0000000000093000-0000000000093fff 00000001      4KiB UC WC WT WB
conv-mem  0000000000094000-000000000009ffff 0000000c     48KiB UC WC WT WB
conv-mem  0000000000100000-000000000fffffff 0000ff00    255MiB UC WC WT WB
BS-code   0000000010000000-0000000010048fff 00000049    292KiB UC WC WT WB
conv-mem  0000000010049000-000000002354dfff 00013505 316436KiB UC WC WT WB
ldr-data  000000002354e000-000000003ecfffff 0001b7b2 450248KiB UC WC WT WB
BS-data   000000003ed00000-000000003ed7ffff 00000080    512KiB UC WC WT WB
conv-mem  000000003ed80000-000000006af5ffff 0002c1e0 722816KiB UC WC WT WB
reserved  000000006af60000-000000006b55ffff 00000600      6MiB UC WC WT WB
BS-data   000000006b560000-000000006b560fff 00000001      4KiB UC WC WT WB
RT-data   000000006b561000-000000006b5e1fff 00000081    516KiB RT UC WC WT WB
BS-data   000000006b5e2000-000000006ecfafff 00003719  56420KiB UC WC WT WB
BS-code   000000006ecfb000-000000006ecfbfff 00000001      4KiB UC WC WT WB
conv-mem  000000006ecfc000-0000000071222fff 00002527  38044KiB UC WC WT WB
BS-data   0000000071223000-00000000712ddfff 000000bb    748KiB UC WC WT WB
persist   0000000880000000-0000000e7fffffff 00600000     24GiB UC WC WT WB NV
reserved  0000001680000000-0000001c7fffffff 00600000     24GiB UC WC WT WB NV

kernel: print and reset grub_errno after each embedded config line

Otherwise it causes subsequent file open to fail, because grub_file_open
misinterprets set grub_errno for grub_file_get_device_name failure.

Closes: 46540

Erase backspaced character in grub_username_get

It probably does not work across linefeed, but hopefully user names are not
that long (and nobody is using terminal that small).

Fix security issue when reading username and password

This patch fixes two integer underflows at:
  * grub-core/lib/crypto.c
  * grub-core/normal/auth.c

CVE-2015-8370

Signed-off-by: Hector Marco-Gisbert <hecmargi@upv.es>
Signed-off-by: Ismael Ripoll-Ripoll <iripoll@disca.upv.es>
Also-By: Andrey Borzenkov <arvidjaar@gmail.com>

NEWS: more additions

Also-By: Robert Elliott <elliott@hpe.com>

Translate UEFI persistent memory type

Define
* GRUB_EFI_PERSISTENT_MEMORY (UEFI memory map type 14) per UEFI 2.5
* GRUB_MEMORY_PERSISTENT (E820 type 7) per ACPI 3.0
* GRUB_MEMORY_PERSISTENT_LEGACY (E820 unofficial type 12) per ACPI 3.0

and translate GRUB_EFI_PERSISTENT_MEMORY to GRUB_MEMORY_PERSISTENT in
grub_efi_mmap_iterate().

Includes
* adding the E820 names to lsmmap
* handling the E820 types in make_efi_memtype()

Suggested-by: Vladimir 'φ-coder/phcoder' Serbinenko <phcoder@gmail.com>
Suggested-by: Andrei Borzenkov <arvidjaar@gmail.com>

Document bootlocation discovery limitations and xen platform limitations

tcp: ack when we get an OOO/lost packet

While adding tcp window scaling support I was finding that I'd get some packet
loss or reordering when transferring from large distances and grub would just
timeout.  This is because we weren't ack'ing when we got our OOO packet, so the
sender didn't know it needed to retransmit anything, so eventually it would fill
the window and stop transmitting, and we'd time out.  Fix this by ACK'ing when
we don't find our next sequence numbered packet.  With this fix I no longer time
out.  Thanks,

Signed-off-by: Josef Bacik <jbacik@fb.com>

i386: fix TSC calibration using PIT

Condition was accidentally reversed, so PIT calibration always failed
when PIT was present and always succeeded when PIT was missing, but in
the latter case resulted in absurdly fast clock.

Reported and tested by Vitaly Kuznetsov <vkuznets@redhat.com>

Do not include generated gnulib headers in tarball

gnulib files are already handled by recursive make distdir invocation.
Including all generated headers (after make completed) causes build
failure if target system is different (different compile version etc).

Replace numbers with grub_memory_type_t enums

configure: fix macports flex version detection

Macports add extra information after version itself:

$flex --version
flex 2.5.35 Apple(flex-31)

We require at least felx 2.5.35 so do not need to care about prehistoric
"flex version n.n.n"; just use second field always.

Reported by Peter Cheung <mcheung63@hotmail.com>

tsc: Use alternative delay sources whenever appropriate.

PIT isn't available on some of new hardware including Hyper-V. So
use pmtimer for calibration. Moreover pmtimer calibration is faster, so
use it on coreboor where booting time is important.

Based on patch by Michael Chang.

efi: really mark memory of unknown type as reserved

9be4c45dbe3c877d1f4856e99ee15133c6cd2261 added switch case between
fall through cases, causing all memory regions of unknown type to be
marked as available.

Move default case into its own block and add explicit FALLTHROUGH
annotation.

Reported by Elliott, Robert (Persistent Memory) <elliott@hpe.com>

net: reset nb->data per dns record lookup loop

We were resetting nb->data every time we tried a new server, but we need to do
it every time we try for a different record, otherwise we don't end up falling
back to the A record properly.  Thanks,

Signed-off-by: Josef Bacik <jbacik@fb.com>

unix: do not close stdin in grub_passwd_get

This makes it impossible to read from stdin without controlling tty:

10:/mnt # echo -e passwd\\npasswd | setsid ./grub-mkpasswd-pbkdf2
Enter password:
Reenter password: ./grub-mkpasswd-pbkdf2: error: failure to read password.
10:/mnt

lsefisystab: add missing comma after 7994077

Add some UUIDs found in the hardware

gfxterm: fix calculation of terminal-top and terminal-height

They used screen width, not height.

ofdisk: add sas disks to the device list

multiboot: Don't rely on particular ordering of options.

multiboot_mbi: Fix handling of --quirk-bad-kludge.

xen_boot: Remove useless file_name_index variable.

Document ARM64 xen commands

asm-tests/i386-pc: Check that near jumps are 2 bytes.

We already check that jump over 300 bytes gap is 3 bytes in code16-mode.
Some clang versions generate 3-byte opcode for short jumps which makes
boot.img blow over 512-byte limit. Enforce -no-integrated-as in such cases

ofdisk: add a comment about vscsi method

fdt.mod: Move license tag to the right file.

fdt.mod: Add missing license tag.

kern/elf: Ignore cast-align warnings

cbfs: Fix corner case and compilation with recdent gcc

Accept the header to touch the jump address at 0xfffffff0.

Fix compilation for 64-bit EFI with recent GCC.

fstester: Enforce LC_ALL=C

Adapt build-system to use imported xen headers.

Import xen headers directly into GRUB

cbfs: Check for ptr range sanity.

Triaged by Andrei and enhanced with suggestions by Aaron Durbin
Also-By: Andrei Borzenkov <arvidjaar@gmail.com>

Remove reliance C.UTF-8

genmoddep.awk: Add a test that we have no circular dependencies

Makefile.core.def: Break circular dependency on arm64.

autogen: Use cp instead of ln -s.

libgcrypt-grub shouldn't be modified directly anyway. With this patch
tarball without contrib can be unpacked on FAT and stay usable for
out-of-tree compile on full POSIX FS (compile on FAT not tested).

partmap_test: check that parted is available

Skip test if parted is unavailable instead of returning false failure.

cryptodisk: teach grub_cryptodisk_insert() about partitions (bug #45889)

It is not possible to configure encrypted containers on multiple partitions of
the same disk; after the first one all subsequent fail with

disk/cryptodisk.c:978: already mounted as crypto0

Store partition offset in cryptomount descriptor to distinguish between them.

doc: document config_directory and config_file variables

unix/getroot: remove unused MAJOR definition

We use major() everywhere, these definitions just add to confusion.

Add comments to code for commit d313218

devmapper/getroot: use makedev instead of direct shift

Fixes device detection with large number of devices.

Reported by Tim Wallberg <twalberg@comcast.net>

mkimage: zero fill alignment space

This did not cause real problem but is good for reproducible builds. I hit
it with recent bootinfoscript that displays embedded config; I was puzzled
by random garbage at the end.

Prezero memory buffer used to assemble core.img. This makes individual
memset redundant. Also ensure buffer is filled with zeroes in several other
places.

Also remove redundant zeroing code where we fill in the whole memory block
anyway.

configure.ac: Explicitly add -mno-sse3 on x86.

README: Remove dead link to the wiki

NEWS: mention powerpc64le support

tcp: Fix uninited mac address when accepting connection.

arm64: Add support for xen boot protocol.

arm64: Move FDT functions to separate module

efi: fix warnings with recent GCC

../../grub-core/term/efi/console.c:128:32: error: suggest parentheses around '&&' within '||' [-Werror=parentheses]
   if (key.unicode_char >= 0x20 && key.unicode_char <= 0x7f

ofdisk: Fix devpath freeing logic.

Implement cross-endian ELF load for powerpc

Use EFI_SIMPLE_TEXT_INPUT_EX to support key combinations.

configure: find options to force endian on MIPS

configure: force o32 ABI on MIPS

GRUB code expects O32 or N32. N32 is less tested than O32, so we prefer to
compile with O32. Some systems (e.g. GNU Guix) default to using newer
n64 or n32 ABI. Try to find suitable options to force o32.

For GCC this is simply -mabi=32. While clang supports this option as well,
o32 ABI is valid for MIPS target and n32/64 ABI are valid for MIPS64 target
only, so use "-target mips/mipsel -mabi=32".

Reported-By: Mark H Weaver <mhw@netris.org>
Also-By: Mark H Weaver <mhw@netris.org>

net: avoid closing NULL socket in DNS lookup

Refactor code so that we do not store NULL pointers in array
of in-flight DNS servers.

Reported-By: Josef Bacik <jbacik@fb.com>

install: --compress argument is not optional

Fixes crash if argument is not specified. Also use `|' to separate choices
in list of compression methods to align it with --core-compress.

mips: Make setjmp code N32-compliant.

mips: Make the assembly-code N32-compatible.

There are no $t4 or $t5 in N32 but there are $a4 and $a5.

progress: avoid NULL dereference for net files

From original patch by dann frazier <dann.frazier@canonical.com>:

  grub_net_fs_open() saves off a copy of the file structure it gets passed and
  uses it to create a bufio structure. It then overwrites the passed in file
  structure with this new bufio structure. Since file->name doesn't get set
  until we return back to grub_file_open(), it means that only the bufio
  structure gets a valid file->name. The "real" file's name is left
  uninitialized. This leads to a crash when the progress module hook is called
  on it.

grub_net_fs_open() already saved copy of file name as ->net->name, so change
progress module to use it.

Also, grub_file_open may leave file->name as NULL if grub_strdup fails. Check
for it.

Also-By: dann frazier <dann.frazier@canonical.com>

file: ignore host disk in blocklist check

It cannot work anyway because host disk cannot be read. This fixes hostfs access
on native Windows build where filenames start with '\' or do not have initial
separator at all (d:\foo).

Issue was observed when running grub-fstest on Windows. On UNIX image name is
canonicalized to always start with `/' so this was not noticed.

This has side effect of allowing relative path names on host, but this already
was the case with `ls' command, so it just extends it to all commands.

Reported-By: Arch Stack <archstacker@gmail.com>
Also-By: Arch Stack <archstacker@gmail.com>

mips/dl: Handle addend in RELA entries.

gfxmenu/model: Delete empty file.

ufs: Fix parameters to grub_memset.

len = 0 made simply no sense. Fix parameters to be in line with read.

ofnet: Do not set SUFFIX for sun4v network devices

sun4v vnet devices do not implement the support of duplex and speed
instance attributes. An attempt to open such a device with
the attributes will fail:

ok select net:speed=auto,duplex=auto
Unknown key 'speed'
Unknown key 'duplex'
Manual Configuration: Host IP, boot server and filename must be specified
WARNING: /virtual-devices@100/channel-devices@200/network@0: Can't open OBP standard TFTP package

Can't open device
ok

Therefore, let's not set SUFFIX for such devices.

Signed-off-by: Stanislav Kholmanskikh <stanislav.kholmanskikh@oracle.com>

sparc64 - use correct drive name within grub_util_sparc_setup

Incorrect drive name was being passed into grub_util_sparc_setup,
causing the grub-install to fail.

Signed-off-by: Eric Snowberg <eric.snowberg@oracle.com>

cryptodisk: strip parenthesis from backing device name

Otherwise subsequent disk open fails.

Reported-By: Klemens Nanni <contact@autoboot.org>

disk/ldm, partmap/msdos.c: fix spelling error

net: do not try to load protocol module via itself

Otherwise we get infinite recursion.

Closes: 45729

efinet: handle get_status() on buggy firmware properly

The EFI spec indicates that get_status() should return the address of the buffer
we passed into transmit to indicate the the buffer was transmitted.  However we
have boxes where the firmware returns some arbitrary address instead, which
makes grub think that we've not sent anything.  So since we have the SNP stuff
opened in exclusive mode just assume any non-NULL txbuf means that our transmit
occurred properly.  This makes grub able to do its networking stuff properly on
our broken firmware.  Thanks,

cc: Peter Jones <pjones@redhat.com>
Signed-off-by: Josef Bacik <jbacik@fb.com>

linguas.sh: fix error when removing non-existing autogenerated files

ahci: Ensure that bus mastering is set.

Fixes ahci_test failing on several platforms.

archelp: Never pass NULL as mtime.

Moves complexity from fs code (NULL check) to common code (passing non-NULL).

HFS: Convert to fshelp.

HFS doesn't handle "." and ".." properly. Convert it to fshelp to reuse the
logic.

FAT: Convert to fshelp.

exFAT doesn't handle "." and ".." correctly, convert it to fshelp to
reuse the same logic.

BFS: Convert to fshelp.

BFS doesn't handle ".." correctly, so convert it to fshelp to reuse the logic.

fshelp: Add handling of "." and ".." and grub_fshelp_find_file_lookup.

Recent tests have discovered that many of our filesystems have flawed
handling of "." and "..". Rather than attempting to fix it in filesystems
themselves, make the common code fshelp aware of "." and ".." and handle
them in this layer. Add grub_fshelp_find_file_lookup for easy conversion
of BFS, HFS and exFAT which have the same problem and don't use fshelp.

Switch procfs to use archelp.

This fixes handling of "." and "..".

grub-install: Use a+ in fopen rather than r+.

r+ does not create a file if none exists.

Add transform_data as a variant of data with substitutions.

This fixrs name mismatch for grub.chrp with
transform_program_name='s,grub,grub2,g'

efi: fix GetVariable return status check in 81ca24a

GetVariable should return EFI_BUFFER_TOO_SMALL if given buffer of size
zero; commit incorrectly checked for EFI_SUCCESS.

zfs_test: Skip dotdot in volume root test.

Given special semantics of ZFS it's far from clear what the expected
result is. Just skip it for now

xfs_test: Test both crc and non-crc filesystems.

xfs: Fix handling of symlink with crc-enabled filesystem.

reiserfs: Fix handling of first entry in the directory.

Fixes garbage being added to "." filename.

efi: fix memory leak in variable handling

exclude.pot: Add missing blacklisted strings.

archelp: Fix handling of dot and dotdot at the end of the name.

Fixes cpio_test and tar_test.

arm-emu: Add __aeabi_memcpy* and __aeabi_memclr* symbols.

Fixes compilation with clang.

fwstart: Fix loading of address of read_spd_fail.

fwstart: Add missing argument to p2align.

Resulting binary is unchanged as it happens we were already aligned
by chance.

fwstart: Replace blt with bltz.

blt A, $zero, B and bltz A, B are equivalent but clang recognizes only
later, so use it.

Resulting binary is unchanged.

Remove mips_attributes.

mips_attributes was introduced to work around clang problems with
-msoft-float. Those problems are now fixed and moreover .gnu_attributes
itself is unportable and creates problem with clang.

Revert "mips: Fix soft-float handling."

This partially reverts commit 6a4ecd276ed39f66be0ad6ff0f8ff67598098605.

ARM: provide __aeabi_memclr* and __aeabi_memcpy* symbols

Fixes compilation with recent clang.

diskfilter: Make name a const char to fix compilation error.

dmraid_nvidia: Set a name to usable value to avoid null dereference.

Reported by: Andrei Borzenkov