Merge branch 'master' into andrey/ext4_inline_data

Conflicts:
grub-core/fs/ext2.c

net: translate pxe prefix to tftp when checking for self-load

Commit ba218c1 missed legacy pxe and pxe: prefixes which are
translated to tftp, so comparison failed.

net: reset net->stall in grub_net_seek_real

If we open new connection, we need to reset stall indication, otherwise
nothing will ever be polled (low level code rely on this field being
zero when establishing connection).

http: reset EOF indication in http_seek

Otherwise next read will stop polling too early due to stale EOF
indicator, returning incomplete data to caller.

build: Use AC_HEADER_MAJOR to find device macros

Depending on the OS/libc, device macros are defined in different
headers. This change ensures we include the right one.

sys/types.h - BSD
sys/mkdev.h - Sun
sys/sysmacros.h - glibc (Linux)

glibc currently pulls sys/sysmacros.h into sys/types.h, but this may
change in a future release.

https://sourceware.org/ml/libc-alpha/2015-11/msg00253.html

http: fix superfluous null line in range request header

At least the apache sever is very unhappy with that extra null line and will
take more than ten seconds in responding to each range request, which slows
down a lot the entire http file transfer process or even time out.

configure: set -fno-pie together with -fno-PIE

OpenBSD 5.9 apparently defaults to -fpie. We use -fno-PIE when appropriate
already, but that is not enough - it does not turn off -fpie.

Actually check for -fPIE is not precise enough. __PIE__ is set for both
-fpie and -fPIE but with different values. As far as I can tell, both
options were introduced at the same time, so both should always be supported.

This fixes compilation on OpenBSD 5.9 which otherwise created insanely big
lzma_decompress.img.

Reported, suggested and tested by: Jiri B <jirib@devio.us>

bootp: check that interface is not NULL in configure_by_dhcp_ack

grub_net_add_addr may fail with OOM and we use returned interface
later without any checks.

bootp: fix memory leak in grub_cmd_dhcpopt

Remove the variable oldname which is attempting to free stack space.

Historically this variable hold previous value of filename that
had to be freed if allocated previously. Currently this branch
is entered only if filename was not allocated previously so it
became redundant. It did not cause real problems because grub_free
was not called, but code is confusing and causes compilation error
in some cases.

Makefile.util.def: add $LIBINTL to grub-macbless flags

Fixes compilation on OpenBSD 5.9.

Reported by Jiri B <jirib@devio.us>

Failed config now returns exit code (#1252311)

Grub would notify the user if the new config was invalid, however, it
did not exit properly with exit code 1. Added the proper exit code.

Resolves: rhbz#1252311

xen_file: Fix invalid payload size

multiboot2: Remove useless GRUB_PACKED

Reported by: Daniel Kiper

20_linux_xen: fix test for GRUB_DEVICE

Same fix as in 082bc9f.

10_linux: Fix grouping of tests for GRUB_DEVICE

Commit 7290bb562 causes GRUB_DISABLE_LINUX_UUID to be ignored due to
mixing of || and && operators. Add some parens to help with that.

NEWS update

Release 2.02~beta3

grub_arch_sync_dma_caches: Accept volatile address

efidisk: Respect block_io_protocol buffer alignment

Returned from the OpenProtocol operation, the grub_efi_block_io_media
structure contains the io_align field, specifying the minimum alignment
required for buffers used in any data transfers with the device.

Make grub_efidisk_readwrite() allocate a temporary buffer, aligned to
this boundary, if the buffer passed to it does not already meet the
requirements.

Also sanity check the io_align field in grub_efidisk_open() for
power-of-two-ness and bail if invalid.

usbtrans: Fix memory coherence and use-after-free.

ehci: Fix memory coherence

This is a no-op on x86 but necessarry on ARM and may be necessarry on MIPS.

arm-uboot: Make self-relocatable to allow loading at any address

Allow _start == 0 with relocatable images

Provide __bss_start and _end symbols in grub-mkimage.

For this ensure that all bss sections are merged.

We need this to correctly prelink non-PE relocatable images.

Encapsulate image layout into a separate structure.

Currently we pass around a lot of pointer. Instead put all relevant data
into one structure.

mkimagexx: Split PE and generic part for relocations.

As a preparation for U-Boot relocations, split emitting PE-relocations
from parsing source ELF-relocations.

mkimage.c: Split into separate files.

util/grub-mkimagexx.c is included in a special way into mkimage.c.
Interoperation between defines makes this very tricky. Instead
just have a clean interface and compile util/grub-mkimage*.c separately
from mkimage.c

bsd: Ensure that kernel is loaded before loading module.

kernel_type may be set to the type of failed kernel. This patching-up is
easier than to reflow kernel loading routines.

cat: Don't switch terminal mode when there is nothing to highlight.

This just pollutes serial console.

Use console rather than serial_efi0 on arm64-efi in tests

efidisk: fix misplaced parenthesis in b00e4c2

efidisk: prevent errors from diskfilter scan of removable drives

Map EFI_NO_MEDIA to GRUB_ERR_OUT_OF_RANGE that is ignored by diskfilter. This
actually matches pretty close (we obviously attempt to read outside of media)
and avoids adding more error codes.

This affects only internally initiated scans. If read/write from removable is
explicitly requested, we still return an error and text explanation is more
clear for user than generic error.

Reported and tested by Andreas Loew <Andreas.Loew@gmx.net>

Regenerate checksums

Makefile: Don't delete default_payload.elf if it doesn't exist.

net: fix ipv6 routing

ipv6 routing in grub2 is broken, we cannot talk to anything outside our local
network or anything that doesn't route in our global namespace.  This patch
fixes this by doing a couple of things

1) Read the router information off of the router advertisement.  If we have a
router lifetime we need to take the source address and create a route from it.

2) Changes the routing stuff slightly to allow you to specify a gateway _and_ an
interface.  Since the router advertisements come in on the link local address we
need to associate it with the global address on the card.  So when we are
processing the router advertisement, either use the SLAAC interface we create
and add the route to that interface, or loop through the global addresses we
currently have on our interface and associate it with one of those addresses.
We need to have a special case here for the default route so that it gets used,
we do this by setting the masksize to 0 to mean it encompasses all networks.
The routing code will automatically select the best route so if there is a
closer match we will use that.

With this patch I can now talk to ipv6 addresses outside of my local network.
Thanks,

Signed-off-by: Josef Bacik <jbacik@fb.com>

ieee1275: fix signed comparison

search: actually skip floppy with --no-floppy

grub_device_iterate() ignores device when iterator returns 1, not 0.

Reported by Carlos E. R. <robin.listas@telefonica.net>

multiboot2: zero reserved field in memory map

Documentation says, bootloader should set reserved field to zero.

Reported by Wink Saville <wink@saville.com>

Improve EHCI logging

Add dprintf's on common error paths and remove some entries which are too
noisy.

usb_keyboard: Remove useless include

This prevents non-PCI machines from having USB.

Refresh before abort

This ensures that abort message is actually visible to the user.

ieee1275: prevent buffer over-read

Prevent buffer over-read in grub_machine_mmap_iterate. This was
causing phys_base from being calculated properly. This then
caused the wrong value to be placed in ramdisk_image within
struct linux_hdrs. Which prevented the ramdisk from loading on
boot.

Newer SPARC systems contain more than 8 available memory entries.

For example on a T5-8 with 2TB of memory, the memory layout could
look like this:

T5-8 Memory
reg                      00000000 30000000 0000003f b0000000
                         00000800 00000000 00000040 00000000
                         00001000 00000000 00000040 00000000
                         00001800 00000000 00000040 00000000
                         00002000 00000000 00000040 00000000
                         00002800 00000000 00000040 00000000
                         00003000 00000000 00000040 00000000
                         00003800 00000000 00000040 00000000
available                00003800 00000000 0000003f ffcae000
                         00003000 00000000 00000040 00000000
                         00002800 00000000 00000040 00000000
                         00002000 00000000 00000040 00000000
                         00001800 00000000 00000040 00000000
                         00001000 00000000 00000040 00000000
                         00000800 00000000 00000040 00000000
                         00000000 70000000 0000003f 70000000
                         00000000 6eef8000 00000000 00002000
                         00000000 30400000 00000000 3eaf6000
name                     memory

Signed-off-by: Eric Snowberg <eric.snowberg@oracle.com>

menu_entry: Disable cursor during update_screen()

When running grub in a VGA console of a KVM pseries guest on PowerPC,
you can see the cursor sweeping over the whole line when entering a
character in editor mode. This is visible because grub always refreshes
the whole line when entering a character in editor mode, and drawing
characters is quite a slow operation with the firmware used for the
powerpc pseries guests (SLOF).
To avoid this ugliness, the cursor should be disabled when refreshing
the screen contents during update_screen().

Signed-off-by: Thomas Huth <thuth@redhat.com>

default_payload.elf: Always rebuild and remove before build.

It's difficult to know all dependencies. Since it's manual and cheap
target anyway, simply always rebuild it.

default_payload.elf: Include password_pbkdf2.

Withoout this module we may end up in a system where no password is
accepted.

default_payload.elf: Add modules from $(EXTRA_PAYLOAD_MODULES).

This allows coreboot building system to add extra modules depending
on user config.

mm: Avoid integer overflow.

Remove -Wno-maybe-uninitialized as it may not be present.

Fix warnings when compiling with -O3

Add wbinvd around bios call.

Via C3 has problems with cache coherency when transitioning between the modes,
so flush it around bios calls.

OBP available region contains grub. Start at grub_phys_end.

This prevents a problem where grub was being overwritten since
grub_phys_start does not start at a zero offset within the memory
map.

Add Thinkpad T410s button cmos address.

TODO: Remove obsolete link

lz4: Fix pointer overflow

grub-shell: Update 32-bit OVMF binary name.

relocator: Fix integer underflow.

Change -v to -V for version of shell utils.

xnu: Add new kernel path to autoconfig.

arm64: Use cpu timer for timekeeping.

powerpc: Trim header in tests.

default_payload: Include syslinuxcfg, all filesystems and xnu.

xnu: Supply random seed.

Now we're able to load kernels up to El Capitan.

Add RNG module.

yylex: use grub_fatal for exit.

lexer calls yylex_fatal on fatal internal errors. yylex_fatal itself is
declared as noreturn and calls exit. Returning from noreturn function has
unpredictable consequences.

printf: Fix and test %% behaviour in presence of subsequenbt args.

Split pmtimer wait and tsc measurement from pmtimer tsc calibration.

Make grub_cpu_is_tsc_supported generally available.

Make grub_acpi_find_fadt accessible generically

Make unaligned types public.

This simplifies code which has to handle those types.

Fix emu compilation error on arm.

xnu: Include relocated EFI in heap size.

xnu: supply ramsize to the kernel.

Without this info recent kernels crash as they allocate no heap.

support modules without symbol table

all_video module does not have any code or data and exists solely for
.moddeps section to pull in dependencies. This makes all symbols unneeded.

While in current binutils (last released version as of this commit is 2.26)
``strip --strip-unneeded'' unintentionally adds section symbols for each
existing section, this behavior was considered a bug and changed in commit
14f2c699ddca1e2f706342dffc59a6c7e23e844c to completely strip symbol table
in this case.

Older binutils (verified with 2.17) and some other toolchains (at least
elftoolchain r3223M), both used in FreeBSD, remove symbol table in all_video
as well.

Relax run-time check and do not return error for modules without symbol table.
Add additional checks to module verifier to make sure such modules

a) have non-empty .moddeps section. Without either externally visible symbols
or .moddeps modules are completely useless and should not be built.

b) do not have any relocations.

Closes: 46986
v2: add run-time check for empty symbol table if relocations are present as
    suggested by Vladimir.

10_linux: avoid multi-device root= kernel argument

If root filesystem is multidev btrfs, do not attempt to pass all devices as
kernel root= argument. This results in splitting command line in GRUB due to
embedded newline and even if we managed to quote it, kernel does not know how
to interpret it anyway. Multidev btrfs requires user space device scanning,
so passing single device would not work too.

This still respects user settings GRUB_DISABLE_LINUX_UUID. Not sure what we
should do in this case.

Closes: 45709

Error out if mtools invocation fails.

arm64: Add support for relocations needed for linaro gcc

efiemu: Fix compilation failure

Document cpuid -p

efiemu: Handle persistent RAM and unknown possible future additions.

Document expr1 expr2 syntax for test command

Restore terminal settings on grub-emu exit.

xen_boot: Remove obsolete module type distinctions.

arm: Ignore qemu clock bug

i386-ieee1275: Increase maximum heap size to accomodate highres graphi tests

Remove pragmas related to -Wunreachable-code

-Wunreachable-code has been a no-op since GCC 4.5; GRUB hasn't been
compiled with it since 2012; and GCC 6 produces "error:
'-Wunreachable-code' is not an option that controls warnings" for these.

Fixes Debian bug #812047.

loader/bsd: Fix signed/unsigned comparison

ahci, ehci: Fix typos

grub-probe: fix memory leak

Found by: Coverity scan.
CID: 73783

tftp: fix memory leaks in open

If protocol open fails, file is immediately freed, so data was leaked.

Found by: Coverity scan.
CID: 96659

tcp: fix memory leaks

Found by: Coverity scan.
CID: 96639, 96647

net: fix memory leaks

Found by: Coverity scan.
CID: 96638, 96648

legacycfg: fix memory leaks and add NULL check

Memory leaks found by Coverity scan.
CID: 96642, 96645

loader: Unintended sign extension

CID: 96707, 96699, 96693, 96691, 96711, 96709, 96708, 96703, 96702,
96700, 96698, 96696, 96695, 96692, 96710, 96705

script: fix memory leak

Found by: Coverity scan.
CID: 96637

normal: fix memory leak

Found by: Coverity scan.
CID: 96641, 96670, 96667

xnu: fix memory leak

Found by: Coverity scan.
CID: 96663

truecrypt: fix memory leak

Found by: Coverity scan.
CID: 156611

gfxmenu: fix memory leak

Found by: Coverity scan.
CID: 96657

efiemu: fix memory leak

Found by: Coverity scan.
CID: 156610