Makefile: static libs - improve rules

bintray.py: remove staticlib from tidy

FreeBSD: Add libunwind trap support for FreeBSD only.

Although the existing backtrace works correctly on Linux, on
FreeBSD it frequently generates a backtrace with completely
wrong function names. (FreeBSD 11.2, current latest version).

For example, making htsp_build_dvrentry crash with SEGV, it
would either not generate a stacktrace or would generate a
backtrace of:
-pthread_sigmask
-pthread_getspecific
-service_remove_unseen
-htsp_get_subscription_status
-htsp_init
-tcp_server_done
-tvhthread_create.

...instead of the correct backtrace of:
-<signal>
-htsp_build_dvrentry
-htsp_method_async
-htsp_read_loop
-htsp_serve...

So on FreeBSD only, we use libunwind to generate the
backtrace and function names. We explicitly make
libunwind and libexecinfo mutually exclusive since
FreeBSD has both.

Line are logged similar to:
  CRASH: htsp_build_dvrentry+5d (ip=11f659d sp=7fffd8bc3930)

Note that it does not have line numbers since the addr2line
does not appear to work on FreeBSD (even with the original
backtrace code).

An example of the problem with the old backtrace code using
the frame from htsp_method_async from within the tvheadend
traphandler after the retrieval of the stack frames:

(gdb) print frames
$38 = {0x806473954, 0x806472eb2, 0x7ffffffff193, 0x11f1638 <htsp_method_async+1640>, 0x11fe400 <htsp_read_loop+880>, 0x11f58e6 <htsp_serve+502>, 0x11b9b11 <tcp_server_start+401>,
  0x11af45e <thread_wrapper+302>, 0x80646dc06, 0x0 <repeats 91 times>}

(gdb) print dladdr(0x11f1638, &dli)    <--- addr of htsp_method_async from frame 4.
$39 = 1  <--- success

(gdb) print dli
$40 = {dli_fname = 0x7fffffffef97 ".../build.freebsd/tvheadend", dli_fbase = 0x1021000, dli_sname = 0x1044f91 "service_remove_unseen",   <--- but wrong name
    dli_saddr = 0x11eff80 <service_remove_unseen>}   <--- and this is nearest symbol address

(gdb) print htsp_method_async+1640
    $41 = (htsmsg_t *(*)(htsp_connection_t *, htsmsg_t *)) 0x11f1638 <htsp_method_async+1640>   <---but gdb knows the original address is htsp_method_async

(gdb) print service_remove_unseen
    $42 = {void (const char *, int)} 0x11eff80 <service_remove_unseen> <--- and gdb knows sevice_remove_unseen is at the dli_saddr.

By contrast, with libunwind, we get:

(gdb) print buf
$50 = "htsp_method_async", '\000' <repeats 110 times> <--- libunwind detected correct function name

(gdb) where 10  <--- even though our signal has been delivered on its own stack
 #0  traphandler_libunwind () at src/trap.c:162
 #1  0x000000000120cf06 in traphandler (sig=11, si=0x7fffdbbdb860, UC=0x7fffdbbdb4f0) at src/trap.c:221
 #2  0x0000000806673954 in ?? ()
 #3  0x0000000000000000 in ?? ()

(gdb) print ip
$51 = 18814904

(gdb) disass 18814904  <--- and gdb knows that ip address is for the same method as libunwind detected
Dump of assembler code for function htsp_method_async:
   0x00000000011f1150 <+0>:     push   %rbp

trap: Allow chdir /tmp even if prctl not supported.

Even though prctl is Linux specific, other platforms allow core
dumps to occur in the cwd, so it's useful to allow the "cd /tmp"
for those platforms if the existing --dump option is specified.

linuxdvb satconf: fix typo

makefile disclean: remove debian/.dephelper directory, fixes #5223

doozer: add python-requests package as requirement

try to move build caching to pcloud

Optimize default configuration of SAT>IP Triax TSS 400

https://tvheadend.org/issues/4244

As we discussed a while ago, the configuration should be different.

* The complete mux should not be supported
* Along with it an increase of maximum pids is useful to open more channels.

configure: libav - check for libswresample or libavresample, fixes #5235

htspmon: python3 fixes

python: Handle incorrect utf-8 decodes.

Some broadcasts can have different charsets (such as iso-8859-1) but
we assume utf-8 unless user has set it correctly. So when decode fails
we get an exception.  So we now attempt to decode with error
replacement so user sees incorrect character.

This gives "u'Denise Th\ufffd\ufffd':" as the string returned instead
when the received name contains an é that is in iso-8859-1 instead of
utf-8.

python: Make files python2/python3 compatible.

Ensure files are compatible with python2 and python3.
Main differences:
- print requires brackets
- string is bytes in python2 and unicode in python3
- need to use struct to pack/unpack binary data
- need to convert socket data to bytearray to allow data extraction

python: Need to utf-8 decode our strings.

htsp.py: do not send authorization for each request

subscription: try to iterate through all adapters on tuning failed error, fixes #5230

service: add error text to the service instance log

satip: pass specinv by default for DVB-C, fixes #5231

bintray.py: handle 409 error as warning for upload (fix jessie builds)

doozer: try to fix centos build

bintray.py: fix the argument check

main: set default user/group only when specified for non-root users, fixes #5213

FreeBSD: Check for fdatasync system call since it is supported on FreeBSD 11.1 and later.

FreeBSD: Requires libinotify for inotify support.

FreeBSD: Support different stat format in Makefile.webui.

The stat program on FreeBSD requires different arguments to GNU
stat. In the past, this is done by the ports patching the Makefile
post-extract.

Instead, we'll configure the program's arguments based on platform.
We'll also use %z (filesize) instead of the port's %b (file blocks) so
we generate equivalent output to the Linux version..

Fix a few "old-style-declaration" warnings in gcc.

Mainly needing to put "static" first and "__thread" earlier.

tvhcsa: optimize offset check for incomplete packet in CSA descramble

tvhcsa: add invalid offset check for CSA descramble

mkv: set keyframe flag for all audio tracks, fixes #5151

linuxdvb: add 'Higher LNB voltage' option to the satconf, fixes #5199

BugFix: SATIP_SETUP_SPECINV0 and SATIP_SETUP_SPECINV1 has the same definition

satip client: fix type for specinv, fixes #5190

satip client: make specinv parameter tri-state (allows specinv=1)

sf_pass_weight can't be used with netstream 4c

implement netsream 4c

Conflicts:
src/input/mpegts/satip/satip_private.h

FreeBSD: Fix recv problem if no data received.

If using satip then we would frequently fail to read the data and
then disconnect with errno 0.

So, we now make the FreeBSD socket read consistent with the Linux
version and return EIO on non-error.

dvr inotify: fixes for the previous IN_MOVED_TO change

dvr inotify: fix case where IN_MOVED_TO comes in subsequent read after read contaning IN_MOVED_FROM

dvr_inotify: gcc8 fix

dvr inotify: fix my last change, fixes #4702

dvr inotify: reuse variables, fixes #4702

dvr: Move declarations to top of function. (#4702)

Issue: #4702.

dvr: Handle symlinks for inotify. (#4702)

The filenames stored in the dvr/log are not realpath but can
be based on symlinks.

So, we might record in to /media/Videos/user1/show1 but
user1 could be a symlink to /media/Videos-drive2 (rather than
a bind mount).

Since inotify returns realpaths, if means that when we attempt
to update the dvr/log the filenames do not match.

So we now monitor the realpath for the directories and convert
filenames to realpath when doing the compare.

We do not store realpath in the dvr/log since users do not
want symlinks replaced with real paths.

Issue: #4702.

dvr: Handle inotify moving file to different directory. (#4702)

Previously if we moved a file from one directory we are
monitoring to another directory we are monitoring then the
path would not be updated correctly since we did not lookup
the 'to_fd'.

Issue: #4702.

debian: always use gzip compression for deb files (bintray issue) - fixes #5091

configure: check for strlcat & strlcpy

Building tvheadend with uclibc and musl fails:

src/tvh_string.h:50:22: error: static declaration of 'strlcpy' follows non-static declaration
 static inline size_t strlcpy(char *dst, const char *src, size_t size)

src/tvh_string.h:61:22: error: static declaration of 'strlcat' follows non-static declaration
 static inline size_t strlcat(char *dst, const char *src, size_t count)

because they provide strlcat & strlcpy:
https://sourceware.org/glibc/wiki/strlcpy

This patch adds configure checks and makes the implementation in
tvh_string.h optional, the configure log looks like this:

glibc
  checking for cc strlcat ...                       fail
  checking for cc strlcpy ...                       fail

musl
  checking for cc strlcat ...                       ok
  checking for cc strlcpy ...                       ok

uclibc
  checking for cc strlcat ...                       ok
  checking for cc strlcpy ...                       ok

mpegts input: do not join non-existent threads

add missing tvh_string.h header file

introduce strlcpy() and strlcat() functions and use them

Fix cloning an entry in UIs where you select a type and save the clone manually

Makefile: Add CFLAGS for timestamp and bundle objects, fixes #4870

htsmsg xml parser: fix NULL oops, fixes #5135

doozer: workaround for makedev issues on bionic and add bionic i386

add bionic-amd64.sh to Autobuild

doozer: use docker, add bionic-amd64, fedora27, fedora28 targets, remove fedora24 target

rpm: spec cleanups

ffmpeg 3.5 fixes

gcc8 fixes

tcp: fix tcp_socket_dead() for FreeBSD

The FreeBSD port of tvheadend couldn't stream Live TV, and debug
log shows webui judged the peer socket closed immediately after
starting streaming:

2018-04-15 06:30:04.996 [  DEBUG]:webui: Start streaming /stream/mux/c4bc67bdaa13457e33740ca883cc4d75?ticket=7D1B56AD0E434C5F7EBFA4677A7FBE4C94097974
2018-04-15 06:30:04.996 [  DEBUG]:webui: Stop streaming /stream/mux/c4bc67bdaa13457e33740ca883cc4d75?ticket=7D1B56AD0E434C5F7EBFA4677A7FBE4C94097974, client hung up

It looks because tcp_socket_dead() misunderstood the zero-return
from recv(). For the FreeBSD, recv() might return zero for alive
sockets which have nothing to read.

Patch tested with the latest FreeBSD port of tvheadend-4.2.6.

webui: epg - add duration to store/dataIndex - fix sorting, fixes #4909

DVR: fix for the previous commit

Cosmetic fix for dvr entry info (webui)

Upgrade to libhdhomerun_20171221

SAT>IP server: don't serve XML description when not enabled, fixes #5029

hts_strtab: make all functions inline

imagecache: id is 'int' type, correct the overflow, fixes #5016

dvb psi: fix the 'improve section parser' commit, fixes #5005

epggrab: giveup epg grabbing on SM_CODE_TUNING_FAILED (fixes loop)

DVR: return back dvr_entry_create_by_event() - wrong merge

DVR: improve the segmented event logic for EITp/f, issue #4989

dvb psi: improve section parser, fixes #4987

FIX inverted condition: DVR: do not merge multi-segmented files when EITp/f is enabled, fixes #4926, fixes #4988

parsers: remove debug printf

parsers: merge AC3/EAC3 code, add autodetect the real stream even if the PMT hints is false, fixes #4910, fixes #4971

parsers: change ac3/eac3 parsers to new parse_mpga123 scheme

DVR: compilation fix

DVR: try to fix the late running flag update, issue #4958

dvr: fix NULL pointer dereference in dvr_entry_get_epg_running, fixes #4943, fixes #4967

dvb psi lib: don't reset table when stuffing section is received

httpc: fix compilation error

httpc: fix the improper http_client_finish() call for RTP data state, fixes #4964

doozer: use git to pull in dvb-scan-tables

mpegts pid: fix mpegts_pid_weighted() for duplicate PIDs with different weight

dvr: add source reconfigured trace

DVR: rec - add more logging (running and muxing state)

DVR: do not merge multi-segmented files when EITp/f is enabled, fixes #4926

Makefile: fix --disable-dvbscan

dvb psi: parse first table bugfix2

dvb psi: parse first table bugfix

parser: parse_mpa - fix the end segment check, fixes #4882

linuxdvb: use MPEGTS_FULLMUX_PID (8192) when the PID filter overflows, fixes #4442

xmltv export: use summary for <desc/> tag when description is empty

parsers: improve parse_mpa123, fixes #4882

- the Layer III was misdetected
- add more robust code checks
- improve latency for the last frame

http: fix http_get_header_value() - digest auth

DVR: increase warm time limit to 600 seconds, fixes #4927

dvb psi: remove mpegts_psi_table_state_skel (atomicity problem)

linuxdvb: fix the pid management (full mux to pid filter transition), fixes #4895

DVR: show a proper error if the DVR directory is not accessible, fixes #4757

otamux: set the retry time for all muxes from the temporary failed network, issue #4875

tcp: tvhpoll_wait does forward errno