iptv: fix default value for ignore_path

iptv: fix memory leak introduced by ignore args and url cmpid

tvhcsa: optimization for DVBCSA code

IPTV auto network: fix uninitalized variable

channel icons: fix the compilation issue

descrambler: fix another crash, issue #4749

channel icons: add '%U' to pass UTF-8 filenames, fixes #4755

mdhelp: add ignore_path property doc

url: fix urlrecompose()

IPTV: auto network - add possibility to ignore arguments or path components, fixes #4761

url: fix urlcopy()

http: add http_arg_get_query() fcn

url: add urlrecompose()

capmt: fix mutex issue (ok timer) and fix capmt_send_stop_descrambling()

descrambler: fix the missing zero pid check for multipid, cleanups for non-scrambled packet processing, fixes #4749

descrambler: use ts_recv_packet2() for queued data, issue #4749

wrappers: Implemented correctly for Darwin.

pthread_cond_timedwait() is not usable on Darwin, because it cannot be configured to use the monotonic clock. So instead the relative pthread_cond_timedwait_relative_np() is used with a relative time to wait for.

Only tvhthread_renice() is missing, but there seems to be currently no way on Darwin or FreeBSD to implement per-thread prioritization. The #warning is good, but it breaks with the default -Werror compile flag.

webui: Fixed sendfile() call on Darwin.

Order of call arguments was wrong.

tvhpoll: Fixed tvhpoll_add kqueue implementation.

The semantics of tvhpoll_add() in the epoll implementation is to set exactly the specified filters, and not add to any previously added ones. The kqueue implementation only added filters, and never removed those that were not set anymore.

This caused busy-polling in satip_frontend on FreeBSD and Darwin, because tvhpoll_wait() always returned immediately. This happened because the receiving socket was always ready to accept data for writing. The following recv() call was called repeatedly without any delay and caused high CPU utilization.

tcp: Fixed includes for FreeBSD.

sys/socket.h is required.

Switched include order for netinet/in.h and netinet/ip.h to avoid compiler errors on FreeBSD.

vfs: The sys/sysmacros.h include is not available or needed on FreeBSD and Darwin.

Had to rearrange include order to have access to the PLATFORM_* macros.

intlconv: The iconv() function signature isn't different on current FreeBSD.

Casting to const char ** is not only unnecessary, but also triggers a warning by the compiler.

http: The MSG_MORE flag is not available on FreeBSD or Darwin.

Added a compatibility definition in compat.h.

On FreeBSD bswap_*() macros are now correctly mapped to the BSD bswap*() calls.

Fixed compiler warning about unused function.

keystr() is only needed when DEBUG2 is defined, so it's now wrapped in #ifdef

Fixed const correctness in bonjour code.

Fixed linking errors when bonjour was enabled.

SRCS-yes was reset when bonjour sources should have been added, and all previously added sources didn't get linked.

descrambler: another attempt to fix the inlined non-scrambled data for pvu, issue #4749

avahi/bonjour: fix thinkos and typos

SAT>IP server: fix typo in the previous patch

SAT>IP server: add configuration to limit maximal count of sessions and user connections, fixes #4735

From: Mono Polimorph

allow to disable http/htsp servers (set TCP port to zero), fixes #4734

From: Mono Polimorph

http: Increase maxage for caching for images. (#4594).

Images were previously cached for 10 seconds. Since images
rarely change and we now use icons for categories in the epg
grid, it makes sense to cache them at the client for longer.

Issue: #4594.

ui: Use Google Noto Color Emoji for icons for categories/genres. (#4594).

By default, several Linux distributions do not install and use fonts
with the characters we were using for our icons. So we replace them
with pre-rendered png images from Google Noto Color Emoji. We use the
png images (instead of the font) to ensure better compatibility between
different browsers and OSes.

The pre-generated icons are under an Apache 2.0 licence, which is a
different licence to the ttf font (that we don't use) which is a
SIL Open Font licence.

The names of the files are based on the unicode naming convention.

Issue: #4594.

descrambler: fix multipid descrambling (non-scrambled TS packets)

Revert "debian: bump debhelper compat level"

This reverts commit 698e74bc7c94ab467bc1e912990af2311a178604.

fixes #4740

dvbcam: Fix NULL pointer usage

When there is already a CAM assigned to the service, we jump to
update_pid. In commit 7f81d726af1f92b268d031c08cf5d00f0f77a4c6 a
tvhtrace call which prints the CAM name has been added. The name
is accessed by "ac->ca->lca_name", which requires ac set to a
proper value.
This commit adds the ac setting before it jumps to "update_pid".

Signed-off-by: Jasmin Jessich <jasmin@anw.at>

ui: Ensure 'new' is checked correctly (#4594).

Previously we used rec.new and that appeared to cause problems
in some browsers. So now we check that new is in the record
and that it is non-zero.

Issue: #4594.

ui: Fallback to genre mapping if category mapping fails. (#4594)

Previously we would map categories or map genres if we had no
categories.

Now we will also map genres if the category mappings fail to generate
any mappings. Current known category mapping always supply 'movie',
'series' or 'sports' so this should not happen.

Issue: #4594.

capmt: DVN ECM changes, issue #4728

descrambler: caid - add DVN and TONGFANG

dvbcam: Fixed saving of a cleared dvbcam caid_list (from WEB UI)

caclient_dvbcam_class_caid_list_set didn't count the existing entries in the
dvbcam caid_list. Thus, it couldn't check if the old and the new list size
differ. This was only a problem when the list was cleared, because the
change flag was not set in this case and the empty list was not saved.

Signed-off-by: Jasmin Jessich <jasmin@anw.at>

dvbcam: fix the all CAIDs selection (without filter)

ui: Don't display subtitle if it is same as summary. (#4594).

Some OTA don't have a separate sub-title and description/summary
so if they are the same then don't display it as a sub-title since
the description is often long.

Issue: #4594.

ui: Add category/genre/new icons and more details (#4594).

We now display a separate column indicating if a programme is
new. This column also contains icons indicating the programme type
based on the category (from xmltv) or genre (from OTA).

This uses characters rather than icons since most modern fonts
supply glyphs that we can use. We avoid using too-modern glyphs
(such as Unicode-9.0, 2016) and try to use older ones that are
likely to be in Windows 7 or later. Unfortunately there is no
easy way to determine if a particular system contains a glyph,
but most systems revert to another font if necessary.

Also added a number of new details to the dialogs for EPG and DVR
to display previously shown time and cast/credit/keyword details
for DVR upcoming.

Additionally we display "Film (yyyy)" instead of "Film" if we
have the details to help the user differentiate remakes.

Issue: #4594.

api: Use same name copyright_year for EPG and DVR. (#4594).

Previously the UI EPG used copyrightYear to be consistent with
the htsp naming convention, however since DVR uses the field
name of copyright_year, it makes sense to rename the UI EPG
component name.

Issue: #4594.

eit: Add regex scraper for detecting new programmes in OTA. (#4594).

Issue: #4594.

eit: Four digit regex is copyright_year not air date. (#4594).

Previously we parsed is as a first_airdate since the copyright_date
field didn't exist. However, now the copyright_date field exists in
the EPG it makes more sense to populate this with the four-digit
year.

Issue: #4594.

xmltv: Handle substring timestamps. (#4594)

The DTD spec says that timestamps can be substrings. These
are typically used when specifying a previously-shown date
where it only has they YYYYMMDD and not the HHMMSS.

So we now parse these correctly which ensures we correctly
set the previously shown timestamp.

Issue: #4594.

dvr: Send genre to the UI for DVR. (#4594)

Issue: #4594.

dvr: Send first_aired to the UI for EPG/DVR. (#4594).

Issue: #4594.

dvr: Send credits, category and keywords to UI for DVR (#4594).

Issue: #4594.

debian: add a note to tvheadend.default explaining where to add/edit args

dvbcam: fix typo ECM -> EMM

dvbcam: fix obvious bugs, add more logging

linuxdvb_ca: use lca_name for logs

dvbcam: fix compilation

dvbcam: implement more CAID filtering / selection

http: add http_check_local_ip() for SAT>IP server, fixes #4692

dvbcam: use forcecaid settings per service

dvbcam: fix allocated_programs handling

dvbcam: fix crash (NULL dereference)

debian: add initial systemd service file & unset admin user/pass on purge

Many thanks to bodhi zazen for the tips!

debian: bump debhelper compat level

dvbcam: fix reverted condition

tcp: ip_check_is_local_address() fix the error path

SAT>IP server: more NAT addr cleanups 2nd, issue #4692

SAT>IP server: more NAT addr cleanups, issue #4692

tsdemux: pass always all data through descrambler, if the scrambling is active

service: elementary streams - cleanups, add modify, destroy functions

tsremux: parse always HBBTV info

SAT>IP server: cleanups for addr/port send to clients (NAT) 2nd

mpegts: fix mpegts_input_cat_pass_callback - remove es

SAT>IP server: cleanups for addr/port send to clients (NAT)

tcp: cleanups for ip_check functions

SAT>IP server: show correct IP in RTSP messages for NAT

From: Mono Polimorph

descrambler: add DS_FATAL state, handle better TSS_NO_DESCRAMBLER flag

dvbcam: ddci - fixes in CAT callback

mpegts: fix mpegts_input_cat_pass_callback - remove caids

dvbcam: use better check for the concurrent service decoding

dvbcam: do not set TSS_NO_DESCRAMBLER flag, it breaks other caclients

service: rebuild shared PCR 'stream' on load, too

service dialog: filter our PCR streams (dup), print CAIDs for CAT type, too

tsdemux: fix the wrong PAT/PMT/EIT filter (commit 52afeb68b23cfc611aade4b66a0a0d3dd51ee753)

dvbcam: try to put back the service limit (now per one CAM)

dvbcam: ddci - reimplement end: label correctly

dvbcam: ddci - use cac_cat_update callback instead monitor for all EMM PIDs

descrambler: remove redundant code in descrambler_cat_data()

caclient: add caclient_cat_update() function (and callback)

dvbcam: ddci - use mpegts_apids_t instead own implementation for ECM PIDs

Fixed compilation with disabled DD CI support

Signed-off-by: Jasmin Jessich <jasmin@anw.at>

Added ECM PIDs subscribing

- dvbcam_service_start can be now executed repeatedly. This happens due to
  PMT changes (e.g.: CA descriptor change).
- Limit check in dvbcam removed, because this needs to be done per CAM.
- Currently 16 ECM PIDs can be stored.
- CAID change handler is still missing.

Signed-off-by: Jasmin Jessich <jasmin@anw.at>

Remove mpegts_input_open_service_pid

- When dvbcam_service_start is executed the first time c->pid is 0.
  dvbcam_service_start is not executed a second time, so it makes
  no sense to subscribe the PAT for the CAM.

Signed-off-by: Jasmin Jessich <jasmin@anw.at>

mpegts: cat monitor - manage correctly EMM PID list

dvbcam: ddci - open cat monitor outside mutexes

dvbcam: open also CAT PID for streaming

mpegts: add mpegts_input_open_cat_monitor() for ddci

api: Add api convenience call for renaming channels. (#4715).

Add a convenience function for users to rename all channels
that match a particular name. Previously the caller needed
to parse an api/channel/list, extract each channel that
matched the name and then issue an idnode/save for the nodes.

This change allows people to easily fixup their names such as
updating channels that are broadcast with a lowercase name
(and so sort to the end of the list in many UIs); or prefixing
the channels with identifiers. Since the server does the channel
name lookup, it allows non-programmers to issue simple renames
from a script.

curl http://l:9981/api/channel/rename --data-urlencode 'from=dave' --data-urlencode 'to=Dave'

Issue: #4715.

channel: Allow HD/UHD suffix on channels to be stripped. (#4715)

Issue: #4715.

Strip trailing UHD when making fuzzy match name (#4709)

Issue: #4709.