Fix builds on stretch

Add rpi-bookworm to targets

Update ffmpeg to 5.1.4

Correct handling of Remove and Ignore settings

Like strtok(), http_tokenize() modifies its input string. Since those strings are needed later to populate the UI, we should use copies.

Also free ignore_args to avoid a memory leak.

6310 Set 'okay' default to True

Removed nested function 'appendPidRange' from within function 'tvhdhomerun_frontend_update_pids'
and converted it to a normal function 'tvhdhomerun_frontend_update_pids_appendPidRange'.

Nested functions are a non-standard extension to C that may only be supported by the gcc compiler.

Fix non-admin users not receiving any updates in web UI

All the way back in 54e63e3f9af8fdc0d23f61f3cda7fa7b246c1732, there
was a fix to stop non-admin users from receiving log messages with
potentially-sensitive data.  However, this stopped non-admin webui
users from receiving almost any updates over the websocket
interface, which causes a bug where such users don't see newly-
created DVR entries, etc. until refreshing the page.  This patch
allows for more granular control over what non-admin users
receive.  Specifically, messages originating from subscriptions.c,
mpegts_input.c, and api_service.c, along with all log messages, are
still only sent to admins because they may contain sensitive data
and/or they are only relevant to administrative parts of the UI.
Other messages, such as idnode, DVR, and EPG-related messages, are
once again sent to all webui users to keep the UI up-to-date.

Fix htsstr_argsplit (treat quotes inside an argument correctly)

There seemed to be a flaw in the splitting logic when it comes to quotes, e.g.:
--output="filename" should be one argument, but htsstr_argsplit treated it as
['--output=', '"filename"] which I think is wrong.

I fixed this and added two tests for this scenario.

support/mkbundle: switch from distutils to setuptools

Fixes build error with python-3.12:

Traceback (most recent call last):
  File "support/mkbundle", line 48, in <module>
    import distutils.spawn
ModuleNotFoundError: No module named 'distutils'

Signed-off-by: Bernd Kuhls <bernd@kuhls.net>

webui/dvr: Add age_rating in recording details dialogs

The details dialogs in the various recording tabs do not open anymore
with the error `Uncaught TypeError: params[25] is undefined` in the JS
console as the age_rating wasn't requested for those, only for the
overview columns.

While we are at it lets also display the value in the same way the
similar looking (but completely different implemented…) EPG dialog does.

Regession-of: d501059995
Fixes: https://tvheadend.org/issues/6297

webui/dvr: Remove unused & duplicated functions

While implementing the alternative/similar broadcast buttons it seems
like previous attempts remained in the final code but were either
unused (like `dvrAlternativeShowings` as the buttons are calling
 `epgAlternativeShowingsDialog` instead) or duplicate functions which
already existed like `load`, `previousEvent` & `nextEvent`.

References: 04cd487bb8

Fix bug #6293 – Missing EIT EPG Content Type

Fix some build and add more targets

otamux: Make sure we use PRItime_t

As %li isn't supported equally, we must ensure we always use PRItime_t.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

Use explicitly on format warnings for Time test

It looks like the compile check doesn't work properly on some
architectures, which appears to eat or ignore the -Werror flag.

Instead, be more specific in that we state that printf formatting errors
are to be triggered on, and treated as an error explicitly, which in the
end is exactly what we are after.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

CI: Build (without cloudsmith) all targets on every merge request

We want to build everything on merge requests, tags etc.

However we want to skip cloudsmith integration/upload, so lets copy the
yaml file and modify to suit better our needs.

In the future, we can move the cloudsmith stuff back in with
conditionals, but that requires some more time to figure out how to best
do it.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

CI: Run the full build with cloudsmith only on master

Cloudsmith deployal should only be done on master, but we want to run
every other thing normally on each merge request. So lets rename this
script to indicate that this is about cloudsmith specifically.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

Fix time for old 32bit systems

The fix introduced in fe47ecb5504a ("Fix time for 32bit systems again")
made the incorrect assumption, that the macro _TIME_BITS=64 was always
available. It seems like that this is not the case for old systems,
causing 32bit builds to break there.

Lets completely rework 32bit time support, by actually detecting the
hosts size for the time.

This will break cross-compilation, as the configure script is run on the
host, but since we do not seem to support cross-builds anyway (all archs
are build on emulated or native targets), this should be acceptable.

Fixes fe47ecb5504a ("Fix time for 32bit systems again")

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

Add 'age rating' field to recording metadata

Fix time for 32bit systems again

In issue #6257 an issue mentioning that time_t isn't properly supported
when printing on 32-bit systems, specifically on FreeBSD. However, intel
32-bit systems suffer from a similar fate:

src/rtsp.c:333:30: error: format '%ld' expects argument of type 'long int',
but argument 4 has type 'time_t' {aka 'long long int'} [-Werror=format=]
  333 |   snprintf(buf, sizeof(buf), "npt=%" PRItime_t "-", position);
      |                              ^~~~~~~                ~~~~~~~~
      |                                                     |
      |                                                     time_t {aka long long int}

In commit 76a6263f1be4 ("fix for 64bit time_t on 32bit systems") was
attempted to be fixed by turning it into a PRId64, which was reverted
again in commit 9e1eb89be731 ("Revert "fix for 64bit time_t on 32bit
systems""), sadly without a reason as to why in the commit message.

We should however, migrate to 64bit timestamps on all platforms anyway,
due to the Y2038 problem. Debian is heavily working on this issue too.

This commit is just the first step, in that we ensure our time_t is
always 64bits.

The next steps would be to use difftime where possible instead of
subtractions, and ensure all stored timestamps have room for 64bit
time_t (htsmsg_get_u32_or_default for example breaks this presumption
already).

To keep this issue small, and tackle one problem at a time, lets just
fix time_t first. We do still have 15 years to fix the other issues.

Note, that this patch leaves out FreeBSD specifics, as it is unclear
what is specific about 32bit FreeBSD. It should be using the same glibc
headers after all. If not, we can always add if needed, but adding
usless code doesn't help anyone generally.

```
diff --git a/src/tvheadend.h b/src/tvheadend.h
index c2fcee716..751d10d70 100644
--- a/src/tvheadend.h
+++ b/src/tvheadend.h
@@ -334,7 +334,9 @@ void tvh_qsort_r(void *base, size_t nmemb, size_t size, int (*compar)(const void
 # endif /* ULONG_MAX */
 #endif /* __WORDSIZE */

-#if __WORDSIZE == 32
+#if __WORDSIZE == 32 && defined(PLATFORM_FREEBSD)
+# define PRItime_t "d"
+#elif __WORDSIZE == 32
 # define PRItime_t "lld"
 #elif __WORDSIZE == 64
 # define PRItime_t "ld"
 #else
```

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

OTA Genre translation squashed v2

Bug Fix: OTA EIT Parental Rating

Revert non-portable function to previous code

Fix spelling errors encountered during previous work

Update Debian packaging to use the new configuration directories

This updates the Debian packaging to use the new configuration
directories introduced by
https://github.com/tvheadend/tvheadend/pull/1535 and
https://github.com/tvheadend/tvheadend/pull/1538.  Instead of being
in /home/hts/.hts/tvheadend, the configuration will now be stored in
/var/lib/tvheadend by default, which is consistent with how many
other "server"-style Debian packages handle their home directories
and configuration.

Fix configuration-loading logic to account for forking operation

Since config_get_dir() is executed before forking, the uid will
always be 0 at this point.  Instead, use the uid of the user to
which we will fork if a fork will occur.

dvr_storage: Also support server configurations for recordings

Like in commit e15c1abe9737 ("config: Support server configurations"),
dvr_recordings are probably best stored in a 'server known
configuration', as otherwise they can end up in `/Videos`. While the
user can always configure this nicely, having a server sensible default
is good.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

Fix portability: Do not use linux/limits.h

The header limits.h suffices, lets use that instead.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

config: Fix whitespace errors

The internal print functions already add the newline for us, so adding
one manually is not needed.

Further more, a tab got snook in, where spaces where intended.

This fixes commit dbf973307ae3 ("dvr_storage: Use XDG spec directories")
which accidentally introduced this.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

spawn: Do not close every possible file descriptor

When close is called with a non-existant file descriptor, it will happily
do so. Since we do not even check for the error code, trying to close a
non existant/not-open file descriptor does not even cause an error.

This in itself is not a problem at all, however, we try to close every
open file descriptor beyond stderr, upto whatever _SC_OPEN_MAX returns.

Some systems may have a very large ulimit set for `_SC_OPEN_MAX` and
thus `maxfd` may return something in the millions. This means that the
simple `for() close();` loop now has to iterate a million file
descriptors which may not even be open/exist.

Instead, we can use the power of `/proc/self/fd` to list our open
file descriptors, and only close open ones.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

dvr_storage: Use XDG spec directories

The XDG spec has a way to determine the users preferred Video directory.
This is important, because in different locales, this may be a different
directory, preventing annoyance for users who have a localized home dir.

With the newly added XDG helpers, this becomes a triviality.

This change does mean, that the behavior is slightly changed, as XDG
directories are probed first.

However since this only affects the startup, after which these
directories are stored in the config, the impact should be neglectable.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

settings: Add XDG support helper functions

The XDG spec goes beyond the '.config' directory structure, but also
helps with other directories, which may be locale dependent.

Sadly, the upstream source that does all the parsing, is not a library,
but only a binary or source code.

Lets store a copy of the source-code under vendor, to avoid duplicating
the exact same code internally.

Expose these functions as hts wrappers for the rest of the codebase to
use.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

config: Support server configurations

On server loads, it is not uncommon to have the config directory live in
`/var/lib/tvheadend`. While `/etc/tvheadend` is also common, it's more
for manually written configuration files, tvheadend is more a 'config
state'. Support both regardless.

This change shouldn't impact desktop users, presuming they do not have
these locations installed.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

config: Add support for XDG config

Over the last years, the freedesktop organization has promoted the use
of XDG_HOME_CONFIG for storing configuration data.

Since TVHeadend also wants to help declutter the home directory, lets
follow the spec for our own configuration. While here, reduce the path
from `hts/tvheaded` to just `hts`.

The implementation does not change behavior of existing installations!
If `.hts/tvheadend` exists, it will be used as before.

New installations, will try to use `.config/hts` instead, and
'migrating' is as easy as `mv .hts/tvheadend .config/hts`.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

config: Store config directory variable internally

Currently `config_boot` 'abuses' the path-pointer and stores its own
internal path if needed. While this is _technically_ fine, it prevents
us from a) making `path` a const argument, b) makes things a little
harder to read and maintain and c) makes it harder for future changes to
the configuration path.

Instead, lets store the configuration path internally in our
configuration structure, as is done with most things. This could even
allow us to technically get rid of `hts_settings_init` in the future,
and get this from the config struct instead.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

config: Deal with configuration before anything else

We should really be setting up our configuration storage before anything
else. Starting/registering other items before that seems a bit
out-of-order.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

Fix Fedora CI build

Disable broken codeball

Add simple 'ping' endpoint for healthchecks

To determine if the server is online, we want to be able to 'ping' it
with as little configuration and access possibilities as possible. The
only available option for this today, is anonymous access.

Let us thus add a new endpoint, that replies with 'PONG' when queried.

This will need anonymous access enabled, but can be restricted to:
a) localhost
b) without any access permissions

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

Add Fedora RPM build to Github Actions

Update config for Fedora 37/38

dvr_rec: Fix a buffer overflow in filename generation

Fixes https://tvheadend.org/issues/6272

Co-authored-by: Dave Pickles

 - fixed bug with _lang3_to_lang2()
    Typo made using lang instead of lang3 in lookup map
 - clean by running through autopep8
 - Add more exception handling to prevent it crashing
   Still needs some improvements with exception types
 - tidy up for pylint
 - python 2 is deprecated - simplify for python 3

update pict_type from AVPacket to AVFrame

- remove deprecated FF_API_CODED_FRAME
- remove pict_type from AVPacket_SideData
- use AVFrame->pict_type (same like ffmpeg 5.1.2 - ffprobe.c line 2595)
- remove patch for vaapi_encode

update to ffmpeg 5.1.3

update to ffmpeg 5.1.3

update to ffmpeg 5.1.2

- ffmpeg_static will always compile with ffmpeg 5.1.2
- Makefile.ffmpeg added to 5.1.2
- src/muxer/muxer_libav.c: update 'AVOutputFrmat' to 'const AVOutputFrmat'
- src/transcoding/transcode/hwaccels/vaapi.c --> incorporated the struct from libavcodec/vaapi.h
- src/transcoding/transcode/video.c: update type for qdata_size

tv_meta_tvdb.py: Fix 'languague' typo.

Typo 'languague' prevents the script from fetching poster art.

Fixes #6262.

tvhmeta: Fix tvhmeta authentication to the tvheadend API.

Construct and add an Authorization header to the request, when a
username and password are provided to tvhmeta.

This fixes #6260.

Remove references to CLA which is no longer available

updated 'AVCodec' to 'const AVCodec'

- updated 'AVCodec' to 'const AVCodec'
- "avctx->refcounted_frames = 1;" deprecated (not required with: avcodec_receive_frame())

remove deprecate struct vaapi_context and the vaapi.h

- remove deprecate struct vaapi_context and the vaapi.h

Remove deprecated get_best_effort_timestamp() call

remove ffmpeg component avresample

- remove ffmpeg component avresample. Is deprecated and replaced by swresample. I verified that all functions from this component are not used in tvh (https://www.ffmpeg.org/doxygen/2.3/group__lavr.html)

iconv: Allow using GNU libiconv

TVHeadend has a hard-dependency on libiconv. Lets make this a little bit
more flexible by also allowing gnu-libiconv.

This helps with musl-based systems, such as Alpine Linux.

Contributes to #4940.

Signed-off-by: Olliver Schinagl <oliver@schinagl.nl>

remove unused function and migrate from AVBitStreamFilterContext to AVBSFContext

- migrate from AVBitStreamFilterContext to AVBSFContext
- update AVCodec to 'const AVCodec'
- remove unused function: libav_is_encoder()
- remove deprecated functions:
-- AVFormatContext->filename
-- av_register_all() --> https://github.com/FFmpeg/FFmpeg/blob/master/doc/APIchanges (2018-02-06 - 0694d87024 - lavf 58.9.100 - avformat.h)
-- avfilter_register_all() --> https://github.com/FFmpeg/FFmpeg/blob/master/doc/APIchanges (2018-04-01 - f1805d160d - lavfi 7.14.100 - avfilter.h)

update to ffmpeg codecpar

- update to ffmpeg codecpar

Revert "fix for 64bit time_t on 32bit systems"

This reverts commit 76a6263f1be4e3ccff968b47155b050fcc15f042.

fix for 64bit time_t on 32bit systems

update NASM to 2.16.01

- update NASM to 2.16.01

update vaapi

- update the code to match the format from vnenc.c (unify format)
- update the default value for level to match software encoding (3.0)

Don't attempt to approve PRs automatically

Codeball should also label PRs that need review

Fix for DVB Grabber and IPTV Stream

RTSP redirect support fix and moved to http client

Use codeball for PRs

update to ffmpeg codecpar

- update to ffmpeg codecpar

update ffmpeg from 4.4.1 to 4.4.3

- update ffmpeg from 4.4.1 to 4.4.3

update vaapi

- added denoise_vaapi
- added sharpness_vaapi

update vaapi

- update libvpx to ver. 1.12.0
- replaced tvherror() with tvhinfo for bitrate report
- converted from bps to kbps
- reduced B frame to max 3 (4 is generating artifacts on my system)
- I had to set also bf otherwise will be set later in profile_video_class() with 3
- when low power is enabled max B frame will be disabled (because codec is not using B frames in low power mode)
- h264_vaapi and hevc_vaapi have also dynamic enable/disable for max B frame
- vp9 super frames can be enabled/disabled from the interface
- clean-up some javascript code

Fix Coverity-Build  (#1499)

* Add omx dependency for Coverity-Build

* Add libva-dev dependency for Coverity-Build

* Add nvidia-cuda-dev dependency for Coverity-Build

* Enable tvhcsa and memoryinfo for Coverity-Build

* Disable mmal due to unavailability for Coverity-Build

Revert "Update debian/compat to version 10"

This reverts commit 2a370dd17fcac7e587d45fd9971e346536379ea3.

Ignore title mismatch if dup checking by CRID

Some channels add "New: " to the title if this is the first showing, so a title match with repeats will fail.

Update debian/compat to version 10

Compat version 10 was declared recommended in 2016.

An important change introduced in 10 was change of default to target
parallel builds

While version 13 is the currently recommended one, it is too new for
systems in use

https://github.com/Debian/debhelper/blob/5d1bb29841043d8e47ebbdd043e6cd086cad508e/debhelper.pod#compatibility-levels

Unify command time range to 10-300 ms

Unify the allowed range of command time
for rotors, switches and unicable devices.

Unify power up time range to 10-500 ms

Unify the allowed range of power up time
for rotors, switches and unicable devices.

Add configurable delays after Unicable operations

Allow user to adjust the length of time delays
after the Unicable device is powered up
and after a DiSEqC command is sent to it

Unify names and order of Unicable-specific configuration fields

Add descriptions to the existing Unicable configuration fields

update vaapi

- updated function _video_filters_get_filters() due to a bug hidden by previous bug (Bug #6247)
- fixed Decoder HW + Encoder HW --> was generating download / upload that increase CPU usage
- remove vp9 profile0 to 3 (ffmpeg vaapi is not supporting profiles for vp9)
- improve 'tier' and added: level, qmin, qmax, desired_b_depth
- printing Bitrate, Buffer size, Max bitrate (for each transcoding start)
- added superframe for vp9

descrambler: cccam: move send keepalive message to traces

Signed-off-by: Jaroslav Kysela <perex@perex.cz>

descrambler: cccam - simplify cccam_handle_keys()

Signed-off-by: Jaroslav Kysela <perex@perex.cz>

descrambler: cclient: optimization for multiple key clients

Do not use client when other handles requests.

Signed-off-by: Jaroslav Kysela <perex@perex.cz>

descrambler: cosmetic cleanups, more CAID logs

Signed-off-by: Jaroslav Kysela <perex@perex.cz>

descrambler: cwc: do not register bad provider numbers for betacrypt and irdeto

Signed-off-by: Jaroslav Kysela <perex@perex.cz>

descrambler: cwc: Fix the additional card registration (mgclient option in o*s*c*a*m)

It's expected that new CAIDs and providers are added to the current list rather
than to overwrite the previous fetched providers.

Signed-off-by: Jaroslav Kysela <perex@perex.cz>

grammar: Replace "then" with "than"

Preserve existing Unicable idnode during the set operation

Currently, the Unicable settings are always cleared
when enabling or disabling the corresponding satellite position
or its owning adapter. The reason is that the idnode with Unicable
configuration is always unconditionally deleted
during the "set" operation.

This change adds a check for the existing Unicable configuration
and preserves the existing idnode if its type remains the same.

The same logic is already used when changing the configuration
related to LNB, switch and rotor.

updated function _video_filters_get_filters()

- fixed Decoder HW + Encoder SW --> not working (with VAAPI) - Bug #6247
- fixed resize and deinterlace (*_vaapi for hw and ffmpeg for sw)

profile video resize improvements

- provide the ability to specify if scaling should be performed Up and Down, Up (only) or Down (only)

profile video resize improvements

- provide the ability to specify if scaling should be performed Up and Down, Up (only) or Down (only)

Add autorec duplicate handling default to dvr config.
Default will be applied to new autorecs unless overridden.
duplicate_handling.md: Add details of "Record if Unique" option.

update vaapi

- added new settings: platform, bitrate scale factor, low power, loop filter level, loop filter sharpness, async depth
- implemented new (dynamic) settings adjustment (in js)
- added new parameters: b, low_power, loop_filter_level, loop_filter_sharpness, async_depth
- tvhva_context_check_profile() will change TVHVAContext->entrypoint from VAEntrypointEncSlice into VAEntrypointEncSliceLP if VAEntrypointEncSlice is not available for that CODEC (according to VAAPI info)
- moved low_power to tvh_codeo_profile in order to initialize properly the entrypoint
- many error reporting improvements
- separated some bundled conditions

remove libavresample from build scripts

Add amd64 jammy to builds

Fix a few more builds, add kinetic support

Allow old builds to pass

Build for kinetic instead of impish

Remove variable declaration from for-loop

Don't fail on strict aliasing violations

Don't confuse GCC with zero-length array

Fix FTBFS introduced by 7b95ba4cf9113ae8808b3e4a9425010b607dbaca

Link: https://tvheadend.org/issues/6173
Link: https://tvheadend.org/issues/6226
References: 7b95ba4cf9113ae8808b3e4a9425010b607dbaca
Signed-off-by: Cédric Schieli <cschieli@gmail.com>

config: Enable HbbTV parser by default

It make sense to include it always when available

Link: https://tvheadend.org/issues/6223
Signed-off-by: Kacper Michajłow <kasper93@gmail.com>