linuxdvb: add option to stop closing FEs and attempt to stop on retune

Rather than adding an explicit flag (to stop mux calls) on retune I
have moved the frontend close operation to be done in the background
monitor timer. This isn't foolproof but will cover most things
and I can probably add a delay to cause that to not execute immediately
should the timer be about to expire.

subscriptions: add extra debug

mpegts: stop network scanning from failing due to bad mux

linuxdvb: add NULL ptr check for frontend on satconf

subscription: for stupid mistake causing double free()'s

tsfile: fix debug output format error

transcoder: check for language config is NULL

debug: output used non word sized format strings

webui: some attempt to make enum lists more usable.

subscription: add in/out bandwidth indicator

Now have the concept of both input and output bandwidth usage of a sub.

The reason for this is that while data may be flowing into the subscription,
i.e. a signal is being received. Things like timeshift, or even potentially
flow control, may mean the actual outgoing rate is quite different.

Input rate is added by the subscription code as data enters the sub, however
the output rate must be added by the subscription handler as close to the
client as possible.

subscription: reworked the subscription handling to avoid re-entrancy

This is particularly important for null susbcriptions that receive no
stream data and therefore handle the SMT_STOP inline (actually was
direct before). This causes list corruption, therefore these subs
are now stored to a secondary list that are cleaned up within the
standard rescheduler.

htsp: add NULL ptr check on channel name

input: forgot to commit generic input processing.

webui: some cosmetics

channel: add ability to delete channels

webui: add channel create button and service mapping

The service mapping button appears to have gone missing during the
integration with master.

api: add channel create method

status: added back in basic status info

It will now show subscriptions and streams (tuners/muxes combined).

mpegts: ensure that services on already tuned muxes will start

Previously it was setting the weight for already tuned muxes which
made it appear as if the service couldn't be started!

subscription: ensure that direct service subs work properly

debug: hide thread start messages

we get a lot of spam due to HTTP server setup so this needs to be debug

mpegts: ensure muxes are properly stopped when unsubscribing svcs

subscriptions: stop re-entrant call to subs_reschedule()

THe problem is that mux subs have been done such that unsubscribe
(which in turn calls subs_reschedule()) can itelf be called in line
from subs_reschedule().

Really this is a bit of a mess but this simple hack fixes things.

debug: add wrapper for pthread_create to add a meaningful name

This is very useful for debugging. Though tbh I need to do this code
properly.

epggrab: further fixes to stop chicken/egg scenarios

too many A calls B calls A depending on state etc... but can't be
bothered at this stage to re-engineer the lot!

opentv: ensure that we can't double delete table

THis might happen if registering that the scan is complete removes
the table.

epggrab: change order of init to ensure things work properly

epggrab: sort out configuration for epggrab ota muxes

epggrab: corrections to the way the whole ota mux system works

mpegts: improvements to DVB SI processing

I've made the table extraid 64 bits, as some entries require 32+X bits
so a 32-bit field wasn't enough.

Added callback for registering destruction (for dealloc'ing memory
alloc'd for opaque).

Added method of registering desciptor tag handlers, saves duplicating
BAT processing used for OpenTV, which uses 1 custom descriptor.

Improved the table completion detection and reduced level of debug
that could swamp tvhlog queue.

opentv: updated to new APIs

This uses a significantly simpler setup, table is processed in a
linear fashion.

subscriptions: corrections to the way ota muxes are unlinked

tvhlog: ensure the logging Q is bounded in size, else it can become a leak

If processing because so high that the log queue becomes swamped we can
end up with a sort of avalanche scenario where everything gradually slows
down and the size of the buffer continues to grow. The main culprits of
this have been eliminated at source, however this is still a useful
safe guard.

tvhlog: performance improvement when trace/debug is disabled.

The processing performed in the hexdump routine, commonly used in
SI table trace output. Was having a significant impact on performance
as it was not pre-processing the config to see if trace was even
enabled before continuing to build up the (large and frequent) hex
strings.

linuxdvb: fixed leaving dangling file handles and stop FE on stop

Note: really we don't want to close the FE if we're planning to
retune, but I need to change the API to support that operation.

subscription: some minor corrections for mux sub

webui: make it possible to subscribe to a mux

I'm not entirely convinced this is fully working. I'm sure the data
rate was too low.

epggrab: updated to the new mux sub API

subscription: Created a proper mux subscription mechanism

It's a bit ugly to link subs and mpegts directly, but its not the end
of the world (and probably unavoidable without lots of duplication).

I'm still not convinced its robust to mux deletions if subs exist on
that mux. Probably needs mmi to be ref counted.

There is also a special kind of sub that expects to receive no stream
data, i.e. all data will come from the SI tables only. This special
sub is automatically unsubscribed (but that might need changing).

mpegts: fix service enumeration, failing to store weight

This caused oscillation between competing subscriptions!

mpegts: ensure mux is stopped if force is set

linuxdvb: fix a couple of diseqc mistakes

I'd set the 22KHz continuous tone instread of toneburst. And also sending
the diseqc repeat flag when it wasn't a repeat.

support: some minor corrections to config migration

Fix symbol rate mux config and ignore services with no channel mapping. It
can cause mappings to be missed.

idnode: reduce short ID to 31 bits to its a +ve 32bit signed int

Unfortunately this is what XBMC requires. Why signed I have no idea!

webui: some fixes to get channel list back in the EPG tab

epg: uncomment the channel loop in epg_query so we actually get results

tvhlog: ensure the tvhlog thread completes before exit

Note: I think my thinking for needing this logging thread is possibly
no longer valid. So this might be removed at some point (or at least
made optional).

epg: forgot to uncomment the broadcast save loop

support: Configuration migration script

This attmepts to rebuild the DVB network (not including satconf/adapters)
and also the channel list. This is 90+% of the work and should be enough
for most users to get up and running a bit more quickly.

eit: fix bug from last set of merges from my epg-update branch

epggrab: complete update to OTA mux and EIT

Still haven't touched OpenTV and there are several hacks in here for which
a proper solution is required.
(cherry picked from commit 9212120eb4c92aacb0d9cb75624961bf27e2ef5a)

mpegts: allow out of sequence table processing

also corrected invalid length check and added lots of extra debug
(cherry picked from commit 1c40381adb4f95cae3bb7d366d56bf68c3c06a9e)

linuxdvb: ensure that PID filters are not installed early

I thought this was causing stale data to enter the pipelines, turns
out this was not the case (it was just a NIT entry for a mux that
didn't exist colliding with one that did).

However still a useful mod.
(cherry picked from commit a7c7b76e8f8f10ece3af3132964c8afd19b26391)

mpegts: add the concept of a mux level subscription

This is necessary so that things like EPG grabbing can make
subscriptions that take precedence over initial scan but not
over standard subscriptions.

Will also be used for the debug mux dump from UI feature.
(cherry picked from commit 35a58bdf85008b819504e86e26f1072f79e79af3)

mpegts: fix debug display bug and event firing
(cherry picked from commit 293542812ac05ee6b806444b9def7212f28ae9b2)

tvhlog: move output to a thread

I'm hoping this will give a small performance boost with heavy levels
of trace. This is because I'm finding that data appears to be missing
when testing EIT, but to test I need to enable debug and I think that
debug may be part of the problem!
(cherry picked from commit d59421f91896fe30cd6ba6507f90ad0766903ae3)

mpegts: fix updates made for tvhpoll in merge

Merge branch 'feature/dvb-rewrite'

Conflicts:
Makefile
configure
src/dvb/diseqc.h
src/dvb/dvb.h
src/dvb/dvb_adapter.c
src/dvb/dvb_fe.c
src/dvb/dvb_input_filtered.c
src/dvb/dvb_tables.c
src/input/mpegts/dvb_psi.c
src/input/mpegts/iptv/iptv_mux.c
src/iptv_input.c
src/service_mapper.h
src/webui/static/app/tvadapters.js
src/webui/webui.c

iptv: further fixes to input processing

I had forgotten to make the read() buffers mux specific. Without this they
effectively end up using the same buffer for all active sessions and will
trample all over each other!

mpegts: ensure that partial (TS packet) reads are properly handled

iptv: sort out service configuration

channel: provide a link in the channel grid to allow playback.

channel: migrated channel_t to an idnode

Also since the channel name is no longer unique various other things have
had to be updated.

api: include access to the service mapper

service_mapper: New service mapper code

This will now allow the mappings between services and channels to be created.
Some basic options have been created for the purpose of allowing certain
level of control of how the mapping is done.

mpegts: debug statement fix

iptv: make it possibel for HTTP reception to be used in IPTV

iptv: updated to work with new API

This isn't fully tested and no doubt there are configuration issues to
be resolved. But I was able to receive an RTP stream using negge's server.

idnode: some additional debug

linuxdvb: updated mux to use new idnode delete routine

api webui: simplified webui API by removing "args" field

The API code has also been updated to use the htsmsg auto conversion of
strings to map/list where required. Basic approach is check for list/map
first and if that fails fallback to string (if that's whats appropriate
for a mixed type field).

htsmsg: added automatic conversion from string to msg/list

This is done on request if the string can be JSON deserialized. This is
useful for the common API where the webui will be sending in serialized
strings and saves having the special case "args" field.

For things like HTSP, which deal directly in htsmsg, the fields should
already have been converted to the right formats etc...

htsmsg: missed off the header updates for cleanup

htsmsg prop: some tidying up of type conversions

Really this lot could do with a proper tidy up, but probably for another day
and since this code is kinda shared with showtime I want to keep the changes
to a minimum until I've had a chance to discuss with Andreas.

webui: some minor corrections to mpegts/idnode code

webui: ensure there is output for successful ops

idnode: fix bug in config saving, not calling callback properly

Merge branch 'feature/dvb-rewrite' of github.com:adamsutton/tvheadend into feature/dvb-rewrite

webui: updated UI to new API calls. Still crap, but hey ho!

mpegts linuxdvb: some minor modifications to linuxdvb for better idnode API

api webui: migrated most of the new web API stuff to the new API subsystem

idnode: add new deletion method to allow generic api method

api: started to add idnode to the new API structure

transcoding: fixed copy & paste error, making it impossible to disable transcoding from the webui once enabled.

transcoding: added option to enable/disable transcoding from the webif

api: started work on creating a common API framework

The idea is that this will become a common API framework for both HTTP
and HTSP. And anything else we might think off.

The only real constraint at the moment is both assume a JSON like input
format (for simplicity) since they currently have that in common.

Include correct charset selection for Canal + Spain Transponders

Canal + uses it's own encoded guide. But info for Current-Next program is delivered using standard EPG DVB-S method. But it doesn't indicate correctly the encoding used (latin) so TVH shows information assuming UTF-8 and this doesn't show correctly latin chars (áéíóúñ and things like that).
This modification allows tvh to correctly identify charset for current (as of today 10Aug2013) Canal + Spain transponders.

idnode: ensure nodes are properly saved on update

mpegts linuxdvb: use new class lookup for satconf network lookup

idnode: added concept of class registration

this allows a class instance to be looked up by name, and in turn all
instances of that class can be found.

idnode prop: tweak to get config to load in the right order.

linuxdvb: fix LNB frequency processing

linuxdvb: some additional trace debug for S2 commands

mpegts idnode: updates to idnode for more resopsive list types

input network select is now dynamic and will update when network names are
changed

mpegts: added deleting of entire network

mpegts: added the ability to delete muxes

debug: added a proper pthread_mutex ownership check in lock_assert()

this is conditional based on a test run from the configure script, as this
type of test is certainly not 100% cross platform compatible.

However its very useful to have a true check of lock ownership rather than
the rather arbitary check that "someone" holds the lock.

channels: started work on a significant update to the way channels are managed

Channels to services will be N-N, to allow for some future options.

Also reworking the service mapper to get it working with the new code.

Fix typo in epggrab online help - thanks to jasa for spotting.

transcoding: resync pts when audio frames are dropped.