hval: routines for attribute escaping

We'll use HTML attributes + anchor links to link to filenames
in coming commits.

repobrowse: use symbolic-ref instead of ugly rev-parse match

Oops, forgot about this old command :x

repobrowse: italicize removed lines in diffs

This doesn't look too horrible on displays which render italics
and even degrades gracefully in text-only displays to underline
or colors in other terminals (lynx).  Do not italicize leading
whitespace, since the fallback to underlines looks too noisy.

repobrowse: use 'raw' to link to the /plain/ endpoint

We use 'raw' in the rest of public-inbox to resolve the raw,
unformatted message (as does gmane and gitweb), so don't expose
the word 'plain' to users which only cgit seems to use.

repobrowse: allow serving PDF files from the 'plain' endpoint

PDFs are no more harmful than images or audio files
(they're not innocuous, but they're more difficult to use as an
 XSS vector).

This prepares us to allow access the MIME_TYPE_WHITELIST for
serving random file types.  But perhaps this will become
object-local to allow serving multiple, independent repobrowse
instances within one process...

repobrowse: show repository index

Sometimes; people like to advertise projects and group them.
Of course, "-hidden" is a valid group for projects which do
not want to be advertised.

rename PI_REPO_CONFIG => PI_REPOBROWSE_CONFIG

We want to use 'repobrowse' terminology consistently despite
it being longer.  Furthermore, "repo-config" is an old git
command (nowadays git-config(1)) which may confuse some old
git users.

honor core.abbrev from git-config(1)

We will use core.abbrev=12 by default if unset, as the git
default of 7 is too low for long-term usability of links.
Some of our callers used 16, which was probably excessive.

repobrowse: eliminate oneline log view

The oneline view lacks sufficient information at times.
Reduce the number of options presented and always show
the full log message to avoid making the user follow more
links.

repobrowse: redirect w/o trailing slashes for humans

For human-visible HTML pages, avoid the trailing slash as that
can reduce cache hits in both the server (using varnish) and
clients.  Typical web browsers are all capable of following
301 redirects without difficulty or human interaction.

We do not redirect for endpoints which may be consumed by
automated tools as that may cause compatibility problems.  For
example, curl(1) does not automatically follow redirects and
needs the "-L" flag to do so.

repobrowse: implement preliminary summary page

This should provide a decent landing page for projects.
Alternative README files may be configured with the per-repo
"readme" directive.

repobrowse: queries are VCS-specific

While we want to keep a consistent set of parameters across
different VCSes, we cannot expect users of non-git VCSes to
use the same parameter names which make sense for git users.

repobrowse: change Perl capitalization to "Repobrowse"

We mainly call it "repobrowse" (all lowercase), so do not imply
it is two separate words by capitalizing "Browse".

repobrowse: start supporting a "tag" endpoint

We'll need this for displaying both annotated and lightweight
tags.

repobrowse: common html_start method

We will want a common UI/UX for all repobrowse HTML pages.

t/git.t: add tests for detecting failures

We need to ensure failure detection works.

repobrowse: only show --combined diff for merges

--cc diffs are less useful out-of-context to a casual reader,
and showing too many options is confusing and bloats the page.

view: use inline style directly for feed display

And remove the legacy constant from PublicInbox::Hval.
Relying on the short <style> section should simplify our code.

repobrowse: use style for whitespace wrapping

This lets us use multiple <pre> sections without redundant
attributes.

repobrowse: log: trim down unnecessary links

We do not need to show links to follow a commit if its parents
exist, since we will show unfollowed parents at the end of the
commit.

repobrowse: commit view handles lack of commas in hunk headers

Hunk headers in diffs may not have a comma in them for symlinks.

repobrowse: tree: handle lack of trailing newline

This fixes a bug where the trailing newline was not shown
correctly and tells the reader the file is missing a trailing
newline.

repobrowse: tree view omits plain and log links

No need to clutter up the page with more senseless links few
people will follow.  The blob view now has plain links for
people who want to save a single file, and will have log links
added, later.

repobrowse: tree nav is consistent between blobs/trees

We use the same path: header at the top and allow jumping
back to the tree when displaying blobs.

repobrowse: add "plain" endpoint for cgit URI compat

This is similar to the "blob" endpoint, except it shows
trees as a directory.

git: add support for qx wrapper

This lets us one-line git commands easily like ``, but without
having to remember --git-dir or escape arguments.

repobrowse: log display for parents includes commit link

For consistency, it probably makes sense to include the
extra link to each of the parent commits for the user
to follow.

repobrowse: git commit allows expanding combined diffs

Being able to view a merge commit as -c (--combined) may be
helpful; allow it as it's usually not too insane.

repobrowse: log display tweaks

--graph is probably not supportable, but we'll make due with
being able to have links to follow arbitrary parents.

--skip and ref~<n> do not scale to large repositories, either.

commit: stop using ins/del tags

They're too difficult to read by default on various
browsers.  Only bold added text and leave removed text
alone.

git: local $/ for getline

We may be setting $/ elsewhere, so do not let our callers
inadvertantly break us.

repobrowse: log: create links for decorations

Decorations are helpful elements for showing relationships
between branches and tags.

repobrowse: support --graph output in log

This may be reverted if it turns out to be unsupportable
due to performance problems.  However it certainly looks
useful for understanding commit history.

I'm keeping it off by default for now since taking over
500ms to render a page is not acceptable.

Even "git log --graph -50 554f6e41067b9e >/dev/null" on
git://git.kernel.org/pub/scm/git/git.git
takes around 700ms on my system.

hval: rename new_bin => utf8

This shorter name is more descriptive of what the method
actually does.

repobrowse: add fallback module for git to serve static files

This will eventually be expanded to support git-http-backend(1)

repobrowse: support raw blob display

This allows displaying blob objects, including trees, as is in
"bit perfect" fashion.

git: factor out cat_file_begin and cat_file_finish

Unfortunately, it seems being able to handle callbacks is
insufficient; and these methods will allow us to avoid making
an extra $git->check call.

repobrowse: patch generation improvements

It now works more or less correctly for merges (at least it does
what cgit does).  It also supports path-limiting and the
signature line shows information on how the patch was generated
in an effort to educate git users.

repobrowse: consolidate trailing slash handling

And apply this to the git tree viewing code and allow navigating
upwards from the tree listing view.

git: expand callback to support object ID and type

This metadata can be useful on an optional basis; allowing
calls to $git->check to be skipped.

repobrowse: simplify merge display code

repobrowse: consolidate PublicInbox::Git initalization

We should've done this earlier, but second time's a charm
and this forces us to think about other VCSes early.

repobrowse: blob view no longer displays line numbers

We will always support links to them, but they're a waste of
space and render poorly on small screens.  Perhaps in the future
we may support linking to function context headers based on
.gitattributes, instead.

repobrowse: /commit/ forces everything to UTF-8

Hopefully we'll show some names properly in our pages now,
as well as simplify our code when escaping text for HTML
display.

Additionally, tweak our diff display by using <ins> and
<del> tags for added/removed text, respectively.  This should
allow users to choose their own styles when viewing diffs
in their browser while being meaningful to people who cannot
differentiate colors.

repobrowse: DRY-up query class and support id2

We'll be adding diff support against arbitrary objects, soon
(which could cause us to be OOM-ed easily if we're not careful
 with big objects).

repobrowse: add /patch/ endpoint

This is trivial for generating patches so users can run:
"curl $URL | git am" against any instance of this.

repobrowse: git tree API modernizations

Rely on Hval more since that is stateful and hopefully makes it
easier-to-manage pathnames with weird characters.  Additionally,
prefix individual function names to improve searchability
when/if we support additional VCSes.

repobrowse: commit message page enhancements

Commit parent titles are shown next to the parent commit ID,
as the SHA-1 commit ID is entirely non-sensical.

diffstats now link to per-path limits, similar to cgit
behavior (cgit goes to the "diff" endpoint, which we don't
have, yet...).

examples/repobrowse.psgi: rename to eliminate the dash

We've been refering to this as "repobrowse", so drop the '-'.
While we're at it, enable chunking since we stream a good chunk
of our responses to avoid having too much in memory at once.

repobrowse: linkify hunk headers

A work-in-progress, but this provides useful links to the
exact line number of modified lines instead of blindly linking
to the top-of-the-file.  Avoid flooding the user with links
but give hints by bolding the final resulting file or SHA-1
object ID.

Do other repository viewers do this?

repobrowse: add git helper for unquoting

We need to parse diffs with all manner of funky file names :<

hval: introduce new_bin for raw data

Since we no longer get our data from Email::MIME when reading
non-email, we need to explicitly specify it as such.

repobrowse: prefix VCS-specific modules

Currently we only support git, but this should make it easier
to handle other VCS-es in the future.

repobrowse: tree links mostly working

Now we can navigate trees and pretend we have a filesystem...

repobrowse: log: simplify by avoiding tables

We remain mostly URL-compatible with cgit, but we do not use
tables unnecessary markup and needlessly increase our page
weight.

repobrowse: convert to using PublicInbox::Hval::PRE

Avoiding nested quoting.

repobrowse: log + commit viewing working for git

Basically stealing URLs and parameters from cgit as much
as we can.  This could get get interesting...

view: link restructuring for index view

The "next/prev" links seem a bit awkward and I don't use them as
much as I expected to.  However, move the "raw" message link
near the top since it's most useful for checking or reinforcing
the validity of the message via GPG or just reading headers.

Turn the Subject line into a permalink to the message, since
that's probably the common behavior anyways for other messaging
systems.  Make the "[threaded|flat]" view links to always
visible for bookmark-ability despite the lack of a "permalink"
label.

http: fix condition for detecting persistence

Oops, we need to watch out for how we handle operator
precedence and ensure responses without a Content-Length
or "Transfer-Encoding: chunked" header will always
disconnect after writing.

www: more explicit "git clone" usage

Little harm in having the entire command-line for users and
avoiding the cognitive overhead of figuring out $URL.

www: various style changes and comment updates

Reduce stack depth of arguments and rely more on state hashref
to store response state.  We may end up shoving everything
in ctx eventually.

httpd: remove reference to callback during close

Avoid wasting memory and the risk of a potential reference
cycles by dropping the callback ASAP.

daemon: expand @ARGV paths for running in '/'

We also require --stdout/--stderr/--pid-file to be absolute
paths for USR2 usage.  However, allow PSGI files for -httpd
to be relative paths for ease-of-use.

feed: fix brain farts in new_oneline removal

Ugh...

Fixes: 476fc666c223 (reduce "PublicInbox::Hval->new_oneline" use)

searchmsg: preserve hard tabs, but drop CR (\r)

Hard tabs *may* be searchable, so preserve them since they do
not take up any more space than a normal space.  However, CR
(carriage return) is worthless and likely a sign of a buggy mail
(or spam) client anyways.

reduce "PublicInbox::Hval->new_oneline" use

It's probably a bad idea to strip extraneous whitespace
from some headers as an extra space may convey useful
information.

Newlines don't seem to be preserved by Email::MIME or
Email::Simple anyways, so there's no danger in breaking
formatting.

http: use Plack::HTTPParser for HTTP parsing

This allows us to reduce installation dependencies while
retaining performance as it favors HTTP::Parser::XS when
it is installed and available.

PLACK_HTTP_PARSER_PP may be set to 1 to force a pure Perl
parser for testing.

examples: disable Chunked response in PSGI example

It seems incompatible with Starman and probably confuses other
HTTP/1.0-only servers, too.  Our -httpd will respect it and
requires it for persistent connections.

http: prevent zero-byte writes

Plack::Middleware::Deflater (and perhaps other middleware)
triggers zero-byte writes which wastes syscalls when
they get passed to Danga::Socket.  This may also trigger
problems when we introduce TLS support in the future.

daemon: fixup usage of the '-l' switch with IP/INET6 sockets

We need to ensure $sock_pkg is preserved outside of the loop.
The variable passed to "for" or "foreach" is implicitly local
and restores the previous value when the loop exits.  This is
documented in the perlsyn manpage in the "Foreach Loops"
section.

Fixes: ea1b6cbd422b ("daemon: allow using IO::Socket::IP over INET6")

daemon: allow using IO::Socket::IP over INET6

IO::Socket::IP is bundled with newer versions of Perl,
so it is more likely to be available.  There should
be no differences between these with our use cases.

http: reject excessively large HTTP request bodies

We cannot risk using all of a users' disk space buffering
gigantic requests.  Use the defaults git gives us since
we primarily host git repositories.

http: ensure errors are printable before PSGI env

We cannot rely on a client socket having a PSGI env before headers
are fully-parsed as we seek to avoid storing hashes for idle
clients.  Sso print errors to the psgi.errors value which belongs to
the httpd listener, instead.

http: reject excessive headers

HTTP::Parser::XS::PP does not reject excessively large
headers like the XS version.  Ensure we reject headers
over 16K since public-inbox should never need such large
request headers.

daemon: sockname detects listeners correctly

This means we can avoid false-positives when inheriting multiple
Unix domain sockets.

daemon: document optional Net::Server dependency

Non-socket activation users will want to install Net::Server
for daemonization, pid file writing, and user/group switching.

doc: add contact/see-also/copyright sections to mda manpage

We need manpages before we can expect people to install this.

httpd: remove unnecessary eval

We have per-middleware evals to deal with them being missing;
no need to put an eval around the whole thing and use an
extra level of indentation.

t/httpd-corner: avoid clobbering existing FDs after fork

Due to the deterministic way reference counting works,
we do not want to drop references to existing FDs
even if we no longer need the glob reference; the actual
FD is all we can pass through on exec.

doc: language-neutral client-side endpoints

Be less specific, client-side code can be written in any
language (and I do not care for JS runtimes implemented in
C++ :P).

doc: varyus speling fickses

Letz trie 2 uphear liter8

feed: remove unnecessary encoding lookup

We handle encoding-related things elsewhere.

daemon: simplify parent death handling

No need to create a new sub which kill ourselves $$ when we can
invoke worker_quit directly.

daemon: avoid cyclic references for once-used callbacks

Not that these subs are repeatedly created, but this makes
the code easier-to-review and these callbacks are idempotent
anyways.

daemon: drop listener sockets ASAP on termination

We do not want to be accepting connections during graceful
shutdown because another new process is likely taking over.
This also allows us to free up the listener case another
(independent) process wants to claim it.

t/httpd-corner: additional callback test

Just to ensure we hit the code path independently of
WWW code.

git-http-backend: favor sysread for regular files

We do not need line buffering, here; so favor sysread to
bypass extra copies which may be done by normal read.

daemon: simplify socket inheriting, slightly

IO::Handle->new_from_fd has existed since at least 1996,
so it should be safe to depend on at this point.

daemon: support listening on Unix domain sockets

Listening on Unix domain sockets can be convenient for running
behind reverse proxies, avoiding port conflicts, limiting access,
or avoiding the overhead (if any) of TCP over loopback.

daemon: introduce host_with_port for identifying sockets

This allows us to share more code between daemons and avoids
having to make additional syscalls for preparing REMOTE_HOST
and REMOTE_PORT in the PSGI env in -httpd.

This will also make supporting HTTP (and NNTP) over Unix sockets
easier in a future commit.

daemon: avoid polluting the main package

We've distilled the daemon code into one public function ("run"),
so avoid polluting the main namespace and just have users
prefix with the full package name for this rarely-used class.

t/*.t: use identifiable tempdir names

This should make identifiying leftover directories
due to SIGKILL-ed tests easier.

view: fix stupid typo in inline_dump

Ugh, this enabled-iff-xapian-is-available code really
needs better testing...

use raw header for Message-ID

Message-IDs should not be MIME encoded, but in case they are,
use the raw form for compatibility with ssoma and possibly
other tools.  This prevents a potential problem where a
malicious client could confuse our storage layer into indexing
incorrect contents.

http: better error handling for EMFILE/ENFILE

Better to throw the error back to the client ASAP if we're
out-of-descriptors.  We will need to implement idle client
expiration for long-lived HTTP connections.

httpd: remove unneeded err and out fields from class

Vestigial pieces from the nntpd code which aren't needed because
the psgi env already has the "psgi.errors" key.

httpd: document pi-httpd.async as totally unstable

We'll have to use it some more before deciding it is a public
interface.  I do hope for it to be a usable public interface
one day for other users.

processpipe: preserve native close behavior

We need to ensure close on handles tied to this class
get the same errors a normal "close" in Perl gets.

linkify: do not capture trailing '.' or ';' in URLs

It seems common for users to end statements with URLs,
while it is rare for a URL itself to end with a '.' or ';'.
So make a guess and assume the URL was intended to not
include the trailing '.' or ';'

extract linkification code to a separate package

This will allow us to more easily reuse it elsewhere.