search: allow searching within mail diffs

This can be tied into a repository browser to browse
in-flight topics on a mailing list.

Merge remote-tracking branch 'origin/master' into repobrowse

* origin/master:
  search: fix help message for searching within quotes
  learn: scan all inboxes when learning spam
  watchmaildir: do not reject lowercase flags on Maildir files
  searchview: show full (&x=t) messages in ascending chronlogical order
  searchview: add "t" id to link to thread overview
  extmsg: use updated mail-archive.com URL
  view: escape HTML description name

search: fix help message for searching within quotes

I'm not sure if people use either and it's not in mairix
(where we base our abbreviations off of).  Lets go
with the shorter prefix since it's easier-to-type.

learn: scan all inboxes when learning spam

This matches the behavior of the -watch daemon since
6d534038285ddd760709ba76ea007f9108200097
("watch: watchspam affects all configured inboxes")

watchmaildir: do not reject lowercase flags on Maildir files

Dovecot uses 'a'..'z' (lowercase) to designate keywords
in Maildir flags.  This was preventing certain messages
from being marked as spam.

https://wiki2.dovecot.org/MailboxFormat/Maildir

searchview: show full (&x=t) messages in ascending chronlogical order

When displaying search results with full messages, it makes
more sense to show them in ascending chronological order when
going by date.  Reverse chronological order makes more sense
for search results which only show the subject.

searchview: add "t" id to link to thread overview

At least for the thread view (&x=t); this will make it
easy to link to the overview.

extmsg: use updated mail-archive.com URL

Apparently mid.mail-archive.com does not support HTTPS,
and the HTTP version redirects to the search query, anyways.

view: escape HTML description name

Otherwise funky filenames can cause HTML injection
vulnerabilities (hope you have JavaScript disabled!)

repoobrowse: explicit EOF handling for git async callback

We need to ensure we've fully-drained the pipe before
signalling EOF to the callback, since pipelining may
not be the best choice with detachable processes
in the future.

repobrowse: stop abbreviating object names

Ending up with potentially ambiguous identifiers in the
future is not worth saving some bytes, in this case.

repobrowse: fixup format-patch display

We need to take the revision into account when generating
patches :P  While we're at it, disabiguate URLs by resolving
refnames to (un-SHAttered) hex identifiers.

repobrowse: raw: show the resulting tree for commits and tags

Seeing the raw tag or commit is not very useful, but people
tend to treat them as trees.  This behavior is also shared
by the "plain" endpoint in cgit.

repobrowse: src: show a nicer message for big files

It should be unlikely for a code repository to need
any source files over 64K; and we can't display binaries
in a meaningful way in HTML, anyways.

repobrowse: src/ endpoint requires a tip to be specified

Implying a tip would make for ambiguous URLs and ruin
caching, so try to get everybody to hit the same URL.
This also simplifies some of our other code since
the tip is always in the request.

repobrowse: raw display avoids forking for small files

This is more efficient for the majority of source files
which fit into a stock 64K Linux pipe buffer used by
our interaction with git-cat-file.

repobrowse: avoid excessive buffering in raw endpoint

Relying on qspawn allows us to serve arbitrarily large
files without excessive buffering.  We'll special-case
small files in the future to avoid qspawn, as those
small files should fit comfortably in socket buffers.

repobrowse: remove unused "blob" endpoint

This is redundant with the "raw" endpoint.

repobrowse: consistently set text charset

For everything with relevant content, we'll try to set
UTF-8 charset and reduce duplication when generating
response headers.

repobrowse: rename "tree" endpoint to "src"

This is shorter, and makes more sense as the endpoint
displays both tree listings and actual blob sources.
This will also make rewriting existing URLs from cgit
installations easier.

repobrowse: rework source view to use async cat-file API

This will allow most source files to be displayed without
blocking public-inbox-httpd on slow disk access.  However, we no
longer support displaying source files larger than 65536 bytes
(the size of a pipe on current Linux).

repobrowse: update documentation and variable naming

Another change from abandoning the cgit URL format.

repobrowse: update documentation for git patch generation

We abandoned cgit-compatible URLs, update documentation to match.

repobrowse: git tree view checks object asynchronously

... when inside public-inbox-httpd.  This will allow
the server to handle other requests/responses while
waiting on "git cat-file --batch-check"

git: move async detection to runtime

We don't actually know what context we'll be called under,
so detecting the mere use-ability of Danga::Socket is not
sufficient.

repobrowse: eliminate unused query parameters

We will try to reduce the amount of query parameters as
much as possible to make URLs more amenable to caching
at various levels.

repobrowse: fixup revision handling

Revisions passed in the URL must not be ignored.
This fixes some bugs introduced in commit
f6244586ba4f5a5e7575e1254be8c9bbe303fce9
("repobrowse: switch to new URL format to avoid query strings")

repobrowse: stop abbreviating commit hashes

Abbreviations can become ambiguous over time, and it seems other
tools are fine with displaying unabbreviated hashes for commits.
This should reduce workload for the search engines, too.

repobrowse: unconditionally remove trailing slash handling

We do not need specialized trailing slashes if we break URL
compatibility from cgit, here.  Removing trailing (and redundant)
slashes improves our hit rates with across both server-side
(varnish, squid) and client-side (browser) layers.

repobrowse: return git errors as text/plain, for now

For now, this avoids an HTML injection vector.  We'll try to
have more consistent error reporting in the future.

repobrowse: minor style cleanups

Avoid using '=>' arrow notation for arrays and array references,
it is confusing and more verbose.  Additionally, combine
"use constant" statements when possible.

repobrowse: remove unnecessary import

We do not need to escape URIs in this file.

repobrowse: rename "plain" endpoint to "raw"

This name is shorter and matches terminology in gitweb and
other popular git web viewers.

repobrowse: memoize git symbolic-ref resolution

The "HEAD" symbolic ref is rarely changed, so
memoize it for now and avoid exposing it in URLs.

repobrowse: shorten "repo_info" to "-repo"

This makes it more consistent with how we use the Inbox
objects for the main code.

repo: only read description if git

Other VCSes have other means of providing the description.

repobrowse: switch to new URL format to avoid query strings

Query strings make endpoint caching more difficult since
they're order-independent.  They are also more likely lost
or truncated inadvertantly when copy+pasting, so try to
avoid them for default endpoints.

There's still some things which are broken and followup
commits will be needed to fix them.

config: avoid circular loading dependency

We must lazilly load one of them, so load Inbox later
since we need to parse the config, first.

repobrowse: do not unescape PATH_INFO twice

PSGI specs already require PATH_INFO to be unescaped.

Followup-to: commit 364de65f8a6b5729027cb70228312a141430122f
("www: do not unescape PATH_INFO twice")

Merge remote-tracking branch 'origin/master' into repobrowse

* origin/master:
  www: do not unescape PATH_INFO twice
  t/mime: quiet warnings for old versions of Email::Simple
  handle repeated References and In-Reply-To headers

searchidx: switch to accounting by message bytes

Xapian memory usage is tied to the size of the indexed
text, so take the raw message size into account when
deciding when to flush Xapian data.

More importantly, we now flush Xapian before we have it
buffer beyond our maximum; and we do it unconditionally
to prevent even high priority processes from OOM-ing.

www: do not unescape PATH_INFO twice

PSGI specs already require PATH_INFO to be unescaped;
so our tests were wrong, too.

t/mime: quiet warnings for old versions of Email::Simple

This is fixed in the newest versions of Email::Simple,
but not the version in Debian jessie (2.203)

handle repeated References and In-Reply-To headers

It seems possible for git-send-email(1) to generate repeated
repeated instances of References and In-Reply-To headers,
as evidenced in:

https://public-inbox.org/git/20161111124541.8216-17-vascomalmeida@sapo.pt/raw

This causes a mismatch between how our search indexer threads
and how our HTML view handles threading.  In the future, View.pm
will use the smsg-parsed {references} field and avoid redoing
Email::MIME header parsing.

We will still need to figure out a way to deal with messages
with repeated Message-IDs, at some point, too.

repo: lazily read description and cloneurl

This improves startup speed at the cost of CoW-friendliness
for long-lived daemons (which can be fixed, later).

config: move try_cat function from inbox

This allows RepoConfig to be independent of the
PublicInbox::Inbox class.

repo: add class for representing a code repo

This should hopefully allow us to organize our code better

repogit: add prototypes for error checking

And add a note to remove git_commit_title

repo: search index flushes for excessive active refs

For certain repos, having too many active refs will cause
memory usage problems.  Mitigate the Xapian problems, for
now, and consider a switch to GDBM_File or similar for
repos with more refs.

search: remove unnecessary abstractions and functionality

This simplifies the code a bit and reduces the translation
overhead for looking directly at data from tools shipped
with Xapian.

While we're at it, fix thread-all.t :)

repo: search index no longer indexes for --contains

It's extraordinarily expensive to add these terms for
each and every commit.

repo: increase search index flush granularity

We need to flush Xapian more frequently to account for
gigantic commits which introduce lots of text, so do
it when accounting for each line processed, and not
for each commit processed.

repobrowse: shorten internal names

We'll still be keeping "repobrowse" for the public API
for use with .psgi files, but shortening the name means
less typing and we may have command-line tools, too.

Merge remote-tracking branch 'origin/master' into repobrowse

* origin/master:
  config: do not slurp lines into memory
  TODO: several updates
  search: schema version bump for empty References/In-Reply-To
  Revert "searchidx: reindex clobbers old thread IDs"
  searchidx: reindex clobbers old thread IDs
  searchidx: deal with empty In-Reply-To and References headers
  searchview: increase limit for displaying search results
  searchview: clarify numeric summary at bottom
  add filter for Subject: tags
  watchmaildir: allow arguments for filters
  watchmaildir: limit live importer processes
  learn: implement "rm" only functionality
  mime: avoid SUPER usage in Email::MIME subclass
  inbox: reinstate periodic cleanup of Xapian and SQLite objects
  introduce PublicInbox::MIME wrapper class

repobrowse: avoid slurping lines

"foreach (<$fh>)" in Perl requests lines in array
context, so use "while" instead for lazy reading.

This follows ba4c50c20b95679580beba1ef290a4281d5285b7
in master ("config: do not slurp lines into memory")

config: do not slurp lines into memory

There's no need to hold everything in memory, here,
since apparently "foreach" will read everything at
once in array context

(for some reason, I thought Perl5 was smart enough
 to avoid creating a temporary array, here...)

repobrowse: start wiring up git search

Much more work on this will be needed, but at least explicit
flush points prevents OOMs on my system.

TODO: several updates

Always plenty to do while working on this...

search: hoist out git directory search index helper

We will be reusing this for indexing normal (code) repositories
using git and Xapian, too.

search: schema version bump for empty References/In-Reply-To

We cannot distinguish between legitimate ghosts and mis-threaded
messages before commit 83425ef12e4b65cdcecd11ddcb38175d4a91d5a0
("searchidx: deal with empty In-Reply-To and References headers")
so we must rebuild the index in parallel to fix it.

Revert "searchidx: reindex clobbers old thread IDs"

Oops, that's broken, too.  I guess the only way to reindex
after fixing the thread detection is to start from scratch.

This reverts commit 5d91adedf5f33ef1cb87df2a86306ddf370b4f8d.

searchidx: reindex clobbers old thread IDs

We cannot always reuse thread IDs since our threading
logic may change as bugs are fixed.

searchidx: deal with empty In-Reply-To and References headers

In some messages, these headers exist, but have empty values.
Do not let empty values throw off our search indexer to tie
threads together, as it can make non-sensical threads grouped
to a Message-Id of "" (empty string).

See
<https://public-inbox.org/git/11340844841342-git-send-email-mailing-lists.git@rawuncut.elitemail.org/raw>
for an example of such a message.

Thanks-to: Johannes Schindelin <Johannes.Schindelin@gmx.de>
  <https://public-inbox.org/git/alpine.DEB.2.20.1702041206130.3496@virtualbox/>

searchview: increase limit for displaying search results

We are in no danger of excessive buffering or OOM-ing,
the main page for every inbox already loads 200 results;
and thread page views even load 1000!  Increase this to
200 for now.

searchview: clarify numeric summary at bottom

Xapian can only give estimated results when a result limit is
given to it, so make clear it is an estimate to avoid showing
non-sensical ranges when no results are returned.

repobrowse: git tag listing is now async

I'm unsure if this is even a good idea to support,
but we have it, for now.

repobrowse/git/atom: remove unused subroutine

We never ended up using it.

repobrowse: simplify command generation for git commands

This shortens the code quite a bit at a negligible performance cost,
and the diffstat agrees.

add filter for Subject: tags

Some mailing lists add annoying tags into the Subject line which
discourages readers from doing proper mail organization on the
client side.  They also waste precious screen space and
attention span.

Remove them from our archives to reduce clutter.

watchmaildir: allow arguments for filters

We'll want to allow some degree of configuration for
various mailing lists.

repobrowse: git summary view uses psgi_qx

This reduces one synchronous dependency from the hot path,
and psgi_return will be used in the future.

t/httpd-unix: better diagnostics and comments for test

I've hit random test failures on this, so attempt to improve
diagnostics and improve documentation for this test.

repobrowse: preserve newlines in Atom feed

Commit messages are assumed to be displayed in a terminal
with a fixed width font, so we must preserve newlines and
all whitespace as-is so ASCII art may be displayed properly.

repobrowse: simplify git log parsing implementation

Based on what was done for the Atom feed, this will allow us to
simplify state management through metaprogramming and avoid
placeholder characters ('D' for decoration) for empty fields.

repobrowse: fix full URL generation in Atom feed

We must not drop the leading slash in the URI.  This
regression was introduced when we dropped Plack::Request
dependency.

repobrowse: avoid extra hash assignments for Atom feed

This should make the code somewhat easier-to-follow.

repobrowse: git Atom feed uses Qspawn->psgi_return

This allows us to wait on "git log" output in a non-blocking manner
while being able to throttle on backpressure from slow clients
when used with pi-httpd.

repobrowse: git Atom feed uses Qspawn->psgi_qx

This allows pi-httpd to service other I/O while we wait on "git
symbolic-ref" to run.  And psgi_return will be used in the next
commit...

qspawn: better annotate where $qx_cb is called

Hopefully this makes the code easier-to-follow for random
readers.  This requires a small amount of modification to
our one caller, but this is a new, unstable API (as is
nearly all of our code).

watchmaildir: limit live importer processes

We don't want to be triggering OOM or swapping on weaker
systems when we have dozens of inboxes as potential targets.

learn: implement "rm" only functionality

Do not consider this interface stable, but I just needed a
way to remove mis-imported multipart messages so
public-inbox-watch could pick them up again from my Maildir.

mime: avoid SUPER usage in Email::MIME subclass

We must call Email::Simple methods directly in our monkey patch
for Email::MIME to call the intended method.  Using SUPER in our
subclass would instead hit a different, unintended method in
Email::MIME.

Reported-by: Junio C Hamano <gitster@pobox.com>
<xmqq4m0wb43w.fsf@gitster.mtv.corp.google.com>

repobrowse: expath is always defined

Remove an outdated comment while we're at it, too.

http: cast a wider net to prevent circular references

We can more effectly nuke circular references by clearing
the entire PSGI $env, not just particular keys, when
there are self-referential fields such as "qspawn.response"
in our environment.

repobrowse: git snapshot waits for all commands asynchronously

This new asynchronous API, psgi_qx, will allow us to take
advantage of non-blocking I/O from even small commands;
as those may still need to wait for slow operations.

qspawn: better description

We'll probably use this in a lot of places...

repobrowse: verbose git tree display uses qspawn for ls-tree

For now, qspawn provides resource management for dealing with
expensive "git ls-tree" processes.

repobrowse: use qspawn for plain tree views

We may eventually handle tree parsing ourselves (since we
already git cat-file), but for now we can rely on ls-tree
to give good output and qspawn to manage resource allocation.

repobrowse: git: drop unused diff parsing routines

We don't need these legacy routines anymore and use the
newer stream-friendly _sed interface.

httpd/async: stop running command if client disconnects

If an HTTP client disconnects while we're piping the output of a
process to them, break the pipe of the process to reclaim
resources as soon as possible.

repobrowse: simplify conditional for cat-file input

expath is always defined, even to an empty string,
so simplify the conditional for checking it.

rename "GitAsyncRd" to "GitAsync"

This wrapper class actually does both reading and
writing, and a shorter name is nicer.

gitasyncrd: pass a reference to Danga::Socket::write

D::S creates a reference for this, anyways, so avoid
the extra work by doing it ourselves.

repobrowse: comment describing Git wrapper creation

Metaprogramming can be difficult-to-read after several
months, so leave comments in place to describe common
usage results of.

repobrowse: port git log view to qspawn streaming interface

This will prevent too many processes from being spawned at once
while also allowing us to respond to backpressure from slow
clients.

inbox: reinstate periodic cleanup of Xapian and SQLite objects

We may need to do this even more aggressively, since the
Xapian database does not always give the latest results.
This time, we'll do it without relying on weak references,
and instead check refcounts.

repobrowse: make git diff output use qspawn

This is a potentially expensive operation, so we may want to
give it it's own limiter channel.

diff: note the dangers of gigantic anchors hash

async: improve and fix out-of-date comments

repobrowse: qspawn + streaming for git commit display

This prevents "git show" processes from monopolizing
the system and allows us to better handle backpressure
from gigantic commits.