REST: A check must specify a state

The Ozlabs crew noticed that a check without a state caused a
KeyError in data['state']. Mark state as mandatory, check for
it, and add a test.

Reported-by: Russell Currey <ruscur@russell.cc>
Reported-by: Jeremy Kerr <jk@ozlabs.org>
Signed-off-by: Daniel Axtens <dja@axtens.net>

REST: Handle regular form data requests for checks

08d1459a4a40 ("Add REST API validation using OpenAPI schema") moved
all API requests to JSON blobs rather than form data.

dc48fbce99ef ("REST: Handle JSON requests") attempted to change the
check serialiser to handle this. However, because both a JSON dict
and a QueryDict satisfy isinstance(data, dict), everything was handled
as JSON and the old style requests were broken.

Found in the process of debugging issues from the OzLabs PW & Snowpatch
crew - I'm not sure if they actually hit this one, but kudos to them
anyway as we wouldn't have found it without them.

Fixes: dc48fbce99ef ("REST: Handle JSON requests")
Signed-off-by: Daniel Axtens <dja@axtens.net>

notifications: fix notification expiry when no user is associated

It's possible that an EmailConfirmation object will have no associated
user (eg, for email opt-out, which does not require a user object). In
this case, we will see a NULL value for EmailConfirmation.user_id.

However, having a NULL value appear in a SQL 'IN' clause will match
every value. This means that once one of these null-user
EmailConfirmations is present, we will never expire any non-active user
accounts.

This change adds a filter for a valid user_id when we query for active
EmailConfirmation objects. This means we'll have a valid values set to
use in the pending_confs set.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>
[dja: fix pep8 issue]
Signed-off-by: Daniel Axtens <dja@axtens.net>

Update psycopg2-binary from 2.8.1 to 2.8.2

Update psycopg2-binary from 2.8.1 to 2.8.2

Update psycopg2-binary from 2.7.7 to 2.8.1

Update psycopg2-binary from 2.7.7 to 2.8.1

Update jinja2 from 2.10 to 2.10.1

Fix YAML loader warning

In my tests I'm seeing:
/home/patchwork/patchwork/patchwork/tests/api/validator.py:229:
YAMLLoadWarning: calling yaml.load() without Loader=... is deprecated,
as the default Loader is unsafe. Please read https://msg.pyyaml.org/load
for full details.

Fix this by using the safe loader in the tests.

Signed-off-by: Daniel Axtens <dja@axtens.net>
Reviewed-by: Stephen Finucane <stephen@that.guru>

Update sphinx_rtd_theme from 0.4.2 to 0.4.3

Update sqlparse from 0.2.4 to 0.3.0

Update sqlparse from 0.2.4 to 0.3.0

Update django from 1.11.18 to 1.11.20

ui: Space in filter radio buttons

There was no space between radio button and associated text
in the filters form.

Signed-off-by: Thomas Monjalon <thomas.monjalon@6wind.com>
Reviewed-by: Stephen Finucane <stephen@that.guru>

ui: Shrink vertical space of patch list

The margin above the filter box is removed because there is
already a margin below the navigation bar.

The vertical padding between rows is reduced
while the horizontal padding between columns is increased.

Signed-off-by: Thomas Monjalon <thomas@monjalon.net>
Reviewed-by: Stephen Finucane <stephen@that.guru>

Update djangorestframework from 3.9.1 to 3.9.2

Update djangorestframework from 3.9.1 to 3.9.2

parser: recognise git commit consisting only of empty new file

Commits with only an empty new file are liable to be missed.
The parser state machine doesn't recognise the headers "new
file mode" and "index": teach it about them.

Add a test to demonstrate.

It's a little bit academic as you don't usually send patches like
that but sometimes you do, especially if you're a snowpatch dev :)

Closes: #256
Reported-by: Andrew Donnellan <andrew.donnellan@au1.ibm.com>
Signed-off-by: Daniel Axtens <dja@axtens.net>
Reviewed-by: Andrew Donnellan <andrew.donnellan@au1.ibm.com>
Reviewed-by: Stephen Finucane <stephen@that.guru>

Update openapi-core from 0.7.1 to 0.8.0

Beautify check counts in the patch list view

This patch [1] adds colors to the checks in the patch list view.
The colors are set based on the check's priority, with FAILURE
having the highest priority, followed by WARNING, and then SUCCESS.
Only the check with the highest priority and non-zero count
will be colored. This is to make failures and warnings more visible.

The patch also [2] replaces zero counts with a '-' for
FAILUREs and WARNINGs.
The SUCCESS count will only be replaced by a '-'
when all other checks have zero counts too.

Suggested-by: Thomas Monjalon <thomas@monjalon.net>
Signed-off-by: Ali Alnubani <alialnu@mellanox.com>
Signed-off-by: Stephen Finucane <stephen@that.guru>

Fix return code when getting patch information fails

The `info` command always exits with success, even if
the patch didn't exist.
Modified to exit with a non-zero exit status and
print an error message in that case.

Signed-off-by: Ali Alnubani <alialnu@mellanox.com>
Reviewed-by: Stephen Finucane <stephen@that.guru>

docs: Fix user's profile url

Signed-off-by: Ali Alnubani <alialnu@mellanox.com>
Reviewed-by: Stephen Finucane <stephen@that.guru>

Update django from 2.1.5 to 2.1.7

Update django from 2.1.5 to 2.1.7

Update python-dateutil from 2.7.5 to 2.8.0

docs: Integrate API schema into docs

This takes advantage of the sphinxcontrib-openapi Sphinx extension,
which allows us to embed the REST API documentation into our docs quite
nicely.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Move REST API guide to subfolder

We're going to dramatically expand these docs, so let's set up room to
do so.

This shouldn't break any links as we're using 'htmldir' output on
ReadTheDocs.

Signed-off-by: Stephen Finucane <stephen@that.guru>

tox: Use 'dirhtml' builder for docs

This is what we use for 'patchwork.readthedocs.io'.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Remove crud from conf.py

Most of this was removed in a previous release but there is yet more to
go. These values are all (a) defaults or (b) never triggered. Remove
them.

Signed-off-by: Stephen Finucane <stephen@that.guru>

Update psycopg2-binary from 2.7.6.1 to 2.7.7

Update psycopg2-binary from 2.7.6.1 to 2.7.7

Update django (Py2) from 1.11.15 to 1.11.18

Signed-off-by: Stephen Finucane <stephen@that.guru>

Update django-filter from 2.0.0 to 2.1.0

Update django-filter from 2.0.0 to 2.1.0

Update djangorestframework from 3.9.0 to 3.9.1

Update djangorestframework from 3.9.0 to 3.9.1

Update django from 2.1.4 to 2.1.5

Update django from 2.1.4 to 2.1.5

admin: Further optimize queries

To count the amount of received patches for a series, we only need the
patch's series field.

Signed-off-by: Stephen Finucane <stephen@that.guru>

admin: Show series.submitter in admin view

Display this by default and allow filtering by it. While we're here,
also allow patches to be filtered by submitter.

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Configure User.first_name, User.last_name

'User.name' is not a valid attribute. This also highlights a small issue
with the existing tests.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Detail JSON PATCH requests

It turns out it is possible to make PATCH requests with JSON bodies
rather than form-encoded data - you just need to include a Content-Type
header. Document this.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Reformat schemas

Tested using 'yamllint'.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Add parameter descriptions, types

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Move 'parameter.schema.description' to 'parameter'

As noted in a bug against the spec [1], there is some duplication here.
Go with the more obvious path until that confusion is cleared up.

[1] https://github.com/OAI/OpenAPI-Specification/issues/1788

Signed-off-by: Stephen Finucane <stephen@that.guru>

Update mysqlclient from 1.3.13 to 1.3.14

Pin jinja2 to latest version 2.10

Update psycopg2-binary from 2.7.6 to 2.7.6.1

Update psycopg2-binary from 2.7.6 to 2.7.6.1

Update django-debug-toolbar from 1.10.1 to 1.11

Update django from 2.1.3 to 2.1.4

Update django from 2.1.3 to 2.1.4

parser: Ensure whitespace is stripped for long headers

RFC2822 states that long headers can be wrapped using CRLF followed by
WSP [1]. For example:

    Subject: Foo bar,
     baz

Should be parsed as:

    Foo bar,baz

While we were stripping the former, we were not stripping the
latter. This mean that we ended up with the following:

    Foo bar, baz

Resolve this.

Signed-off-by: Stephen Finucane <stephen@that.guru>
Closes: #197

models: Ensure UserProfile.user is configured

Django Admin seems to be doing something funky with how it's handling
the creation of a User's corresponding UserProfile instance when
modelled as an inline field. Re-setting the UserProfile.user attribute
seems to resolve the issue, so do just that.

Signed-off-by: Stephen Finucane <stephen@that.guru>
Closes: #110

Add REST API validation using OpenAPI schema

Add validation using the rather excellent 'openapi_core' library. The
biggest issue we have to contend with is the fact that 'openapi_core'
expects us to be able to provide a templated URL string for each request
(e.g. '/api/patches/123/' would become '/api/patches/<id>/') and Django
doesn't provide a way to do this [*]. We work around this by
reverse-engineering some of the Django code to turn a URL to its
matching regex, which we can then easily convert into a template string.
It's kind of hacky and not at all portable but, crucially, it does work
and has highlighted some nice bugs in the API that have already merged.

Going forward, we can probably modify 'openapi_core' somewhat to remove
the need for the templated URL string. If and when this happens, most of
the funkier code here can happily go away.

[*] Django 2.0+ [1] does actually provide a way to do template
string-based URLs and in fact recommends them now, with regexes being
reserved for more advanced corner cases. However, we don't want to drop
support for the Django 1.11 yet as it is the most recent LTS release.

[1] https://docs.djangoproject.com/en/2.1/ref/urls/#django.urls.path

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Remove old Swagger 2.0 spec

This was incomplete and wrong in many places. It's since been replaced
by the OpenAPI 3.0.0 specs, so we have happily remove this now.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Store versioned OpenAPI schemas

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Make API document versioned

OpenAPI doesn't appear to support versioning natively, suggesting
instead that separate documents are kept. Rather than doing this
manually, let's use a templating tool - Jinja2, in this case - to
generate these document for us from a single master document.

Note that while we can now auto-generate these whenever we need them
(and we tend to avoid storing auto-generated assets in VCS), these
change so rarely that it's easier to just store them. This also means we
can reference the schemas themselves online. We do this in a following
change.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/events' resource

This is the final resource to document and also the most complicated, on
account of the polymorphism of the responses. However, with this done,
our first pass at an OpenAPI 3.0 schema is completed.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/patches/{patch_id}/checks' resource

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/patch/{id}/comments' resource

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/covers/{id}/comments' resource

Our first nested resource. Nothing too weird here though, save for the
raising of a HTTP 404 on a list resource (due to a missing patch).

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/series' resource

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/patches' resource

The big one (TM). Nothing too odd here though.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/covers' resource

Again, we're adding embedded serializers before the main resource but
that will come.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/bundles' resource

This one's a little unusual too, in that we provide the embedded
serializer for resources we haven't defined the end resource for. That's
necessary in general, due to recursive references in the API
(series-patch, patch-series etc.) so might as well embrace it early.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/projects' resource

This one's pretty straightforward.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/people' resource

This introduces our first use of embedded serializers, which are
separate models from the main ones. Other than that, this is pretty
standard.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Document the '/users' resource

This introduces our first use of parameters, both in the path and the
query. The latter are extracted out as they'll be used by later changes.

Signed-off-by: Stephen Finucane <stephen@that.guru>

docs: Start documenting API using OpenAPI

When the REST API was first added, we attempted to document it using
OpenAPI 2.0 (formerly Swagger). This was mostly never completed because
(a) it was really tedious and (b) no one was that bothered. However, as
we expand the range of clients for the REST API, having a well
documented API becomes more and more of an asset.

Start doing this by adding a brand new schema, this time using OpenAPI.
This will entirely replace the older schema and, as such, is namespaced
separately. We start by documenting '/' (i.e. the index) page and will
add additional resources as we go.

Signed-off-by: Stephen Finucane <stephen@that.guru>

REST: Handle JSON requests

This was raising an attribute error when switching tests to use JSON
bodies instead of form-data.

  AttributeError: 'dict' object has no attribute '_mutable'

The easy fix is to check if it's a dictionary and avoid the mutability
check if so.

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Use project.id in requests, not object

The object is not serializable.

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Use valid URLs

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Start setting Project.listemail

I'm not actually sure why this wasn't raising an error. Perhaps it's
because null validation for char fields happens in forms rather than at
the database level. In any case, this won't happen normally since we
only allow creation via the admin API so simply start setting this.

Signed-off-by: Stephen Finucane <stephen@that.guru>

REST: Drop embedded bundle serializer

This wasn't used anywhere and can therefore be removed.

Signed-off-by: Stephen Finucane <stephen@that.guru>

REST: Fix typo in embedded serializers

This was preventing the v1.1 fields from getting dropped as intended.

Signed-off-by: Stephen Finucane <stephen@that.guru>
Closes: #237

REST: Handle unset series

This was introduced in the recent "convert series from N:M to 1:N"
series. We take the opportunity to make the 'create_patch' and
'create_cover' utility methods a little smarter, in that series will
automatically be created for the patch/cover letter unless told not to.
This requires some related changes to other modules.

Signed-off-by: Stephen Finucane <stephen@that.guru>

signals: Fix 'series-completed' event

I'm not sure how I ever intended this to work and there were no tests
verifying things. Fix it now and add tests to prevent it regressing.

Signed-off-by: Stephen Finucane <stephen@that.guru>
Fixes: 76505e91 ("models: Convert Series-Patch relationship to 1:N")

tests: Add 'store_samples' decorator to 'test_event'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add tests for '/events' resource

This highlights an issue that will be resolved in a future change.

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_check'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_comment'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_series'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_cover'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_patch'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_user'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_people'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_project'

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator to 'test_bundle'

Add the decorator to the 'test_bundle' test class. This involves
splitting up the test cases so that each test case we care about makes
only a single request. We also add a missing test to ensure private
bundles cannot be shown by anyone but the owner.

Signed-off-by: Stephen Finucane <stephen@that.guru>

tests: Add 'store_samples' decorator

We want to start including sample API requests and responses in our
documentation.  Given that these may get out of date over time, we
should really generate these things dynamically. Create a decorator that
will allow us to do just that.

Signed-off-by: Stephen Finucane <stephen@that.guru>

REST: Ensure submission exists for comment listing

Signed-off-by: Stephen Finucane <stephen@that.guru>
Closes: #225

REST: Ensure patch exists for check creation

Signed-off-by: Stephen Finucane <stephen@that.guru>
Closes: #226

REST: Show 'web_url' in embedded series responses

Signed-off-by: Stephen Finucane <stephen@that.guru>
Closes: #224
Fixes: 9c179bf4c ("REST: Add 'web_url' link to API responses")

REST: Add additional documentation

As noted in the Django REST Framework docs [1], views that support
multiple methods can and should split their documentation using
'method:' style delimiters. Do just this.

[1] https://www.django-rest-framework.org/topics/documenting-your-api/#documenting-your-views

Signed-off-by: Stephen Finucane <stephen@that.guru>

Don't passthrough 'Content-Type: multipart/signed' header

We don't GPG signatures, therefore this header is incorrect. Stop
passing it through.

Test for the other dropped header are also included.

Signed-off-by: Stephen Finucane <stephen@that.guru>
Acked-by: Veronika Kabatova <vkabatov@redhat.com>
Closes: #221

Update psycopg2-binary from 2.7.5 to 2.7.6

Update psycopg2-binary from 2.7.5 to 2.7.6

Update django from 2.1.2 to 2.1.3

parser: Use 'objects.create' instead of 'save'

As noted in the Django documentation [1], this lets us do things in one
step.

[1] https://docs.djangoproject.com/en/dev/topics/db/queries/#creating-objects

Signed-off-by: Stephen Finucane <stephen@that.guru>
Acked-by: Daniel Axtens <dja@axtens.net>

README: Note latest version of requirements

These were missed previously

Signed-off-by: Stephen Finucane <stephen@that.guru>
Fixes: 8eb3719a ("Add support for django-filter 2.0")
Fixes: fab5571e ("Add support for Django REST Framework 3.9")