Add support for negative numbers

This also fixes a bug where the exponent was not being properly
captured as well, just the sign of the number

Allow symbols to be overwritten by the environment

This introduces a change to both the grammar and the parsing
environment that allows people to override start/end symbols in the
grammar through the environment. This finally brings the parser on
the same level as the old parser and lexer when it comes to handling
those customizations.

This means that the grammar must be compiled dynamically to account
for these customizations per environment. A module-level LRU cache
has been implemented to handle this fact, so grammars can be cached
instead of compiled every time. This should handle most cases other
than the unit tests, since most people aren't frequently changing up
their environment within their applications.

This also adds proper handling to the closing line block statement
so it waits for the end of a line or the end of the expression.

Support chained comparisons in parser

Add support for complex math expressions with +/-

Support for complex math expressions with other operators will come
eventually.

Fix broken arguments for call blocks

Support for dyanamic args and kwargs in calls

Fix call argument parsing

This temporarily break how `{% call %}` blocks work when arguments
are passed into them because it did not work consistently before. It
only worked for a single argument being passed in because of how
conditional expressions stripped out the parentheses if they were
present. Now they are properly captured but the parser does not yet
put them into the correct location within the Jinja AST.

Add undocumented print block support

Support variables in lists

Fix whitespace handling on blocks

Because of the way it was ordered, it was properly picking up the
non-whitespace stripping block in some cases and failing to parse
as a result.

Handle undocumented whitespace parsing in variables

Parse test variable as conditional expression

This was necessary to fix some of the tests for tests which relied
on parentheses in place.

Fix handling of tests which check constants

Because of how the parser works, it does not differentiate between
constants and function names, so this needs to convert it back.

Fix parsing of the ** operator

Fix blank iterables not parsing correctly

The AST returns `None` instead of an empty array of the value of an
empty iterable literal, so we need to special case when that happens
to get them to parse consistently.

Add support for math expressions to grammar/parser

Tuples must contain a comma

This fixes an issue where parentheses-wrapped variables were being
interpreted by the grammar as tuples. This was because we were lacking
a definiiton for variable wrapped in parentheses and because the grammar
wasn't enforcing multiple values to be present in tuples.

Test function single parameter should a variable

Previusly we were expecting it to be a conditional expression which
allowed it to swallow conditional expressions as if they were a single
variable. This fixes that issue so it only swallows variables.

Fix parsing of filters to allow chained calls

Properly set environment on parsed template

Support filters being call chained

Previously filters were not treated the same as variable, as a
result it was not possible to call the result of a filter. Since
filters are treated as regular variable and therefore can be called
any number of times, this change was necessary to allow them to be
parsed the same way.

Switch testing to use jinja internals

Swap out the old parser with the new one

This will allow us to figure out where the gaps are within the test
suite and also start running a comparison on the timing changes.

Add TatSu as a depdendency

Move semantics object into new_parser

Moved new_parser into jinja package

Remove empty extra files

Add support for test function arguments

Add support for scoped blocks

Add support for tests in `{% for %}`

Add full support for `{% if %}` block

Add support for call block

Add support for parsing `{% else %}` blocks in for loops

Added semantics for pairing blocks together

This required us to modify how the parser works so that once it
detects a pair of blocks, it kicks it back to our specific function
which allows us to detect if the pair of blocks it detected were a
matching pair. This is required in order to allow single blocks to
be included within paired blocks, as otherwise it would always match
the last single block to the end block.

This required changing the grammar so the pair blocks had their own
named expression. This allows us to reject the parse as invalid with
incorrect semantics and allows it to try to just parse the first
block alone.

Add support for `{% include ignore missing %}`

Fix with_context defaulting to false on include block

Add support for import block parsing

Add support for parsing `{% include %}` tags

This does not yet support the `ignore_missing` flag that can be
passed as a parameter to an `{% include %}` tag

Add support for `{% from with context %}`

Add support for not() expressions in parser

Add support for parentheses grouping in expressions

Add support for negated test expressions

Add support for not() expressions to grammar

This allows for boolean expressions to be negated on the fly

Add support for "not in"/"notin" to grammar/parser

Fix `{% for in %}` loop parsing

This fixes the fact that most `{% for in %}` loops will be parsed
using the `in` operator now, so that operator must be detected and
extracted out in order to make it parse the same way as before. This
is the start of the special cases within the parser for handling
Jinja's previous parsing style.

Support in/notin operator expressions in parser

Support "in" operator in grammar

This changes the previous comparison operations from being marked
as solely comparion expressions and expands them out to be generation
operator expressions. This allows us to easily support the "in"
operator, which in the current Jinja parser is handled exactly the
same as the other operations, but it does require us to special case
the automated conversion of the "not ... in" expression to a "notin"
expression.

Add concat expression support to grammar and parser

This is probably going to be reclassified in the grammar and parser
as something different from the conditional expressions once more
support for math operators is added in.

Simplify variable values in grammars

Now that variable identifers are able to be used as conditional
expressions, we can just specify that variable expressions in the
grammar are looking for a conditional expression as the name of the
variable.

Add support for the extends block

Support if/else expressions in parser

Allow variable identifiers to be conditionals

This aligns with the Python behaviour and pre-existing Jinja behaviour
where a variable expression can be used as a test for a conditional.
This was necessary to allow variable identifiers to be used in places
which was expecting a possible conditional expression, like in a if/else
expression.

Restrict where conditional expressions are allowed

Previously conditional expressions were only allowed in things which
accepted parameters to call accessors, which is most things, but this
was found to be too broad. Many contexts to not actually allow conditional
expressions so this was restricted back to block parameters and variable
calls.

Add support for if/else expressions in grammar

These fall under a special type of conditional expression and can
only be used in certain places. The grammar for test functions
needed to be updated to rejected test function parameters if they
are only called "else", since that is likely to be for an if/else
expression. This matches the existing behaviour of the Jinja parser.

Add support for "None" and "none" to grammar/parser

Add support for parsing dictionary literals

Add support dictionary literals to grammar

This also allows dictionary values to be variables instead of just
regular identifiers, a change which might be made to other literals
such as lists and tuples in the future as we determine what those
also support.

Support single-parameter tests without parentheses

This adds support for the optional parantheses in tests that are only
being supplied a single parameter. Tests which use parantheses are
currently not supported in the parser, but are supported in the grammar.

Remove unused variable_tests from grammar

Support the autoescape block

Add parsing of conditional expressions

Fix AST for conditional expressions

Previously all conditional expressions were left associative which
produced an AST that was nothing like the one in Jinja and one which
did not respect order of operations within conditions. The conditional
expression part of the grammar has been rewritten to be more explicit
about what can and cannot match which appears to have fixed those
issues with the AST.

Fix macros not marking args as params

It was only marking keyword arguments as params which is not totally
correct.

Fix block set params being marked for load

Fix macro params being marked to load

These are being used as variables within the macro itself so these
should be marked as parameters so they do not escape the scope of the
block.

Fixed elif/else sections of if node being None

The default should be an empty list to match the existing AST but
we were incorrectly setting it to `None`.

Combine common template data/outputs in AST

This makes it easier to compare the AST generated by the old Jinja
parser and the AST generated by the new one, since the new AST
separates out template data character by character currently.

Filter out `None` from parsed blocks

This allows for comments to not appear in the generated AST.

Allow variable identifiers to be aliased in block params

This is only really supported on the `{% from %}` block currently,
but the ability exists to use this elsewhere if someone is looking
for the ability to alias variable identifiers. This also allows
value-only parameters to be comma-separated within the block
parameters, since before that was only allows for key-value parameters.

Mark with targets as parameters

This fixes a bug where the targets of a `{% with %}` block would not
be marked as a parameter. This is because they were not being marked
at all as a variable which results in an invalid AST. For reference
counting purposes, this must also be marked specifically as a parameter
variable instead of as a stored variable to ensure it does not leak
out of the block.

Properly mark set target as variable

Previously it wasn't being marked as a variable at all if it was just
a string literal, so this fixes it so Jinja knows that the assignment
should be stored on the target variable.

Switch From node to use constructor

This ensures that `with_context` is properly initialized even though
we don't currently support it.

Allow optional comma after block keyword parameters

It looks like this is only currently support within `{% with %}`
blocks in Jinja, instead of space-separating the parameters, but
this may also be happening in extensions as well.

Parse macro blocks

Support assignment blocks using `{% set %}`

This adds support for the usage of `{% set %}` where the contents of
the block are assigned to the variable instead of handling that within
the block parameters.

Because Jinja separates the filter from the variable within the
`AssignBlock` node, we have to detect when there is a wrapping filter
and extract it so that it can slot in properly.

Parse isolated set blocks

This adds support for set blocks where a key-value pair is being
sent in so there is no matching pair of statement.

Parse arguments to calls

This can be combined with the logic for parsing arguments to filters
then they both generate the same AST.

Initial support for if blocks

This currently only supports tests which are a simple condition and
do not span multiple sides of a comparison.

Add parsing of boolean literals

This should finish off all of the parsing of currently supported
literals.

Support parsing `{% block %}` blocks

This does not currently parse out the scoped parameter but that will
come soon enough.

Properly support recursive in for loops

This adds an example to the test file that is being used to verify
that the generated ASTs are comparable.

Add initial parsing of for blocks

This will correctly parse out most of the starting block as well as
the contents, but it does not yet handle the parsing of the `{% else %}`
block that can be contained within the contents of the block.

Parse variable tuples

Right now these are custom parsed since they are not the same as
tuple literals and generally serve a different purpose. They are
tuples which contain variable identifiers and are generally used
for assignment.

Add initial support for call accessors

This only currently supports call accessors that do not take any
parameters. For now it is hard-coded to have no parameters.

Add list and tuple literal parsing

Enable line parsing in Jinja environment

Right now the grammar is being tested with line parsing enabled so
this makes them match

Parse raw blocks and comments

Comments get ignored by the parser and raw blocks just get output
directly as a string into the AST.

Add parsing for numeric literals

Add filter parsing for variables

Filters and their arguments are now properly parsed into the right
Jinja nodes. Dynamic arguments (`*args`) and dynamic keyword arguments
(`**kwargs`) are not currently parsed as they are not supported by
the grammar.

Dot accessors can only be identifiers

This fixes a bug where the grammar allowed dot accessors to be any
variable type. This results in the filters that were meant for the
variable that was being accessed to be captured by the accessor
itself, which generated an unexpected and invalid AST.

Output nodes are always lists

Right now we don't optimize Output nodes so that ones next to each
other are combined, but they should all contain a list of a single
node in preparation for eventually doing that.

Parse the contents of the body of with block

This logic will inevitable be generalized out in the future for
other full blocks, but for now it properly handled parsing the
contents of the block and converting it to the Jinja AST.

Properly parse with targets

The targets of with expressions (the variables to load) should be
properly parsed as a variable using the same load logic which is
used in other areas of the parser.

Start working on new AST parser

This parser will take the Tatsu-generated AST and generate a compatible
Jinja AST from it. This should allow us to refine the grammar to
generate a better AST and also verify that it is producing comparable
Jinja ASTs that can be used by the current compiler.

Support filters on all variables

This adds support to filters on all variables instead of to just
variables which are being printed within templates. This now allows
us to pass in variables that are using filters as parameters within
a block, so they can be used for setting new variables or to perform
transformations on the fly.

Rename grammar to grammar.ebnf

This will enable syntax higlighting on GitHub and also makes it more
clear what format is being used within the file.

Case insensistive exponent parsing

Variable filters should not capture whitespace

This should have no functional difference on the behaviour of the
parser but it does make filters consistent with other areas where
it expects to start with the first character instead of starting
with whitespace.

This also changes the test script to time the individual steps so
we can confirm that the grammar compilation is considerably slower
than the parsing of the template using the grammar.

Enable leading whitespace stripping for blocks

Enable whitespace control within closing blocks

This enables the ability to force whitespace to be stripped following
the end of a block statement by adding a `-` before the closing
tag. This is supported both for stripped the space at the beginning
of a block as well as stripping the space that follows a block.