Add suport for line comments

This also switches comments to produce the same AST whether it is
an inline comment or a line comment.

Consistent formatting of OR within grammar

Add support for line statements

These are block expresions but the start/end tags take up an entire
line and are marked by a leading symbol.

Ensure macro definitions are properly parsed

Test specific imports are supported

Converted more of parse tree to dictionary

This should make it easier to detect what type of literal has been
parsed (we don't differentiate between single and double quoted
strings) as well as determining the specific accessors that are
called on a given variable.

Tuple and list literals have also been normalized to hold their
values in a key called `value` which is the same as other literals.
Implicit identifier tuples have not been switched yet because those
are not currently parses like tuple literals.

Support implicit tuples in block parameters

This fixes an issue where implicit tuples were not parsed correctly
when they were used as a key in a block parameter. Now for loops
and set statements with implicit tuples work properly. This only
supports implicit tuples when all values are identifiers, since
these are generally used for assignment and you cannot assign a
new value to a literal.

Add support for tests

Right now these are very basic and don't appear to form the correct
parse tree for logical comparisons which use tests as well. But it
parses at lease somewaht correctly, so there is something to work
with here.

Support assignment expressions in generic blocks

Because of the way assignment expressions handle implicit tuples,
it's now possible to support the complex for loops within the
standard generic block grammar.

Added grammar for `for` loops

Since this needs to support assignment targets, it is difficult to
properly support this within a generic block syntax because of the
ability to create implicit tuples.

Added tuple literal support

This maintains the expectation that tuple literals will always end
with a comma if there is a single item.

The example is the combined one from the Jinja docs but it does not
include the comma for the tuple assignment since the grammar does
not currently support that.

Support list literals

Support boolean literals

This will transparently convert them into an actual boolean which
should skip any variable-like parsing that would otherwise be done.

Add integer and float literals

These align with the one already supported by Jinja.

Switch blocks and variables to dictionaries

This should make it easier to differentiate them based on their
type but also allow for the different pieces to have proper names.

Switch to named dict for filters

This will make it easier to determine what filters need to be
called like a function with parameters and which ones assume
default parameters.

Support key-value block parameters

Block parameters should support all of the things that a function
call parameter would normally support. This includes key-value
paramters and in our test we include the transaltion example from
the documentation.

Support named parameters to calls

This also switches the parameters in calls to be returned as a
dictionary which should make it easier to differentiate between a
value-only parameter and a key-value parameter.

Variable calls support multiple parameters

This also updates filter parameters to be handled the same as calling
a variable.

Filter parameters are variable identifiers

The filter parameters list is actually the same as a variable
accessor for a call but that does not currently support multiple
parameters.

Add function calls for variables

This allows for functions to be called, currently with a single
variable optionally passed.

This also adds a check to make sure that variable literals are
supported.

Parse block parameter values like variables

This allows for complex values to be used in parameters while also
supporting standard literals.

Support dot accessors on variables

This adds support for dot accessors on variables in such a way that
it is flexible enough to match the handling provided by the existing
template engine.

Start definining variable identifiers

Variables are standard identifiers or literals that can be
augmented by accessors (either dictionary or dot style). This
finally defines what a string is.

Strip parens from filter params list

This isn't necessary, we will always know that the second item within
the filter list is the set of filter parameters.

This also ensures that any time the filter separator is detected,
we force parsing the next token as a filter parameter.

Use variable names in content definition

This should make it easier later to override these variables without
needing to make additional changes.

Fix content overtaking expressions

This fixes a issue where content would try to overtake everything
following it, even if there was a better expression to match after
the content. This was fixed by telling content to match everything
but the start of different expressions, which appears to solve a
bunch of issues.

Initial commit

Merge pull request #1196 from pallets/remove-vim

remove vim syntax file

remove vim syntax file

remove unmaintained information from integration doc

Merge branch '2.11.x'

fix changelog header

release version 2.11.2

Merge pull request #1190 from pallets/native-eval

native only evals at end of render

native only evals at end of render

Co-authored-by: Martin Krizek <mkrizek@redhat.com>

Merge pull request #1183 from exponea/1138-fix-unintended-lstrip-behavior-change

Fix unintended lstrip_blocks behavior

Add tests for lstrip whitespace behavior fix

Also did peformance tests for the previous fix and saw no measurable
impact.

Fix unintended lstrip_blocks behavior. Fixes #1138

Introduced in #858. Tests will follow, also results of performance
testing.

Don't use setlocal in syntax file (#1164)

I'm not 100% sure that one should not use `setlocal` in a syntax file,
but this breaks other filetypes that may include this syntax file, like
the vim-markdown plugin.  The `comments` and `commentstring` get set for
that markdown buffer with the jinja settings.

See
https://github.com/dhruvasagar/vim-table-mode/issues/162#issuecomment-595317626
for an example of side effects.

Update oudated CutomLoader code example (#1185)

py3 for CustomLoader example

Merge branch '2.11.x'

Merge tag '2.11.1' into 2.11.x

Merge pull request #1169 from asottile/pep_451

Use importlib machinery to fix PEP 451 import hooks

add changelog and cleanup for pep 451 support

Use importlib machinery to fix PEP 451 import hooks

Merge branch '2.11.x'

Merge pull request #1181 from bartfeenstra/async-namespace

Allow namespaces to be used in asynchronously rendered templates.

namespace object works in async templates

Merge pull request #1178 from avli/fix-lexer-lineno

Fix tokens line number calculation when whitespace stripping is used

Fix tokens line number calculation when whitespace stripping is used

Merge branch '2.11.x'

Merge pull request #1182 from pallets/revert-package-loader

Revert dropping pkg_resources from PackageLoader for 2.11

changelog for reverting PackageLoader changes

Revert "PackageLoader doesn't depend on setuptools"

This reverts commit 4b6077a8c0a0f56bb8dbac37f8f9027130b4091c.

Revert "PackageLoader understands namespace packages"

This reverts commit d2e0e78afe7c6ae864a20c2cc29e80936cff47af.

Merge pull request #1179 from pallets/undefined-recursion

AttributeError in undefined message doesn't cause RuntimeError

AttributeError in undefined message doesn't cause RuntimeError

Merge pull request #1174 from septatrix/patch-1

Fix html tag

Fix html tag

Merge pull request #1163 from pallets/traceback-32-bit

better PyObject_HEAD size calculation

better PyObject_HEAD size calculation

fixes infinite loop on Python 3.6 32-bit

Merge pull request #1161 from ldealmei/patch-1

Add link to template designer documentation

Add link to template designer documentation

For those who were actually looking for the template design documentation putting a link directly to it might prevent them to have to google for it. When on the API page, there is no direct way to find the template design documentation. Hope this can help others.

Merge branch '2.11.x'

Merge pull request #1160 from sivel/wordcount-soft-str

Use soft_str in do_wordcount, to trigger undefined

use soft_str in do_wordcount, to trigger undefined

Merge pull request #1149 from davidbrochart/fix_doc

rewrite async discussion

Fix async doc

Merge branch '2.11.x'

remove custom pytest marks

fix formatting

fix formatting

Merge pull request #1136 from pallets/drop-python2

Drop Python 2

add note about ugettext

add pyupgrade pre-commit hook

bump bytecode cache version

apply pyupgrade and f-strings

stop building universal wheel

remove more compat code

remove _compat module

remove deprecated code

remove unsupported test envs

remove Python 2 from docs

Merge branch '2.11.x'

Merge pull request #1146 from tomaskrizek/stricter-getattr-checks

Use stricter getattr() checks for decorator functions

add changelog and test

Use stricter getattr() checks for decorator functions

Explicit checks for "is True" prevents unexpected behaviour with objects
that are callable and have permissive gettatr(), such as Mock.

Fixes #1145

release version 2.11.1

Merge branch '2.11.x'

Merge pull request #1143 from pallets/bugfix/attribute-access

Fix attribute access in async code.

add changelog

Added regression test for slicing of attributes

Fix attribute access in async code. Fixes #1141

remove unsupported test envs

start version 3.0.0

release version 2.11.0

add python 3.8 classifier, clean up changelog

isolate bytecode cache tests

import Markup from markupsafe, fix flake8 import warnings