Update Makefile

Rename cleanup

Add cleanup to trainfromFiles and move RANDOM_segment_t declaration

Update freeSampleInfo

Fix deallocation problem and add documentation

Make test PHONY target

Move file loading functions to new file for access by benchmarking tool

Remove CLevel cli option which was accidentally added back in the last commit

Fix spacing and Edit Makefile (now run with make instead of make run)

Refactor RANDOM

Update README

Remove clevel and update documentation

Add random dictionary builder

Add explanation for split=100

Change default splitPoint to 100

Change back to splitPoint<=0

Only make 0.0 default splitPoint

Change cover_sum back to 2 parameters and fix splitPoint issues

Fix testing parameter

Update doc for split==100

Allow splitPoint==1.0 (using all samples for both training and testing)

Some edits based on pull request comments

Update minimal training sample size

Update COVER dictionary builder tests

Update documentation

Fix another declaration issue

Add split=# to cli

Explicitly cast double to unsigned

Fix variable declaration problem

Another fix to comparator

Fix splitPoint floating point comparison problem

Split samples into train and test sets

Redirect failed test result to INTOVOID and update comment about parsing fast command

Make fast=0 fail

set up sample config.yml

Merge pull request #1198 from facebook/msdebug

made Visual Studio compatible with DEBUGLEVEL >= 2

made Visual Studio compatible with DEBUGLEVEL >= 2

Merge pull request #1190 from terrelln/ldm-adjust

Adjust advanced parameters to source size

Merge pull request #1179 from supertopher/dev

Improves UX for --list command's lack of support for pipes

Merge pull request #1194 from facebook/no-opaqueapi

removed specific --opaqueapi test

Tests to verify piped input to `--list` exits 1

I'm following the pattern that i saw in the rest of the test file
please tell me if i am using the wrong conventions

removed specific --opaqueapi test

from zstreamtest.

This test is now integrated within --newapi,
which dynamically switches between the 2 modes randomly.

The main outcome is reduced testing time.

Use debug.h in fileio.c

Adjust advanced parameters to source size

In the new advanced API, adjust the parameters even if they are explicitly
set. This mainly applies to the `windowLog`, and accordingly the `hashLog`
and `chainLog`, when the source size is known.

Merge pull request #1185 from felixhandte/zstd-btlazy-in-place-dict

ZSTD_btlazy2: Support Searching the Dictionary Context In-Place

Merge pull request #1191 from facebook/huf_rename

Rename huffman decompression functions

Merge branch 'dev' into huf_rename

grouped X2 function together

Merge pull request #1189 from facebook/hist

histogram module

added debug.h for cmake

avoid duplicate code comments

when a function is decribed in hist.h,
do not describe it again in hist.c
to avoid future doc synchronization issues.

Visual Studio project blind fix

Merge pull request #1187 from facebook/fix1186

fix dctx initialization within ZSTD_decompress in stack mode

Merge pull request #1184 from facebook/debug

Grouped debug functions into debug.h

Add CXXFLAGS to ALL_LDFLAGS (#1178)

pzstd requires C++11, which older C++ standard libraries like libstdc++
as used on OS X 10.8 and earlier don't support. The user might address
this by setting "CXXFLAGS=-stdlib=libc++". This flag must be used both
at compile time and at link time. Asking the user to also put the flag
in LDFLAGS is undesirable because then the flag would also be used when
linking C code, which would be inappropriate.

renamed all HUF_decompress*X4*() functions into *X2

to underline they generate up to 2 symbols per decoding,
in preparation for a future *X3 variant.

renamed all HUF_decompress*X2*() functions into *X1

to underline they generate one symbol per decoding operation.

The new naming scheme will make it easier to introduce an *X3 variant.

Force Inline BtFindBestMatch

fix dctx initialization within ZSTD_decompress in stack mode

when ZSTD_HEAPMODE=0 (which is not default).

Also : added an associated test (test-fuzzer-stackmode)
run on travis CI

fix #1186

fixed g_debuglevel variable name

in debug.h

grouped all histogram functions into hist.c

renamed functions with HIST_* prefix

Reduce noise in diff

putting the code block back on the exact line it came from

Removes duplicate IS_CONSOLE from PR

I misunderstood that this function was included already

Search Dict for Matches

Attach Dicts when Using ZSTD_btlazy2

Merge pull request #1169 from felixhandte/zstd-lazy-in-place-dict

ZSTD_lazy: Support Searching the Dictionary Context In-Place

grouped debug functions into debug.h

There were 2 competing set of debug functions
within zstd_internal.h and bitstream.h.
They were mostly duplicate, and required care to avoid messing with each other.

There is now a single implementation, shared by both.

Significant change :
The macro variable ZSTD_DEBUG does no longer exist,
it has been replaced by DEBUGLEVEL,
which required modifying several source files.

Fix Cast Warning

Extend Dictionary Matches Backwards

Update Dictionary Attachment Cutoff Values Again

Do Not Inline DMS Search Function

Also Implement Depth Repcode Checks

Apply Match Continuation Bug Fix

Update Dictionary Attachment Cutoff Values

Check Dict Match State in ZSTD_HcFindBestMatch_generic

Focus on Non-BT Impls for the Moment

Remove Pre-Existing Repcode Check

Second Repcode Check

First Repcode Check

Disallow Too-Long Repcodes When Using an Attached Dict

Rename `base` -> `prefixLowest`

Go Back to Separate Intermediate Functions for Different Dict Modes

Further Templatize Intermediate Functions on dictMode

Convert Existing U32 extDict Vars to ZSTD_dictMode Enums

Attach Dict When Using ZSTD_lazy Strategies

Add _dictMatchState Stubs for ZSTD_lazy Functions

Add dictMode Param to ZSTD_compressBlock_lazy_generic

Merge pull request #1168 from GeorgeLu97/paramgrillfeatures

Have paramgrill share bench.c benchmarking function

Merge pull request #1175 from ryandesign/macos

Fix name of macOS

Requested changes

-Remove g_displaylevel/setNotificationLevel function
-Add extern "C"
-Remove averaging
-Reorder arguments

More fixes

-Added BMK_return_t (result + possible error)
-Correct comment'
-Nullcheck ctx, dctx when allocated
-Remove extra assert

Merge pull request #1174 from duc0/document_default_level

Expose ZSTD_CLEVEL_DEFAULT and update documentation

Keep windows specific headers

Accidentially deleted this existing windows only header

Multi-OS support for --list detecting stream input

IS_CONSOLE stolen wholesale from Options.cpp
not sure if i should have extracted that code for DRY-ness
tested in OSX and functionality seems appropriate
unstested in a windows environment

Only check for tty in non-windows environments

unistd.h is for unix standard tools.
There does not appear to be a simple isatty for windows
this we only run the logic and header include in
non-windows environments

Properly brackets isatty if statement

 ¯\_(ツ)_/¯ this is my first commit in c

Improves UX for --list command's lack of support for pipes

--list does not support piped input
This checks for a terminal and exits 1 with a well formatted
error message if the STDIN is not from a terminal

Line break

Address comments

Merge pull request #1177 from ryandesign/gen_html-CXXFLAGS

Remove duplicate CXXFLAGS

Remove duplicate CXXFLAGS