Play a few more rounds of the SSE game on amd64.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1162

More %flags-helpers tuning.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1161

Update comment.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1160

x86 guest: generate Iop_Neg* in the x86->IR phase.  Intent is to
ensure that the non-shadow (real) computation done by the program will
fail if Iop_Neg* is incorrectly handled somehow.  Until this point,
Iop_Neg* is only generated by memcheck and so it will not be obvious
if it is mishandled.  IOW, this commit enhances verifiability of the
x86-IR-x86 pipeline.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1159

Generate better code for CmpNEZ64(Or64(x,y)), a common idiom resulting
from memchecking of FP code.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1158

Memchecking very large BBs of FP insns on x86 sometimes needs a lot of
spill slots.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1157

When handling 'sbb %reg,%reg', first put zero into %reg.  This removes
the false result dependency on the previous value of %reg.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1156

Minor tweakage: use testl rather than andl in three places on the
basis that andl trashes the tested register whereas testl doesn't.  In
two out of the three cases this makes no difference since the tested
register is a copy of some other register anyway, but hey.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1155

Minor cleanups.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1154

Get rid of some functions made redundant by recent isel reorganisation.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1153

Don't complain endlessly about missing folding rule for Iop_64HLto128.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1152

Handle CmpNEZ16.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1151

Handle various more primops, and reorganise iselCondCode_wrk in line
with similar reorg on x86 side.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1150

Emit 'negq'.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1149

* Use new 64-to/from-{16,8,1} conversion primops

* disable "Z after SUBW" specialisation which apparently causes
  xedit to fail for unknown reasons

git-svn-id: svn://svn.valgrind.org/vex/trunk@1148

Use new 64-to/from-{16,8,1} conversion primops instead of going via
Ity_I32.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1147

Add even more 64-bit integer primops (sigh)

git-svn-id: svn://svn.valgrind.org/vex/trunk@1146

* Enhance the x86 instruction selector to generate for the primops
  introduced in rev 1144.

* Rearrange iselCondCode and introduce a few new patterns which
  deal better with the IR that Memcheck commonly generates

git-svn-id: svn://svn.valgrind.org/vex/trunk@1145

Add a few new primops which allow for more concise expression of
the instrumentation Memcheck generates:

* CmpNEZ{8,16,32,64}, which are equivalent to CmpNE<sz> with one
  argument zero

* Neg{8,16,32,64}, which is equivalent to Sub<sz> with the first
  argument zero

For 64-bit platforms, add these primops.  This gives a complete set of
primops for conversions between the integral types (I8, I16, I32,
I64), so that a widening/narrowing from any type to any other type can
be achieved in a single primop:

* Iop_8Uto64, Iop_8Sto64, Iop_16Uto64, Iop_16Sto64

* Iop_64to8, Iop_64to16

git-svn-id: svn://svn.valgrind.org/vex/trunk@1144

Add various %rflag-helper specialisation cases and fast paths.  This
more or less doubles performance of the baseline simulation on integer
code.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1143

Handle more cases, and a bit of tuning.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1142

Add 64-bit comparisons.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1141

Increase number of integer registers in use from 3 to 8.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1140

Handle a couple more memcheck-generated primops.  With this, I can run
konqueror on memcheck on amd64.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1139

Handle some artefacts resulting from memchecking of x87 floating-point
code (I64-typed PutI/GetI).

git-svn-id: svn://svn.valgrind.org/vex/trunk@1138

More code-generation cases.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1137

Update.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1136

Comment-only change.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1135

rm'd.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1134

Add an identity, Or8(x,0) --> x.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1133

Fix some more insn selection cases required by Memcheck.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1132

Update comment re PutI/GetI (comment-only change).

git-svn-id: svn://svn.valgrind.org/vex/trunk@1131

Complete implementation of pslldq/psrldq.  Also some whitespace changes.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1130

Handle bsr{w,l,q} and allow bsfq.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1129

Fix comment.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1128

Fix a nasty assembler bug, in the handling of Set64, arising from
confusion over whether we were looking at a complete integer register
number or just the lower 3 bits of it.  Rename functions pertaining to
messing with integer register numbers in an attempt to stop this
happening in future.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1127

Reinstate tests for bsf{w,l} and bsr{w,l}.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1126

More AMD64 instructions: sfence, movnti, bsf{w,l,q}

git-svn-id: svn://svn.valgrind.org/vex/trunk@1125

Comment-only changes

git-svn-id: svn://svn.valgrind.org/vex/trunk@1124

As per r1121, avoid WaW stalls writing the guest state for movss mem->reg.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1123

iselIntExpr64(const): save a precious register in the case where
the two halves have the same value.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1122

When generating IR for movsd mem->reg, don't first write the entire
guest reg with zeroes and then overwrite the lower half.  This forces
the back end to generate code which creates huge write-after-write
stalls in the memory system of P4s due to the different sized writes.
This apparently small change reduces the run-time of one
sse2-intensive floating point program from 145 seconds to 90 seconds
(--tool=none).

git-svn-id: svn://svn.valgrind.org/vex/trunk@1121

Add a pattern for 64UtoV128(LDle:I64(addr)), so as to generate a
single movsd.  This fixes a common, poorly handed case in generating
sse2 code.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1120

Whenever the flags thunk is set, fill in all the fields, even NDEP
which isn't usually used.  This makes redundant-PUT elimination work
better, fixing a rather subtle optimisation bug.  For at least one
floating-point case this gives a significant speedup.  Consider a bb
like this:

    (no flag setting insns before inc)
    inc ...
    (no flag setting insns)
    add ...

inc sets CC_OP, CC_DEP1 and CC_NDEP; the latter is expensive because a
call to calculate_eflags_c is required.

add sets CC_OP, CC_DEP1 and CC_DEP2.  The CC_NDEP value is now
irrelevant, but because CC_NDEP is not overwritten, iropt cannot
remove the previous assignment to it, and so the expensive helper call
remains even though it is irrelevant.

This commit fixes that: By always setting NDEP to zero whenever its
value will be unused, any previous assignment to it will be removed by
iropt.

This change should be propagated to the amd64 front end too.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1119

#include <rude_words.h>.  The recent change of denotation of no-op IR
statements from NULL to IRStmt_NoOp screwed up the how-much-to-unroll
heuristics in iropt, resulting in iropt being significantly less
enthusiastic about unrolling than it was before the change.  Gaaah!
This commit should fix it.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1118

Reinstate ADC Iv, eAX.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1117

Remember to clear C2 after fsincos, as that actually makes it work
right with reasonable-sized inputs.  This confirms fsincos as the
golden lemon of x87 floating point instructions, since Vex has by now
chomped through vast amounts of floating point code on x86 and this is
the first time this bug has come to light.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1116

Support a few more insns I ran across whilst trying to start up
konqueror (mostly successfully) and mozilla (promising but
unsuccessful).

git-svn-id: svn://svn.valgrind.org/vex/trunk@1115

Add a folding rule for Mul64.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1114

Generate instruction-pointer offsets too.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1113

Re-enable 'xchg reg, mem'.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1112

Use cpp symbol __x86_64__ rather than __amd64__ on the advice of
Michael Matz.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1111

Fix incorrect DIP.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1110

Increase default max bb size from 50 to 60 guest instructions.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1109

more icc -Wall cleanups

git-svn-id: svn://svn.valgrind.org/vex/trunk@1108

Handle Grp8 w/immediate arg.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1107

Fix a stupid bug causing FP instructions to sometimes be ignored, and
fill in various missing cases.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1106

Implement yet more amd64 instructions.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1105

Re-enable a couple of SSE MOVQ cases.

Observe that MOVQ is probably subtly broken on both x86 and amd64 wrt
zeroing out upper halves of destination registers.  This should be
checked out.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1104

Fix many amd64 floating point cases that were missing.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1103

Implement ldmxcsr/stmxcsr.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1102

Looks like I forgot to tell memcheck not to bother to track
definedness of the sse rounding mode info.  Fixed.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1101

More paranoia

git-svn-id: svn://svn.valgrind.org/vex/trunk@1100

amd64 front/back end stuff needed to support x87 extended-real
loads/stores.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1099

Fix comment.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1098

Move some conversion functions (IEEE double <-> x87 extended-real
format) into their own module, so they can be shared by the x86 and
amd64 front ends.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1097

Generate IRStmt_IMark so that cachegrind et al work on amd64.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1096

Move an assertion to a better place.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1095

Update the embedded memcheck instrumenter so it works again.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1094

Update comment.

Stare at sanity checks but still fail to figure out how to make them
cheaper.  The register allocator's sanity checks consume 15%-20% of
the total running time of Vex.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1093

icc -Wall cleanups

git-svn-id: svn://svn.valgrind.org/vex/trunk@1092

reinstate test_misc()

git-svn-id: svn://svn.valgrind.org/vex/trunk@1091

Fix bug? in do_put_x87 which would have resulting in FLDENV setting to
zero registers which the to-be-loaded tag word indicates are empty.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1090

The helper for FXAM wasn't setting the C1 flag correctly.  This bug
is more-or-less undetectable at least if you use fstsw to examine
the results of FXAM, since fstsw doesn't copy C1.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1089

Do a sane level of testing.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1088

Put some ULLs at the end of 64-bit constants for good measure.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1087

icc -Wall fixes

git-svn-id: svn://svn.valgrind.org/vex/trunk@1086

icc -Wall fixes

git-svn-id: svn://svn.valgrind.org/vex/trunk@1085

Implement %ffree.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1084

Update stuff in test harness.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1083

Very inadequate test program for fxam.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1082

Placate icc -Wall.  Required hand-to-hand combat with icc, and I may
have broken something.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1081

Placate icc -Wall.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1080

Icc typechecker police.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1079

Fix some isel cases pertaining to 1-bit values.  This makes lackey
work on amd64.  Yay!

git-svn-id: svn://svn.valgrind.org/vex/trunk@1078

Don't shout about kludged rdtsc

git-svn-id: svn://svn.valgrind.org/vex/trunk@1077

Reinstate 'xadd' instruction.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1076

Re-enable a few cases.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1075

Make rdtsc return 1 instead of 0, to stop glibc's resolver looping.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1074

Deal more rationally with LOCK prefixes, correct at least in the way
Valgrind-3.0 intends to use Vex.  This should be applied to the x86 line
too.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1073

* widening (u)mulq from memory operand
* movb imm8,%bh (untested)

git-svn-id: svn://svn.valgrind.org/vex/trunk@1072

Fix silly bug introduced in r1066.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1071

We don't need two copies of this -- there's another in orig_x86.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1070

Turns out the recent IRStmt_NoOp hackery broke the IR optimiser quite
seriously.  It was still transforming correctly, but many of the
transformations had been hampered by no longer being able to recognise
no-ops properly.  This hopefully fixes it.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1069

amd64 back end: deal with (ignore) Ist_IMark and Ist_NoOp

git-svn-id: svn://svn.valgrind.org/vex/trunk@1068

Generate offsets needed for V on amd64.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1067

Make several more files compile cleanly with icc -Wall.  Hopefully
this doesn't break anything.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1066

The "icc -Wall" placation project rumbles onward ...

git-svn-id: svn://svn.valgrind.org/vex/trunk@1065

The Icc typechecker police have been round banging on our doors again.
Placating icc -Wall is a Herculean task; I don't know if it will ever
get completed.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1064

Bring up-to-date.

git-svn-id: svn://svn.valgrind.org/vex/trunk@1063