← Back to branch summary

~ubuntu-branches/ubuntu/raring/fftw3/raring-proposed

« back to all changes in this revision

Viewing changes to dft/k7/codelets/f1k7_64.S

  • Committer: Bazaar Package Importer
  • Author(s): Paul Brossier
  • Date: 2006-05-31 13:44:05 UTC
  • mfrom: (1.1.1 upstream)
  • Revision ID: james.westby@ubuntu.com-20060531134405-ol9hrbg6bh81sg0c
Tags: 3.1.1-1
http://bugs.debian.org/350327
http://bugs.debian.org/338487
http://bugs.debian.org/338501
* New upstream release (closes: #350327, #338487, #338501)
* Add --enable-portable-binary to use -mtune instead of -march
* Use --with-gcc-arch=G5 / pentium4 on powerpc / i386
* Updated Standards-Version

Show diffs side-by-side

added added

removed removed

Lines of Context:
dft/k7/codelets/f1k7_64.S
1
1
/*
2
 
 * Copyright (c) 2003 Matteo Frigo
3
 
 * Copyright (c) 2003 Massachusetts Institute of Technology
 
2
 * Copyright (c) 2003, 2006 Matteo Frigo
 
3
 * Copyright (c) 2003, 2006 Massachusetts Institute of Technology
4
4
 *
5
5
 * This program is free software; you can redistribute it and/or modify
6
6
 * it under the terms of the GNU General Public License as published by
19
19
 */
20
20
 
21
21
/* This file was automatically generated --- DO NOT EDIT */
22
 
/* Generated on Sat Jul  5 21:53:16 EDT 2003 */
 
22
/* Generated on Tue Mar  7 10:49:06 EST 2006 */
23
23
 
24
24
#include "config.h"
25
25
 
26
26
 
27
27
 
28
28
/* cheap-mode: VECTGRADE_FULL succeeded. (3020 steps) */
29
 
/* Generated by: /homee/stevenj/cvs/fftw3.0.1/genfft-k7/gen_twiddle -no-randomized-cse -dif -n 64 -name f1k7_64 */
 
29
/* Generated by: ../../../genfft-k7/gen_twiddle -no-randomized-cse -dif -n 64 -name f1k7_64 */
30
30
 
31
31
/*
32
32
 * Generator Id's : 
33
 
 * $Id: algsimp.ml,v 1.3 2003/03/15 20:29:42 stevenj Exp $
34
 
 * $Id: fft.ml,v 1.3 2003/03/15 20:29:43 stevenj Exp $
35
 
 * $Id: gen_twiddle.ml,v 1.13 2003/04/18 01:21:45 athena Exp $
 
33
 * $Id: algsimp.ml,v 1.4 2006-01-05 03:04:27 stevenj Exp $
 
34
 * $Id: fft.ml,v 1.4 2006-01-05 03:04:27 stevenj Exp $
 
35
 * $Id: gen_twiddle.ml,v 1.14 2005-12-24 21:08:49 athena Exp $
36
36
 */
37
37
 
38
38
/* The following asm code is Copyright (c) 2000-2001 Stefan Kral */
41
41
KP707106781KP707106781: .float +0.707106781186547524400844362104849039284835938, +0.707106781186547524400844362104849039284835938
42
42
chs_lo: .long 0x80000000, 0x00000000
43
43
chs_hi: .long 0x00000000, 0x80000000
 
44
KP980785280KP195090322: .float +0.980785280403230449126182236134239036973933731, +0.195090322016128267848284868477022240927691618
 
45
KP195090322KP980785280: .float +0.195090322016128267848284868477022240927691618, +0.980785280403230449126182236134239036973933731
 
46
KP831469612KP555570233: .float +0.831469612302545237078788377617905756738560812, +0.555570233019602224742830813948532874374937191
 
47
KP555570233KP831469612: .float +0.555570233019602224742830813948532874374937191, +0.831469612302545237078788377617905756738560812
 
48
KP923879532KP382683432: .float +0.923879532511286756128183189396788286822416626, +0.382683432365089771728459984030398866761344562
44
49
KP382683432KP923879532: .float +0.382683432365089771728459984030398866761344562, +0.923879532511286756128183189396788286822416626
45
 
KP923879532KP382683432: .float +0.923879532511286756128183189396788286822416626, +0.382683432365089771728459984030398866761344562
46
 
KP555570233KP831469612: .float +0.555570233019602224742830813948532874374937191, +0.831469612302545237078788377617905756738560812
47
 
KP831469612KP555570233: .float +0.831469612302545237078788377617905756738560812, +0.555570233019602224742830813948532874374937191
48
 
KP195090322KP980785280: .float +0.195090322016128267848284868477022240927691618, +0.980785280403230449126182236134239036973933731
49
 
KP980785280KP195090322: .float +0.980785280403230449126182236134239036973933731, +0.195090322016128267848284868477022240927691618
 
50
KP634393284KP773010453: .float +0.634393284163645498215171613225493370675687095, +0.773010453362736960810906609758469800971041293
 
51
KP773010453KP634393284: .float +0.773010453362736960810906609758469800971041293, +0.634393284163645498215171613225493370675687095
50
52
KP995184726KP098017140: .float +0.995184726672196886244836953109479921575474869, +0.098017140329560601994195563888641845861136673
51
53
KP098017140KP995184726: .float +0.098017140329560601994195563888641845861136673, +0.995184726672196886244836953109479921575474869
52
 
KP773010453KP634393284: .float +0.773010453362736960810906609758469800971041293, +0.634393284163645498215171613225493370675687095
53
 
KP634393284KP773010453: .float +0.634393284163645498215171613225493370675687095, +0.773010453362736960810906609758469800971041293
 
54
KP956940335KP290284677: .float +0.956940335732208864935797886980269969482849206, +0.290284677254462367636192375817395274691476278
 
55
KP290284677KP956940335: .float +0.290284677254462367636192375817395274691476278, +0.956940335732208864935797886980269969482849206
54
56
KP471396736KP881921264: .float +0.471396736825997648556387625905254377657460319, +0.881921264348355029712756863660388349508442621
55
57
KP881921264KP471396736: .float +0.881921264348355029712756863660388349508442621, +0.471396736825997648556387625905254377657460319
56
 
KP290284677KP956940335: .float +0.290284677254462367636192375817395274691476278, +0.956940335732208864935797886980269969482849206
57
 
KP956940335KP290284677: .float +0.956940335732208864935797886980269969482849206, +0.290284677254462367636192375817395274691476278
58
58
.text
59
59
.text
60
60
        .balign 64
61
61
f1k7_64:
62
 
        subl $1580, %esp
 
62
        subl $1588, %esp
63
63
        femms 
64
 
        movl 1596(%esp), %edx
65
 
        movl 1584(%esp), %ecx
66
 
        movl %ebx, 1576(%esp)
67
 
        movl 1592(%esp), %eax
68
 
        movl %esi, 1572(%esp)
69
 
        movl %edi, 1568(%esp)
 
64
        movl 1604(%esp), %edx
 
65
        movl 1592(%esp), %ecx
 
66
        movl %ebx, 1584(%esp)
 
67
        movl 1600(%esp), %eax
 
68
        movl %esi, 1580(%esp)
 
69
        movl %edi, 1576(%esp)
70
70
        leal (,%edx,4), %edx
71
 
        movl %ebp, 1564(%esp)
 
71
        movl %ebp, 1572(%esp)
72
72
        movl %edx, %ebx
73
73
        sall $5, %ebx
74
74
        addl %ecx, %ebx
75
 
        sall $2, 1604(%esp)
 
75
        sall $2, 1612(%esp)
76
76
        .p2align 4,,7
77
77
.L0:
78
78
        /* promise simd cell size = 8 */ 
79
 
        leal (%edx,%edx), %esi
80
79
        movq (%ecx), %mm1
81
 
        leal (%edx,%edx,2), %edi
82
80
        movq (%ebx), %mm0
 
81
        leal (%edx,%edx), %esi
 
82
        leal (%edx,%edx,2), %edi
 
83
        movq (%ecx,%esi,8), %mm4
 
84
        movq (%ebx,%edi,8), %mm7
 
85
        leal (%edi,%edx,8), %ebp
 
86
        movq %mm1, %mm2
83
87
        movq (%ebx,%esi,8), %mm3
84
 
        movq (%ecx,%esi,8), %mm4
85
 
        leal (%edi,%edi,4), %ebp
86
 
        leal (%edi,%edx,8), %esi
87
 
        movq %mm1, %mm2
88
 
        movq (%ecx,%ebp,2), %mm6
89
 
        movq (%ebx,%ebp,2), %mm7
 
88
        movq (%ecx,%edi,8), %mm6
90
89
        pfadd %mm0, %mm1
91
 
        movq %mm4, %mm5
92
 
        pfsub %mm3, %mm4
93
 
        leal (%edi,%edx,4), %ebp
 
90
        leal (%ebp,%edx,4), %esi
94
91
        pfsub %mm0, %mm2
95
 
        pfadd %mm3, %mm5
 
92
        movq %mm4, %mm5
96
93
        movq %mm7, %mm0
 
94
        pfsub %mm3, %mm4
97
95
        pfsub %mm6, %mm7
 
96
        pfadd %mm3, %mm5
 
97
        movq %mm2, 32(%esp)
 
98
        movq (%ebx,%edx,8), %mm2
 
99
        pfadd %mm6, %mm0
 
100
        movq (%ecx,%edx,8), %mm6
98
101
        movq %mm1, %mm3
99
 
        movq %mm4, 16(%esp)
100
 
        movq %mm2, 8(%esp)
101
 
        movq (%ebx,%esi,2), %mm4
102
 
        movq (%ecx,%esi,2), %mm2
103
 
        pfadd %mm6, %mm0
104
 
        pfadd %mm5, %mm1
105
 
        movq (%ecx,%ebp,2), %mm6
106
 
        pfsub %mm5, %mm3
107
 
        movq %mm7, 24(%esp)
108
 
        movq (%ebx,%ebp,2), %mm7
109
 
        movq %mm4, %mm5
110
 
        pfsub %mm2, %mm4
111
 
        movq %mm1, 120(%esp)
112
 
        pfadd %mm2, %mm5
113
 
        movq %mm3, 0(%esp)
114
 
        movq (%ebx,%edi,2), %mm1
115
 
        movq (%ecx,%edi,2), %mm2
116
 
        movq %mm6, %mm3
117
 
        pfsub %mm7, %mm6
118
 
        pfadd %mm7, %mm3
119
 
        movq %mm2, %mm7
120
 
        pfadd %mm1, %mm2
121
 
        movq %mm6, 32(%esp)
122
 
        movq %mm0, %mm6
123
 
        pfsub %mm1, %mm7
124
 
        pfadd %mm3, %mm6
125
 
        movq %mm2, %mm1
126
 
        pfadd %mm5, %mm2
127
 
        pfsub %mm3, %mm0
128
 
        pswapd %mm7, %mm3
129
 
        pfsub %mm5, %mm1
130
 
        movq %mm6, %mm5
131
 
        pfpnacc %mm4, %mm3
132
 
        pfsub %mm2, %mm6
133
 
        movq %mm0, 64(%esp)
134
 
        pfpnacc %mm7, %mm4
135
 
        movq %mm1, 96(%esp)
136
 
        movq (%ecx,%edx,8), %mm1
137
 
        pfadd %mm2, %mm5
138
 
        movq (%ebx,%edx,8), %mm7
139
 
        movq %mm3, %mm0
140
 
        movq %mm6, 56(%esp)
141
 
        movq (%ebx,%edi,8), %mm6
142
 
        pfnacc %mm4, %mm3
143
 
        movq %mm1, %mm2
144
 
        pfacc %mm0, %mm4
145
 
        movq %mm5, 128(%esp)
146
 
        movq (%ecx,%edi,8), %mm0
147
 
        pfadd %mm7, %mm2
148
 
        movq %mm6, %mm5
149
 
        pfsub %mm7, %mm1
150
 
        pfmul KP707106781KP707106781, %mm3
151
 
        pfsub %mm0, %mm6
152
 
        pfmul KP707106781KP707106781, %mm4
153
 
        pfadd %mm0, %mm5
154
 
        movq %mm2, %mm7
155
 
        movq %mm6, %mm0
156
 
        pfsub %mm5, %mm2
157
 
        movq %mm3, 40(%esp)
158
 
        movq (%ebx,%edx,4), %mm3
159
 
        pfpnacc %mm1, %mm0
160
 
        pswapd %mm1, %mm1
161
102
        movq %mm4, 48(%esp)
162
 
        movq (%ecx,%edx,4), %mm4
163
 
        pfadd %mm5, %mm7
164
 
        pfpnacc %mm6, %mm1
165
 
        movq %mm2, 72(%esp)
 
103
        pfadd %mm5, %mm3
 
104
        movq %mm6, %mm4
 
105
        pfadd %mm2, %mm6
 
106
        pfsub %mm5, %mm1
 
107
        pfsub %mm2, %mm4
 
108
        movq %mm3, 128(%esp)
 
109
        movq (%ebx,%ebp,2), %mm2
 
110
        movq %mm7, %mm3
 
111
        movq %mm6, %mm5
 
112
        pfsub %mm0, %mm6
 
113
        movq %mm1, 0(%esp)
 
114
        movq (%ecx,%ebp,2), %mm1
 
115
        leal (%edi,%edx,4), %ebp
 
116
        pfpnacc %mm4, %mm3
 
117
        pswapd %mm4, %mm4
 
118
        pfadd %mm0, %mm5
 
119
        movq %mm2, %mm0
 
120
        pfpnacc %mm7, %mm4
 
121
        movq %mm6, 8(%esp)
 
122
        movq (%ecx,%esi,2), %mm7
 
123
        movq (%ebx,%esi,2), %mm6
 
124
        pfadd %mm1, %mm2
 
125
        pfsub %mm1, %mm0
 
126
        movq %mm3, 16(%esp)
 
127
        movq %mm5, 64(%esp)
 
128
        movq %mm4, 24(%esp)
 
129
        movq (%ebx,%ebp,2), %mm3
 
130
        movq (%ecx,%ebp,2), %mm5
 
131
        movq %mm6, %mm1
 
132
        pfsub %mm7, %mm6
 
133
        movq %mm5, %mm4
 
134
        pfadd %mm3, %mm5
 
135
        pfadd %mm7, %mm1
 
136
        pfsub %mm3, %mm4
 
137
        movq %mm6, 40(%esp)
 
138
        movq (%ecx,%edi,2), %mm6
 
139
        movq (%ebx,%edi,2), %mm3
 
140
        movq %mm1, %mm7
 
141
        pfadd %mm5, %mm1
 
142
        movq %mm4, 56(%esp)
 
143
        movq %mm6, %mm4
 
144
        pfsub %mm3, %mm6
 
145
        pfadd %mm3, %mm4
 
146
        movq %mm0, %mm3
 
147
        pfsub %mm5, %mm7
 
148
        pfpnacc %mm6, %mm3
 
149
        pswapd %mm6, %mm6
 
150
        movq %mm4, %mm5
 
151
        pfadd %mm2, %mm4
 
152
        pfpnacc %mm0, %mm6
 
153
        movq %mm7, 72(%esp)
 
154
        movq %mm1, %mm0
 
155
        pfsub %mm2, %mm5
 
156
        movq (%ebx,%edi,4), %mm2
 
157
        movq %mm3, %mm7
 
158
        pfadd %mm4, %mm1
 
159
        pfacc %mm6, %mm3
 
160
        pfnacc %mm7, %mm6
 
161
        movq %mm5, 80(%esp)
 
162
        movq (%ecx,%edi,4), %mm7
 
163
        pfsub %mm4, %mm0
 
164
        movq (%ebx,%edx,4), %mm4
 
165
        leal (%edx,%edx,4), %edi
 
166
        movq %mm1, 184(%esp)
 
167
        pfmul KP707106781KP707106781, %mm3
 
168
        movq (%ecx,%edx,4), %mm1
 
169
        leal (%edi,%edx,8), %esi
 
170
        pfmul KP707106781KP707106781, %mm6
 
171
        movq %mm7, %mm5
 
172
        pfadd %mm2, %mm7
 
173
        movq %mm0, 112(%esp)
 
174
        movq %mm1, %mm0
 
175
        pfsub %mm2, %mm5
 
176
        movq (%ecx,%ebp,4), %mm2
 
177
        pfadd %mm4, %mm1
 
178
        pfsub %mm4, %mm0
 
179
        movq (%ebx,%ebp,4), %mm4
 
180
        leal (%edx,%edx,8), %ebp
 
181
        movq %mm3, 104(%esp)
 
182
        movq %mm6, 96(%esp)
 
183
        movq %mm5, 88(%esp)
166
184
        movq (%ebx,%edi,4), %mm6
167
 
        movq (%ecx,%edi,4), %mm2
168
 
        leal (%edx,%edx,4), %edi
169
 
        movq %mm0, 80(%esp)
170
 
        movq %mm4, %mm5
171
 
        movq %mm7, 112(%esp)
172
 
        pfsub %mm3, %mm4
173
 
        movq %mm1, 88(%esp)
174
 
        movq (%ebx,%edi,4), %mm7
175
 
        leal (%edi,%edx,8), %esi
176
 
        movq %mm2, %mm0
177
 
        pfsub %mm6, %mm2
178
 
        pfadd %mm3, %mm5
179
 
        movq (%ecx,%edi,4), %mm3
180
 
        pfadd %mm6, %mm0
181
 
        movq (%ecx,%ebp,4), %mm6
182
 
        pswapd %mm4, %mm4
183
 
        movq %mm2, 104(%esp)
184
 
        movq (%ebx,%ebp,4), %mm2
185
 
        leal (%edx,%edx,8), %ebp
186
 
        movq %mm3, %mm1
187
 
        pfsub %mm7, %mm3
188
 
        pfadd %mm7, %mm1
189
 
        movq %mm2, %mm7
190
 
        pfsub %mm6, %mm2
191
 
        pxor chs_lo, %mm3
192
 
        pfadd %mm6, %mm7
193
 
        movq %mm4, %mm6
194
 
        movq %mm2, 160(%esp)
195
 
        pfsub %mm3, %mm4
196
 
        pfadd %mm3, %mm6
197
 
        movq %mm7, %mm2
198
 
        movq %mm5, %mm3
199
 
        pfsub %mm0, %mm7
200
 
        pfsub %mm1, %mm5
201
 
        pfadd %mm1, %mm3
202
 
        movq %mm4, 168(%esp)
203
 
        pfadd %mm0, %mm2
204
 
        movq %mm6, 136(%esp)
205
 
        movq (%ecx,%edx,2), %mm6
206
 
        movq %mm7, %mm1
207
 
        movq (%ebx,%edx,2), %mm0
208
 
        pfpnacc %mm5, %mm1
 
185
        movq (%ecx,%edi,4), %mm5
 
186
        movq %mm4, %mm3
 
187
        pfsub %mm2, %mm4
 
188
        pswapd %mm0, %mm0
 
189
        pfadd %mm2, %mm3
 
190
        movq %mm5, %mm2
 
191
        pfadd %mm6, %mm5
 
192
        movq %mm4, 120(%esp)
 
193
        pfsub %mm6, %mm2
 
194
        movq %mm1, %mm6
209
195
        movq %mm3, %mm4
210
 
        pswapd %mm5, %mm5
211
 
        pfadd %mm2, %mm3
212
 
        pfsub %mm2, %mm4
213
 
        movq %mm6, %mm2
214
 
        pfpnacc %mm7, %mm5
215
 
        movq %mm1, 144(%esp)
216
 
        movq (%ebx,%ebp,2), %mm7
217
 
        movq (%ecx,%ebp,2), %mm1
218
 
        pfsub %mm0, %mm6
219
 
        pfadd %mm0, %mm2
220
 
        movq %mm3, 184(%esp)
221
 
        movq %mm4, 176(%esp)
222
 
        movq %mm5, 152(%esp)
223
 
        movq (%ecx,%esi,2), %mm0
224
 
        movq (%ebx,%esi,2), %mm4
225
 
        movq %mm1, %mm3
226
 
        pfsub %mm7, %mm1
 
196
        pfadd %mm7, %mm3
 
197
        pfadd %mm5, %mm1
 
198
        pfsub %mm7, %mm4
 
199
        pfsub %mm5, %mm6
 
200
        pxor chs_lo, %mm2
 
201
        movq %mm0, %mm5
 
202
        movq %mm1, %mm7
 
203
        pfadd %mm3, %mm1
 
204
        pfsub %mm3, %mm7
 
205
        movq %mm4, %mm3
 
206
        pfsub %mm2, %mm5
 
207
        pfadd %mm2, %mm0
 
208
        movq %mm1, 176(%esp)
 
209
        movq (%ecx,%esi,2), %mm2
 
210
        pfpnacc %mm6, %mm3
 
211
        movq (%ebx,%esi,2), %mm1
227
212
        pswapd %mm6, %mm6
228
 
        movq %mm4, %mm5
229
 
        pfadd %mm7, %mm3
230
 
        movq (%ebx,%edi,2), %mm7
231
 
        pfsub %mm0, %mm4
232
 
        pfadd %mm0, %mm5
233
 
        pxor chs_lo, %mm1
234
 
        movq (%ecx,%edi,2), %mm0
235
 
        leal (%edx,%edx,4), %edi
236
 
        leal (%edi,%esi,2), %ebp
237
 
        leal (%edx,%edx,2), %esi
 
213
        movq %mm7, 168(%esp)
 
214
        movq (%ebx,%edx,2), %mm7
 
215
        pfpnacc %mm4, %mm6
 
216
        movq %mm5, 144(%esp)
 
217
        movq %mm0, 136(%esp)
 
218
        movq (%ecx,%edx,2), %mm4
 
219
        movq %mm1, %mm5
 
220
        pfsub %mm2, %mm1
 
221
        movq %mm3, 160(%esp)
 
222
        movq (%ebx,%ebp,2), %mm3
 
223
        pfadd %mm2, %mm5
 
224
        movq %mm4, %mm0
 
225
        movq (%ecx,%ebp,2), %mm2
 
226
        pfadd %mm7, %mm4
 
227
        movq %mm6, 152(%esp)
238
228
        movq %mm1, 192(%esp)
239
 
        movq %mm0, %mm1
240
 
        pfadd %mm7, %mm0
241
 
        pfsub %mm7, %mm1
242
 
        movq %mm2, %mm7
 
229
        pfsub %mm7, %mm0
 
230
        movq (%ebx,%edi,2), %mm1
 
231
        movq (%ecx,%edi,2), %mm7
 
232
        leal (%edx,%edx,4), %edi
 
233
        movq %mm2, %mm6
243
234
        pfadd %mm3, %mm2
244
 
        pfsub %mm3, %mm7
245
 
        movq %mm0, %mm3
246
 
        pfsubr %mm5, %mm0
247
 
        pfadd %mm5, %mm3
248
 
        movq %mm2, %mm5
249
 
        pswapd %mm7, %mm7
250
 
        pxor chs_hi, %mm0
251
 
        pfsub %mm3, %mm2
252
 
        pfadd %mm3, %mm5
253
 
        movq %mm4, %mm3
254
 
        pfpnacc %mm1, %mm3
255
 
        pswapd %mm1, %mm1
256
 
        movq %mm2, 200(%esp)
257
 
        pfpnacc %mm4, %mm1
258
 
        movq 192(%esp), %mm4
259
 
        movq %mm3, %mm2
260
 
        pfnacc %mm1, %mm3
261
 
        pfacc %mm2, %mm1
262
 
        movq %mm6, %mm2
263
 
        pfsub %mm4, %mm6
264
 
        pfadd %mm4, %mm2
265
 
        movq 128(%esp), %mm4
266
 
        pfmul KP707106781KP707106781, %mm3
267
 
        pfmul KP707106781KP707106781, %mm1
 
235
        leal (%edi,%ebp,2), %esi
 
236
        pfsub %mm3, %mm6
 
237
        pswapd %mm0, %mm0
 
238
        movq %mm7, %mm3
 
239
        pfadd %mm1, %mm7
 
240
        leal (%esi,%edx,8), %ebp
 
241
        pfsub %mm1, %mm3
 
242
        movq %mm4, %mm1
 
243
        pfadd %mm2, %mm4
 
244
        pxor chs_lo, %mm6
 
245
        pfsub %mm2, %mm1
 
246
        movq %mm7, %mm2
 
247
        pfsubr %mm5, %mm7
 
248
        pfadd %mm5, %mm2
 
249
        movq %mm0, %mm5
 
250
        pfadd %mm6, %mm0
 
251
        movq %mm1, 208(%esp)
 
252
        pfsub %mm6, %mm5
 
253
        movq %mm4, %mm1
 
254
        movq 192(%esp), %mm6
 
255
        pxor chs_hi, %mm7
 
256
        pfsub %mm2, %mm1
 
257
        pfadd %mm2, %mm4
 
258
        pswapd %mm3, %mm2
 
259
        movq %mm5, 232(%esp)
 
260
        pfpnacc %mm6, %mm2
 
261
        movq %mm7, 200(%esp)
 
262
        movq 184(%esp), %mm7
 
263
        pfpnacc %mm3, %mm6
 
264
        movq %mm4, %mm5
 
265
        movq %mm2, %mm3
 
266
        pfadd %mm7, %mm4
 
267
        pfsub %mm7, %mm5
 
268
        movq 128(%esp), %mm7
 
269
        pfacc %mm6, %mm2
 
270
        pfnacc %mm3, %mm6
 
271
        movq %mm5, 216(%esp)
 
272
        movq 64(%esp), %mm3
 
273
        movq %mm7, %mm5
 
274
        pfmul KP707106781KP707106781, %mm2
 
275
        pfmul KP707106781KP707106781, %mm6
 
276
        pfadd %mm3, %mm7
 
277
        pfsub %mm3, %mm5
268
278
        movq %mm6, 224(%esp)
269
 
        movq %mm5, %mm6
270
 
        pfsub %mm4, %mm5
271
 
        pfadd %mm4, %mm6
272
 
        movq %mm3, 208(%esp)
273
 
        movq %mm1, 232(%esp)
274
 
        movq %mm5, 216(%esp)
275
 
        movq 120(%esp), %mm4
276
 
        movq 112(%esp), %mm3
277
 
        movq %mm4, %mm1
278
 
        movq 184(%esp), %mm5
279
 
        pfadd %mm3, %mm4
280
 
        pfsub %mm3, %mm1
 
279
        movq 176(%esp), %mm3
 
280
        movq %mm7, %mm6
 
281
        pfsub %mm3, %mm7
 
282
        pfadd %mm3, %mm6
 
283
        movq %mm7, 240(%esp)
 
284
        movq 168(%esp), %mm7
 
285
        movq %mm6, %mm3
 
286
        pfsub %mm4, %mm6
 
287
        pfadd %mm4, %mm3
 
288
        pswapd %mm7, %mm7
 
289
        movq %mm5, %mm4
 
290
        pxor chs_hi, %mm7
 
291
        movq %mm6, 264(%esp)
 
292
        movq %mm3, 272(%esp)
 
293
        movq 32(%esp), %mm6
 
294
        movq 48(%esp), %mm3
 
295
        pfadd %mm7, %mm4
 
296
        pfsub %mm7, %mm5
 
297
        movq %mm6, %mm7
 
298
        pswapd %mm3, %mm3
 
299
        movq %mm4, 256(%esp)
 
300
        pxor chs_lo, %mm3
 
301
        movq %mm5, 248(%esp)
 
302
        movq 24(%esp), %mm4
 
303
        movq 16(%esp), %mm5
 
304
        pfadd %mm3, %mm7
 
305
        pfsub %mm3, %mm6
281
306
        movq %mm4, %mm3
282
 
        pfsub %mm5, %mm4
 
307
        pfnacc %mm5, %mm4
 
308
        pfacc %mm3, %mm5
 
309
        movq %mm6, %mm3
 
310
        pfmul KP707106781KP707106781, %mm4
 
311
        pfmul KP707106781KP707106781, %mm5
283
312
        pfadd %mm5, %mm3
284
 
        movq %mm4, 240(%esp)
285
 
        movq 176(%esp), %mm4
286
 
        movq %mm3, %mm5
287
 
        pfsub %mm6, %mm3
288
 
        pswapd %mm4, %mm4
289
 
        pfadd %mm6, %mm5
290
 
        movq %mm1, %mm6
291
 
        pxor chs_hi, %mm4
292
 
        movq %mm3, 264(%esp)
293
 
        movq %mm5, 272(%esp)
294
 
        movq 168(%esp), %mm3
295
 
        pfsub %mm4, %mm1
296
 
        pfadd %mm4, %mm6
297
 
        movq 104(%esp), %mm4
298
 
        movq %mm3, %mm5
299
 
        pfmul KP382683432KP923879532, %mm3
300
 
        pfmul KP923879532KP382683432, %mm5
301
 
        movq %mm1, 256(%esp)
302
 
        movq 160(%esp), %mm1
303
 
        pswapd %mm4, %mm4
304
 
        movq %mm6, 248(%esp)
305
 
        pxor chs_lo, %mm4
306
 
        movq %mm1, %mm6
307
 
        pfadd %mm4, %mm1
308
 
        pfsub %mm4, %mm6
309
 
        movq %mm1, %mm4
310
 
        pfmul KP923879532KP382683432, %mm1
311
 
        movq %mm6, 296(%esp)
312
 
        pfmul KP382683432KP923879532, %mm4
313
 
        pfpnacc %mm1, %mm3
314
 
        movq 64(%esp), %mm1
315
 
        pfpnacc %mm5, %mm4
316
 
        movq 96(%esp), %mm5
317
 
        movq %mm3, %mm6
318
 
        pswapd %mm5, %mm5
319
 
        pfnacc %mm4, %mm3
320
 
        pfacc %mm6, %mm4
321
 
        movq %mm1, %mm6
322
 
        pxor chs_hi, %mm5
323
 
        movq %mm3, 288(%esp)
324
 
        movq %mm7, %mm3
325
 
        pfsub %mm0, %mm7
326
 
        movq %mm4, 280(%esp)
327
 
        pfsub %mm5, %mm1
328
 
        pfadd %mm5, %mm6
 
313
        pfsub %mm5, %mm6
329
314
        movq %mm7, %mm5
330
 
        pfmul KP382683432KP923879532, %mm7
331
 
        pfadd %mm0, %mm3
332
 
        movq %mm1, %mm4
333
 
        pfmul KP923879532KP382683432, %mm5
334
 
        pfmul KP382683432KP923879532, %mm1
335
 
        pfmul KP923879532KP382683432, %mm4
336
 
        movq %mm3, %mm0
337
 
        pfmul KP382683432KP923879532, %mm3
338
 
        pfmul KP923879532KP382683432, %mm0
339
 
        pfpnacc %mm5, %mm1
340
 
        movq 56(%esp), %mm5
341
 
        pfpnacc %mm4, %mm7
342
 
        movq %mm6, %mm4
343
 
        pfmul KP923879532KP382683432, %mm6
344
 
        pfmul KP382683432KP923879532, %mm4
345
 
        movq %mm1, 312(%esp)
346
 
        movq %mm5, %mm1
 
315
        pfsub %mm4, %mm7
 
316
        pfadd %mm4, %mm5
 
317
        movq %mm3, 296(%esp)
 
318
        movq %mm6, 288(%esp)
347
319
        movq %mm7, 304(%esp)
348
 
        movq 200(%esp), %mm7
349
 
        pfpnacc %mm3, %mm6
350
 
        movq 232(%esp), %mm3
351
 
        pfpnacc %mm7, %mm1
352
 
        pswapd %mm7, %mm7
353
 
        pfpnacc %mm4, %mm0
354
 
        movq %mm2, %mm4
355
 
        pfpnacc %mm5, %mm7
356
 
        movq %mm6, 336(%esp)
357
 
        pfsub %mm3, %mm2
358
 
        pfadd %mm3, %mm4
359
 
        movq %mm0, 328(%esp)
360
 
        movq 32(%esp), %mm3
361
 
        movq 24(%esp), %mm0
362
 
        movq %mm7, %mm5
363
 
        pfnacc %mm1, %mm7
364
 
        pswapd %mm2, %mm6
365
 
        pfmul KP555570233KP831469612, %mm2
366
 
        pswapd %mm3, %mm3
367
 
        pfacc %mm5, %mm1
 
320
        movq 8(%esp), %mm4
 
321
        movq 0(%esp), %mm3
 
322
        movq 160(%esp), %mm7
 
323
        pswapd %mm4, %mm4
 
324
        movq %mm5, 280(%esp)
 
325
        movq 152(%esp), %mm5
 
326
        movq %mm3, %mm6
 
327
        pxor chs_hi, %mm4
 
328
        pfadd %mm4, %mm6
 
329
        pfsub %mm4, %mm3
 
330
        movq %mm7, %mm4
 
331
        pfacc %mm5, %mm7
 
332
        pfnacc %mm4, %mm5
 
333
        movq %mm6, %mm4
 
334
        pfmul KP707106781KP707106781, %mm7
 
335
        pfmul KP707106781KP707106781, %mm5
 
336
        pfadd %mm7, %mm6
 
337
        pfsub %mm7, %mm4
 
338
        movq %mm3, %mm7
 
339
        pfsub %mm5, %mm3
 
340
        pfadd %mm5, %mm7
368
341
        movq %mm0, %mm5
369
 
        pfmul KP555570233KP831469612, %mm6
370
 
        pxor chs_lo, %mm3
371
 
        pfmul KP707106781KP707106781, %mm7
 
342
        movq %mm6, 344(%esp)
 
343
        movq 112(%esp), %mm6
 
344
        pfsub %mm2, %mm0
 
345
        movq %mm4, 368(%esp)
 
346
        pfadd %mm2, %mm5
 
347
        movq %mm3, 312(%esp)
 
348
        movq %mm7, 328(%esp)
 
349
        movq 40(%esp), %mm7
 
350
        movq %mm6, %mm4
 
351
        pswapd %mm5, %mm2
 
352
        pfmul KP980785280KP195090322, %mm5
 
353
        pfpnacc %mm1, %mm4
 
354
        pswapd %mm1, %mm1
 
355
        pfmul KP980785280KP195090322, %mm2
 
356
        pfpnacc %mm6, %mm1
 
357
        movq 56(%esp), %mm6
 
358
        movq %mm4, %mm3
 
359
        pfacc %mm1, %mm4
 
360
        pswapd %mm6, %mm6
 
361
        pfnacc %mm3, %mm1
 
362
        movq %mm7, %mm3
 
363
        pxor chs_lo, %mm6
 
364
        pfmul KP707106781KP707106781, %mm4
372
365
        pfmul KP707106781KP707106781, %mm1
373
 
        pfadd %mm3, %mm5
374
 
        pfsub %mm3, %mm0
375
 
        movq %mm7, 360(%esp)
 
366
        pfsub %mm6, %mm7
 
367
        pfadd %mm6, %mm3
 
368
        movq %mm4, 336(%esp)
 
369
        movq 104(%esp), %mm6
 
370
        movq %mm7, %mm4
 
371
        pfadd %mm6, %mm7
376
372
        movq %mm1, 320(%esp)
377
 
        movq 48(%esp), %mm3
378
 
        movq %mm0, %mm7
379
 
        pfsub %mm3, %mm0
380
 
        pfadd %mm3, %mm7
381
 
        movq %mm0, %mm1
382
 
        pfmul KP831469612KP555570233, %mm0
383
 
        pfmul KP555570233KP831469612, %mm1
384
 
        movq %mm7, %mm3
385
 
        pfmul KP195090322KP980785280, %mm7
386
 
        pfmul KP980785280KP195090322, %mm3
387
 
        pfpnacc %mm0, %mm2
388
 
        pswapd %mm4, %mm0
389
 
        pfmul KP980785280KP195090322, %mm4
390
 
        pfmul KP980785280KP195090322, %mm0
391
 
        pfpnacc %mm6, %mm1
392
 
        movq %mm2, 352(%esp)
393
 
        movq %mm1, 344(%esp)
394
 
        movq 224(%esp), %mm6
395
 
        movq 208(%esp), %mm2
396
 
        movq %mm6, %mm1
397
 
        pfpnacc %mm7, %mm4
398
 
        movq 40(%esp), %mm7
399
 
        pfpnacc %mm0, %mm3
400
 
        movq %mm5, %mm0
401
 
        pfsub %mm2, %mm6
402
 
        pfadd %mm2, %mm1
403
 
        pfsub %mm7, %mm5
 
373
        pfsub %mm6, %mm4
 
374
        movq %mm7, %mm1
 
375
        pfmul KP195090322KP980785280, %mm7
 
376
        movq %mm4, %mm6
 
377
        pfmul KP831469612KP555570233, %mm4
 
378
        pfmul KP980785280KP195090322, %mm1
 
379
        pfmul KP555570233KP831469612, %mm6
 
380
        pfpnacc %mm7, %mm5
 
381
        pswapd %mm0, %mm7
 
382
        pfmul KP555570233KP831469612, %mm0
 
383
        pfmul KP555570233KP831469612, %mm7
 
384
        pfpnacc %mm2, %mm1
 
385
        movq %mm5, 392(%esp)
 
386
        movq %mm1, 416(%esp)
 
387
        movq 232(%esp), %mm2
 
388
        movq 224(%esp), %mm5
 
389
        movq %mm2, %mm1
 
390
        pfpnacc %mm4, %mm0
 
391
        movq 96(%esp), %mm4
 
392
        pfpnacc %mm7, %mm6
 
393
        movq %mm3, %mm7
 
394
        pfsub %mm5, %mm1
 
395
        pfadd %mm5, %mm2
 
396
        pfsub %mm4, %mm7
 
397
        movq %mm0, 352(%esp)
 
398
        pfadd %mm4, %mm3
 
399
        movq %mm6, 360(%esp)
 
400
        movq %mm1, %mm0
 
401
        pfmul KP980785280KP195090322, %mm1
 
402
        movq %mm2, %mm5
 
403
        pfmul KP831469612KP555570233, %mm2
 
404
        movq %mm7, %mm6
 
405
        pfmul KP195090322KP980785280, %mm7
 
406
        movq %mm3, %mm4
 
407
        pfmul KP195090322KP980785280, %mm0
 
408
        pfmul KP555570233KP831469612, %mm5
 
409
        pfmul KP980785280KP195090322, %mm6
 
410
        pfmul KP831469612KP555570233, %mm4
 
411
        pfmul KP555570233KP831469612, %mm3
 
412
        pfpnacc %mm1, %mm7
 
413
        movq 88(%esp), %mm1
 
414
        pfpnacc %mm6, %mm0
 
415
        movq 120(%esp), %mm6
 
416
        pfpnacc %mm5, %mm4
 
417
        pswapd %mm1, %mm1
 
418
        movq 144(%esp), %mm5
 
419
        pfpnacc %mm3, %mm2
 
420
        movq %mm7, 480(%esp)
 
421
        pxor chs_lo, %mm1
 
422
        movq %mm0, 440(%esp)
404
423
        movq %mm4, 376(%esp)
405
 
        pfadd %mm7, %mm0
406
 
        movq %mm3, 368(%esp)
407
 
        movq 296(%esp), %mm7
408
 
        movq %mm6, %mm2
409
 
        pfmul KP195090322KP980785280, %mm6
410
 
        movq %mm5, %mm4
411
 
        pfmul KP980785280KP195090322, %mm5
412
 
        pfmul KP980785280KP195090322, %mm2
413
 
        movq %mm7, %mm3
414
 
        pfmul KP195090322KP980785280, %mm4
415
 
        pfmul KP382683432KP923879532, %mm7
416
 
        pfmul KP923879532KP382683432, %mm3
417
 
        pfpnacc %mm5, %mm6
418
 
        movq %mm1, %mm5
419
 
        pfmul KP831469612KP555570233, %mm1
420
 
        pfpnacc %mm2, %mm4
421
 
        movq %mm0, %mm2
422
 
        pfmul KP555570233KP831469612, %mm0
423
 
        pfmul KP555570233KP831469612, %mm5
424
 
        movq %mm6, 480(%esp)
425
 
        movq 136(%esp), %mm6
426
 
        pfmul KP831469612KP555570233, %mm2
427
 
        movq %mm4, 472(%esp)
428
424
        movq %mm6, %mm4
429
 
        pfpnacc %mm0, %mm1
 
425
        movq %mm5, %mm3
 
426
        movq %mm2, 384(%esp)
 
427
        movq 136(%esp), %mm2
 
428
        pfsub %mm1, %mm4
 
429
        pfmul KP923879532KP382683432, %mm5
 
430
        pfadd %mm1, %mm6
 
431
        pfmul KP382683432KP923879532, %mm3
 
432
        movq %mm2, %mm7
 
433
        pfmul KP382683432KP923879532, %mm2
 
434
        movq %mm4, %mm1
 
435
        pfmul KP382683432KP923879532, %mm4
 
436
        pfmul KP923879532KP382683432, %mm7
 
437
        movq %mm6, %mm0
 
438
        pfmul KP923879532KP382683432, %mm1
430
439
        pfmul KP923879532KP382683432, %mm6
431
 
        pfmul KP382683432KP923879532, %mm4
432
 
        pfpnacc %mm5, %mm2
 
440
        pfmul KP382683432KP923879532, %mm0
 
441
        pfpnacc %mm4, %mm7
 
442
        pfpnacc %mm2, %mm1
 
443
        movq 200(%esp), %mm2
 
444
        pfpnacc %mm6, %mm3
 
445
        pfpnacc %mm5, %mm0
 
446
        movq 208(%esp), %mm5
 
447
        movq %mm1, %mm4
 
448
        pfacc %mm7, %mm1
 
449
        pfnacc %mm4, %mm7
 
450
        movq 80(%esp), %mm4
 
451
        movq %mm0, %mm6
 
452
        pfacc %mm3, %mm0
 
453
        pswapd %mm5, %mm5
 
454
        pfnacc %mm6, %mm3
433
455
        movq %mm1, 424(%esp)
434
 
        movq 88(%esp), %mm5
435
 
        movq 16(%esp), %mm1
436
 
        pfpnacc %mm7, %mm6
437
 
        movq %mm2, 400(%esp)
438
 
        movq 80(%esp), %mm7
439
 
        movq 8(%esp), %mm2
440
 
        pfpnacc %mm4, %mm3
441
 
        pswapd %mm1, %mm1
442
 
        movq %mm5, %mm4
443
 
        movq %mm6, %mm0
444
 
        pfnacc %mm7, %mm5
445
 
        pxor chs_lo, %mm1
446
 
        pfacc %mm4, %mm7
447
 
        pfnacc %mm3, %mm6
448
 
        pfacc %mm0, %mm3
449
 
        movq %mm2, %mm0
450
 
        pfmul KP707106781KP707106781, %mm5
451
 
        pfadd %mm1, %mm2
452
 
        pfsub %mm1, %mm0
453
 
        pfmul KP707106781KP707106781, %mm7
454
 
        movq %mm6, 384(%esp)
455
 
        movq %mm3, 392(%esp)
456
 
        movq 144(%esp), %mm1
457
 
        movq 152(%esp), %mm3
458
 
        movq %mm2, %mm6
459
 
        movq %mm0, %mm4
460
 
        pfsub %mm5, %mm2
461
 
        pfadd %mm7, %mm0
462
 
        pfsub %mm7, %mm4
463
 
        movq 72(%esp), %mm7
464
 
        pfadd %mm5, %mm6
465
 
        movq %mm3, %mm5
466
 
        pfnacc %mm1, %mm3
467
 
        movq %mm2, 488(%esp)
468
 
        movq 0(%esp), %mm2
469
 
        pfacc %mm5, %mm1
470
 
        movq %mm0, 416(%esp)
471
 
        pswapd %mm7, %mm7
472
 
        movq %mm4, 408(%esp)
473
 
        movq %mm6, 432(%esp)
474
 
        pxor chs_hi, %mm7
 
456
        movq %mm5, %mm6
 
457
        pfadd %mm2, %mm5
 
458
        pswapd %mm4, %mm4
 
459
        movq %mm7, 408(%esp)
 
460
        movq %mm0, 400(%esp)
 
461
        movq 72(%esp), %mm0
 
462
        pfsub %mm2, %mm6
 
463
        pxor chs_hi, %mm4
 
464
        movq %mm3, 432(%esp)
 
465
        movq %mm5, %mm3
 
466
        pfmul KP382683432KP923879532, %mm5
 
467
        movq %mm0, %mm1
 
468
        pfmul KP923879532KP382683432, %mm3
 
469
        movq %mm6, %mm2
 
470
        pfadd %mm4, %mm0
 
471
        pfmul KP382683432KP923879532, %mm6
 
472
        pfsub %mm4, %mm1
 
473
        pfmul KP923879532KP382683432, %mm2
 
474
        movq %mm0, %mm7
 
475
        pfmul KP382683432KP923879532, %mm0
 
476
        movq %mm1, %mm4
 
477
        pfmul KP923879532KP382683432, %mm1
 
478
        pfmul KP923879532KP382683432, %mm7
 
479
        pfmul KP382683432KP923879532, %mm4
 
480
        pfpnacc %mm0, %mm3
 
481
        movq (%ecx,%esi), %mm0
 
482
        pfpnacc %mm1, %mm6
 
483
        pfpnacc %mm5, %mm7
 
484
        movq (%ebx,%esi), %mm5
 
485
        leal (%edi,%edx,2), %esi
 
486
        pfpnacc %mm2, %mm4
 
487
        movq %mm3, 472(%esp)
 
488
        movq (%ecx,%ebp), %mm3
 
489
        leal (%esi,%edx,8), %edi
 
490
        movq %mm6, 448(%esp)
 
491
        movq %mm7, 464(%esp)
 
492
        movq (%ebx,%ebp), %mm7
 
493
        movq %mm5, %mm2
 
494
        pfadd %mm0, %mm5
 
495
        movq %mm4, 456(%esp)
 
496
        movq (%ebx,%esi), %mm4
 
497
        pfsub %mm0, %mm2
 
498
        movq (%ecx,%esi), %mm0
 
499
        leal (%edx,%edx,2), %ebp
 
500
        movq %mm7, %mm1
 
501
        pfsub %mm3, %mm7
 
502
        leal (%edx,%ebp,8), %esi
 
503
        leal (%edi,%edx,2), %ebp
 
504
        pfadd %mm3, %mm1
 
505
        movq %mm0, %mm6
 
506
        movq (%ebx,%edi), %mm3
 
507
        pfadd %mm4, %mm0
 
508
        movq %mm7, 488(%esp)
 
509
        movq (%ecx,%edi), %mm7
 
510
        pfsub %mm4, %mm6
 
511
        leal (%edx,%edx,8), %edi
 
512
        movq %mm7, %mm4
 
513
        pfadd %mm3, %mm7
 
514
        pfsub %mm3, %mm4
 
515
        movq %mm2, %mm3
 
516
        pfpnacc %mm6, %mm3
 
517
        pswapd %mm6, %mm6
 
518
        pfpnacc %mm2, %mm6
 
519
        movq %mm1, %mm2
 
520
        movq %mm4, 528(%esp)
 
521
        pfadd %mm7, %mm1
 
522
        movq %mm0, %mm4
 
523
        pfadd %mm5, %mm0
 
524
        movq %mm3, 512(%esp)
 
525
        pfsub %mm7, %mm2
 
526
        movq %mm6, 520(%esp)
 
527
        movq (%ecx,%esi), %mm7
 
528
        movq (%ebx,%esi), %mm6
 
529
        pfsub %mm5, %mm4
 
530
        movq %mm1, %mm3
 
531
        pfsub %mm0, %mm1
 
532
        pfadd %mm0, %mm3
 
533
        movq %mm2, 496(%esp)
 
534
        movq (%ecx,%edx), %mm0
 
535
        movq (%ebx,%edx), %mm2
 
536
        movq %mm6, %mm5
 
537
        pfsub %mm7, %mm6
 
538
        movq %mm4, 504(%esp)
 
539
        pfadd %mm7, %mm5
 
540
        movq %mm1, 536(%esp)
 
541
        movq (%ecx,%ebp), %mm7
 
542
        movq %mm0, %mm4
 
543
        movq %mm3, 544(%esp)
 
544
        movq (%ebx,%ebp), %mm1
 
545
        pfadd %mm2, %mm0
 
546
        movq %mm6, 552(%esp)
 
547
        movq (%ebx,%edi), %mm6
 
548
        pfsub %mm2, %mm4
 
549
        movq (%ecx,%edi), %mm2
 
550
        leal (%esi,%edx,2), %ebp
 
551
        movq %mm7, %mm3
 
552
        leal (%edi,%edx,2), %esi
 
553
        pfadd %mm1, %mm7
 
554
        pfsub %mm1, %mm3
 
555
        leal (%esi,%edx,8), %edi
 
556
        movq %mm2, %mm1
 
557
        pfadd %mm6, %mm2
 
558
        pswapd %mm4, %mm4
 
559
        pfsub %mm6, %mm1
 
560
        movq %mm0, %mm6
 
561
        pfadd %mm7, %mm0
 
562
        pxor chs_lo, %mm3
 
563
        pfsub %mm7, %mm6
 
564
        movq %mm2, %mm7
 
565
        pfsubr %mm5, %mm2
 
566
        pfadd %mm5, %mm7
 
567
        movq %mm4, %mm5
 
568
        pfsub %mm3, %mm4
 
569
        movq %mm6, 600(%esp)
 
570
        pfadd %mm3, %mm5
 
571
        movq %mm0, %mm6
 
572
        movq 552(%esp), %mm3
 
573
        pxor chs_hi, %mm2
 
574
        pfsub %mm7, %mm6
 
575
        pfadd %mm7, %mm0
 
576
        pswapd %mm1, %mm7
 
577
        movq %mm4, 584(%esp)
 
578
        movq %mm5, 560(%esp)
475
579
        movq (%ecx,%ebp), %mm4
476
 
        movq %mm2, %mm5
477
 
        pfmul KP707106781KP707106781, %mm3
478
 
        pfmul KP707106781KP707106781, %mm1
479
 
        pfadd %mm7, %mm2
480
 
        pfsub %mm7, %mm5
481
 
        movq (%ebx,%ebp), %mm7
482
 
        leal (%esi,%edi,4), %ebp
483
 
        leal (%edx,%edx,4), %edi
484
 
        movq %mm2, %mm6
485
 
        leal (%edi,%edi,2), %esi
486
 
        pfadd %mm1, %mm2
487
 
        movq %mm5, %mm0
488
 
        pfadd %mm3, %mm5
489
 
        pfsub %mm1, %mm6
490
 
        movq %mm7, %mm1
491
 
        pfsub %mm4, %mm7
492
 
        pfsub %mm3, %mm0
493
 
        movq %mm2, 464(%esp)
494
 
        movq (%ebx,%esi), %mm3
495
 
        pfadd %mm4, %mm1
496
 
        movq %mm5, 448(%esp)
497
 
        movq %mm6, 456(%esp)
 
580
        pfpnacc %mm3, %mm7
 
581
        movq %mm2, 592(%esp)
498
582
        movq (%ebx,%ebp), %mm2
499
 
        movq (%ecx,%esi), %mm6
500
 
        movq (%ecx,%ebp), %mm5
501
 
        leal (%edi,%edx,2), %ebp
502
 
        movq %mm7, 496(%esp)
503
 
        movq %mm0, 440(%esp)
504
 
        leal (%edx,%edx,2), %edi
505
 
        movq (%ebx,%ebp), %mm7
506
 
        movq %mm2, %mm0
507
 
        movq %mm6, %mm4
508
 
        pfsub %mm3, %mm6
509
 
        leal (%edi,%edi,8), %esi
510
 
        pfadd %mm5, %mm0
511
 
        pfadd %mm3, %mm4
512
 
        movq (%ecx,%ebp), %mm3
513
 
        leal (%edi,%edx,8), %ebp
514
 
        pfsub %mm5, %mm2
515
 
        movq %mm6, 544(%esp)
516
 
        movq %mm1, %mm6
517
 
        movq %mm3, %mm5
518
 
        pfadd %mm7, %mm3
519
 
        pfsub %mm4, %mm6
520
 
        pfsub %mm7, %mm5
521
 
        pfadd %mm4, %mm1
522
 
        movq %mm2, %mm4
523
 
        movq %mm3, %mm7
524
 
        pfadd %mm0, %mm3
525
 
        movq %mm6, 504(%esp)
526
 
        movq (%ecx,%esi), %mm6
527
 
        pfsub %mm0, %mm7
528
 
        pfpnacc %mm5, %mm4
529
 
        pswapd %mm5, %mm5
530
 
        movq %mm1, %mm0
531
 
        pfsub %mm3, %mm1
532
 
        pfpnacc %mm2, %mm5
533
 
        movq %mm7, 512(%esp)
534
 
        movq (%ebx,%esi), %mm7
535
 
        pfadd %mm3, %mm0
536
 
        movq %mm4, 536(%esp)
537
 
        movq (%ebx,%edi), %mm3
538
 
        leal (%edx,%edx,2), %esi
539
 
        movq %mm1, 520(%esp)
 
583
        pfpnacc %mm1, %mm3
 
584
        movq %mm6, 608(%esp)
 
585
        movq %mm0, 616(%esp)
 
586
        movq (%ebx,%esi), %mm6
 
587
        movq (%ecx,%esi), %mm0
 
588
        leal (%edx,%edx,2), %ebp
 
589
        leal (%edx,%edx,4), %esi
 
590
        movq %mm7, %mm1
 
591
        movq %mm2, %mm5
 
592
        pfadd %mm4, %mm2
 
593
        pfacc %mm3, %mm7
 
594
        pfnacc %mm1, %mm3
 
595
        movq %mm0, %mm1
 
596
        pfsub %mm4, %mm5
540
597
        movq (%ecx,%edi), %mm4
541
 
        leal (%ebp,%edx,8), %edi
542
 
        movq %mm5, 528(%esp)
543
 
        movq (%ebx,%ebp), %mm1
544
 
        movq %mm7, %mm2
545
 
        pfadd %mm6, %mm7
546
 
        movq %mm0, 552(%esp)
547
 
        pfsub %mm6, %mm2
548
 
        movq (%ecx,%ebp), %mm6
549
 
        movq %mm4, %mm5
550
 
        pfsub %mm3, %mm4
551
 
        leal (%edi,%esi,2), %ebp
552
 
        pfadd %mm3, %mm5
553
 
        movq (%ebx,%edi), %mm3
554
 
        movq %mm6, %mm0
555
 
        pfadd %mm1, %mm6
556
 
        pswapd %mm2, %mm2
557
 
        movq %mm4, 560(%esp)
558
 
        pfsub %mm1, %mm0
559
 
        movq (%ecx,%edi), %mm1
560
 
        leal (%edx,%edx), %edi
561
 
        leal (%edx,%edi,8), %esi
562
 
        leal (%edx,%edx,2), %edi
563
 
        movq %mm1, %mm4
564
 
        pxor chs_lo, %mm0
565
 
        pfsub %mm3, %mm1
566
 
        pfadd %mm3, %mm4
567
 
        movq %mm5, %mm3
 
598
        pfadd %mm6, %mm0
 
599
        pfmul KP707106781KP707106781, %mm7
 
600
        pfsub %mm6, %mm1
 
601
        pfmul KP707106781KP707106781, %mm3
 
602
        movq (%ebx,%edi), %mm6
 
603
        leal (%esi,%ebp,8), %edi
 
604
        pswapd %mm5, %mm5
 
605
        movq %mm0, 624(%esp)
 
606
        movq %mm4, %mm0
 
607
        pfsub %mm6, %mm4
568
608
        pxor chs_lo, %mm1
569
 
        pfsub %mm4, %mm3
570
 
        pfadd %mm4, %mm5
571
 
        movq %mm2, %mm4
572
 
        pfadd %mm0, %mm2
573
 
        pfsub %mm0, %mm4
 
609
        pfadd %mm6, %mm0
 
610
        movq %mm7, 568(%esp)
 
611
        movq (%ebx,%ebp), %mm6
 
612
        movq (%ecx,%ebp), %mm7
 
613
        leal (%esi,%edx,8), %ebp
 
614
        movq %mm3, 576(%esp)
 
615
        pxor chs_lo, %mm4
 
616
        leal (%ebp,%edx,8), %esi
 
617
        movq %mm7, %mm3
 
618
        pfadd %mm6, %mm7
 
619
        pfsub %mm6, %mm3
 
620
        movq %mm7, %mm6
 
621
        pfadd %mm0, %mm7
 
622
        pfsub %mm0, %mm6
 
623
        pswapd %mm3, %mm3
 
624
        movq %mm5, %mm0
 
625
        pfsub %mm1, %mm5
 
626
        pfadd %mm1, %mm0
 
627
        movq %mm3, %mm1
 
628
        pfadd %mm4, %mm3
 
629
        pfsub %mm4, %mm1
 
630
        movq %mm5, 672(%esp)
 
631
        movq 624(%esp), %mm4
 
632
        movq %mm2, %mm5
 
633
        movq %mm0, 640(%esp)
574
634
        movq %mm7, %mm0
575
 
        pfadd %mm6, %mm7
576
 
        pfsub %mm6, %mm0
577
 
        movq %mm5, %mm6
578
 
        movq %mm2, 616(%esp)
579
 
        movq %mm4, 600(%esp)
580
 
        movq 560(%esp), %mm2
581
 
        pswapd %mm3, %mm4
582
 
        pfsub %mm7, %mm5
583
 
        pfpnacc %mm0, %mm4
584
 
        pswapd %mm2, %mm2
585
 
        pfpnacc %mm3, %mm0
586
 
        pfadd %mm7, %mm6
587
 
        movq (%ebx,%edx), %mm7
588
 
        movq %mm2, %mm3
589
 
        pfsub %mm1, %mm2
590
 
        movq %mm5, 584(%esp)
591
 
        movq %mm4, 576(%esp)
592
 
        movq (%ecx,%edx), %mm5
593
 
        pfadd %mm1, %mm3
594
 
        movq %mm0, 568(%esp)
595
 
        movq %mm6, 624(%esp)
596
 
        movq (%ebx,%ebp), %mm1
597
 
        movq (%ecx,%ebp), %mm0
598
 
        leal (%edx,%edx,8), %ebp
599
 
        movq %mm2, 592(%esp)
600
 
        movq (%ebx,%esi), %mm2
601
 
        movq %mm5, %mm4
602
 
        pfsub %mm7, %mm5
603
 
        movq %mm3, 608(%esp)
 
635
        movq %mm3, 632(%esp)
 
636
        movq (%ecx,%edi), %mm3
 
637
        pfadd %mm4, %mm2
 
638
        movq %mm1, 664(%esp)
 
639
        movq (%ebx,%edi), %mm1
 
640
        pfsub %mm4, %mm5
 
641
        leal (%edx,%edx,4), %edi
 
642
        pfadd %mm2, %mm7
 
643
        movq %mm1, %mm4
 
644
        pfsub %mm2, %mm0
 
645
        movq %mm5, %mm2
 
646
        pfadd %mm3, %mm1
 
647
        pfpnacc %mm6, %mm2
 
648
        pswapd %mm6, %mm6
 
649
        pfsub %mm3, %mm4
 
650
        movq %mm7, 688(%esp)
604
651
        movq (%ecx,%esi), %mm3
605
 
        movq %mm1, %mm6
606
 
        pfadd %mm7, %mm4
607
 
        pfsub %mm0, %mm1
608
 
        pfadd %mm0, %mm6
 
652
        movq (%ebx,%esi), %mm7
 
653
        pfpnacc %mm5, %mm6
 
654
        movq %mm0, 680(%esp)
 
655
        movq %mm2, 648(%esp)
609
656
        movq (%ebx,%ebp), %mm0
610
 
        pswapd %mm5, %mm5
611
 
        movq %mm3, %mm7
612
 
        pfsub %mm2, %mm3
613
 
        pfadd %mm2, %mm7
614
657
        movq (%ecx,%ebp), %mm2
615
 
        leal (%esi,%edi,4), %ebp
616
 
        leal (%edx,%edi,4), %esi
617
 
        leal (%edx,%edx,4), %edi
 
658
        leal (%edx,%edx,2), %ebp
 
659
        movq %mm3, %mm5
 
660
        pfsub %mm7, %mm3
 
661
        movq %mm6, 656(%esp)
 
662
        leal (%ebp,%ebp,4), %esi
 
663
        pfadd %mm7, %mm5
 
664
        movq (%ebx,%edi), %mm7
 
665
        leal (%edx,%edx), %ebp
 
666
        movq %mm2, %mm6
 
667
        pfadd %mm0, %mm2
 
668
        pfsub %mm0, %mm6
618
669
        pxor chs_lo, %mm3
619
 
        movq %mm3, 632(%esp)
620
 
        movq %mm2, %mm3
621
 
        pfadd %mm0, %mm2
622
 
        pfsub %mm0, %mm3
623
 
        movq %mm4, %mm0
624
 
        pfsub %mm7, %mm4
 
670
        movq (%ecx,%edi), %mm0
 
671
        leal (%edx,%esi,2), %edi
 
672
        movq %mm3, 696(%esp)
 
673
        movq %mm0, %mm3
625
674
        pfadd %mm7, %mm0
626
 
        movq %mm2, %mm7
627
 
        pfsubr %mm6, %mm2
628
 
        pfadd %mm6, %mm7
 
675
        pswapd %mm6, %mm6
 
676
        pfsub %mm7, %mm3
 
677
        pxor chs_lo, %mm6
 
678
        movq %mm0, %mm7
 
679
        pfadd %mm5, %mm0
 
680
        pfsub %mm5, %mm7
 
681
        movq %mm4, %mm5
 
682
        pswapd %mm3, %mm3
 
683
        pfsub %mm6, %mm4
 
684
        pfadd %mm6, %mm5
629
685
        movq %mm1, %mm6
630
 
        movq %mm4, 648(%esp)
631
 
        pfpnacc %mm3, %mm6
 
686
        pfadd %mm2, %mm1
 
687
        pfsub %mm2, %mm6
 
688
        pswapd %mm7, %mm2
 
689
        movq %mm4, 704(%esp)
632
690
        movq %mm0, %mm4
633
 
        pswapd %mm3, %mm3
634
 
        pxor chs_hi, %mm2
635
 
        pfpnacc %mm1, %mm3
636
 
        pfadd %mm7, %mm4
637
 
        pfsub %mm7, %mm0
638
 
        movq 632(%esp), %mm7
639
 
        movq %mm6, %mm1
640
 
        movq %mm2, 640(%esp)
641
 
        movq %mm5, %mm2
642
 
        pfnacc %mm3, %mm6
643
 
        pfacc %mm1, %mm3
644
 
        movq %mm4, 696(%esp)
645
 
        movq (%ebx,%ebp), %mm4
646
 
        pfsub %mm7, %mm5
647
 
        movq %mm0, 672(%esp)
648
 
        movq (%ecx,%ebp), %mm1
649
 
        pfadd %mm7, %mm2
650
 
        movq (%ebx,%esi), %mm7
651
 
        leal (%esi,%edx,8), %ebp
652
 
        pfmul KP707106781KP707106781, %mm6
653
 
        pfmul KP707106781KP707106781, %mm3
654
 
        movq %mm4, %mm0
655
 
        movq %mm5, 688(%esp)
656
 
        movq (%ecx,%esi), %mm5
657
 
        pfsub %mm1, %mm4
658
 
        movq %mm2, 664(%esp)
 
691
        movq %mm5, 744(%esp)
 
692
        movq 696(%esp), %mm5
 
693
        pfsubr %mm1, %mm4
659
694
        pfadd %mm1, %mm0
660
 
        movq (%ebx,%edi), %mm1
661
 
        leal (%edx,%edx,2), %esi
662
 
        movq %mm5, %mm2
663
 
        pfadd %mm7, %mm5
664
 
        movq %mm6, 680(%esp)
665
 
        movq %mm3, 656(%esp)
666
 
        movq (%ecx,%edi), %mm6
667
 
        leal (%esi,%esi,4), %edi
668
 
        pfsub %mm7, %mm2
669
 
        movq %mm5, 704(%esp)
670
 
        movq (%ebx,%ebp), %mm7
671
 
        movq (%ecx,%ebp), %mm5
672
 
        leal (%edx,%edi,2), %ebp
673
 
        movq %mm6, %mm3
674
 
        pfsub %mm1, %mm6
675
 
        pswapd %mm2, %mm2
676
 
        pfadd %mm1, %mm3
677
 
        movq %mm5, %mm1
678
 
        pfsub %mm7, %mm5
679
 
        pxor chs_lo, %mm2
680
 
        pswapd %mm6, %mm6
681
 
        pfadd %mm7, %mm1
 
695
        movq %mm3, %mm1
 
696
        pfpnacc %mm6, %mm2
 
697
        pfsub %mm5, %mm3
 
698
        pfpnacc %mm7, %mm6
 
699
        pxor chs_hi, %mm4
 
700
        pfadd %mm5, %mm1
682
701
        movq %mm3, %mm7
683
 
        pxor chs_lo, %mm5
684
 
        pfsub %mm1, %mm7
685
 
        pfadd %mm1, %mm3
686
 
        movq %mm4, %mm1
687
 
        pfsub %mm2, %mm4
688
 
        pfadd %mm2, %mm1
689
 
        movq %mm6, %mm2
690
 
        pfadd %mm5, %mm6
691
 
        pfsub %mm5, %mm2
692
 
        movq %mm4, 712(%esp)
693
 
        movq %mm6, %mm5
694
 
        pfmul KP923879532KP382683432, %mm6
695
 
        movq %mm2, %mm4
696
 
        pfmul KP382683432KP923879532, %mm2
697
 
        pfmul KP382683432KP923879532, %mm5
698
 
        pfmul KP923879532KP382683432, %mm4
699
 
        movq %mm6, 720(%esp)
700
 
        movq %mm2, 736(%esp)
701
 
        movq 704(%esp), %mm6
702
 
        movq %mm0, %mm2
 
702
        pfmul KP923879532KP382683432, %mm3
 
703
        movq %mm6, 784(%esp)
 
704
        movq 544(%esp), %mm6
 
705
        pfmul KP382683432KP923879532, %mm7
 
706
        movq %mm1, %mm5
 
707
        pfmul KP382683432KP923879532, %mm1
 
708
        pfmul KP923879532KP382683432, %mm5
 
709
        movq %mm3, 712(%esp)
 
710
        movq %mm7, 736(%esp)
 
711
        movq %mm1, 720(%esp)
 
712
        movq 688(%esp), %mm3
 
713
        movq 616(%esp), %mm7
 
714
        movq %mm6, %mm1
 
715
        pfsub %mm3, %mm6
703
716
        movq %mm5, 728(%esp)
704
 
        movq %mm3, %mm5
705
 
        pfsub %mm6, %mm0
706
 
        pfadd %mm6, %mm2
707
 
        movq %mm0, %mm6
708
 
        pfadd %mm2, %mm5
709
 
        pfpnacc %mm7, %mm6
 
717
        pfadd %mm3, %mm1
 
718
        movq %mm7, %mm5
 
719
        pfsub %mm0, %mm7
 
720
        movq %mm6, %mm3
 
721
        pfadd %mm0, %mm5
 
722
        pfpnacc %mm7, %mm3
710
723
        pswapd %mm7, %mm7
711
 
        pfsubr %mm2, %mm3
712
 
        movq 696(%esp), %mm2
713
 
        pfpnacc %mm0, %mm7
714
 
        movq %mm6, 744(%esp)
715
 
        movq 552(%esp), %mm6
716
 
        movq %mm2, %mm0
717
 
        pfsub %mm5, %mm2
 
724
        pfpnacc %mm6, %mm7
 
725
        movq %mm5, %mm0
 
726
        pfadd %mm1, %mm5
 
727
        movq %mm3, %mm6
 
728
        pfsub %mm1, %mm0
 
729
        movq 608(%esp), %mm1
 
730
        pfacc %mm7, %mm3
 
731
        pfnacc %mm6, %mm7
 
732
        movq %mm5, 776(%esp)
 
733
        pswapd %mm1, %mm1
 
734
        movq %mm0, 752(%esp)
 
735
        pfmul KP707106781KP707106781, %mm3
 
736
        movq %mm1, %mm5
 
737
        pfsub %mm4, %mm1
 
738
        pfmul KP707106781KP707106781, %mm7
 
739
        pfadd %mm4, %mm5
 
740
        movq 536(%esp), %mm4
 
741
        movq %mm1, %mm6
 
742
        pfmul KP923879532KP382683432, %mm1
 
743
        movq %mm3, 760(%esp)
 
744
        movq 680(%esp), %mm3
 
745
        movq %mm5, %mm0
 
746
        movq %mm7, 768(%esp)
 
747
        movq %mm4, %mm7
 
748
        pfmul KP923879532KP382683432, %mm5
 
749
        pfmul KP382683432KP923879532, %mm0
 
750
        pfmul KP382683432KP923879532, %mm6
 
751
        pswapd %mm3, %mm3
718
752
        pxor chs_hi, %mm3
719
 
        movq %mm7, 752(%esp)
720
 
        movq 624(%esp), %mm7
721
 
        pfadd %mm5, %mm0
722
 
        movq %mm6, %mm5
723
 
        pfadd %mm7, %mm5
724
 
        pfsub %mm7, %mm6
725
 
        movq %mm0, %mm7
726
 
        pfsub %mm5, %mm7
727
 
        pfadd %mm5, %mm0
728
 
        movq %mm6, %mm5
729
 
        pfpnacc %mm2, %mm5
730
 
        pswapd %mm2, %mm2
731
 
        movq %mm7, 760(%esp)
732
 
        pfpnacc %mm6, %mm2
733
 
        movq %mm0, 816(%esp)
734
 
        movq 688(%esp), %mm6
735
 
        movq 680(%esp), %mm0
736
 
        movq %mm5, %mm7
737
 
        pfacc %mm2, %mm5
738
 
        pfnacc %mm7, %mm2
739
 
        movq %mm6, %mm7
740
 
        pfadd %mm0, %mm6
741
 
        pfsub %mm0, %mm7
742
 
        movq %mm1, %mm0
743
 
        pfmul KP923879532KP382683432, %mm1
744
 
        pfmul KP707106781KP707106781, %mm5
 
753
        pfadd %mm3, %mm4
 
754
        pfsub %mm3, %mm7
 
755
        movq %mm4, %mm3
 
756
        pfmul KP382683432KP923879532, %mm4
 
757
        pfmul KP923879532KP382683432, %mm3
 
758
        pfpnacc %mm4, %mm5
 
759
        movq 488(%esp), %mm4
 
760
        pfpnacc %mm0, %mm3
 
761
        movq %mm7, %mm0
 
762
        pfmul KP923879532KP382683432, %mm7
745
763
        pfmul KP382683432KP923879532, %mm0
746
 
        pfmul KP707106781KP707106781, %mm2
747
 
        movq %mm5, 776(%esp)
748
 
        movq 736(%esp), %mm5
749
 
        pfpnacc %mm4, %mm0
750
 
        movq %mm2, 768(%esp)
751
 
        movq %mm6, %mm2
752
 
        pfpnacc %mm1, %mm5
753
 
        movq %mm7, %mm1
754
 
        movq %mm5, %mm4
755
 
        pfacc %mm0, %mm5
756
 
        pfnacc %mm4, %mm0
757
 
        movq 608(%esp), %mm4
758
 
        pfsub %mm5, %mm6
759
 
        pfadd %mm5, %mm2
760
 
        pfadd %mm0, %mm7
 
764
        movq %mm5, 808(%esp)
761
765
        movq %mm4, %mm5
762
 
        pfmul KP923879532KP382683432, %mm4
763
 
        pfsub %mm0, %mm1
 
766
        movq %mm3, 816(%esp)
 
767
        movq 528(%esp), %mm3
 
768
        pfpnacc %mm7, %mm6
 
769
        movq 520(%esp), %mm7
 
770
        pswapd %mm3, %mm3
 
771
        pfpnacc %mm1, %mm0
 
772
        movq 512(%esp), %mm1
 
773
        pxor chs_lo, %mm3
764
774
        movq %mm6, 792(%esp)
765
 
        movq 616(%esp), %mm0
766
 
        pfmul KP382683432KP923879532, %mm5
767
 
        movq %mm2, 784(%esp)
768
 
        movq %mm7, 800(%esp)
769
 
        movq 544(%esp), %mm2
770
 
        movq 496(%esp), %mm7
771
 
        pswapd %mm0, %mm6
772
 
        pfmul KP923879532KP382683432, %mm0
773
 
        movq %mm1, 808(%esp)
774
 
        pfmul KP923879532KP382683432, %mm6
775
 
        pswapd %mm2, %mm2
 
775
        movq %mm7, %mm6
 
776
        movq %mm0, 800(%esp)
 
777
        pfnacc %mm1, %mm7
 
778
        pfacc %mm6, %mm1
 
779
        pfsub %mm3, %mm4
 
780
        pfadd %mm3, %mm5
 
781
        movq 672(%esp), %mm3
 
782
        pfmul KP707106781KP707106781, %mm7
 
783
        pfmul KP707106781KP707106781, %mm1
 
784
        movq %mm4, 864(%esp)
 
785
        movq 664(%esp), %mm4
 
786
        pswapd %mm3, %mm0
 
787
        pfmul KP382683432KP923879532, %mm3
 
788
        pfmul KP382683432KP923879532, %mm0
 
789
        movq %mm4, %mm6
 
790
        pfmul KP923879532KP382683432, %mm4
 
791
        movq %mm1, 824(%esp)
 
792
        movq %mm5, %mm1
 
793
        pfadd %mm7, %mm5
 
794
        pfmul KP382683432KP923879532, %mm6
 
795
        pfsub %mm7, %mm1
 
796
        movq %mm5, %mm7
 
797
        pfpnacc %mm4, %mm0
 
798
        pfpnacc %mm3, %mm6
 
799
        movq %mm1, %mm3
 
800
        movq %mm6, %mm4
 
801
        pfnacc %mm0, %mm6
 
802
        pfacc %mm4, %mm0
 
803
        movq 600(%esp), %mm4
 
804
        pfadd %mm6, %mm1
 
805
        pfsub %mm6, %mm3
 
806
        movq 592(%esp), %mm6
 
807
        pswapd %mm4, %mm4
 
808
        pfadd %mm0, %mm5
 
809
        pfsub %mm0, %mm7
 
810
        movq %mm1, 856(%esp)
 
811
        movq 784(%esp), %mm1
 
812
        movq %mm4, %mm0
 
813
        movq %mm3, 848(%esp)
 
814
        movq %mm2, %mm3
 
815
        pfsub %mm6, %mm4
 
816
        pfadd %mm6, %mm0
 
817
        movq %mm5, 832(%esp)
 
818
        movq %mm7, 840(%esp)
 
819
        pfacc %mm1, %mm2
 
820
        pfnacc %mm3, %mm1
 
821
        movq %mm4, %mm7
 
822
        movq %mm0, %mm5
 
823
        pfmul KP707106781KP707106781, %mm2
 
824
        pfmul KP707106781KP707106781, %mm1
 
825
        pfsub %mm2, %mm0
 
826
        pfadd %mm1, %mm4
 
827
        pfsub %mm1, %mm7
 
828
        pfadd %mm2, %mm5
 
829
        pswapd %mm0, %mm3
 
830
        pfmul KP555570233KP831469612, %mm0
 
831
        movq %mm4, %mm6
 
832
        pfmul KP831469612KP555570233, %mm4
 
833
        pfmul KP555570233KP831469612, %mm3
776
834
        movq %mm7, %mm1
777
 
        pxor chs_lo, %mm2
778
 
        pfpnacc %mm0, %mm4
779
 
        movq 536(%esp), %mm0
780
 
        pfpnacc %mm5, %mm6
781
 
        movq 528(%esp), %mm5
782
 
        pfsub %mm2, %mm1
783
 
        pfadd %mm2, %mm7
784
 
        movq %mm0, %mm2
785
 
        pfacc %mm5, %mm0
786
 
        pfnacc %mm2, %mm5
787
 
        movq %mm1, %mm2
788
 
        pfmul KP707106781KP707106781, %mm0
789
 
        pfmul KP707106781KP707106781, %mm5
790
 
        pfsub %mm0, %mm2
791
 
        pfadd %mm0, %mm1
792
 
        movq %mm4, %mm0
793
 
        pfnacc %mm6, %mm4
 
835
        pfmul KP195090322KP980785280, %mm7
 
836
        pswapd %mm5, %mm2
 
837
        pfmul KP555570233KP831469612, %mm6
 
838
        pfmul KP980785280KP195090322, %mm2
 
839
        movq %mm0, 872(%esp)
 
840
        movq %mm4, 888(%esp)
 
841
        movq %mm3, 880(%esp)
 
842
        movq %mm7, 904(%esp)
 
843
        movq 504(%esp), %mm0
 
844
        movq 496(%esp), %mm4
 
845
        movq 656(%esp), %mm3
 
846
        pfmul KP980785280KP195090322, %mm5
 
847
        pswapd %mm0, %mm0
 
848
        movq %mm6, 896(%esp)
 
849
        movq 648(%esp), %mm6
 
850
        movq %mm4, %mm7
 
851
        pfmul KP980785280KP195090322, %mm1
 
852
        pxor chs_hi, %mm0
 
853
        pfadd %mm0, %mm7
 
854
        pfsub %mm0, %mm4
 
855
        movq %mm3, %mm0
 
856
        pfnacc %mm6, %mm3
794
857
        pfacc %mm0, %mm6
795
 
        movq %mm2, %mm0
796
 
        pfadd %mm4, %mm2
797
 
        pfsub %mm4, %mm0
798
 
        movq %mm1, %mm4
799
 
        pfadd %mm6, %mm1
800
 
        pfsub %mm6, %mm4
 
858
        movq %mm7, %mm0
 
859
        pfmul KP707106781KP707106781, %mm3
 
860
        pfmul KP707106781KP707106781, %mm6
 
861
        pfadd %mm6, %mm7
 
862
        pfsub %mm6, %mm0
801
863
        movq %mm7, %mm6
802
 
        pfsub %mm5, %mm7
803
 
        movq %mm2, 832(%esp)
804
 
        movq 600(%esp), %mm2
805
 
        pfadd %mm5, %mm6
806
 
        movq %mm0, 824(%esp)
807
 
        movq %mm1, 848(%esp)
808
 
        movq %mm4, 840(%esp)
809
 
        movq 592(%esp), %mm5
810
 
        pswapd %mm2, %mm0
811
 
        pfmul KP382683432KP923879532, %mm2
812
 
        movq %mm5, %mm1
813
 
        pfmul KP382683432KP923879532, %mm5
814
 
        pfmul KP382683432KP923879532, %mm0
815
 
        pfmul KP923879532KP382683432, %mm1
816
 
        pfpnacc %mm2, %mm5
817
 
        movq %mm6, %mm2
818
 
        pfpnacc %mm1, %mm0
819
 
        movq %mm7, %mm1
820
 
        movq %mm0, %mm4
821
 
        pfacc %mm5, %mm0
822
 
        pfnacc %mm4, %mm5
823
 
        movq 672(%esp), %mm4
824
 
        pfsub %mm0, %mm2
825
 
        pfadd %mm0, %mm6
826
 
        pfsub %mm5, %mm7
827
 
        pswapd %mm4, %mm4
828
 
        pfadd %mm5, %mm1
829
 
        movq %mm2, 864(%esp)
830
 
        movq 584(%esp), %mm2
831
 
        movq %mm4, %mm0
832
 
        pfsub %mm3, %mm4
833
 
        movq %mm6, 856(%esp)
834
 
        movq %mm7, 944(%esp)
835
 
        movq 520(%esp), %mm7
836
 
        pfadd %mm3, %mm0
837
 
        movq %mm1, 872(%esp)
838
 
        pswapd %mm2, %mm2
839
 
        movq %mm4, %mm5
840
 
        pfmul KP923879532KP382683432, %mm4
841
 
        pxor chs_hi, %mm2
842
 
        movq %mm7, %mm3
843
 
        movq %mm0, %mm6
844
 
        pfmul KP382683432KP923879532, %mm0
845
 
        pfmul KP923879532KP382683432, %mm6
846
 
        pfmul KP382683432KP923879532, %mm5
847
 
        pfsub %mm2, %mm7
848
 
        pfadd %mm2, %mm3
849
 
        movq %mm7, %mm1
850
 
        pfmul KP382683432KP923879532, %mm7
851
 
        movq %mm3, %mm2
852
 
        pfmul KP923879532KP382683432, %mm3
853
 
        pfmul KP923879532KP382683432, %mm1
854
 
        pfmul KP382683432KP923879532, %mm2
855
 
        pfpnacc %mm4, %mm7
856
 
        movq 712(%esp), %mm4
857
 
        pfpnacc %mm0, %mm3
858
 
        movq 656(%esp), %mm0
859
 
        pfpnacc %mm1, %mm5
860
 
        movq 664(%esp), %mm1
 
864
        pfmul KP195090322KP980785280, %mm7
 
865
        pfmul KP980785280KP195090322, %mm6
 
866
        pfpnacc %mm7, %mm5
861
867
        pfpnacc %mm2, %mm6
862
868
        movq %mm4, %mm2
863
 
        pfmul KP382683432KP923879532, %mm4
864
 
        movq %mm7, 912(%esp)
865
 
        movq %mm3, 880(%esp)
866
 
        pfmul KP923879532KP382683432, %mm2
867
 
        movq %mm1, %mm7
868
 
        pfadd %mm0, %mm1
869
 
        movq %mm6, 888(%esp)
870
 
        movq 720(%esp), %mm6
871
 
        pfsub %mm0, %mm7
872
 
        movq %mm5, 920(%esp)
873
 
        movq %mm1, %mm5
874
 
        pfpnacc %mm4, %mm6
875
 
        movq 648(%esp), %mm4
876
 
        pfpnacc 728(%esp), %mm2
877
 
        movq %mm7, %mm0
878
 
        movq %mm6, %mm3
879
 
        pswapd %mm4, %mm4
880
 
        pfacc %mm2, %mm6
881
 
        pfnacc %mm3, %mm2
882
 
        movq 640(%esp), %mm3
883
 
        pfsub %mm6, %mm5
884
 
        pfadd %mm6, %mm1
885
 
        movq %mm4, %mm6
886
 
        pfsub %mm2, %mm0
887
 
        pfadd %mm2, %mm7
888
 
        movq %mm5, 928(%esp)
889
 
        movq 752(%esp), %mm2
890
 
        movq 744(%esp), %mm5
891
869
        pfsub %mm3, %mm4
892
 
        movq %mm1, 936(%esp)
893
 
        pfadd %mm3, %mm6
894
 
        movq %mm0, 896(%esp)
895
 
        movq %mm2, %mm1
896
 
        movq %mm7, 904(%esp)
897
 
        pfacc %mm5, %mm2
898
 
        movq %mm4, %mm0
899
 
        pfnacc %mm1, %mm5
900
 
        movq %mm6, %mm3
901
 
        pfmul KP707106781KP707106781, %mm2
902
 
        pfmul KP707106781KP707106781, %mm5
903
 
        pfsub %mm2, %mm6
904
 
        pfadd %mm5, %mm4
905
 
        pfadd %mm2, %mm3
906
 
        pfsub %mm5, %mm0
907
 
        pswapd %mm6, %mm7
908
 
        pfmul KP555570233KP831469612, %mm6
909
 
        movq %mm4, %mm1
910
 
        pfmul KP555570233KP831469612, %mm4
911
 
        pfmul KP555570233KP831469612, %mm7
912
 
        pswapd %mm3, %mm2
913
 
        pfmul KP831469612KP555570233, %mm1
 
870
        pfadd %mm3, %mm2
 
871
        movq %mm5, 944(%esp)
914
872
        movq %mm0, %mm5
915
 
        pfmul KP980785280KP195090322, %mm2
916
 
        pfmul KP195090322KP980785280, %mm5
917
 
        movq %mm6, 976(%esp)
918
 
        movq %mm4, 952(%esp)
919
 
        movq %mm7, 968(%esp)
920
 
        movq 576(%esp), %mm6
921
 
        movq 568(%esp), %mm4
922
 
        pfmul KP980785280KP195090322, %mm0
923
 
        movq %mm1, 960(%esp)
924
 
        movq 512(%esp), %mm1
925
 
        movq %mm6, %mm7
926
 
        movq %mm2, 984(%esp)
927
 
        movq 504(%esp), %mm2
928
 
        pfnacc %mm4, %mm6
929
 
        pfmul KP980785280KP195090322, %mm3
930
 
        pfacc %mm7, %mm4
931
 
        pswapd %mm1, %mm1
932
 
        movq %mm2, %mm7
933
 
        pxor chs_hi, %mm1
934
 
        pfmul KP707106781KP707106781, %mm6
935
 
        pfmul KP707106781KP707106781, %mm4
936
 
        pfsub %mm1, %mm2
937
 
        pfadd %mm1, %mm7
938
 
        movq %mm2, %mm1
939
 
        pfsub %mm6, %mm2
940
 
        pfadd %mm6, %mm1
941
 
        movq %mm2, %mm6
942
 
        pfmul KP195090322KP980785280, %mm2
943
 
        pfmul KP980785280KP195090322, %mm6
944
 
        pfpnacc %mm0, %mm2
945
 
        pfpnacc %mm6, %mm5
946
 
        movq %mm7, %mm6
947
 
        pfadd %mm4, %mm7
948
 
        pfsub %mm4, %mm6
949
 
        movq %mm2, 992(%esp)
950
 
        movq %mm5, 1000(%esp)
951
 
        movq 976(%esp), %mm2
952
 
        movq %mm1, %mm5
953
 
        pfmul KP555570233KP831469612, %mm1
954
 
        movq %mm7, %mm0
 
873
        pfmul KP555570233KP831469612, %mm0
 
874
        movq %mm6, 968(%esp)
 
875
        movq 888(%esp), %mm6
 
876
        movq %mm4, %mm7
 
877
        pfmul KP195090322KP980785280, %mm4
 
878
        movq %mm2, %mm3
 
879
        pfmul KP555570233KP831469612, %mm2
955
880
        pfmul KP980785280KP195090322, %mm7
956
 
        movq %mm6, %mm4
957
 
        pfmul KP555570233KP831469612, %mm6
958
 
        pfmul KP195090322KP980785280, %mm0
959
 
        pfmul KP831469612KP555570233, %mm4
 
881
        pfmul KP831469612KP555570233, %mm3
 
882
        pfpnacc 880(%esp), %mm0
960
883
        pfmul KP831469612KP555570233, %mm5
961
 
        pfpnacc 984(%esp), %mm7
962
 
        pfpnacc 968(%esp), %mm6
963
 
        pfpnacc %mm0, %mm3
964
 
        movq 944(%esp), %mm0
965
 
        pfpnacc %mm4, %mm2
966
 
        pfpnacc 952(%esp), %mm5
967
 
        movq %mm3, 1064(%esp)
968
 
        movq 272(%esp), %mm3
 
884
        pfpnacc %mm1, %mm4
 
885
        movq 904(%esp), %mm1
 
886
        pfpnacc %mm2, %mm6
 
887
        movq 744(%esp), %mm2
 
888
        pfpnacc 896(%esp), %mm3
 
889
        pfpnacc %mm7, %mm1
 
890
        movq %mm4, 920(%esp)
 
891
        movq %mm6, 928(%esp)
 
892
        movq 584(%esp), %mm4
 
893
        movq %mm2, %mm7
 
894
        movq 576(%esp), %mm6
 
895
        pfmul KP382683432KP923879532, %mm2
 
896
        movq %mm0, 1000(%esp)
 
897
        pfmul KP923879532KP382683432, %mm7
 
898
        movq %mm1, 912(%esp)
 
899
        movq %mm4, %mm1
 
900
        pfsub %mm6, %mm4
 
901
        movq %mm3, 936(%esp)
 
902
        movq 872(%esp), %mm3
 
903
        pfadd %mm6, %mm1
 
904
        movq 736(%esp), %mm6
 
905
        pfpnacc 712(%esp), %mm2
 
906
        pfpnacc %mm5, %mm3
 
907
        pfpnacc %mm7, %mm6
 
908
        movq %mm4, %mm7
 
909
        movq %mm1, %mm5
 
910
        movq %mm3, 976(%esp)
 
911
        movq 560(%esp), %mm3
 
912
        movq %mm6, %mm0
 
913
        pfacc %mm2, %mm6
 
914
        pfnacc %mm0, %mm2
 
915
        movq 568(%esp), %mm0
 
916
        pfadd %mm6, %mm1
 
917
        pfsub %mm6, %mm5
 
918
        movq %mm3, %mm6
 
919
        pfadd %mm2, %mm7
 
920
        pfsub %mm2, %mm4
 
921
        movq %mm1, 952(%esp)
 
922
        movq 704(%esp), %mm2
 
923
        pfsub %mm0, %mm3
 
924
        pfadd %mm0, %mm6
 
925
        movq %mm5, 960(%esp)
 
926
        movq 728(%esp), %mm0
 
927
        movq %mm2, %mm1
 
928
        pfmul KP923879532KP382683432, %mm2
 
929
        movq %mm4, 1120(%esp)
 
930
        pfmul KP382683432KP923879532, %mm1
 
931
        movq %mm6, %mm4
 
932
        pfpnacc 720(%esp), %mm2
 
933
        pfpnacc %mm1, %mm0
 
934
        movq %mm3, %mm1
 
935
        movq %mm0, %mm5
 
936
        pfacc %mm2, %mm0
 
937
        pfnacc %mm5, %mm2
 
938
        movq 640(%esp), %mm5
 
939
        pfadd %mm0, %mm6
 
940
        pfsub %mm0, %mm4
 
941
        pfadd %mm2, %mm3
 
942
        pswapd %mm5, %mm0
 
943
        pfsub %mm2, %mm1
 
944
        movq 632(%esp), %mm2
 
945
        pfmul KP923879532KP382683432, %mm5
 
946
        movq %mm6, 1008(%esp)
 
947
        pfmul KP923879532KP382683432, %mm0
 
948
        movq %mm4, 1112(%esp)
 
949
        movq %mm3, 992(%esp)
 
950
        movq 856(%esp), %mm4
 
951
        movq %mm2, %mm6
 
952
        pfmul KP382683432KP923879532, %mm2
 
953
        movq %mm1, 984(%esp)
 
954
        pfmul KP923879532KP382683432, %mm6
 
955
        movq %mm4, %mm3
 
956
        pfmul KP634393284KP773010453, %mm4
 
957
        pfmul KP773010453KP634393284, %mm3
 
958
        pfpnacc %mm2, %mm0
 
959
        movq 864(%esp), %mm2
 
960
        pfpnacc %mm5, %mm6
 
961
        movq 824(%esp), %mm5
 
962
        movq %mm6, %mm1
 
963
        pfnacc %mm0, %mm6
 
964
        pfacc %mm1, %mm0
 
965
        movq %mm2, %mm1
 
966
        pfsub %mm5, %mm2
 
967
        pfadd %mm5, %mm1
 
968
        movq %mm1, %mm5
 
969
        pfsub %mm0, %mm1
 
970
        pfadd %mm0, %mm5
 
971
        movq %mm2, %mm0
 
972
        pfsub %mm6, %mm2
 
973
        pfadd %mm6, %mm0
 
974
        movq %mm1, 1072(%esp)
 
975
        movq %mm5, 1048(%esp)
 
976
        movq %mm2, 1016(%esp)
 
977
        movq 272(%esp), %mm6
 
978
        movq 776(%esp), %mm1
 
979
        movq 248(%eax), %mm2
 
980
        movq %mm6, %mm5
 
981
        movq %mm0, 1024(%esp)
 
982
        pfadd %mm1, %mm6
 
983
        pfsub %mm1, %mm5
 
984
        movq %mm6, 1032(%esp)
 
985
        movq 752(%esp), %mm1
 
986
        movq 264(%esp), %mm6
 
987
        pswapd %mm5, %mm0
 
988
        pswapd %mm1, %mm1
 
989
        pfmul %mm2, %mm5
 
990
        pfmul %mm2, %mm0
 
991
        pxor chs_hi, %mm1
 
992
        movq %mm6, %mm2
 
993
        pfpnacc %mm5, %mm0
 
994
        movq 120(%eax), %mm5
 
995
        pfadd %mm1, %mm6
 
996
        pfsub %mm1, %mm2
 
997
        movq %mm0, 1040(%esp)
 
998
        movq 376(%eax), %mm1
 
999
        pswapd %mm6, %mm0
 
1000
        pfmul %mm5, %mm6
 
1001
        pfmul %mm5, %mm0
 
1002
        pswapd %mm2, %mm5
 
1003
        pfmul %mm1, %mm2
 
1004
        pfmul %mm1, %mm5
 
1005
        movq 216(%esp), %mm1
 
1006
        pfpnacc %mm6, %mm0
 
1007
        movq 240(%esp), %mm6
 
1008
        pswapd %mm1, %mm1
 
1009
        pfpnacc %mm2, %mm5
 
1010
        pxor chs_hi, %mm1
 
1011
        movq %mm0, 1056(%esp)
 
1012
        movq %mm6, %mm2
 
1013
        movq %mm5, 1064(%esp)
 
1014
        movq 768(%esp), %mm0
 
1015
        pfsub %mm1, %mm6
 
1016
        pfadd %mm1, %mm2
 
1017
        movq 184(%eax), %mm1
 
1018
        movq %mm6, %mm5
 
1019
        pfadd %mm0, %mm6
 
1020
        pfsub %mm0, %mm5
 
1021
        pswapd %mm6, %mm0
 
1022
        pfmul %mm1, %mm6
 
1023
        pfmul %mm1, %mm0
 
1024
        movq 440(%eax), %mm1
 
1025
        pfpnacc %mm6, %mm0
 
1026
        pswapd %mm5, %mm6
 
1027
        pfmul %mm1, %mm5
 
1028
        pfmul %mm1, %mm6
 
1029
        movq %mm0, 1080(%esp)
 
1030
        movq 760(%esp), %mm1
 
1031
        movq %mm2, %mm0
 
1032
        pfpnacc %mm5, %mm6
 
1033
        movq 56(%eax), %mm5
 
1034
        pfadd %mm1, %mm2
 
1035
        pfsub %mm1, %mm0
 
1036
        movq %mm6, 1096(%esp)
 
1037
        movq 312(%eax), %mm6
 
1038
        pswapd %mm2, %mm1
 
1039
        pfmul %mm5, %mm2
 
1040
        pfmul %mm5, %mm1
 
1041
        pswapd %mm0, %mm5
 
1042
        pfmul %mm6, %mm0
 
1043
        pfmul %mm6, %mm5
 
1044
        movq 480(%esp), %mm6
 
1045
        pfpnacc %mm2, %mm1
 
1046
        movq 440(%esp), %mm2
 
1047
        pfpnacc %mm0, %mm5
 
1048
        movq %mm6, %mm0
 
1049
        movq %mm1, 1104(%esp)
 
1050
        pfacc %mm2, %mm6
 
1051
        movq 304(%esp), %mm1
 
1052
        pfnacc %mm0, %mm2
 
1053
        movq %mm5, 1088(%esp)
 
1054
        movq 432(%esp), %mm0
 
1055
        movq %mm1, %mm5
 
1056
        pfadd %mm0, %mm1
 
1057
        pfsub %mm0, %mm5
 
1058
        movq %mm1, %mm0
 
1059
        pfsub %mm6, %mm1
 
1060
        pfadd %mm6, %mm0
 
1061
        movq %mm7, %mm6
 
1062
        pfmul KP634393284KP773010453, %mm7
 
1063
        pfmul KP773010453KP634393284, %mm6
 
1064
        pfpnacc %mm7, %mm3
 
1065
        pfpnacc %mm4, %mm6
969
1066
        movq %mm0, %mm4
970
 
        movq %mm2, 1048(%esp)
971
 
        movq %mm7, 1056(%esp)
972
 
        movq %mm6, 1040(%esp)
973
 
        movq 816(%esp), %mm2
974
 
        movq 960(%esp), %mm7
975
 
        pfmul KP995184726KP098017140, %mm4
976
 
        movq %mm3, %mm6
977
 
        movq %mm5, 1008(%esp)
978
 
        movq 480(%esp), %mm5
979
 
        pfsub %mm2, %mm3
 
1067
        movq %mm3, %mm7
 
1068
        pfacc %mm6, %mm3
 
1069
        pfnacc %mm7, %mm6
 
1070
        movq %mm5, %mm7
 
1071
        pfsub %mm2, %mm5
 
1072
        pfadd %mm2, %mm7
 
1073
        movq 848(%esp), %mm2
 
1074
        pfsub %mm3, %mm0
 
1075
        pfadd %mm3, %mm4
 
1076
        movq %mm1, %mm3
 
1077
        pfsub %mm6, %mm1
 
1078
        pfadd %mm6, %mm3
 
1079
        movq %mm0, 1136(%esp)
 
1080
        movq 1120(%esp), %mm6
 
1081
        movq %mm2, %mm0
 
1082
        pfmul KP995184726KP098017140, %mm2
 
1083
        movq %mm4, 1128(%esp)
980
1084
        pfmul KP098017140KP995184726, %mm0
981
 
        pfpnacc %mm1, %mm7
982
 
        movq 248(%eax), %mm1
983
 
        pfadd %mm2, %mm6
984
 
        pswapd %mm3, %mm2
985
 
        movq %mm7, 1032(%esp)
986
 
        pfmul %mm1, %mm3
987
 
        movq 488(%esp), %mm7
988
 
        pfmul %mm1, %mm2
989
 
        movq %mm6, 1016(%esp)
990
 
        movq 288(%esp), %mm6
 
1085
        movq %mm1, 1160(%esp)
991
1086
        movq %mm7, %mm1
992
 
        pfpnacc %mm3, %mm2
993
 
        movq 472(%esp), %mm3
994
 
        pfsub %mm6, %mm7
995
 
        pfadd %mm6, %mm1
996
 
        movq %mm5, %mm6
997
 
        pfnacc %mm3, %mm5
998
 
        movq %mm2, 1024(%esp)
999
 
        pfacc %mm6, %mm3
1000
 
        movq 808(%esp), %mm6
1001
 
        movq %mm7, %mm2
1002
 
        pfsub %mm5, %mm2
1003
 
        pfadd %mm5, %mm7
1004
 
        movq %mm6, %mm5
1005
 
        pfmul KP098017140KP995184726, %mm6
1006
 
        pfmul KP995184726KP098017140, %mm5
1007
 
        pfpnacc %mm4, %mm6
1008
 
        pfpnacc %mm5, %mm0
1009
 
        movq %mm2, %mm5
1010
1087
        movq %mm6, %mm4
1011
 
        pfnacc %mm0, %mm6
1012
 
        pfacc %mm4, %mm0
1013
 
        movq %mm7, %mm4
1014
 
        pfsub %mm6, %mm2
1015
 
        pfsub %mm0, %mm7
1016
 
        pfadd %mm0, %mm4
1017
 
        movq 800(%esp), %mm0
1018
 
        pfadd %mm6, %mm5
1019
 
        movq %mm1, %mm6
1020
 
        pfsub %mm3, %mm1
1021
 
        movq %mm2, 1144(%esp)
1022
 
        movq %mm7, 1072(%esp)
1023
 
        movq 872(%esp), %mm7
1024
 
        pfadd %mm3, %mm6
1025
 
        movq %mm0, %mm2
1026
 
        pfmul KP773010453KP634393284, %mm0
1027
 
        movq %mm4, 1080(%esp)
1028
 
        movq %mm5, 1136(%esp)
1029
 
        movq 792(%esp), %mm5
1030
 
        pfmul KP634393284KP773010453, %mm2
1031
 
        movq %mm7, %mm3
1032
 
        pfmul KP773010453KP634393284, %mm7
1033
 
        pfmul KP634393284KP773010453, %mm3
1034
 
        pswapd %mm5, %mm4
1035
 
        pfmul KP471396736KP881921264, %mm5
1036
 
        pfmul KP471396736KP881921264, %mm4
1037
 
        pfpnacc %mm2, %mm7
1038
 
        pfpnacc %mm3, %mm0
1039
 
        movq %mm1, %mm3
1040
 
        movq %mm0, %mm2
1041
 
        pfnacc %mm7, %mm0
1042
 
        pfacc %mm2, %mm7
1043
 
        movq %mm6, %mm2
1044
 
        pfsub %mm0, %mm3
1045
 
        pfadd %mm0, %mm1
1046
 
        movq 760(%esp), %mm0
1047
 
        pfsub %mm7, %mm2
1048
 
        pfadd %mm7, %mm6
1049
 
        movq %mm3, 1120(%esp)
1050
 
        movq 264(%esp), %mm7
1051
 
        pswapd %mm0, %mm0
1052
 
        movq %mm1, 1128(%esp)
1053
 
        movq %mm2, 1096(%esp)
1054
 
        pxor chs_hi, %mm0
1055
 
        movq 376(%eax), %mm1
1056
 
        movq %mm7, %mm3
1057
 
        movq %mm6, 1088(%esp)
1058
 
        movq 120(%eax), %mm6
1059
 
        pfsub %mm0, %mm3
1060
 
        pfadd %mm0, %mm7
1061
 
        pswapd %mm3, %mm2
1062
 
        pfmul %mm1, %mm3
1063
 
        pswapd %mm7, %mm0
1064
 
        pfmul %mm6, %mm7
1065
 
        pfmul %mm1, %mm2
1066
 
        movq 432(%esp), %mm1
1067
 
        pfmul %mm6, %mm0
1068
 
        movq 280(%esp), %mm6
1069
 
        pfpnacc %mm3, %mm2
1070
 
        movq %mm1, %mm3
1071
 
        pfpnacc %mm7, %mm0
1072
 
        movq 424(%esp), %mm7
1073
 
        pfsub %mm6, %mm1
1074
 
        pfadd %mm6, %mm3
1075
 
        movq %mm2, 1112(%esp)
1076
 
        movq 400(%esp), %mm6
1077
 
        movq %mm7, %mm2
1078
 
        movq %mm0, 1104(%esp)
1079
 
        movq %mm1, %mm0
1080
 
        pfnacc %mm6, %mm7
1081
 
        pfacc %mm2, %mm6
1082
 
        movq 864(%esp), %mm2
1083
 
        pfadd %mm7, %mm1
1084
 
        pfsub %mm7, %mm0
1085
 
        movq %mm2, %mm7
1086
 
        pfmul KP881921264KP471396736, %mm2
1087
 
        pfmul KP471396736KP881921264, %mm7
1088
 
        pfpnacc %mm2, %mm5
1089
 
        pfpnacc %mm4, %mm7
1090
 
        movq %mm0, %mm4
1091
 
        movq %mm5, %mm2
1092
 
        pfnacc %mm7, %mm5
1093
 
        pfacc %mm2, %mm7
1094
 
        movq %mm1, %mm2
1095
 
        pfadd %mm5, %mm0
1096
 
        pfsub %mm5, %mm4
1097
 
        movq %mm3, %mm5
1098
 
        pfsub %mm7, %mm2
1099
 
        pfadd %mm7, %mm1
1100
 
        movq 856(%esp), %mm7
1101
 
        pfadd %mm6, %mm3
1102
 
        movq %mm0, 1160(%esp)
1103
 
        pfsub %mm6, %mm5
1104
 
        movq %mm4, 1152(%esp)
1105
 
        movq %mm2, 1184(%esp)
1106
 
        movq 784(%esp), %mm6
1107
 
        movq %mm7, %mm0
1108
 
        pfmul KP290284677KP956940335, %mm7
1109
 
        movq %mm1, 1192(%esp)
1110
 
        pswapd %mm6, %mm4
1111
 
        pfmul KP956940335KP290284677, %mm0
1112
 
        movq %mm5, %mm1
1113
 
        pfmul KP956940335KP290284677, %mm6
1114
 
        pfmul KP956940335KP290284677, %mm4
1115
 
        pfpnacc %mm7, %mm6
1116
 
        movq %mm3, %mm7
1117
 
        pfpnacc %mm4, %mm0
1118
 
        movq 416(%esp), %mm4
1119
 
        movq %mm6, %mm2
1120
 
        pfnacc %mm0, %mm6
1121
 
        pfacc %mm2, %mm0
1122
 
        movq 392(%esp), %mm2
1123
 
        pfsub %mm6, %mm5
1124
 
        pfsub %mm0, %mm7
1125
 
        pfadd %mm0, %mm3
1126
 
        movq %mm4, %mm0
1127
 
        pfsub %mm2, %mm4
1128
 
        pfadd %mm2, %mm0
1129
 
        movq %mm5, 1208(%esp)
1130
 
        movq 376(%esp), %mm2
1131
 
        movq 368(%esp), %mm5
1132
 
        pfadd %mm6, %mm1
1133
 
        movq %mm7, 1168(%esp)
1134
 
        movq %mm3, 1176(%esp)
1135
 
        movq 936(%esp), %mm6
1136
 
        movq %mm2, %mm7
1137
 
        pfnacc %mm5, %mm2
1138
 
        movq %mm1, 1200(%esp)
1139
 
        movq %mm4, %mm1
1140
 
        pfacc %mm7, %mm5
1141
 
        movq %mm0, %mm7
1142
 
        pswapd %mm6, %mm3
1143
1088
        pfmul KP995184726KP098017140, %mm6
 
1089
        movq %mm3, 1168(%esp)
 
1090
        pfmul KP098017140KP995184726, %mm4
 
1091
        pfpnacc %mm6, %mm0
 
1092
        movq %mm5, %mm6
 
1093
        pfpnacc %mm2, %mm4
 
1094
        movq 296(%esp), %mm2
 
1095
        movq %mm0, %mm3
 
1096
        pfacc %mm4, %mm0
 
1097
        pfnacc %mm3, %mm4
 
1098
        movq 424(%esp), %mm3
 
1099
        pfsub %mm0, %mm7
 
1100
        pfadd %mm4, %mm6
 
1101
        pfsub %mm4, %mm5
 
1102
        movq %mm2, %mm4
 
1103
        pfadd %mm3, %mm2
 
1104
        pfsub %mm3, %mm4
 
1105
        movq %mm7, 1144(%esp)
 
1106
        movq 416(%esp), %mm3
 
1107
        movq 392(%esp), %mm7
 
1108
        pfadd %mm0, %mm1
 
1109
        movq %mm6, 1176(%esp)
 
1110
        movq %mm5, 1184(%esp)
 
1111
        movq 1072(%esp), %mm0
 
1112
        movq %mm3, %mm6
 
1113
        pfacc %mm7, %mm3
 
1114
        movq %mm1, 1152(%esp)
 
1115
        movq %mm2, %mm1
 
1116
        pfnacc %mm6, %mm7
 
1117
        movq %mm4, %mm6
 
1118
        movq %mm0, %mm5
 
1119
        pfmul KP773010453KP634393284, %mm0
 
1120
        pfmul KP634393284KP773010453, %mm5
 
1121
        pfadd %mm3, %mm1
 
1122
        pfsub %mm3, %mm2
 
1123
        movq 1112(%esp), %mm3
 
1124
        pfadd %mm7, %mm6
 
1125
        pfsub %mm7, %mm4
 
1126
        pswapd %mm3, %mm7
 
1127
        pfmul KP634393284KP773010453, %mm3
 
1128
        pfmul KP634393284KP773010453, %mm7
 
1129
        movq %mm4, 1200(%esp)
 
1130
        movq 1008(%esp), %mm4
 
1131
        pfpnacc %mm0, %mm3
 
1132
        pswapd %mm4, %mm0
 
1133
        pfmul KP995184726KP098017140, %mm4
 
1134
        pfpnacc %mm7, %mm5
 
1135
        pfmul KP995184726KP098017140, %mm0
 
1136
        movq %mm5, %mm7
 
1137
        pfacc %mm3, %mm5
 
1138
        pfnacc %mm7, %mm3
 
1139
        movq %mm3, 1192(%esp)
 
1140
        movq 1048(%esp), %mm7
 
1141
        movq %mm7, %mm3
 
1142
        pfmul KP098017140KP995184726, %mm7
1144
1143
        pfmul KP995184726KP098017140, %mm3
1145
 
        pfsub %mm2, %mm1
 
1144
        pfpnacc %mm7, %mm4
 
1145
        pfpnacc %mm0, %mm3
 
1146
        movq %mm1, %mm0
 
1147
        movq %mm3, %mm7
 
1148
        pfacc %mm4, %mm3
 
1149
        pfnacc %mm7, %mm4
 
1150
        movq %mm2, %mm7
 
1151
        pfsub %mm3, %mm0
 
1152
        pfadd %mm3, %mm1
 
1153
        movq %mm6, %mm3
 
1154
        pfadd %mm4, %mm7
 
1155
        pfsub %mm5, %mm6
 
1156
        pfsub %mm4, %mm2
 
1157
        movq %mm0, 1208(%esp)
 
1158
        movq 472(%esp), %mm0
 
1159
        pfadd %mm5, %mm3
 
1160
        movq %mm1, 1248(%esp)
 
1161
        movq %mm7, 1216(%esp)
 
1162
        movq %mm6, 1232(%esp)
 
1163
        movq %mm2, 1352(%esp)
 
1164
        movq 1200(%esp), %mm4
 
1165
        movq 1192(%esp), %mm1
 
1166
        movq 464(%esp), %mm7
 
1167
        movq 368(%esp), %mm6
 
1168
        movq %mm0, %mm2
 
1169
        movq %mm4, %mm5
 
1170
        movq %mm3, 1304(%esp)
 
1171
        movq 1000(%esp), %mm3
 
1172
        pfsub %mm1, %mm4
 
1173
        pfnacc %mm7, %mm0
 
1174
        pfacc %mm2, %mm7
 
1175
        movq 976(%esp), %mm2
 
1176
        pfadd %mm1, %mm5
 
1177
        movq %mm6, %mm1
 
1178
        movq %mm4, 1240(%esp)
 
1179
        movq %mm3, %mm4
 
1180
        pfadd %mm0, %mm1
 
1181
        pfacc %mm2, %mm3
 
1182
        pfsub %mm0, %mm6
 
1183
        movq %mm5, 1224(%esp)
 
1184
        pfnacc %mm4, %mm2
 
1185
        movq 344(%esp), %mm4
 
1186
        movq %mm1, %mm5
 
1187
        pfsub %mm3, %mm1
 
1188
        movq %mm6, %mm0
 
1189
        pfadd %mm3, %mm5
 
1190
        pfsub %mm2, %mm6
 
1191
        movq %mm4, %mm3
 
1192
        pfadd %mm2, %mm0
 
1193
        movq %mm1, 1264(%esp)
 
1194
        movq 968(%esp), %mm2
 
1195
        movq 944(%esp), %mm1
 
1196
        pfadd %mm7, %mm4
 
1197
        movq %mm5, 1312(%esp)
 
1198
        pfsub %mm7, %mm3
 
1199
        movq %mm6, 1272(%esp)
 
1200
        movq 256(%esp), %mm6
 
1201
        movq %mm2, %mm5
 
1202
        movq %mm0, 1256(%esp)
 
1203
        pfacc %mm1, %mm2
 
1204
        movq %mm4, %mm7
 
1205
        pfnacc %mm5, %mm1
 
1206
        movq %mm3, %mm0
 
1207
        movq 336(%esp), %mm5
1146
1208
        pfadd %mm2, %mm4
1147
 
        movq 848(%esp), %mm2
1148
 
        pfsub %mm5, %mm7
1149
 
        pfadd %mm5, %mm0
1150
 
        movq %mm2, %mm5
1151
 
        pfmul KP098017140KP995184726, %mm2
1152
 
        pfmul KP995184726KP098017140, %mm5
1153
 
        movq %mm0, 1224(%esp)
1154
 
        movq 840(%esp), %mm0
1155
 
        pfpnacc %mm2, %mm6
1156
 
        movq %mm0, %mm2
1157
 
        pfmul KP773010453KP634393284, %mm0
 
1209
        pfsub %mm2, %mm7
 
1210
        movq %mm6, %mm2
 
1211
        pfadd %mm1, %mm0
 
1212
        pfsub %mm1, %mm3
 
1213
        movq %mm4, 1296(%esp)
 
1214
        movq 816(%esp), %mm1
 
1215
        movq 808(%esp), %mm4
 
1216
        pfadd %mm5, %mm6
 
1217
        movq %mm7, 1280(%esp)
 
1218
        pfsub %mm5, %mm2
 
1219
        movq %mm0, 1288(%esp)
 
1220
        movq 24(%eax), %mm0
 
1221
        movq %mm1, %mm7
 
1222
        movq %mm3, 1424(%esp)
 
1223
        pfacc %mm4, %mm1
 
1224
        movq %mm6, %mm5
 
1225
        pfnacc %mm7, %mm4
 
1226
        movq 280(%eax), %mm7
 
1227
        pfadd %mm1, %mm6
 
1228
        pfsub %mm1, %mm5
 
1229
        pswapd %mm6, %mm3
 
1230
        pfmul %mm0, %mm6
 
1231
        pswapd %mm5, %mm1
 
1232
        pfmul %mm7, %mm5
 
1233
        pfmul %mm0, %mm3
 
1234
        movq %mm2, %mm0
 
1235
        pfsub %mm4, %mm2
 
1236
        pfmul %mm7, %mm1
 
1237
        movq 408(%eax), %mm7
 
1238
        pfadd %mm4, %mm0
 
1239
        pswapd %mm2, %mm4
 
1240
        pfpnacc %mm6, %mm3
 
1241
        movq 152(%eax), %mm6
 
1242
        pfmul %mm7, %mm2
 
1243
        pfpnacc %mm5, %mm1
 
1244
        pfmul %mm7, %mm4
 
1245
        movq 456(%esp), %mm7
 
1246
        pswapd %mm0, %mm5
 
1247
        movq %mm3, 1328(%esp)
 
1248
        movq 448(%esp), %mm3
 
1249
        pfmul %mm6, %mm0
 
1250
        pfmul %mm6, %mm5
 
1251
        movq %mm1, 1320(%esp)
 
1252
        movq 936(%esp), %mm1
 
1253
        pfpnacc %mm2, %mm4
 
1254
        movq %mm7, %mm6
 
1255
        movq 928(%esp), %mm2
 
1256
        pfacc %mm3, %mm7
 
1257
        pfnacc %mm6, %mm3
 
1258
        movq %mm1, %mm6
 
1259
        movq %mm4, 1344(%esp)
 
1260
        movq 328(%esp), %mm4
 
1261
        pfpnacc %mm0, %mm5
 
1262
        pfacc %mm2, %mm1
 
1263
        pfnacc %mm6, %mm2
 
1264
        movq %mm3, 1432(%esp)
 
1265
        movq 40(%eax), %mm6
 
1266
        movq %mm4, %mm0
 
1267
        pfadd %mm7, %mm4
 
1268
        movq %mm5, 1336(%esp)
 
1269
        pfsub %mm7, %mm0
 
1270
        movq 296(%eax), %mm7
 
1271
        movq %mm4, %mm3
 
1272
        pfsub %mm1, %mm4
 
1273
        pfadd %mm1, %mm3
 
1274
        pswapd %mm4, %mm1
 
1275
        pfmul %mm7, %mm4
 
1276
        pswapd %mm3, %mm5
 
1277
        pfmul %mm6, %mm3
 
1278
        pfmul %mm7, %mm1
 
1279
        movq 424(%eax), %mm7
 
1280
        pfmul %mm6, %mm5
 
1281
        movq %mm0, %mm6
 
1282
        pfsub %mm2, %mm0
 
1283
        pfadd %mm2, %mm6
 
1284
        pfpnacc %mm4, %mm1
1158
1285
        pfpnacc %mm3, %mm5
1159
 
        pfmul KP634393284KP773010453, %mm2
1160
 
        movq %mm6, %mm3
1161
 
        pfnacc %mm5, %mm6
1162
 
        pfacc %mm3, %mm5
1163
 
        movq %mm5, 1216(%esp)
1164
 
        movq 928(%esp), %mm3
1165
 
        pswapd %mm3, %mm5
1166
 
        pfmul KP634393284KP773010453, %mm3
1167
 
        pfmul KP634393284KP773010453, %mm5
1168
 
        pfpnacc %mm0, %mm3
1169
 
        pfpnacc %mm5, %mm2
1170
 
        movq %mm1, %mm5
1171
 
        movq %mm3, %mm0
1172
 
        pfnacc %mm2, %mm3
1173
 
        pfacc %mm0, %mm2
1174
 
        movq %mm4, %mm0
1175
 
        pfsub %mm3, %mm5
1176
 
        pfadd %mm2, %mm0
1177
 
        pfsub %mm2, %mm4
1178
 
        movq %mm7, %mm2
1179
 
        pfadd %mm6, %mm7
1180
 
        pfsub %mm6, %mm2
1181
 
        movq %mm5, 1232(%esp)
1182
 
        movq %mm0, 1304(%esp)
1183
 
        movq 1224(%esp), %mm6
1184
 
        movq 216(%esp), %mm0
1185
 
        pfadd %mm3, %mm1
1186
 
        movq %mm4, 1264(%esp)
1187
 
        movq %mm7, 1328(%esp)
1188
 
        movq %mm2, 1336(%esp)
1189
 
        movq 240(%esp), %mm4
1190
 
        movq 1216(%esp), %mm5
1191
 
        movq %mm6, %mm3
1192
 
        movq 776(%esp), %mm2
1193
 
        pswapd %mm0, %mm0
1194
 
        movq %mm1, 1256(%esp)
1195
 
        movq %mm4, %mm7
1196
 
        pxor chs_hi, %mm0
1197
 
        pfsub %mm5, %mm3
1198
 
        pfadd %mm5, %mm6
1199
 
        pfadd %mm0, %mm4
1200
 
        movq %mm3, 1240(%esp)
1201
 
        movq 768(%esp), %mm3
1202
 
        pfsub %mm0, %mm7
1203
 
        movq %mm6, 1248(%esp)
1204
 
        movq 56(%eax), %mm0
1205
 
        movq 312(%eax), %mm6
1206
 
        movq %mm4, %mm1
1207
 
        pfadd %mm2, %mm4
1208
 
        pfsub %mm2, %mm1
1209
 
        pswapd %mm4, %mm5
1210
 
        pfmul %mm0, %mm4
1211
 
        pswapd %mm1, %mm2
1212
 
        pfmul %mm0, %mm5
1213
 
        movq %mm7, %mm0
1214
 
        pfadd %mm3, %mm7
1215
 
        pfmul %mm6, %mm1
1216
 
        pfmul %mm6, %mm2
1217
 
        movq 184(%eax), %mm6
1218
 
        pfsub %mm3, %mm0
1219
 
        pfpnacc %mm4, %mm5
1220
 
        movq 440(%eax), %mm4
1221
 
        pswapd %mm7, %mm3
1222
 
        pfmul %mm6, %mm7
1223
 
        pfpnacc %mm1, %mm2
1224
 
        pfmul %mm6, %mm3
1225
 
        pswapd %mm0, %mm1
1226
 
        movq %mm5, 1296(%esp)
1227
 
        movq 256(%esp), %mm6
1228
 
        movq 360(%esp), %mm5
1229
 
        pfmul %mm4, %mm0
1230
 
        pfmul %mm4, %mm1
1231
 
        movq %mm2, 1272(%esp)
1232
 
        movq 920(%esp), %mm4
1233
 
        pfpnacc %mm7, %mm3
1234
 
        movq 912(%esp), %mm7
1235
 
        movq %mm6, %mm2
1236
 
        pfsub %mm5, %mm6
1237
 
        pfadd %mm5, %mm2
1238
 
        movq %mm4, %mm5
1239
 
        pfpnacc %mm0, %mm1
1240
 
        pfnacc %mm7, %mm4
1241
 
        movq %mm3, 1288(%esp)
1242
 
        movq 472(%eax), %mm3
1243
 
        movq %mm6, %mm0
1244
 
        pfacc %mm5, %mm7
1245
 
        movq %mm1, 1280(%esp)
1246
 
        movq 216(%eax), %mm1
1247
 
        pfsub %mm4, %mm0
1248
 
        pfadd %mm4, %mm6
1249
 
        pswapd %mm0, %mm5
1250
 
        pfmul %mm3, %mm0
 
1286
        pswapd %mm0, %mm2
 
1287
        movq 168(%eax), %mm3
 
1288
        pfmul %mm7, %mm0
 
1289
        pfmul %mm7, %mm2
1251
1290
        pswapd %mm6, %mm4
1252
 
        pfmul %mm1, %mm6
1253
 
        pfmul %mm3, %mm5
1254
 
        movq %mm2, %mm3
1255
 
        pfadd %mm7, %mm2
1256
 
        pfmul %mm1, %mm4
1257
 
        movq 88(%eax), %mm1
1258
 
        pfsub %mm7, %mm3
1259
 
        pfpnacc %mm0, %mm5
1260
 
        pswapd %mm2, %mm7
1261
 
        movq 344(%eax), %mm0
1262
 
        pfmul %mm1, %mm2
 
1291
        movq %mm1, 1368(%esp)
 
1292
        movq %mm5, 1360(%esp)
 
1293
        movq 320(%esp), %mm7
 
1294
        movq 248(%esp), %mm5
 
1295
        pfmul %mm3, %mm6
 
1296
        pfmul %mm3, %mm4
 
1297
        movq 800(%esp), %mm3
 
1298
        pfpnacc %mm0, %mm2
 
1299
        movq 792(%esp), %mm0
 
1300
        movq %mm5, %mm1
 
1301
        pfadd %mm7, %mm5
1263
1302
        pfpnacc %mm6, %mm4
1264
 
        pfmul %mm1, %mm7
1265
 
        pswapd %mm3, %mm6
1266
 
        movq %mm5, 1312(%esp)
1267
 
        movq 408(%esp), %mm1
1268
 
        pfmul %mm0, %mm3
1269
 
        movq 384(%esp), %mm5
1270
 
        pfmul %mm0, %mm6
1271
 
        movq %mm4, 1320(%esp)
1272
 
        movq 352(%esp), %mm4
1273
 
        pfpnacc %mm2, %mm7
1274
 
        movq 344(%esp), %mm2
1275
 
        movq %mm1, %mm0
1276
 
        pfsub %mm5, %mm1
1277
 
        pfpnacc %mm3, %mm6
1278
 
        movq 832(%esp), %mm3
1279
 
        pfadd %mm5, %mm0
1280
 
        movq %mm4, %mm5
1281
 
        movq %mm7, 1344(%esp)
1282
 
        pfnacc %mm2, %mm4
1283
 
        pfacc %mm5, %mm2
1284
 
        movq %mm1, %mm7
1285
 
        movq %mm6, 1352(%esp)
1286
 
        movq 904(%esp), %mm6
1287
 
        movq %mm3, %mm5
1288
 
        pfmul KP881921264KP471396736, %mm3
1289
 
        pfsub %mm4, %mm7
1290
 
        pfmul KP471396736KP881921264, %mm5
1291
 
        pfadd %mm4, %mm1
1292
 
        movq %mm0, %mm4
1293
 
        pfadd %mm2, %mm0
1294
 
        pfsub %mm2, %mm4
1295
 
        movq %mm6, %mm2
1296
 
        pfmul KP881921264KP471396736, %mm6
1297
 
        pfmul KP471396736KP881921264, %mm2
1298
 
        movq %mm0, 1368(%esp)
1299
 
        movq 896(%esp), %mm0
1300
 
        pfpnacc %mm5, %mm6
1301
 
        movq %mm0, %mm5
 
1303
        pfsub %mm7, %mm1
 
1304
        movq %mm3, %mm7
 
1305
        movq %mm2, 1376(%esp)
 
1306
        pfacc %mm0, %mm3
 
1307
        movq 88(%eax), %mm2
 
1308
        movq %mm5, %mm6
 
1309
        pfnacc %mm7, %mm0
 
1310
        movq %mm4, 1384(%esp)
 
1311
        movq 344(%eax), %mm4
 
1312
        pfadd %mm3, %mm5
 
1313
        pfsub %mm3, %mm6
 
1314
        pswapd %mm5, %mm7
 
1315
        pfmul %mm2, %mm5
 
1316
        pswapd %mm6, %mm3
 
1317
        pfmul %mm4, %mm6
 
1318
        pfmul %mm2, %mm7
 
1319
        movq %mm1, %mm2
 
1320
        pfadd %mm0, %mm1
 
1321
        pfmul %mm4, %mm3
 
1322
        movq 1016(%esp), %mm4
 
1323
        pfsub %mm0, %mm2
 
1324
        pfpnacc %mm5, %mm7
 
1325
        movq 216(%eax), %mm5
 
1326
        pfpnacc %mm6, %mm3
 
1327
        pswapd %mm1, %mm6
 
1328
        movq %mm4, %mm0
 
1329
        pfmul KP956940335KP290284677, %mm4
1302
1330
        pfmul KP290284677KP956940335, %mm0
1303
 
        pfpnacc %mm2, %mm3
1304
 
        pfmul KP956940335KP290284677, %mm5
1305
 
        movq %mm6, %mm2
1306
 
        pfnacc %mm3, %mm6
1307
 
        pfacc %mm2, %mm3
1308
 
        movq %mm3, 1360(%esp)
1309
 
        movq 824(%esp), %mm2
1310
 
        movq %mm2, %mm3
1311
 
        pfmul KP290284677KP956940335, %mm2
1312
 
        pfmul KP956940335KP290284677, %mm3
1313
 
        pfpnacc %mm5, %mm2
1314
 
        pfpnacc %mm3, %mm0
1315
 
        movq %mm7, %mm3
1316
 
        movq %mm0, %mm5
1317
 
        pfnacc %mm2, %mm0
1318
 
        pfacc %mm5, %mm2
1319
 
        movq %mm1, %mm5
1320
 
        pfsub %mm0, %mm3
1321
 
        pfadd %mm0, %mm7
1322
 
        movq %mm4, %mm0
1323
 
        pfadd %mm2, %mm1
1324
 
        pfsub %mm2, %mm5
1325
 
        movq %mm3, 1376(%esp)
1326
 
        movq 1368(%esp), %mm2
1327
 
        movq 1360(%esp), %mm3
1328
 
        pfadd %mm6, %mm4
1329
 
        movq %mm7, 1384(%esp)
1330
 
        movq 336(%esp), %mm7
1331
 
        pfsub %mm6, %mm0
1332
 
        movq %mm1, 1520(%esp)
1333
 
        movq 328(%esp), %mm1
1334
 
        movq %mm2, %mm6
1335
 
        pfadd %mm3, %mm2
1336
 
        movq %mm4, 1400(%esp)
1337
 
        pfsub %mm3, %mm6
1338
 
        movq %mm7, %mm4
1339
 
        movq 464(%esp), %mm3
1340
 
        pfacc %mm1, %mm7
1341
 
        movq %mm0, 1392(%esp)
1342
 
        pfnacc %mm4, %mm1
1343
 
        movq %mm2, 1416(%esp)
1344
 
        movq 1056(%esp), %mm4
1345
 
        movq 1064(%esp), %mm2
1346
 
        movq %mm3, %mm0
1347
 
        movq %mm6, 1408(%esp)
1348
 
        pfsub %mm7, %mm3
1349
 
        pfadd %mm7, %mm0
1350
 
        movq %mm2, %mm6
1351
 
        pfnacc %mm4, %mm2
 
1331
        movq %mm7, 1416(%esp)
 
1332
        pfmul %mm5, %mm1
 
1333
        movq 472(%eax), %mm7
 
1334
        pfmul %mm5, %mm6
 
1335
        pswapd %mm2, %mm5
 
1336
        movq %mm3, 1408(%esp)
 
1337
        movq 992(%esp), %mm3
 
1338
        pfmul %mm7, %mm2
 
1339
        pfmul %mm7, %mm5
 
1340
        pfpnacc %mm1, %mm6
 
1341
        movq 1024(%esp), %mm1
1352
1342
        movq %mm3, %mm7
1353
 
        pfacc %mm6, %mm4
1354
 
        movq %mm0, %mm6
1355
 
        pfsub %mm2, %mm7
1356
 
        pfadd %mm2, %mm3
1357
 
        movq 456(%esp), %mm2
1358
 
        pfsub %mm4, %mm6
1359
 
        pfadd %mm4, %mm0
1360
 
        movq %mm7, 1480(%esp)
1361
 
        movq %mm3, 1440(%esp)
1362
 
        movq 1048(%esp), %mm7
1363
 
        movq 1040(%esp), %mm3
1364
 
        movq %mm2, %mm4
1365
 
        pfsub %mm1, %mm2
1366
 
        movq %mm6, 1424(%esp)
1367
 
        pfadd %mm1, %mm4
1368
 
        movq %mm0, 1432(%esp)
1369
 
        movq %mm7, %mm6
 
1343
        pfmul KP471396736KP881921264, %mm3
 
1344
        pfmul KP881921264KP471396736, %mm7
 
1345
        pfpnacc %mm2, %mm5
 
1346
        movq %mm6, 1400(%esp)
 
1347
        movq 984(%esp), %mm6
 
1348
        movq %mm1, %mm2
 
1349
        pfmul KP881921264KP471396736, %mm1
 
1350
        pfmul KP471396736KP881921264, %mm2
 
1351
        movq %mm5, 1392(%esp)
 
1352
        movq %mm6, %mm5
 
1353
        pfmul KP956940335KP290284677, %mm6
 
1354
        pfmul KP290284677KP956940335, %mm5
 
1355
        pfpnacc %mm3, %mm1
 
1356
        pfpnacc %mm2, %mm7
 
1357
        pfpnacc %mm6, %mm0
 
1358
        movq 288(%esp), %mm6
 
1359
        movq %mm1, %mm3
 
1360
        pfpnacc %mm4, %mm5
 
1361
        movq 408(%esp), %mm4
 
1362
        pfacc %mm7, %mm1
1370
1363
        pfnacc %mm3, %mm7
1371
 
        movq %mm2, %mm1
1372
 
        pfacc %mm6, %mm3
1373
 
        movq 248(%esp), %mm6
1374
 
        movq %mm4, %mm0
1375
 
        pfsub %mm7, %mm1
 
1364
        movq %mm0, %mm2
 
1365
        movq %mm6, %mm3
 
1366
        pfacc %mm5, %mm0
 
1367
        pfsub %mm4, %mm6
 
1368
        pfadd %mm4, %mm3
 
1369
        movq 360(%esp), %mm4
 
1370
        pfnacc %mm2, %mm5
 
1371
        movq %mm5, 1440(%esp)
 
1372
        movq 352(%esp), %mm2
 
1373
        movq %mm4, %mm5
 
1374
        pfacc %mm2, %mm4
 
1375
        pfnacc %mm5, %mm2
 
1376
        movq %mm3, %mm5
 
1377
        pfadd %mm4, %mm5
 
1378
        pfsub %mm4, %mm3
 
1379
        movq %mm6, %mm4
 
1380
        pfsub %mm2, %mm6
 
1381
        pfadd %mm2, %mm4
 
1382
        movq %mm5, %mm2
 
1383
        pfsub %mm1, %mm5
 
1384
        pfadd %mm1, %mm2
 
1385
        movq %mm3, %mm1
 
1386
        pfsub %mm7, %mm3
 
1387
        pfadd %mm7, %mm1
 
1388
        movq %mm5, 1448(%esp)
 
1389
        movq 1440(%esp), %mm7
 
1390
        movq %mm4, %mm5
 
1391
        pfadd %mm0, %mm4
 
1392
        movq %mm2, 1464(%esp)
 
1393
        movq %mm6, %mm2
 
1394
        pfsub %mm0, %mm5
 
1395
        movq %mm3, 1504(%esp)
 
1396
        movq 840(%esp), %mm0
1376
1397
        pfadd %mm7, %mm2
1377
 
        movq 320(%esp), %mm7
1378
 
        pfsub %mm3, %mm4
1379
 
        pfadd %mm3, %mm0
1380
 
        movq %mm6, %mm3
1381
 
        movq %mm1, 1448(%esp)
1382
 
        movq %mm2, 1456(%esp)
1383
 
        movq 888(%esp), %mm1
1384
 
        movq 880(%esp), %mm2
 
1398
        movq %mm1, 1496(%esp)
 
1399
        movq 384(%esp), %mm1
1385
1400
        pfsub %mm7, %mm6
1386
 
        movq %mm4, 1464(%esp)
1387
 
        pfadd %mm7, %mm3
1388
 
        movq %mm0, 1472(%esp)
1389
 
        movq 408(%eax), %mm0
1390
 
        movq %mm1, %mm4
1391
 
        pfnacc %mm2, %mm1
1392
 
        movq %mm6, %mm7
1393
 
        pfacc %mm4, %mm2
1394
 
        pfsub %mm1, %mm6
1395
 
        pfadd %mm1, %mm7
1396
 
        movq 152(%eax), %mm1
1397
 
        pswapd %mm6, %mm4
1398
 
        pfmul %mm0, %mm6
1399
 
        pfmul %mm0, %mm4
1400
 
        pswapd %mm7, %mm0
1401
 
        pfmul %mm1, %mm7
1402
 
        pfmul %mm1, %mm0
1403
 
        movq %mm3, %mm1
1404
 
        pfsub %mm2, %mm3
1405
 
        pfpnacc %mm6, %mm4
1406
 
        movq 24(%eax), %mm6
1407
 
        pfadd %mm2, %mm1
1408
 
        pfpnacc %mm7, %mm0
1409
1401
        movq %mm4, 1488(%esp)
1410
 
        movq 280(%eax), %mm7
1411
 
        pswapd %mm3, %mm4
1412
 
        pswapd %mm1, %mm2
1413
 
        pfmul %mm6, %mm1
1414
 
        pfmul %mm7, %mm3
1415
 
        movq %mm0, 1496(%esp)
1416
 
        movq 312(%esp), %mm0
1417
 
        pfmul %mm7, %mm4
1418
 
        movq 304(%esp), %mm7
1419
 
        pfmul %mm6, %mm2
1420
 
        movq %mm0, %mm6
1421
 
        pfpnacc %mm3, %mm4
1422
 
        movq 448(%esp), %mm3
1423
 
        pfacc %mm7, %mm0
1424
 
        pfpnacc %mm1, %mm2
1425
 
        pfnacc %mm6, %mm7
1426
 
        movq %mm4, 1504(%esp)
1427
 
        movq 1032(%esp), %mm6
1428
 
        movq 1008(%esp), %mm4
1429
 
        movq %mm3, %mm1
1430
 
        pfsub %mm0, %mm3
1431
 
        movq %mm2, 1512(%esp)
1432
 
        pfadd %mm0, %mm1
1433
 
        movq %mm6, %mm2
1434
 
        pfnacc %mm4, %mm6
 
1402
        movq %mm5, 1480(%esp)
 
1403
        movq 280(%esp), %mm4
 
1404
        movq 376(%esp), %mm5
 
1405
        movq %mm0, %mm3
 
1406
        movq %mm2, 1472(%esp)
 
1407
        movq 400(%esp), %mm2
 
1408
        movq %mm1, %mm7
 
1409
        movq %mm6, 1456(%esp)
 
1410
        movq %mm4, %mm6
 
1411
        pfmul KP881921264KP471396736, %mm0
 
1412
        pfmul KP471396736KP881921264, %mm3
 
1413
        pfnacc %mm5, %mm1
 
1414
        pfsub %mm2, %mm6
 
1415
        pfadd %mm2, %mm4
 
1416
        movq 960(%esp), %mm2
 
1417
        pfacc %mm7, %mm5
 
1418
        movq %mm6, %mm7
 
1419
        pfsub %mm1, %mm6
 
1420
        pfadd %mm1, %mm7
 
1421
        pswapd %mm2, %mm1
 
1422
        pfmul KP471396736KP881921264, %mm2
 
1423
        pfmul KP471396736KP881921264, %mm1
 
1424
        pfpnacc %mm0, %mm2
 
1425
        pfpnacc %mm1, %mm3
 
1426
        movq %mm7, %mm1
1435
1427
        movq %mm3, %mm0
1436
 
        pfacc %mm2, %mm4
1437
 
        movq 424(%eax), %mm2
1438
 
        pfsub %mm6, %mm3
1439
 
        pfadd %mm6, %mm0
1440
 
        pswapd %mm3, %mm6
1441
 
        pfmul %mm2, %mm3
1442
 
        pfmul %mm2, %mm6
1443
 
        movq 168(%eax), %mm2
1444
 
        pfpnacc %mm3, %mm6
1445
 
        pswapd %mm0, %mm3
1446
 
        pfmul %mm2, %mm0
1447
 
        pfmul %mm2, %mm3
1448
 
        movq %mm1, %mm2
1449
 
        pfsub %mm4, %mm1
1450
 
        pfadd %mm4, %mm2
 
1428
        pfacc %mm2, %mm3
 
1429
        pfnacc %mm0, %mm2
 
1430
        movq %mm6, %mm0
 
1431
        pfsub %mm3, %mm7
 
1432
        pfadd %mm3, %mm1
 
1433
        movq %mm4, %mm3
 
1434
        pfsub %mm5, %mm4
 
1435
        pfadd %mm2, %mm0
 
1436
        pfsub %mm2, %mm6
 
1437
        movq %mm7, 1520(%esp)
 
1438
        movq 952(%esp), %mm2
 
1439
        pfadd %mm5, %mm3
 
1440
        movq %mm0, 1512(%esp)
 
1441
        movq 832(%esp), %mm5
 
1442
        pswapd %mm2, %mm7
 
1443
        pfmul KP956940335KP290284677, %mm2
1451
1444
        movq %mm6, 1544(%esp)
1452
 
        movq 296(%eax), %mm4
1453
 
        pswapd %mm1, %mm6
1454
 
        pfpnacc %mm0, %mm3
1455
 
        movq 40(%eax), %mm0
1456
 
        pfmul %mm4, %mm1
1457
 
        pfmul %mm4, %mm6
1458
 
        pswapd %mm2, %mm4
1459
 
        pfmul %mm0, %mm2
1460
 
        pswapd %mm3, %mm3
1461
 
        pfmul %mm0, %mm4
1462
 
        movq 440(%esp), %mm0
1463
 
        pfpnacc %mm1, %mm6
1464
 
        pfpnacc %mm2, %mm4
1465
 
        movq 1000(%esp), %mm2
1466
 
        movq %mm0, %mm1
1467
 
        pfsub %mm7, %mm0
1468
 
        movq %mm6, 1536(%esp)
1469
 
        movq 992(%esp), %mm6
1470
 
        pfadd %mm7, %mm1
1471
 
        movq %mm2, %mm7
1472
 
        movq %mm4, 1528(%esp)
1473
 
        movq %mm0, %mm4
 
1445
        movq %mm5, %mm0
 
1446
        pfmul KP290284677KP956940335, %mm5
 
1447
        pfmul KP956940335KP290284677, %mm7
 
1448
        pfmul KP956940335KP290284677, %mm0
 
1449
        pfpnacc %mm5, %mm2
 
1450
        movq %mm3, %mm5
 
1451
        pfpnacc %mm7, %mm0
 
1452
        movq %mm4, %mm7
 
1453
        movq %mm0, %mm6
 
1454
        pfacc %mm2, %mm0
1474
1455
        pfnacc %mm6, %mm2
1475
 
        pfacc %mm7, %mm6
1476
 
        movq 488(%eax), %mm7
1477
 
        pfsub %mm2, %mm0
 
1456
        movq 312(%esp), %mm6
 
1457
        pfsub %mm0, %mm5
 
1458
        pfadd %mm0, %mm3
 
1459
        movq 1432(%esp), %mm0
1478
1460
        pfadd %mm2, %mm4
1479
 
        pswapd %mm0, %mm2
1480
 
        pfmul %mm7, %mm0
1481
 
        pfmul %mm7, %mm2
1482
 
        movq 232(%eax), %mm7
1483
 
        pfpnacc %mm0, %mm2
1484
 
        pswapd %mm4, %mm0
1485
 
        pfmul %mm7, %mm4
1486
 
        pfmul %mm7, %mm0
1487
 
        movq %mm1, %mm7
1488
 
        pfsub %mm6, %mm1
1489
 
        pfadd %mm6, %mm7
1490
 
        movq 360(%eax), %mm6
1491
 
        pswapd %mm2, %mm2
1492
 
        pfpnacc %mm4, %mm0
1493
 
        pswapd %mm1, %mm4
1494
 
        pfmul %mm6, %mm1
 
1461
        pfsub %mm2, %mm7
 
1462
        movq %mm6, %mm2
 
1463
        movq %mm5, 1528(%esp)
 
1464
        movq %mm3, 1552(%esp)
 
1465
        movq 920(%esp), %mm5
 
1466
        movq 912(%esp), %mm3
 
1467
        pfadd %mm0, %mm6
 
1468
        movq %mm4, 1536(%esp)
 
1469
        pfsub %mm0, %mm2
 
1470
        movq %mm5, %mm4
 
1471
        pfacc %mm3, %mm5
 
1472
        movq %mm6, %mm0
 
1473
        pfnacc %mm4, %mm3
 
1474
        movq 104(%eax), %mm4
 
1475
        pfadd %mm5, %mm6
 
1476
        pfsub %mm5, %mm0
 
1477
        pswapd %mm6, %mm5
 
1478
        pfmul %mm4, %mm6
 
1479
        pfmul %mm4, %mm5
 
1480
        movq 360(%eax), %mm4
 
1481
        pfpnacc %mm6, %mm5
 
1482
        pswapd %mm0, %mm6
 
1483
        pfmul %mm4, %mm0
 
1484
        pfmul %mm4, %mm6
 
1485
        movq %mm2, %mm4
 
1486
        pfadd %mm3, %mm2
 
1487
        pfsub %mm3, %mm4
 
1488
        movq 232(%eax), %mm3
 
1489
        pswapd %mm5, %mm5
 
1490
        pfpnacc %mm0, %mm6
 
1491
        pswapd %mm2, %mm0
 
1492
        pfmul %mm3, %mm2
 
1493
        pfmul %mm3, %mm0
 
1494
        pswapd %mm4, %mm3
 
1495
        movq %mm6, 1560(%esp)
 
1496
        movq 488(%eax), %mm6
 
1497
        pfpnacc %mm2, %mm0
 
1498
        movq 1184(%esp), %mm2
 
1499
        pfmul %mm6, %mm3
1495
1500
        pfmul %mm6, %mm4
1496
 
        movq 104(%eax), %mm6
1497
 
        pswapd %mm0, %mm0
1498
 
        pfpnacc %mm1, %mm4
1499
 
        pswapd %mm7, %mm1
1500
 
        pfmul %mm6, %mm7
1501
 
        pfmul %mm6, %mm1
1502
1501
        movq 496(%eax), %mm6
1503
1502
        /* simd data load/store barrier */ 
1504
 
        movq %mm2, (%ebx,%edi,2)
1505
 
        movq 1144(%esp), %mm2
1506
 
        leal (%edx,%esi,4), %edi
1507
 
        movq %mm4, 1552(%esp)
1508
 
        pfpnacc %mm7, %mm1
 
1503
        pswapd %mm0, %mm0
 
1504
        pfpnacc %mm4, %mm3
 
1505
        pswapd %mm2, %mm4
 
1506
        pfmul %mm6, %mm2
 
1507
        pfmul %mm6, %mm4
 
1508
        movq 400(%eax), %mm6
 
1509
        pswapd %mm3, %mm3
 
1510
        pfpnacc %mm2, %mm4
 
1511
        pswapd %mm7, %mm2
 
1512
        movq %mm3, (%ebx,%esi,2)
 
1513
        pfmul %mm6, %mm7
 
1514
        movq 1424(%esp), %mm3
 
1515
        pfmul %mm6, %mm2
 
1516
        pswapd %mm4, %mm4
 
1517
        pswapd %mm3, %mm6
 
1518
        movq %mm4, (%ebx,%edi)
 
1519
        pfpnacc %mm7, %mm2
1509
1520
        movq 1352(%esp), %mm7
1510
 
        pswapd %mm2, %mm4
1511
 
        pfmul %mm6, %mm2
1512
 
        pfmul %mm6, %mm4
1513
 
        pswapd %mm5, %mm6
 
1521
        movq 392(%eax), %mm4
 
1522
        leal (%esi,%edx,4), %edi
 
1523
        leal (%edx,%edx,8), %esi
 
1524
        pfmul %mm4, %mm6
 
1525
        pswapd %mm2, %mm2
 
1526
        pfmul %mm4, %mm3
 
1527
        movq %mm2, (%ebx,%edi)
 
1528
        movq 384(%eax), %mm4
 
1529
        pswapd %mm7, %mm2
 
1530
        leal (%esi,%edx,2), %edi
 
1531
        pfmul %mm4, %mm7
 
1532
        pfpnacc %mm3, %mm6
 
1533
        movq 80(%eax), %mm3
 
1534
        pfmul %mm4, %mm2
 
1535
        pswapd %mm1, %mm4
 
1536
        pswapd %mm6, %mm6
 
1537
        pfmul %mm3, %mm1
 
1538
        pfpnacc %mm7, %mm2
 
1539
        movq 1064(%esp), %mm7
 
1540
        pfmul %mm3, %mm4
 
1541
        movq %mm6, (%ebx,%esi,2)
 
1542
        movq 1312(%esp), %mm6
1514
1543
        pswapd %mm7, %mm7
1515
 
        pswapd %mm1, %mm1
1516
 
        movq %mm7, (%ebx,%esi,4)
1517
 
        movq 352(%eax), %mm7
1518
 
        pfpnacc %mm2, %mm4
1519
 
        movq 1344(%esp), %mm2
1520
 
        pfmul %mm7, %mm5
1521
1544
        pswapd %mm2, %mm2
 
1545
        pswapd %mm6, %mm3
 
1546
        pfpnacc %mm1, %mm4
 
1547
        movq %mm7, (%ebx,%ebp,8)
 
1548
        movq 72(%eax), %mm7
 
1549
        leal (%esi,%edx,8), %ebp
 
1550
        leal (%edx,%edx,4), %esi
 
1551
        movq %mm2, (%ebx,%ebp)
 
1552
        movq 1304(%esp), %mm2
 
1553
        leal (%edx,%edx,8), %ebp
 
1554
        pswapd %mm4, %mm4
1522
1555
        pfmul %mm7, %mm6
1523
 
        movq 1520(%esp), %mm7
1524
 
        pswapd %mm4, %mm4
1525
 
        movq %mm2, (%ecx,%esi,4)
1526
 
        leal (%edi,%edx,2), %esi
1527
 
        movq %mm4, (%ebx,%ebp)
1528
 
        movq %mm0, (%ecx,%esi,2)
1529
 
        movq 1136(%esp), %mm0
1530
 
        movq 96(%eax), %mm2
1531
 
        pfpnacc %mm5, %mm6
1532
 
        pswapd %mm7, %mm4
1533
 
        movq 240(%eax), %mm5
1534
 
        pfmul %mm2, %mm7
1535
 
        pfmul %mm2, %mm4
1536
 
        pswapd %mm0, %mm2
1537
 
        pswapd %mm6, %mm6
1538
 
        pfmul %mm5, %mm0
1539
 
        pfmul %mm5, %mm2
1540
 
        movq 1128(%esp), %mm5
1541
 
        movq %mm6, (%ebx,%edi)
1542
 
        movq 176(%eax), %mm6
1543
 
        pfpnacc %mm7, %mm4
1544
 
        pfpnacc %mm0, %mm2
1545
 
        pswapd %mm5, %mm7
1546
 
        movq 1416(%esp), %mm0
1547
 
        pfmul %mm6, %mm5
1548
 
        pswapd %mm4, %mm4
1549
 
        pfmul %mm6, %mm7
 
1556
        pfmul %mm7, %mm3
1550
1557
        movq %mm4, (%ecx,%edi)
1551
 
        movq 32(%eax), %mm6
1552
 
        leal (%edx,%edx,2), %edi
1553
 
        pswapd %mm2, %mm2
1554
 
        pswapd %mm0, %mm4
1555
 
        movq %mm2, (%ecx,%ebp)
1556
 
        movq 1512(%esp), %mm2
1557
 
        pfpnacc %mm5, %mm7
1558
 
        leal (%esi,%edx,8), %ebp
1559
 
        movq 1408(%esp), %mm5
1560
 
        leal (%edi,%edx,8), %esi
1561
 
        pfmul %mm6, %mm0
1562
 
        pfmul %mm6, %mm4
 
1558
        movq 64(%eax), %mm7
 
1559
        pswapd %mm2, %mm1
 
1560
        movq 240(%eax), %mm4
 
1561
        pfpnacc %mm6, %mm3
 
1562
        pfmul %mm7, %mm2
 
1563
        movq 1104(%esp), %mm6
 
1564
        pfmul %mm7, %mm1
 
1565
        movq 1176(%esp), %mm7
 
1566
        pswapd %mm6, %mm6
 
1567
        pswapd %mm3, %mm3
 
1568
        pfpnacc %mm2, %mm1
 
1569
        pswapd %mm7, %mm2
 
1570
        movq %mm6, (%ecx,%edx,8)
 
1571
        movq 1168(%esp), %mm6
 
1572
        pfmul %mm4, %mm7
1563
1573
        movq %mm3, (%ecx,%esi,2)
1564
 
        movq 288(%eax), %mm3
 
1574
        leal (%edi,%edx,4), %esi
 
1575
        pfmul %mm4, %mm2
 
1576
        movq %mm0, (%ecx,%esi,2)
 
1577
        movq 176(%eax), %mm3
 
1578
        pswapd %mm1, %mm1
 
1579
        movq 1296(%esp), %mm0
 
1580
        pswapd %mm6, %mm4
 
1581
        leal (%edx,%esi,2), %edi
 
1582
        leal (%ebp,%edx,2), %esi
 
1583
        movq %mm1, (%ecx,%ebp)
 
1584
        movq 8(%eax), %mm1
 
1585
        pfpnacc %mm7, %mm2
 
1586
        movq 1384(%esp), %mm7
 
1587
        pfmul %mm3, %mm6
 
1588
        leal (%edx,%esi,2), %ebp
 
1589
        pfmul %mm3, %mm4
 
1590
        pswapd %mm0, %mm3
 
1591
        pfmul %mm1, %mm0
1565
1592
        pswapd %mm2, %mm2
 
1593
        pfmul %mm1, %mm3
1566
1594
        pswapd %mm7, %mm7
1567
 
        leal (%edx,%esi,2), %edi
1568
 
        pswapd %mm5, %mm6
1569
 
        movq %mm2, (%ecx,%edx,4)
1570
 
        movq 1504(%esp), %mm2
1571
 
        movq %mm7, (%ecx,%ebp)
1572
 
        pfmul %mm3, %mm5
 
1595
        movq 1552(%esp), %mm1
 
1596
        pfpnacc %mm6, %mm4
 
1597
        movq 1032(%esp), %mm6
 
1598
        movq %mm2, (%ecx,%edi)
 
1599
        movq %mm7, (%ecx,%esi,2)
 
1600
        movq 16(%eax), %mm7
 
1601
        leal (%edx,%edx,2), %edi
 
1602
        pfpnacc %mm0, %mm3
 
1603
        movq 1248(%esp), %mm0
 
1604
        pswapd %mm1, %mm2
 
1605
        movq %mm6, (%ecx)
 
1606
        pswapd %mm4, %mm4
 
1607
        movq (%eax), %mm6
 
1608
        pfmul %mm7, %mm1
 
1609
        pfmul %mm7, %mm2
 
1610
        movq 1160(%esp), %mm7
 
1611
        movq %mm4, (%ecx,%ebp)
 
1612
        pswapd %mm0, %mm4
 
1613
        pswapd %mm3, %mm3
 
1614
        pfmul %mm6, %mm0
 
1615
        pfmul %mm6, %mm4
 
1616
        movq %mm3, (%ecx,%edx,2)
 
1617
        movq 432(%eax), %mm3
 
1618
        pfpnacc %mm1, %mm2
 
1619
        movq 1376(%esp), %mm1
 
1620
        pswapd %mm7, %mm6
1573
1621
        pfpnacc %mm0, %mm4
 
1622
        movq 1152(%esp), %mm0
 
1623
        pfmul %mm3, %mm7
1574
1624
        pfmul %mm3, %mm6
1575
 
        movq 1120(%esp), %mm7
1576
 
        movq 432(%eax), %mm0
1577
 
        leal (%edx,%edx,4), %ebp
 
1625
        pswapd %mm1, %mm1
 
1626
        movq 112(%eax), %mm3
1578
1627
        pswapd %mm2, %mm2
1579
 
        pswapd %mm4, %mm4
1580
 
        movq %mm2, (%ebx,%edx,4)
 
1628
        movq %mm1, (%ebx,%esi,2)
 
1629
        leal (%edi,%edx,4), %esi
 
1630
        movq %mm2, (%ecx,%edi)
 
1631
        pswapd %mm0, %mm1
1581
1632
        movq 1544(%esp), %mm2
1582
 
        pswapd %mm7, %mm3
1583
 
        pfpnacc %mm5, %mm6
 
1633
        pfpnacc %mm7, %mm6
 
1634
        pfmul %mm3, %mm0
 
1635
        movq 464(%eax), %mm7
 
1636
        pfmul %mm3, %mm1
 
1637
        pswapd %mm4, %mm4
 
1638
        movq %mm5, (%ecx,%esi,2)
 
1639
        movq 1272(%esp), %mm5
 
1640
        pswapd %mm2, %mm3
 
1641
        movq %mm4, (%ecx,%edx)
 
1642
        movq 456(%eax), %mm4
 
1643
        pswapd %mm6, %mm6
 
1644
        pfmul %mm7, %mm2
 
1645
        pfpnacc %mm0, %mm1
 
1646
        pfmul %mm7, %mm3
 
1647
        movq %mm6, (%ebx,%ebp)
 
1648
        movq 448(%eax), %mm7
 
1649
        pswapd %mm5, %mm0
 
1650
        movq 1240(%esp), %mm6
 
1651
        leal (%esi,%edx,8), %ebp
 
1652
        pfmul %mm4, %mm5
 
1653
        pfmul %mm4, %mm0
 
1654
        pfpnacc %mm2, %mm3
 
1655
        pswapd %mm1, %mm1
 
1656
        movq 1096(%esp), %mm2
 
1657
        pswapd %mm6, %mm4
 
1658
        pfmul %mm7, %mm6
 
1659
        movq %mm1, (%ecx,%ebp)
 
1660
        movq 1144(%esp), %mm1
 
1661
        pfpnacc %mm5, %mm0
 
1662
        pfmul %mm7, %mm4
 
1663
        movq 368(%eax), %mm5
 
1664
        pswapd %mm2, %mm2
 
1665
        pswapd %mm3, %mm3
 
1666
        movq %mm2, (%ebx,%edi,8)
 
1667
        pswapd %mm1, %mm7
 
1668
        leal (%edx,%edx,2), %edi
 
1669
        movq 1520(%esp), %mm2
 
1670
        pfpnacc %mm6, %mm4
 
1671
        pfmul %mm5, %mm1
 
1672
        movq 336(%eax), %mm6
 
1673
        pfmul %mm5, %mm7
 
1674
        leal (%edi,%edi,8), %esi
 
1675
        pswapd %mm0, %mm0
 
1676
        leal (%edx,%edi,4), %ebp
 
1677
        movq %mm3, (%ebx,%esi)
 
1678
        movq 1560(%esp), %mm3
 
1679
        leal (%edx,%edi,8), %esi
 
1680
        pswapd %mm2, %mm5
 
1681
        movq %mm0, (%ebx,%ebp,2)
 
1682
        movq 1264(%esp), %mm0
 
1683
        pfpnacc %mm1, %mm7
 
1684
        pfmul %mm6, %mm2
 
1685
        leal (%edi,%edx,4), %ebp
 
1686
        pfmul %mm6, %mm5
 
1687
        pswapd %mm4, %mm4
 
1688
        movq 1232(%esp), %mm6
 
1689
        movq 328(%eax), %mm1
 
1690
        pswapd %mm3, %mm3
 
1691
        leal (%ebp,%edx,8), %edi
 
1692
        movq %mm4, (%ebx,%esi)
 
1693
        pswapd %mm0, %mm4
 
1694
        leal (%ebp,%edx,4), %esi
 
1695
        movq %mm3, (%ebx,%ebp,2)
 
1696
        pswapd %mm7, %mm7
 
1697
        movq 320(%eax), %mm3
 
1698
        pfpnacc %mm2, %mm5
 
1699
        pfmul %mm1, %mm0
 
1700
        movq 1088(%esp), %mm2
 
1701
        pfmul %mm1, %mm4
 
1702
        movq 1512(%esp), %mm1
 
1703
        movq %mm7, (%ebx,%edi)
 
1704
        pswapd %mm6, %mm7
 
1705
        leal (%edx,%edx,4), %ebp
 
1706
        leal (%edx,%edx,8), %edi
 
1707
        pfmul %mm3, %mm6
 
1708
        pfmul %mm3, %mm7
 
1709
        pswapd %mm5, %mm5
 
1710
        movq 208(%eax), %mm3
 
1711
        pfpnacc %mm0, %mm4
 
1712
        pswapd %mm1, %mm0
 
1713
        movq %mm5, (%ebx,%esi)
 
1714
        movq 1256(%esp), %mm5
 
1715
        pswapd %mm2, %mm2
 
1716
        leal (%edx,%edx,2), %esi
 
1717
        pfpnacc %mm6, %mm7
 
1718
        pfmul %mm3, %mm1
 
1719
        movq 200(%eax), %mm6
 
1720
        pfmul %mm3, %mm0
 
1721
        movq %mm2, (%ebx,%edx,8)
 
1722
        pswapd %mm4, %mm4
 
1723
        movq 1224(%esp), %mm3
 
1724
        pswapd %mm5, %mm2
 
1725
        movq %mm4, (%ebx,%ebp,2)
 
1726
        movq 192(%eax), %mm4
 
1727
        leal (%edi,%edx,4), %ebp
 
1728
        pfmul %mm6, %mm5
 
1729
        pswapd %mm7, %mm7
 
1730
        pfmul %mm6, %mm2
 
1731
        pfpnacc %mm1, %mm0
 
1732
        movq 1136(%esp), %mm6
 
1733
        pswapd %mm3, %mm1
 
1734
        movq %mm7, (%ebx,%edi)
 
1735
        leal (%edx,%ebp,2), %edi
 
1736
        movq 304(%eax), %mm7
 
1737
        pfmul %mm4, %mm3
 
1738
        pfmul %mm4, %mm1
 
1739
        pfpnacc %mm5, %mm2
 
1740
        pswapd %mm0, %mm0
1584
1741
        movq 1080(%esp), %mm5
1585
 
        pfmul %mm0, %mm7
1586
 
        movq %mm4, (%ecx,%ebp)
1587
 
        pfmul %mm0, %mm3
1588
 
        movq 112(%eax), %mm4
1589
 
        pswapd %mm2, %mm2
1590
 
        pswapd %mm5, %mm0
1591
 
        pswapd %mm6, %mm6
1592
 
        movq %mm2, (%ebx,%esi,2)
1593
 
        movq 1400(%esp), %mm2
1594
 
        pfmul %mm4, %mm5
1595
 
        pfpnacc %mm7, %mm3
1596
 
        pfmul %mm4, %mm0
1597
 
        movq 1392(%esp), %mm4
1598
 
        movq %mm6, (%ebx,%ebp)
1599
 
        movq 160(%eax), %mm7
1600
 
        leal (%esi,%edx,4), %ebp
1601
 
        leal (%edx,%edx,2), %esi
1602
 
        pswapd %mm2, %mm6
1603
 
        pfmul %mm7, %mm2
1604
 
        pfpnacc %mm5, %mm0
1605
 
        pswapd %mm3, %mm3
 
1742
        pswapd %mm6, %mm4
 
1743
        movq %mm0, (%ecx,%edi)
 
1744
        movq 1504(%esp), %mm0
1606
1745
        pfmul %mm7, %mm6
1607
 
        movq 416(%eax), %mm7
1608
 
        pswapd %mm4, %mm5
1609
 
        movq %mm3, (%ebx,%edi)
1610
 
        leal (%edx,%esi,2), %edi
1611
 
        movq 1496(%esp), %mm3
1612
 
        pswapd %mm0, %mm0
1613
 
        movq %mm1, (%ecx,%edi,2)
1614
 
        pfpnacc %mm2, %mm6
1615
 
        movq 1488(%esp), %mm1
1616
 
        movq 1072(%esp), %mm2
1617
 
        pfmul %mm7, %mm5
1618
 
        movq %mm0, (%ecx,%ebp)
 
1746
        pfpnacc %mm3, %mm1
1619
1747
        pfmul %mm7, %mm4
1620
 
        leal (%edx,%edx,4), %ebp
1621
 
        movq 368(%eax), %mm0
1622
 
        pswapd %mm3, %mm3
1623
 
        pswapd %mm1, %mm1
1624
 
        pswapd %mm6, %mm6
1625
 
        leal (%edx,%ebp,4), %esi
1626
 
        movq %mm3, (%ecx,%ebp,4)
1627
 
        pswapd %mm2, %mm7
1628
 
        movq 1096(%esp), %mm3
1629
 
        movq %mm1, (%ebx,%ebp,4)
1630
 
        pfpnacc %mm4, %mm5
1631
 
        pfmul %mm0, %mm2
1632
 
        movq 304(%eax), %mm1
1633
 
        pfmul %mm0, %mm7
1634
 
        movq 1552(%esp), %mm4
1635
 
        movq 1480(%esp), %mm0
1636
 
        movq %mm6, (%ecx,%esi)
1637
 
        leal (%edi,%edx,8), %ebp
1638
 
        pswapd %mm3, %mm6
 
1748
        movq 1368(%esp), %mm7
 
1749
        movq 416(%eax), %mm3
1639
1750
        pswapd %mm5, %mm5
1640
 
        pfmul %mm1, %mm3
1641
 
        pfpnacc %mm2, %mm7
1642
 
        movq 392(%eax), %mm2
1643
 
        pfmul %mm1, %mm6
1644
 
        movq %mm5, (%ebx,%esi)
1645
 
        pswapd %mm4, %mm4
1646
 
        pswapd %mm0, %mm1
1647
 
        movq 1208(%esp), %mm5
1648
 
        leal (%edx,%edx), %esi
1649
 
        movq %mm4, (%ebx,%edi,2)
1650
 
        movq 400(%eax), %mm4
1651
 
        pfmul %mm2, %mm0
 
1751
        pswapd %mm2, %mm2
 
1752
        leal (%esi,%edx,4), %edi
 
1753
        movq %mm5, (%ecx,%esi,8)
 
1754
        pswapd %mm0, %mm5
 
1755
        movq %mm2, (%ecx,%ebp,2)
 
1756
        pfmul %mm3, %mm0
 
1757
        movq 1496(%esp), %mm2
 
1758
        pfmul %mm3, %mm5
1652
1759
        pswapd %mm7, %mm7
1653
 
        pfmul %mm2, %mm1
1654
 
        pfpnacc %mm3, %mm6
1655
 
        movq 1536(%esp), %mm2
1656
 
        pswapd %mm5, %mm3
1657
 
        movq %mm7, (%ebx,%ebp)
 
1760
        movq 1344(%esp), %mm3
 
1761
        pfpnacc %mm6, %mm4
 
1762
        pswapd %mm1, %mm1
 
1763
        leal (%edx,%esi,8), %ebp
 
1764
        movq %mm7, (%ebx,%esi,2)
 
1765
        movq 160(%eax), %mm6
 
1766
        leal (%edx,%edx,4), %esi
1658
1767
        movq 1336(%esp), %mm7
1659
 
        pfmul %mm4, %mm5
1660
 
        leal (%edx,%edx,8), %ebp
1661
 
        pfmul %mm4, %mm3
1662
 
        pswapd %mm6, %mm6
1663
 
        pfpnacc %mm0, %mm1
1664
 
        movq 1112(%esp), %mm0
1665
 
        pswapd %mm2, %mm2
1666
 
        pswapd %mm7, %mm4
1667
 
        movq %mm6, (%ebx,%edi)
1668
 
        leal (%edx,%edx,2), %edi
1669
 
        movq 384(%eax), %mm6
1670
 
        pfpnacc %mm5, %mm3
1671
 
        movq %mm2, (%ebx,%edi,2)
1672
 
        movq 136(%eax), %mm5
1673
 
        pswapd %mm0, %mm0
1674
 
        movq 1440(%esp), %mm2
1675
 
        pswapd %mm1, %mm1
1676
 
        leal (%edx,%ebp,2), %edi
1677
 
        pfmul %mm6, %mm7
1678
 
        movq %mm0, (%ebx,%esi,8)
1679
 
        movq 1200(%esp), %mm0
1680
 
        pfmul %mm6, %mm4
1681
 
        movq %mm1, (%ebx,%ebp,2)
 
1768
        movq %mm1, (%ecx,%ebp)
 
1769
        pswapd %mm2, %mm1
1682
1770
        pswapd %mm3, %mm3
1683
 
        movq 144(%eax), %mm1
1684
 
        pswapd %mm2, %mm6
1685
 
        pfmul %mm5, %mm2
1686
 
        movq %mm3, (%ebx,%edi)
1687
 
        leal (%ebp,%edx,8), %esi
1688
 
        leal (%edx,%edx,8), %edi
1689
 
        pfmul %mm5, %mm6
1690
 
        pswapd %mm0, %mm3
1691
 
        movq 128(%eax), %mm5
1692
 
        pfpnacc %mm7, %mm4
1693
 
        movq 1328(%esp), %mm7
1694
 
        leal (%edx,%edx), %ebp
1695
 
        pfmul %mm1, %mm0
1696
 
        pfmul %mm1, %mm3
1697
 
        pfpnacc %mm2, %mm6
1698
 
        movq 1088(%esp), %mm2
 
1771
        pfpnacc %mm0, %mm5
 
1772
        movq 1128(%esp), %mm0
1699
1773
        pswapd %mm4, %mm4
1700
 
        pswapd %mm7, %mm1
1701
 
        pfmul %mm5, %mm7
1702
 
        movq %mm4, (%ebx,%esi)
1703
 
        pfpnacc %mm0, %mm3
1704
 
        movq 1104(%esp), %mm0
1705
 
        movq 48(%eax), %mm4
1706
 
        pfmul %mm5, %mm1
1707
 
        pswapd %mm6, %mm6
1708
 
        pswapd %mm2, %mm5
1709
 
        leal (%edx,%edi,2), %esi
1710
 
        movq %mm6, (%ecx,%edi,2)
1711
 
        movq 1384(%esp), %mm6
1712
 
        pfmul %mm4, %mm2
1713
 
        pswapd %mm3, %mm3
1714
 
        pfmul %mm4, %mm5
1715
 
        pswapd %mm0, %mm0
1716
 
        movq 224(%eax), %mm4
1717
 
        pfpnacc %mm7, %mm1
1718
 
        movq %mm3, (%ecx,%esi)
1719
 
        movq 1528(%esp), %mm3
1720
 
        movq %mm0, (%ecx,%ebp,8)
1721
 
        movq 1320(%esp), %mm0
1722
 
        pswapd %mm6, %mm7
1723
 
        leal (%edi,%edx,8), %ebp
1724
 
        leal (%edx,%edx,2), %edi
1725
 
        pfpnacc %mm2, %mm5
1726
 
        movq 1472(%esp), %mm2
1727
 
        pfmul %mm4, %mm6
1728
 
        pfmul %mm4, %mm7
1729
 
        pswapd %mm1, %mm1
1730
 
        leal (%edx,%edi,2), %esi
1731
 
        movq 72(%eax), %mm4
1732
 
        pswapd %mm0, %mm0
1733
 
        pswapd %mm3, %mm3
1734
 
        movq %mm1, (%ecx,%ebp)
1735
1774
        leal (%edx,%esi,4), %ebp
1736
 
        movq %mm0, (%ecx,%esi,4)
1737
 
        pswapd %mm2, %mm1
1738
 
        movq 1192(%esp), %mm0
1739
 
        pfpnacc %mm6, %mm7
 
1775
        pfmul %mm6, %mm2
 
1776
        movq %mm3, (%ebx,%esi,4)
 
1777
        movq 1360(%esp), %mm3
 
1778
        pfmul %mm6, %mm1
 
1779
        pswapd %mm7, %mm7
 
1780
        movq %mm4, (%ebx,%edi)
 
1781
        movq 48(%eax), %mm6
 
1782
        pswapd %mm0, %mm4
 
1783
        leal (%edx,%edx,2), %edi
 
1784
        movq %mm7, (%ecx,%esi,4)
 
1785
        movq 1488(%esp), %mm7
 
1786
        pswapd %mm5, %mm5
 
1787
        pswapd %mm3, %mm3
 
1788
        leal (%edi,%edx,4), %esi
 
1789
        pfpnacc %mm2, %mm1
 
1790
        movq 96(%eax), %mm2
 
1791
        pfmul %mm6, %mm0
 
1792
        pfmul %mm6, %mm4
1740
1793
        movq %mm3, (%ecx,%edi,2)
1741
 
        movq 80(%eax), %mm6
1742
 
        pfmul %mm4, %mm2
 
1794
        movq 1536(%esp), %mm3
 
1795
        pswapd %mm7, %mm6
 
1796
        movq %mm5, (%ebx,%ebp)
 
1797
        movq 1416(%esp), %mm5
 
1798
        pfmul %mm2, %mm7
 
1799
        pswapd %mm1, %mm1
 
1800
        pfmul %mm2, %mm6
 
1801
        movq 144(%eax), %mm2
 
1802
        pfpnacc %mm0, %mm4
 
1803
        movq %mm1, (%ecx,%ebp)
 
1804
        pswapd %mm3, %mm1
 
1805
        movq 1288(%esp), %mm0
1743
1806
        pswapd %mm5, %mm5
1744
 
        leal (%edx,%edx,4), %edi
1745
 
        pfmul %mm4, %mm1
1746
 
        movq 1304(%esp), %mm4
1747
 
        pswapd %mm0, %mm3
1748
 
        movq %mm5, (%ecx,%esi)
1749
 
        movq 64(%eax), %mm5
1750
 
        pfmul %mm6, %mm0
1751
 
        pswapd %mm7, %mm7
1752
 
        leal (%edx,%edi,2), %esi
1753
 
        pfmul %mm6, %mm3
1754
 
        pfpnacc %mm2, %mm1
1755
 
        movq %mm7, (%ecx,%ebp)
1756
 
        pswapd %mm4, %mm6
1757
 
        movq 1376(%esp), %mm2
1758
 
        movq 1296(%esp), %mm7
1759
 
        pfmul %mm5, %mm4
1760
 
        pfmul %mm5, %mm6
1761
 
        movq 480(%eax), %mm5
1762
 
        leal (%edx,%edx,8), %ebp
1763
 
        pfpnacc %mm0, %mm3
1764
 
        pswapd %mm1, %mm1
1765
 
        pswapd %mm7, %mm7
1766
 
        pswapd %mm2, %mm0
1767
 
        movq %mm1, (%ecx,%edi,2)
1768
 
        movq 1464(%esp), %mm1
1769
 
        pfpnacc %mm4, %mm6
1770
 
        pfmul %mm5, %mm2
1771
 
        movq %mm7, (%ecx,%edx,8)
1772
 
        pswapd %mm3, %mm3
1773
 
        pfmul %mm5, %mm0
1774
 
        movq 1312(%esp), %mm5
1775
 
        movq %mm3, (%ecx,%esi)
1776
 
        movq 1184(%esp), %mm3
1777
 
        movq 328(%eax), %mm7
1778
 
        leal (%edx,%edx,4), %edi
1779
 
        pswapd %mm1, %mm4
 
1807
        leal (%edx,%edi,4), %ebp
 
1808
        pfmul %mm2, %mm3
 
1809
        pfpnacc %mm7, %mm6
 
1810
        movq 136(%eax), %mm7
 
1811
        pfmul %mm2, %mm1
 
1812
        pswapd %mm4, %mm4
 
1813
        movq 1216(%esp), %mm2
 
1814
        movq %mm5, (%ecx,%edi,4)
 
1815
        pswapd %mm0, %mm5
 
1816
        leal (%edx,%edx), %edi
 
1817
        movq %mm4, (%ecx,%esi)
 
1818
        movq 128(%eax), %mm4
 
1819
        leal (%edx,%edx,2), %esi
 
1820
        pfmul %mm7, %mm0
1780
1821
        pswapd %mm6, %mm6
1781
 
        leal (%ebp,%edi,4), %esi
1782
 
        pfpnacc %mm2, %mm0
1783
 
        pfmul %mm7, %mm1
1784
 
        movq 336(%eax), %mm2
1785
 
        pfmul %mm7, %mm4
 
1822
        pfpnacc %mm3, %mm1
 
1823
        pfmul %mm7, %mm5
 
1824
        movq 1056(%esp), %mm3
 
1825
        pswapd %mm2, %mm7
1786
1826
        movq %mm6, (%ecx,%ebp)
 
1827
        leal (%esi,%edi,8), %ebp
 
1828
        movq 1480(%esp), %mm6
 
1829
        pfmul %mm4, %mm2
 
1830
        pfmul %mm4, %mm7
 
1831
        movq 352(%eax), %mm4
 
1832
        pswapd %mm1, %mm1
 
1833
        pfpnacc %mm0, %mm5
 
1834
        pswapd %mm3, %mm3
 
1835
        movq %mm1, (%ecx,%ebp)
 
1836
        movq 1472(%esp), %mm1
 
1837
        pswapd %mm6, %mm0
 
1838
        pfpnacc %mm2, %mm7
 
1839
        movq %mm3, (%ecx,%edi,8)
 
1840
        movq 224(%eax), %mm2
 
1841
        pfmul %mm4, %mm6
 
1842
        leal (%edx,%edx,8), %edi
1787
1843
        pswapd %mm5, %mm5
1788
 
        movq 1264(%esp), %mm7
1789
 
        leal (%edi,%edx,2), %ebp
1790
 
        pswapd %mm3, %mm6
1791
 
        movq %mm5, (%ebx,%ebp,4)
1792
 
        pfmul %mm2, %mm6
 
1844
        pfmul %mm4, %mm0
 
1845
        movq 1400(%esp), %mm4
 
1846
        leal (%edx,%edx,2), %ebp
 
1847
        pswapd %mm1, %mm3
 
1848
        movq %mm5, (%ecx,%edi,2)
 
1849
        movq 1528(%esp), %mm5
 
1850
        pfmul %mm2, %mm1
 
1851
        leal (%edi,%edx,8), %esi
 
1852
        pswapd %mm7, %mm7
 
1853
        pfmul %mm2, %mm3
 
1854
        movq 272(%eax), %mm2
 
1855
        leal (%edx,%ebp,4), %edi
 
1856
        pfpnacc %mm6, %mm0
 
1857
        movq 1408(%esp), %mm6
 
1858
        movq %mm7, (%ecx,%esi)
 
1859
        pswapd %mm4, %mm4
 
1860
        leal (%ebp,%edx,4), %esi
 
1861
        pswapd %mm5, %mm7
 
1862
        pfpnacc %mm1, %mm3
 
1863
        movq 1208(%esp), %mm1
 
1864
        movq %mm4, (%ecx,%esi,4)
 
1865
        pfmul %mm2, %mm5
 
1866
        movq 256(%eax), %mm4
 
1867
        pswapd %mm6, %mm6
 
1868
        pfmul %mm2, %mm7
1793
1869
        pswapd %mm0, %mm0
1794
 
        pfmul %mm2, %mm3
1795
 
        movq 320(%eax), %mm5
1796
 
        pfpnacc %mm1, %mm4
1797
 
        movq %mm0, (%ebx,%esi)
1798
 
        pswapd %mm7, %mm1
 
1870
        movq %mm6, (%ebx,%ebp,4)
 
1871
        movq 1280(%esp), %mm6
 
1872
        leal (%edx,%esi,4), %ebp
 
1873
        pswapd %mm1, %mm2
 
1874
        movq %mm0, (%ebx,%edi)
 
1875
        pswapd %mm3, %mm3
 
1876
        movq 264(%eax), %mm0
 
1877
        pfmul %mm4, %mm1
 
1878
        leal (%edx,%edx,2), %edi
 
1879
        pfpnacc %mm5, %mm7
 
1880
        pfmul %mm4, %mm2
 
1881
        movq 1464(%esp), %mm4
 
1882
        movq %mm3, (%ecx,%ebp)
 
1883
        movq 1040(%esp), %mm3
 
1884
        pswapd %mm6, %mm5
 
1885
        leal (%edx,%edx,4), %esi
 
1886
        pfmul %mm0, %mm6
 
1887
        pfmul %mm0, %mm5
 
1888
        pfpnacc %mm1, %mm2
 
1889
        movq 32(%eax), %mm0
 
1890
        pswapd %mm7, %mm7
 
1891
        pswapd %mm3, %mm3
 
1892
        leal (%esi,%edx,2), %ebp
 
1893
        pswapd %mm4, %mm1
 
1894
        movq %mm7, (%ebx,%edi)
 
1895
        movq 1448(%esp), %mm7
 
1896
        leal (%edx,%ebp,4), %edi
 
1897
        movq %mm3, (%ebx)
 
1898
        pfmul %mm0, %mm4
 
1899
        pswapd %mm2, %mm2
 
1900
        pfmul %mm0, %mm1
1799
1901
        movq 1456(%esp), %mm0
1800
 
        movq 200(%eax), %mm2
1801
 
        leal (%edx,%edx,8), %esi
1802
 
        pfmul %mm5, %mm7
1803
 
        pfpnacc %mm3, %mm6
1804
 
        movq 1272(%esp), %mm3
1805
 
        pfmul %mm5, %mm1
1806
 
        pswapd %mm4, %mm4
1807
 
        pswapd %mm0, %mm5
 
1902
        movq 288(%eax), %mm3
 
1903
        pfpnacc %mm6, %mm5
 
1904
        movq %mm2, (%ebx,%edx)
 
1905
        movq 480(%eax), %mm2
 
1906
        pswapd %mm7, %mm6
 
1907
        addl $504, %eax
 
1908
        pfmul %mm3, %mm7
 
1909
        pfpnacc %mm4, %mm1
 
1910
        movq 1328(%esp), %mm4
 
1911
        pfmul %mm3, %mm6
 
1912
        pswapd %mm0, %mm3
1808
1913
        pfmul %mm2, %mm0
1809
 
        movq %mm4, (%ebx,%edi,2)
1810
 
        movq 1160(%esp), %mm4
1811
 
        leal (%ebp,%edx,4), %edi
1812
 
        pfmul %mm2, %mm5
1813
 
        pswapd %mm3, %mm3
1814
 
        leal (%edx,%edx,2), %ebp
1815
 
        pfpnacc %mm7, %mm1
1816
 
        movq 208(%eax), %mm7
1817
 
        pswapd %mm6, %mm6
1818
 
        movq %mm3, (%ebx,%edx,8)
1819
 
        movq 1256(%esp), %mm3
1820
 
        pswapd %mm4, %mm2
1821
 
        movq %mm6, (%ebx,%edi)
1822
 
        movq 192(%eax), %mm6
1823
 
        pfpnacc %mm0, %mm5
1824
 
        leal (%esi,%edx,4), %edi
1825
 
        pfmul %mm7, %mm4
1826
 
        pswapd %mm1, %mm1
1827
 
        pfmul %mm7, %mm2
1828
 
        pswapd %mm3, %mm0
1829
 
        movq 1288(%esp), %mm7
1830
 
        movq %mm1, (%ebx,%esi)
1831
 
        pfmul %mm6, %mm3
1832
 
        movq 1176(%esp), %mm1
1833
 
        pfmul %mm6, %mm0
1834
 
        pswapd %mm5, %mm5
1835
 
        movq 16(%eax), %mm6
1836
 
        leal (%edx,%edi,2), %esi
1837
 
        pfpnacc %mm4, %mm2
1838
 
        movq %mm5, (%ecx,%edi,2)
1839
 
        movq 1432(%esp), %mm5
1840
 
        pswapd %mm7, %mm7
1841
 
        pswapd %mm1, %mm4
1842
 
        leal (%edx,%ebp,8), %edi
1843
 
        pfpnacc %mm3, %mm0
1844
 
        movq 8(%eax), %mm3
1845
 
        pfmul %mm6, %mm1
1846
 
        movq %mm7, (%ecx,%ebp,8)
1847
 
        pfmul %mm6, %mm4
1848
 
        movq 1016(%esp), %mm6
1849
 
        pswapd %mm2, %mm2
1850
 
        pswapd %mm5, %mm7
1851
 
        movq %mm2, (%ecx,%esi)
1852
 
        movq 1248(%esp), %mm2
1853
 
        pfmul %mm3, %mm5
1854
 
        pfmul %mm3, %mm7
1855
 
        pswapd %mm0, %mm0
1856
 
        movq (%eax), %mm3
1857
 
        pfpnacc %mm1, %mm4
1858
 
        movq 1424(%esp), %mm1
1859
 
        movq %mm6, (%ecx)
1860
 
        movq %mm0, (%ecx,%edi)
1861
 
        movq 264(%eax), %mm6
1862
 
        leal (%edx,%ebp,4), %esi
1863
 
        pswapd %mm2, %mm0
1864
 
        pfpnacc %mm5, %mm7
1865
 
        pfmul %mm3, %mm2
1866
 
        pfmul %mm3, %mm0
1867
 
        pswapd %mm4, %mm4
1868
 
        movq 1168(%esp), %mm3
1869
 
        pswapd %mm1, %mm5
1870
 
        pfmul %mm6, %mm1
1871
 
        movq %mm4, (%ecx,%ebp)
1872
 
        movq 272(%eax), %mm4
1873
 
        pswapd %mm7, %mm7
1874
 
        pfmul %mm6, %mm5
1875
 
        pfpnacc %mm2, %mm0
1876
 
        movq 1240(%esp), %mm2
1877
 
        pswapd %mm3, %mm6
1878
 
        movq %mm7, (%ecx,%edx,2)
1879
 
        movq 256(%eax), %mm7
1880
 
        pfmul %mm4, %mm3
1881
 
        pfmul %mm4, %mm6
1882
 
        pfpnacc %mm1, %mm5
1883
 
        movq 1448(%esp), %mm1
1884
 
        pswapd %mm2, %mm4
1885
 
        pswapd %mm0, %mm0
1886
 
        pfmul %mm7, %mm2
1887
 
        pfmul %mm7, %mm4
1888
 
        movq 1024(%esp), %mm7
1889
 
        movq %mm0, (%ecx,%edx)
1890
 
        pfpnacc %mm3, %mm6
1891
 
        movq 456(%eax), %mm3
1892
 
        pswapd %mm5, %mm5
1893
 
        pswapd %mm1, %mm0
 
1914
        pswapd %mm5, %mm5
 
1915
        pfmul %mm2, %mm3
 
1916
        movq 1392(%esp), %mm2
1894
1917
        movq %mm5, (%ebx,%edx,2)
1895
 
        movq 1152(%esp), %mm5
1896
 
        pswapd %mm7, %mm7
1897
 
        pfpnacc %mm2, %mm4
1898
 
        pfmul %mm3, %mm1
1899
 
        pswapd %mm6, %mm6
1900
 
        pfmul %mm3, %mm0
1901
 
        movq %mm7, (%ebx)
1902
 
        movq 1232(%esp), %mm7
1903
 
        movq %mm6, (%ebx,%ebp)
1904
 
        movq 448(%eax), %mm3
1905
 
        pswapd %mm5, %mm2
1906
 
        movq 464(%eax), %mm6
 
1918
        movq 1320(%esp), %mm5
1907
1919
        pswapd %mm4, %mm4
1908
 
        addl $504, %eax
1909
 
        addl 1604(%esp), %ecx
1910
 
        pfpnacc %mm1, %mm0
1911
 
        pswapd %mm7, %mm1
1912
 
        movq %mm4, (%ebx,%edx)
1913
 
        pfmul %mm3, %mm7
1914
 
        pfmul %mm6, %mm5
1915
 
        pfmul %mm6, %mm2
1916
 
        movq 1280(%esp), %mm6
1917
 
        pfmul %mm3, %mm1
1918
 
        pswapd %mm0, %mm0
1919
 
        movq %mm0, (%ebx,%esi,2)
1920
 
        pfpnacc %mm5, %mm2
1921
 
        pswapd %mm6, %mm6
1922
 
        pfpnacc %mm7, %mm1
1923
 
        movq %mm6, (%ebx,%ebp,8)
1924
 
        leal (%edi,%edx,2), %ebp
 
1920
        pfpnacc %mm7, %mm6
 
1921
        pswapd %mm1, %mm1
 
1922
        movq %mm4, (%ecx,%edx,4)
 
1923
        pfpnacc %mm0, %mm3
1925
1924
        pswapd %mm2, %mm2
1926
 
        pswapd %mm1, %mm1
1927
 
        movq %mm2, (%ebx,%ebp)
1928
 
        movq %mm1, (%ebx,%edi)
1929
 
        addl 1604(%esp), %ebx
1930
 
        decl 1600(%esp)
 
1925
        movq %mm1, (%ecx,%esi)
 
1926
        pswapd %mm5, %mm5
 
1927
        addl 1612(%esp), %ecx
 
1928
        pswapd %mm6, %mm6
 
1929
        movq %mm2, (%ebx,%ebp,4)
 
1930
        movq %mm5, (%ebx,%edx,4)
 
1931
        pswapd %mm3, %mm3
 
1932
        movq %mm6, (%ebx,%esi)
 
1933
        movq %mm3, (%ebx,%edi)
 
1934
        addl 1612(%esp), %ebx
 
1935
        decl 1608(%esp)
1931
1936
        jnz .L0
1932
1937
        femms 
1933
 
        movl 1576(%esp), %ebx
1934
 
        movl 1572(%esp), %esi
1935
 
        movl 1568(%esp), %edi
1936
 
        movl 1564(%esp), %ebp
1937
 
        addl $1580, %esp
 
1938
        movl 1584(%esp), %ebx
 
1939
        movl 1580(%esp), %esi
 
1940
        movl 1576(%esp), %edi
 
1941
        movl 1572(%esp), %ebp
 
1942
        addl $1588, %esp
1938
1943
        ret 
1939
1944
 
1940
1945
.section .rodata
1953
1958
        .long 64
1954
1959
        .long nam
1955
1960
        .long twinstr
1956
 
        .zero 4
 
1961
        .long fftwf_kdft_ct_k7_mgenus
1957
1962
        .double 519
1958
1963
        .double 250
1959
1964
        .double 0
1960
1965
        .double 0
1961
 
        .long fftwf_kdft_ct_k7_mgenus
1962
1966
        .long 0
1963
1967
        .long 0
1964
1968
        .long 0