~ubuntu-branches/ubuntu/vivid/atlas/vivid

#define SSE

#include "SSE3Dnow.h"

#include "atlas_misc.h"

 

void ATL_USERMM

(const int M, const int N, const int K, const float alpha, const float *A, const int lda, const float *B, const int ldb, const float beta, float *C, const int ldc)

 

{

   /*--- achitecture specific declarations ---*/

 

   /*--- program specific declarations ---*/

   int i, j, k;

   vector betavec;

   vector zerovec = {0.0,0.0,0.0,0.0};

   const float *pA0 = A;

   const float *pB0 = B;

   float *pC0 = C;

   const float *stM = A + MB*KB;

   const float *stN = B + N*KB;

   const int incAm = 2*KB-KB+32;

   const int incBm = -KB+32;

   const int incCm = 2 SHIFT;

   const int incAn = -MB*KB;

   const int incBn = 1*KB;

   const int incCn = (ldc*1-MB)SHIFT;

 

   /*--- initial arhitecture specific statements ---*/

   vec_enter();

 

   /*--- main program statements ---*/

   vec_mov_mr_1(&beta,reg0);

   vec_mov_rm(reg0,&betavec);

   while(pB0 != stN)

   {

      do /* M-loop */

      {

#ifdef BETA0

         vec_mov_mr(zerovec,reg7);

         vec_mov_rr(reg7,reg0);

         vec_mov_rr(reg7,reg1);

#elif defined(BETA1)

         vec_mov_mr_1(pC0,reg0);

         vec_mov_mr_1(pC0+(1 SHIFT),reg1);

#else

         vec_mov_mr(betavec,reg7);

         vec_mov_mr_1(pC0,reg0);

         vec_mul_rr(reg7,reg0);

         vec_mov_mr_1(pC0+(1 SHIFT),reg1);

         vec_mul_rr(reg7,reg1);

#endif

         vec_mov_mr_a(pB0,reg6);

         vec_mov_mr_a(pA0,reg2);

         vec_mov_mr_a(pA0+KB,reg3);

         vec_mul_rr(reg6,reg2);

         vec_add_rr(reg2,reg0);

         vec_mov_mr_a(pA0+4,reg4);

         vec_mul_rr(reg6,reg3);

         vec_add_rr(reg3,reg1);

         vec_mov_mr_a(pB0+4,reg7);

         vec_mov_mr_a(pA0+4+KB,reg5);

         vec_mul_rr(reg7,reg4);

         vec_add_rr(reg4,reg0);

         vec_mov_mr_a(pA0+8,reg2);

         vec_mul_rr(reg7,reg5);

         vec_add_rr(reg5,reg1);

         vec_mov_mr_a(pB0+8,reg6);

         vec_mov_mr_a(pA0+8+KB,reg3);

         vec_mul_rr(reg6,reg2);

         vec_add_rr(reg2,reg0);

         vec_mov_mr_a(pA0+12,reg4);

         vec_mul_rr(reg6,reg3);

         vec_add_rr(reg3,reg1);

         vec_mov_mr_a(pB0+12,reg7);

         vec_mov_mr_a(pA0+12+KB,reg5);

         vec_mul_rr(reg7,reg4);

         vec_add_rr(reg4,reg0);

         vec_mov_mr_a(pA0+16,reg2);

         vec_mul_rr(reg7,reg5);

         vec_add_rr(reg5,reg1);

         vec_mov_mr_a(pB0+16,reg6);

         vec_mov_mr_a(pA0+16+KB,reg3);

         vec_mul_rr(reg6,reg2);

         vec_add_rr(reg2,reg0);

         vec_mov_mr_a(pA0+20,reg4);

         vec_mul_rr(reg6,reg3);

         vec_add_rr(reg3,reg1);

         vec_mov_mr_a(pB0+20,reg7);

         vec_mov_mr_a(pA0+20+KB,reg5);

         vec_mul_rr(reg7,reg4);

         vec_add_rr(reg4,reg0);

         vec_mov_mr_a(pA0+24,reg2);

         vec_mul_rr(reg7,reg5);

         vec_add_rr(reg5,reg1);

         vec_mov_mr_a(pB0+24,reg6);

         vec_mov_mr_a(pA0+24+KB,reg3);

         vec_mul_rr(reg6,reg2);

         vec_add_rr(reg2,reg0);

         vec_mov_mr_a(pA0+28,reg2);

         vec_mul_rr(reg6,reg3);

         vec_add_rr(reg3,reg1);

         vec_mov_mr_a(pB0+28,reg6);

         vec_mov_mr_a(pA0+28+KB,reg3);

         vec_mul_rr(reg6,reg2);

         vec_add_rr(reg2,reg0);

         vec_mul_rr(reg6,reg3);

         vec_add_rr(reg3,reg1);

         vec_sum(reg0);

         vec_sum(reg1);

         vec_mov_rm_1(reg0,pC0);

         vec_mov_rm_1(reg1,pC0+(1 SHIFT));

         pA0 += incAm;

         pB0 += incBm;

         pC0 += incCm;

      }

      while(pA0 != stM);

 

      pA0 += incAn;

      pB0 += incBn;

      pC0 += incCn;

   }

 

   vec_exit();

}