← Back to branch summary

~ubuntu-branches/ubuntu/precise/mysql-5.1/precise

« back to all changes in this revision

Viewing changes to storage/ndb/test/ndbapi/testLcp.cpp

  • Committer: Bazaar Package Importer
  • Author(s): Norbert Tretkowski
  • Date: 2010-03-17 14:56:02 UTC
  • Revision ID: james.westby@ubuntu.com-20100317145602-x7e30l1b2sb5s6w6
Tags: upstream-5.1.45
Import upstream version 5.1.45

Show diffs side-by-side

added added

removed removed

Lines of Context:
storage/ndb/test/ndbapi/testLcp.cpp
 
1
 
 
2
#include <NDBT.hpp>
 
3
#include <NdbApi.hpp>
 
4
#include <NdbRestarter.hpp>
 
5
#include <HugoOperations.hpp>
 
6
#include <HugoTransactions.hpp>
 
7
#include <UtilTransactions.hpp>
 
8
#include <signaldata/DumpStateOrd.hpp>
 
9
 
 
10
#include <getarg.h>
 
11
#include <InputStream.hpp>
 
12
 
 
13
struct CASE 
 
14
{
 
15
  bool start_row;
 
16
  bool end_row;
 
17
  bool curr_row;
 
18
  const char * op1;
 
19
  const char * op2;
 
20
  const char * op3;
 
21
  int val;
 
22
};
 
23
 
 
24
static CASE g_op_types[] =
 
25
{
 
26
  { false, true,  false, "INS", 0,     0,     0 }, // 0x001 a
 
27
  { true,  true,  false, "UPD", 0,     0,     0 }, // 0x002 d
 
28
  { true,  false, false, "DEL", 0,     0,     0 }, // 0x004 g
 
29
 
 
30
  { false, true,  false, "INS", "UPD", 0,     0 }, // 0x008 b
 
31
  { false, false, false, "INS", "DEL", 0,     0 }, // 0x010 c
 
32
  { true,  true,  false, "UPD", "UPD", 0,     0 }, // 0x020 e
 
33
  { true,  false, false, "UPD", "DEL", 0,     0 }, // 0x040 f
 
34
  { true,  true,  false, "DEL", "INS", 0,     0 }, // 0x080 h
 
35
 
 
36
  { false, true,  false, "INS", "DEL", "INS", 0 }, // 0x100 i
 
37
  { true,  false, false, "DEL", "INS", "DEL", 0 }  // 0x200 j
 
38
};
 
39
const size_t OP_COUNT = (sizeof(g_op_types)/sizeof(g_op_types[0]));
 
40
 
 
41
static Ndb* g_ndb = 0;
 
42
static CASE* g_ops;
 
43
static Ndb_cluster_connection *g_cluster_connection= 0;
 
44
static HugoOperations* g_hugo_ops;
 
45
static int g_use_ops = 1 | 2 | 4;
 
46
static int g_cases = 0x1;
 
47
static int g_case_loop = 2;
 
48
static int g_rows = 10;
 
49
static int g_setup_tables = 1;
 
50
static int g_one_op_at_a_time = 0;
 
51
static const char * g_tablename = "T1";
 
52
static const NdbDictionary::Table* g_table = 0;
 
53
static NdbRestarter g_restarter;
 
54
 
 
55
static int init_ndb(int argc, char** argv);
 
56
static int parse_args(int argc, char** argv);
 
57
static int connect_ndb();
 
58
static int drop_all_tables();
 
59
static int load_table();
 
60
static int pause_lcp(int error);
 
61
static int do_op(int row);
 
62
static int continue_lcp(int error = 0);
 
63
static int commit();
 
64
static int restart();
 
65
static int validate();
 
66
 
 
67
#define require(x) { bool b = x; if(!b){g_err << __LINE__ << endl; abort();}}
 
68
 
 
69
int 
 
70
main(int argc, char ** argv){
 
71
  ndb_init();
 
72
  require(!init_ndb(argc, argv));
 
73
  if(parse_args(argc, argv))
 
74
    return -1;
 
75
  require(!connect_ndb());
 
76
  
 
77
  if(g_setup_tables){
 
78
    require(!drop_all_tables());
 
79
    
 
80
    if(NDBT_Tables::createTable(g_ndb, g_tablename) != 0){
 
81
      exit(-1);
 
82
    }
 
83
  }
 
84
  
 
85
  g_table = g_ndb->getDictionary()->getTable(g_tablename);
 
86
  if(g_table == 0){
 
87
    g_err << "Failed to retreive table: " << g_tablename << endl;
 
88
    exit(-1);
 
89
  }
 
90
  require(g_hugo_ops = new HugoOperations(* g_table));
 
91
  require(!g_hugo_ops->startTransaction(g_ndb));
 
92
  
 
93
  g_ops= new CASE[g_rows];
 
94
  
 
95
  const int use_ops = g_use_ops;
 
96
  for(size_t i = 0; i<OP_COUNT; i++)
 
97
  {
 
98
    if(g_one_op_at_a_time){
 
99
      while(i < OP_COUNT && (use_ops & (1 << i)) == 0) i++;
 
100
      if(i == OP_COUNT)
 
101
        break;
 
102
      ndbout_c("-- loop\noperation: %c use_ops: %x", 'a'+i, use_ops);
 
103
      g_use_ops = (1 << i);
 
104
    } else {
 
105
      i = OP_COUNT - 1;
 
106
    }
 
107
    
 
108
    size_t test_case = 0;
 
109
    if((1 << test_case++) & g_cases)
 
110
    {
 
111
      for(size_t tl = 0; tl<g_case_loop; tl++){
 
112
        g_info << "Performing all ops wo/ inteference of LCP" << endl;
 
113
        
 
114
        g_info << "Testing pre LCP operations, ZLCP_OP_WRITE_RT_BREAK" << endl;
 
115
        g_info << "  where ZLCP_OP_WRITE_RT_BREAK is "
 
116
          " finished before SAVE_PAGES" << endl;
 
117
        require(!load_table());
 
118
        require(!pause_lcp(5900));
 
119
        for(size_t j = 0; j<g_rows; j++){
 
120
          require(!do_op(j));
 
121
        }
 
122
        require(!continue_lcp(5900));
 
123
        require(!commit());
 
124
        require(!pause_lcp(5900));
 
125
        require(!restart());
 
126
        require(!validate());
 
127
      }  
 
128
    }
 
129
    
 
130
    if((1 << test_case++) & g_cases)
 
131
    {
 
132
      for(size_t tl = 0; tl<g_case_loop; tl++){
 
133
        g_info << "Testing pre LCP operations, ZLCP_OP_WRITE_RT_BREAK" << endl;
 
134
        g_info << "  where ZLCP_OP_WRITE_RT_BREAK is finished after SAVE_PAGES"
 
135
               << endl;
 
136
        require(!load_table());
 
137
        require(!pause_lcp(5901));
 
138
        for(size_t j = 0; j<g_rows; j++){
 
139
          require(!do_op(j));
 
140
        }
 
141
        require(!continue_lcp(5901));
 
142
        require(!commit());
 
143
        require(!pause_lcp(5900));
 
144
        require(!restart());
 
145
        require(!validate());
 
146
      }    
 
147
    }
 
148
 
 
149
    if((1 << test_case++) & g_cases)
 
150
    {
 
151
      for(size_t tl = 0; tl<g_case_loop; tl++){
 
152
        g_info << "Testing pre LCP operations, undo-ed at commit" << endl;
 
153
        require(!load_table());
 
154
        require(!pause_lcp(5902));
 
155
        for(size_t j = 0; j<g_rows; j++){
 
156
          require(!do_op(j));
 
157
        }
 
158
        require(!continue_lcp(5902));
 
159
        require(!commit());
 
160
        require(!continue_lcp(5903));
 
161
        require(!pause_lcp(5900));
 
162
        require(!restart());
 
163
        require(!validate());
 
164
      }
 
165
    }
 
166
    
 
167
    if((1 << test_case++) & g_cases)
 
168
    {
 
169
      for(size_t tl = 0; tl<g_case_loop; tl++){
 
170
        g_info << "Testing prepared during LCP and committed after" << endl;
 
171
        require(!load_table());
 
172
        require(!pause_lcp(5904));    // Start LCP, but don't save pages
 
173
        for(size_t j = 0; j<g_rows; j++){
 
174
          require(!do_op(j));
 
175
        }
 
176
        require(!continue_lcp(5904)); // Start ACC save pages
 
177
        require(!pause_lcp(5900));    // Next LCP
 
178
        require(!commit());
 
179
        require(!restart());
 
180
        require(!validate());
 
181
      }
 
182
    }
 
183
  }
 
184
}
 
185
 
 
186
static int init_ndb(int argc, char** argv)
 
187
{
 
188
  ndb_init();
 
189
  return 0;
 
190
}
 
191
 
 
192
static int parse_args(int argc, char** argv)
 
193
{
 
194
  size_t i;
 
195
  char * ops= 0, *cases=0;
 
196
  struct getargs args[] = {
 
197
    { "records", 0, arg_integer, &g_rows, "Number of records", "records" },
 
198
    { "operations", 'o', arg_string, &ops, "Operations [a-h]", 0 },
 
199
    { "1", '1', arg_flag, &g_one_op_at_a_time, "One op at a time", 0 },
 
200
    { "0", '0', arg_negative_flag, &g_one_op_at_a_time, "All ops at once", 0 },
 
201
    { "cases", 'c', arg_string, &cases, "Cases [a-c]", 0 },
 
202
    { 0, 't', arg_flag, &g_setup_tables, "Create table", 0 },
 
203
    { 0, 'u', arg_negative_flag, &g_setup_tables, "Dont create table", 0 }
 
204
  };
 
205
  
 
206
  int optind= 0;
 
207
  const int num_args = sizeof(args)/sizeof(args[0]);
 
208
  if(getarg(args, num_args, argc, (const char**)argv, &optind)) {
 
209
    arg_printusage(args, num_args, argv[0], " tabname1\n");
 
210
    ndbout_c("\n -- Operations [a-%c] = ", 'a'+OP_COUNT-1);
 
211
    for(i = 0; i<OP_COUNT; i++){
 
212
      ndbout_c("\t%c = %s %s", 
 
213
               'a'+i, g_op_types[i].op1,
 
214
               g_op_types[i].op2 ? g_op_types[i].op2 : "");
 
215
    }
 
216
    return -1;
 
217
  }
 
218
  
 
219
  if(ops != 0){
 
220
    g_use_ops = 0;
 
221
    char * s = ops;
 
222
    while(* s)
 
223
      g_use_ops |= (1 << ((* s++) - 'a'));
 
224
  }
 
225
 
 
226
  if(cases != 0){
 
227
    g_cases = 0;
 
228
    char * s = cases;
 
229
    while(* s)
 
230
      g_cases |= (1 << ((* s++) - 'a'));
 
231
  }
 
232
  
 
233
  ndbout_c("table: %s", g_tablename);
 
234
  printf("operations: ");
 
235
  for(i = 0; i<OP_COUNT; i++)
 
236
    if(g_use_ops & (1 << i))
 
237
      printf("%c", 'a'+i);
 
238
  printf("\n");
 
239
  
 
240
  printf("test cases: ");
 
241
  for(i = 0; i<3; i++)
 
242
    if(g_cases & (1 << i))
 
243
      printf("%c", '1'+i);
 
244
  printf("\n");
 
245
  printf("-------------\n");  
 
246
  return 0;
 
247
}
 
248
 
 
249
static int connect_ndb()
 
250
{
 
251
  g_cluster_connection = new Ndb_cluster_connection();
 
252
  if(g_cluster_connection->connect(12, 5, 1) != 0)
 
253
  {
 
254
    return 1;
 
255
  }
 
256
 
 
257
  g_ndb = new Ndb(g_cluster_connection, "TEST_DB");
 
258
  g_ndb->init(256);
 
259
  if(g_ndb->waitUntilReady(30) == 0){
 
260
    return 0;
 
261
//    int args[] = { DumpStateOrd::DihMaxTimeBetweenLCP };
 
262
//    return g_restarter.dumpStateAllNodes(args, 1);
 
263
  }
 
264
  return -1;
 
265
}
 
266
 
 
267
static int disconnect_ndb()
 
268
{
 
269
  delete g_ndb;
 
270
  delete g_cluster_connection;
 
271
  g_ndb = 0;
 
272
  g_table = 0;
 
273
  g_cluster_connection= 0;
 
274
  return 0;
 
275
}
 
276
 
 
277
static int drop_all_tables()
 
278
{
 
279
  NdbDictionary::Dictionary * dict = g_ndb->getDictionary();
 
280
  require(dict);
 
281
 
 
282
  BaseString db = g_ndb->getDatabaseName();
 
283
  BaseString schema = g_ndb->getSchemaName();
 
284
 
 
285
  NdbDictionary::Dictionary::List list;
 
286
  if (dict->listObjects(list, NdbDictionary::Object::TypeUndefined) == -1){
 
287
      g_err << "Failed to list tables: " << endl
 
288
            << dict->getNdbError() << endl;
 
289
      return -1;
 
290
  }
 
291
  for (unsigned i = 0; i < list.count; i++) {
 
292
    NdbDictionary::Dictionary::List::Element& elt = list.elements[i];
 
293
    switch (elt.type) {
 
294
    case NdbDictionary::Object::SystemTable:
 
295
    case NdbDictionary::Object::UserTable:
 
296
      g_ndb->setDatabaseName(elt.database);
 
297
      g_ndb->setSchemaName(elt.schema);
 
298
      if(dict->dropTable(elt.name) != 0){
 
299
        g_err << "Failed to drop table: " 
 
300
              << elt.database << "/" << elt.schema << "/" << elt.name <<endl;
 
301
        g_err << dict->getNdbError() << endl;
 
302
        return -1;
 
303
      }
 
304
      break;
 
305
    case NdbDictionary::Object::UniqueHashIndex:
 
306
    case NdbDictionary::Object::OrderedIndex:
 
307
    case NdbDictionary::Object::HashIndexTrigger:
 
308
    case NdbDictionary::Object::IndexTrigger:
 
309
    case NdbDictionary::Object::SubscriptionTrigger:
 
310
    case NdbDictionary::Object::ReadOnlyConstraint:
 
311
    default:
 
312
      break;
 
313
    }
 
314
  }
 
315
  
 
316
  g_ndb->setDatabaseName(db.c_str());
 
317
  g_ndb->setSchemaName(schema.c_str());
 
318
  
 
319
  return 0;
 
320
}
 
321
 
 
322
static int load_table()
 
323
{
 
324
  UtilTransactions clear(* g_table);
 
325
  require(!clear.clearTable(g_ndb));
 
326
  
 
327
  HugoOperations ops(* g_table);
 
328
  require(!ops.startTransaction(g_ndb));
 
329
  size_t op = 0;
 
330
  size_t rows = 0;
 
331
  size_t uncommitted = 0;
 
332
  bool prepared = false;
 
333
  for(size_t i = 0; i<g_rows; i++){
 
334
    for(op %= OP_COUNT; !((1 << op) & g_use_ops); op = (op + 1) % OP_COUNT);
 
335
    g_ops[i] = g_op_types[op++];
 
336
    if(g_ops[i].start_row){
 
337
      g_ops[i].curr_row = true;
 
338
      g_ops[i].val = rand();
 
339
      require(!ops.pkInsertRecord(g_ndb, i, 1, g_ops[i].val));
 
340
      uncommitted++;
 
341
    } else {
 
342
      g_ops[i].curr_row = false;
 
343
    }
 
344
    if(uncommitted >= 100){
 
345
      require(!ops.execute_Commit(g_ndb));
 
346
      require(!ops.getTransaction()->restart());
 
347
      rows += uncommitted;
 
348
      uncommitted = 0;
 
349
    }
 
350
  }
 
351
  if(uncommitted)
 
352
    require(!ops.execute_Commit(g_ndb));
 
353
 
 
354
  require(!ops.closeTransaction(g_ndb));
 
355
  rows += uncommitted;
 
356
  g_info << "Inserted " << rows << " rows" << endl;
 
357
  return 0;
 
358
}
 
359
 
 
360
static int pause_lcp(int error)
 
361
{
 
362
  int nodes = g_restarter.getNumDbNodes();
 
363
 
 
364
  int filter[] = { 15, NDB_MGM_EVENT_CATEGORY_INFO, 0 };
 
365
  int fd = ndb_mgm_listen_event(g_restarter.handle, filter);
 
366
  require(fd >= 0);
 
367
  require(!g_restarter.insertErrorInAllNodes(error));
 
368
  int dump[] = { DumpStateOrd::DihStartLcpImmediately };
 
369
  require(!g_restarter.dumpStateAllNodes(dump, 1));
 
370
  
 
371
  char *tmp;
 
372
  char buf[1024];
 
373
  SocketInputStream in(fd, 1000);
 
374
  int count = 0;
 
375
  do {
 
376
    tmp = in.gets(buf, 1024);
 
377
    if(tmp)
 
378
    {
 
379
      int id;
 
380
      if(sscanf(tmp, "%*[^:]: LCP: %d ", &id) == 1 && id == error &&
 
381
         --nodes == 0){
 
382
        close(fd);
 
383
        return 0;
 
384
      }
 
385
    }
 
386
  } while(count++ < 30);
 
387
  
 
388
  close(fd);
 
389
  return -1;
 
390
}
 
391
 
 
392
static int do_op(int row)
 
393
{
 
394
  HugoOperations & ops = * g_hugo_ops;
 
395
  if(strcmp(g_ops[row].op1, "INS") == 0){
 
396
    require(!g_ops[row].curr_row);
 
397
    g_ops[row].curr_row = true;
 
398
    g_ops[row].val = rand();
 
399
    require(!ops.pkInsertRecord(g_ndb, row, 1, g_ops[row].val));
 
400
  } else if(strcmp(g_ops[row].op1, "UPD") == 0){
 
401
    require(g_ops[row].curr_row);
 
402
    g_ops[row].val = rand();
 
403
    require(!ops.pkUpdateRecord(g_ndb, row, 1, g_ops[row].val));
 
404
  } else if(strcmp(g_ops[row].op1, "DEL") == 0){
 
405
    require(g_ops[row].curr_row);    
 
406
    g_ops[row].curr_row = false;
 
407
    require(!ops.pkDeleteRecord(g_ndb, row, 1));
 
408
  }
 
409
 
 
410
  require(!ops.execute_NoCommit(g_ndb));
 
411
  
 
412
  if(g_ops[row].op2 == 0){
 
413
  } else if(strcmp(g_ops[row].op2, "INS") == 0){
 
414
    require(!g_ops[row].curr_row);
 
415
    g_ops[row].curr_row = true;
 
416
    g_ops[row].val = rand();
 
417
    require(!ops.pkInsertRecord(g_ndb, row, 1, g_ops[row].val));
 
418
  } else if(strcmp(g_ops[row].op2, "UPD") == 0){
 
419
    require(g_ops[row].curr_row);
 
420
    g_ops[row].val = rand();
 
421
    require(!ops.pkUpdateRecord(g_ndb, row, 1, g_ops[row].val));
 
422
  } else if(strcmp(g_ops[row].op2, "DEL") == 0){
 
423
    require(g_ops[row].curr_row);    
 
424
    g_ops[row].curr_row = false;    
 
425
    require(!ops.pkDeleteRecord(g_ndb, row, 1));
 
426
  }
 
427
  
 
428
  if(g_ops[row].op2 != 0)
 
429
    require(!ops.execute_NoCommit(g_ndb));  
 
430
 
 
431
  if(g_ops[row].op3 == 0){
 
432
  } else if(strcmp(g_ops[row].op3, "INS") == 0){
 
433
    require(!g_ops[row].curr_row);
 
434
    g_ops[row].curr_row = true;
 
435
    g_ops[row].val = rand();
 
436
    require(!ops.pkInsertRecord(g_ndb, row, 1, g_ops[row].val));
 
437
  } else if(strcmp(g_ops[row].op3, "UPD") == 0){
 
438
    require(g_ops[row].curr_row);
 
439
    g_ops[row].val = rand();
 
440
    require(!ops.pkUpdateRecord(g_ndb, row, 1, g_ops[row].val));
 
441
  } else if(strcmp(g_ops[row].op3, "DEL") == 0){
 
442
    require(g_ops[row].curr_row);    
 
443
    g_ops[row].curr_row = false;    
 
444
    require(!ops.pkDeleteRecord(g_ndb, row, 1));
 
445
  }
 
446
  
 
447
  if(g_ops[row].op3 != 0)
 
448
    require(!ops.execute_NoCommit(g_ndb));  
 
449
 
 
450
  return 0;
 
451
}
 
452
 
 
453
static int continue_lcp(int error)
 
454
{
 
455
  int filter[] = { 15, NDB_MGM_EVENT_CATEGORY_INFO, 0 };
 
456
  int fd = -1;
 
457
  if(error){
 
458
    fd = ndb_mgm_listen_event(g_restarter.handle, filter);
 
459
    require(fd >= 0);
 
460
  }
 
461
 
 
462
  int args[] = { DumpStateOrd::LCPContinue };
 
463
  if(g_restarter.dumpStateAllNodes(args, 1) != 0)
 
464
    return -1;
 
465
  
 
466
  if(error){
 
467
    char *tmp;
 
468
    char buf[1024];
 
469
    SocketInputStream in(fd, 1000);
 
470
    int count = 0;
 
471
    int nodes = g_restarter.getNumDbNodes();
 
472
    do {
 
473
      tmp = in.gets(buf, 1024);
 
474
      if(tmp)
 
475
      {
 
476
        int id;
 
477
        if(sscanf(tmp, "%*[^:]: LCP: %d ", &id) == 1 && id == error &&
 
478
           --nodes == 0){
 
479
          close(fd);
 
480
          return 0;
 
481
        }
 
482
      }
 
483
    } while(count++ < 30);
 
484
    
 
485
    close(fd);
 
486
  }
 
487
  return 0;
 
488
}
 
489
 
 
490
static int commit()
 
491
{
 
492
  HugoOperations & ops = * g_hugo_ops;  
 
493
  int res = ops.execute_Commit(g_ndb);
 
494
  if(res == 0){
 
495
    return ops.getTransaction()->restart();
 
496
  }
 
497
  return res;
 
498
}
 
499
 
 
500
static int restart()
 
501
{
 
502
  g_info << "Restarting cluster" << endl;
 
503
  g_hugo_ops->closeTransaction(g_ndb);
 
504
  disconnect_ndb();
 
505
  delete g_hugo_ops;
 
506
  
 
507
  require(!g_restarter.restartAll());
 
508
  require(!g_restarter.waitClusterStarted(30));
 
509
  require(!connect_ndb());
 
510
  
 
511
  g_table = g_ndb->getDictionary()->getTable(g_tablename);
 
512
  require(g_table);
 
513
  require(g_hugo_ops = new HugoOperations(* g_table));
 
514
  require(!g_hugo_ops->startTransaction(g_ndb));
 
515
  return 0;
 
516
}
 
517
 
 
518
static int validate()
 
519
{
 
520
  HugoOperations ops(* g_table);
 
521
  for(size_t i = 0; i<g_rows; i++){
 
522
    require(g_ops[i].curr_row == g_ops[i].end_row);
 
523
    require(!ops.startTransaction(g_ndb));
 
524
    ops.pkReadRecord(g_ndb, i, 1);
 
525
    int res = ops.execute_Commit(g_ndb);
 
526
    if(g_ops[i].curr_row){
 
527
      require(res == 0 && ops.verifyUpdatesValue(g_ops[i].val) == 0);
 
528
    } else {
 
529
      require(res == 626);
 
530
    }
 
531
    ops.closeTransaction(g_ndb);
 
532
  }
 
533
 
 
534
  for(size_t j = 0; j<10; j++){
 
535
    UtilTransactions clear(* g_table);
 
536
    require(!clear.clearTable(g_ndb));
 
537
    
 
538
    HugoTransactions trans(* g_table);
 
539
    require(trans.loadTable(g_ndb, 1024) == 0);
 
540
  }
 
541
  return 0;
 
542
}
 
543