imsm: add support for checkpointing via 'curr_migr_unit'
[thirdparty/mdadm.git] / bitmap.c
1 /*
2  * mdadm - manage Linux "md" devices aka RAID arrays.
3  *
4  * Copyright (C) 2004 Paul Clements, SteelEye Technology, Inc.
5  *
6  *    This program is free software; you can redistribute it and/or modify
7  *    it under the terms of the GNU General Public License as published by
8  *    the Free Software Foundation; either version 2 of the License, or
9  *    (at your option) any later version.
10  *
11  *    This program is distributed in the hope that it will be useful,
12  *    but WITHOUT ANY WARRANTY; without even the implied warranty of
13  *    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  *    GNU General Public License for more details.
15  *
16  *    You should have received a copy of the GNU General Public License
17  *    along with this program; if not, write to the Free Software
18  *    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  */
20
21 #include "mdadm.h"
22
23 inline void sb_le_to_cpu(bitmap_super_t *sb)
24 {
25         sb->magic = __le32_to_cpu(sb->magic);
26         sb->version = __le32_to_cpu(sb->version);
27         /* uuid gets no translation */
28         sb->events = __le64_to_cpu(sb->events);
29         sb->events_cleared = __le64_to_cpu(sb->events_cleared);
30         sb->state = __le32_to_cpu(sb->state);
31         sb->chunksize = __le32_to_cpu(sb->chunksize);
32         sb->daemon_sleep = __le32_to_cpu(sb->daemon_sleep);
33         sb->sync_size = __le64_to_cpu(sb->sync_size);
34         sb->write_behind = __le32_to_cpu(sb->write_behind);
35 }
36
37 inline void sb_cpu_to_le(bitmap_super_t *sb)
38 {
39         sb_le_to_cpu(sb); /* these are really the same thing */
40 }
41
42 mapping_t bitmap_states[] = {
43         { "OK", 0 },
44         { "Out of date", 2 },
45         { NULL, -1 }
46 };
47
48 const char *bitmap_state(int state_num)
49 {
50         char *state = map_num(bitmap_states, state_num);
51         return state ? state : "Unknown";
52 }
53
54 const char *human_chunksize(unsigned long bytes)
55 {
56         static char buf[16];
57         char *suffixes[] = { "B", "KB", "MB", "GB", "TB", NULL };
58         int i = 0;
59
60         while (bytes >> 10) {
61                 bytes >>= 10;
62                 i++;
63         }
64
65         snprintf(buf, sizeof(buf), "%lu %s", bytes, suffixes[i]);
66
67         return buf;
68 }
69
70 typedef struct bitmap_info_s {
71         bitmap_super_t sb;
72         unsigned long long total_bits;
73         unsigned long long dirty_bits;
74 } bitmap_info_t;
75
76 /* count the dirty bits in the first num_bits of byte */
77 inline int count_dirty_bits_byte(char byte, int num_bits)
78 {
79         int num = 0;
80
81         switch (num_bits) { /* fall through... */
82                 case 8: if (byte & 128) num++;
83                 case 7: if (byte &  64) num++;
84                 case 6: if (byte &  32) num++;
85                 case 5: if (byte &  16) num++;
86                 case 4: if (byte &   8) num++;
87                 case 3: if (byte &   4) num++;
88                 case 2: if (byte &   2) num++;
89                 case 1: if (byte &   1) num++;
90                 default: break;
91         }
92
93         return num;
94 }
95
96 int count_dirty_bits(char *buf, int num_bits)
97 {
98         int i, num = 0;
99
100         for (i=0; i < num_bits / 8; i++)
101                 num += count_dirty_bits_byte(buf[i], 8);
102
103         if (num_bits % 8) /* not an even byte boundary */
104                 num += count_dirty_bits_byte(buf[i], num_bits % 8);
105
106         return num;
107 }
108
109 /* calculate the size of the bitmap given the array size and bitmap chunksize */
110 unsigned long long bitmap_bits(unsigned long long array_size,
111                                 unsigned long chunksize)
112 {
113         return (array_size * 512 + chunksize - 1) / chunksize;
114 }
115
116 unsigned long bitmap_sectors(struct bitmap_super_s *bsb)
117 {
118         unsigned long long bits = bitmap_bits(__le64_to_cpu(bsb->sync_size),
119                                               __le32_to_cpu(bsb->chunksize));
120         int bits_per_sector = 8*512;
121         return (bits + bits_per_sector - 1) / bits_per_sector;
122 }
123
124
125 bitmap_info_t *bitmap_fd_read(int fd, int brief)
126 {
127         /* Note: fd might be open O_DIRECT, so we must be
128          * careful to align reads properly
129          */
130         unsigned long long total_bits = 0, read_bits = 0, dirty_bits = 0;
131         bitmap_info_t *info;
132         void *buf;
133         int n, skip;
134
135         if (posix_memalign(&buf, 512, 8192) != 0) {
136                 fprintf(stderr, Name ": failed to allocate 8192 bytes\n");
137                 return NULL;
138         }
139         n = read(fd, buf, 8192);
140
141         info = malloc(sizeof(*info));
142         if (info == NULL) {
143 #if __GNUC__ < 3
144                 fprintf(stderr, Name ": failed to allocate %d bytes\n",
145                                 (int)sizeof(*info));
146 #else
147                 fprintf(stderr, Name ": failed to allocate %zd bytes\n",
148                                 sizeof(*info));
149 #endif
150                 return NULL;
151         }
152
153         if (n < sizeof(info->sb)) {
154                 fprintf(stderr, Name ": failed to read superblock of bitmap "
155                         "file: %s\n", strerror(errno));
156                 free(info);
157                 return NULL;
158         }
159         memcpy(&info->sb, buf, sizeof(info->sb));
160         skip = sizeof(info->sb);
161
162         sb_le_to_cpu(&info->sb); /* convert superblock to CPU byte ordering */
163
164         if (brief || info->sb.sync_size == 0 || info->sb.chunksize == 0)
165                 goto out;
166
167         /* read the rest of the file counting total bits and dirty bits --
168          * we stop when either:
169          * 1) we hit EOF, in which case we assume the rest of the bits (if any)
170          *    are dirty
171          * 2) we've read the full bitmap, in which case we ignore any trailing
172          *    data in the file
173          */
174         total_bits = bitmap_bits(info->sb.sync_size, info->sb.chunksize);
175
176         while(read_bits < total_bits) {
177                 unsigned long long remaining = total_bits - read_bits;
178
179                 if (n == 0) {
180                         n = read(fd, buf, 8192);
181                         skip = 0;
182                         if (n <= 0)
183                                 break;
184                 }
185                 if (remaining > (n-skip) * 8) /* we want the full buffer */
186                         remaining = (n-skip) * 8;
187
188                 dirty_bits += count_dirty_bits(buf+skip, remaining);
189
190                 read_bits += remaining;
191                 n = 0;
192         }
193
194         if (read_bits < total_bits) { /* file truncated... */
195                 fprintf(stderr, Name ": WARNING: bitmap file is not large "
196                         "enough for array size %llu!\n\n",
197                         (unsigned long long)info->sb.sync_size);
198                 total_bits = read_bits;
199         }
200 out:
201         info->total_bits = total_bits;
202         info->dirty_bits = dirty_bits;
203         return info;
204 }
205
206 bitmap_info_t *bitmap_file_read(char *filename, int brief, struct supertype **stp)
207 {
208         int fd;
209         bitmap_info_t *info;
210         struct stat stb;
211         struct supertype *st = *stp;
212
213         if (stat(filename, &stb) < 0) {
214                 fprintf(stderr, Name ": failed to find file %s: %s\n",
215                         filename, strerror(errno));
216                 return NULL;
217         }
218         if ((S_IFMT & stb.st_mode) == S_IFBLK) {
219                 fd = open(filename, O_RDONLY);
220                 if (fd < 0) {
221                         fprintf(stderr, Name ": failed to open bitmap file %s: %s\n",
222                                 filename, strerror(errno));
223                         return NULL;
224                 }
225                 /* block device, so we are probably after an internal bitmap */
226                 if (!st) st = guess_super(fd);
227                 if (!st) {
228                         /* just look at device... */
229                         lseek(fd, 0, 0);
230                 } else {
231                         st->ss->locate_bitmap(st, fd);
232                 }
233                 ioctl(fd, BLKFLSBUF, 0); /* make sure we read current data */
234                 *stp = st;
235         } else {
236                 fd = open(filename, O_RDONLY|O_DIRECT);
237                 if (fd < 0) {
238                         fprintf(stderr, Name ": failed to open bitmap file %s: %s\n",
239                                 filename, strerror(errno));
240                         return NULL;
241                 }
242         }
243
244         info = bitmap_fd_read(fd, brief);
245         close(fd);
246         return info;
247 }
248
249 __u32 swapl(__u32 l)
250 {
251         char *c = (char*)&l;
252         char t= c[0];
253         c[0] = c[3];
254         c[3] = t;
255
256         t = c[1];
257         c[1] = c[2];
258         c[2] = t;
259         return l;
260 }
261 int ExamineBitmap(char *filename, int brief, struct supertype *st)
262 {
263         /*
264          * Read the bitmap file and display its contents
265          */
266
267         bitmap_super_t *sb;
268         bitmap_info_t *info;
269         int rv = 1;
270         char buf[64];
271         int swap;
272         __u32 uuid32[4];
273
274         info = bitmap_file_read(filename, brief, &st);
275         if (!info)
276                 return rv;
277
278         sb = &info->sb;
279         printf("        Filename : %s\n", filename);
280         printf("           Magic : %08x\n", sb->magic);
281         if (sb->magic != BITMAP_MAGIC) {
282                 fprintf(stderr, Name ": invalid bitmap magic 0x%x, the bitmap file appears to be corrupted\n", sb->magic);
283         }
284         printf("         Version : %d\n", sb->version);
285         if (sb->version < BITMAP_MAJOR_LO ||
286             sb->version > BITMAP_MAJOR_HI) {
287                 fprintf(stderr, Name ": unknown bitmap version %d, either the bitmap file is corrupted or you need to upgrade your tools\n", sb->version);
288                 goto free_info;
289         }
290
291         rv = 0;
292         if (st)
293                 swap = st->ss->swapuuid;
294         else
295 #if __BYTE_ORDER == BIG_ENDIAN
296                 swap = 0;
297 #else
298                 swap = 1;
299 #endif
300         memcpy(uuid32, sb->uuid, 16);
301         if (swap)
302                 printf("            UUID : %08x:%08x:%08x:%08x\n",
303                        swapl(uuid32[0]),
304                        swapl(uuid32[1]),
305                        swapl(uuid32[2]),
306                        swapl(uuid32[3]));
307         else
308                 printf("            UUID : %08x:%08x:%08x:%08x\n",
309                        uuid32[0],
310                        uuid32[1],
311                        uuid32[2],
312                        uuid32[3]);
313
314         printf("          Events : %llu\n", (unsigned long long)sb->events);
315         printf("  Events Cleared : %llu\n", (unsigned long long)sb->events_cleared);
316         printf("           State : %s\n", bitmap_state(sb->state));
317         printf("       Chunksize : %s\n", human_chunksize(sb->chunksize));
318         printf("          Daemon : %ds flush period\n", sb->daemon_sleep);
319         if (sb->write_behind)
320                 sprintf(buf, "Allow write behind, max %d", sb->write_behind);
321         else
322                 sprintf(buf, "Normal");
323         printf("      Write Mode : %s\n", buf);
324         printf("       Sync Size : %llu%s\n", (unsigned long long)sb->sync_size/2,
325                                         human_size(sb->sync_size * 512));
326         if (brief)
327                 goto free_info;
328         printf("          Bitmap : %llu bits (chunks), %llu dirty (%2.1f%%)\n",
329                         info->total_bits, info->dirty_bits,
330                         100.0 * info->dirty_bits / (info->total_bits + 1));
331 free_info:
332         free(info);
333         return rv;
334 }
335
336 int CreateBitmap(char *filename, int force, char uuid[16],
337                  unsigned long chunksize, unsigned long daemon_sleep,
338                  unsigned long write_behind,
339                  unsigned long long array_size /* sectors */,
340                  int major)
341 {
342         /*
343          * Create a bitmap file with a superblock and (optionally) a full bitmap
344          */
345
346         FILE *fp;
347         int rv = 1;
348         char block[512];
349         bitmap_super_t sb;
350         long long bytes, filesize;
351
352         if (!force && access(filename, F_OK) == 0) {
353                 fprintf(stderr, Name ": bitmap file %s already exists, use --force to overwrite\n", filename);
354                 return rv;
355         }
356
357         fp = fopen(filename, "w");
358         if (fp == NULL) {
359                 fprintf(stderr, Name ": failed to open bitmap file %s: %s\n",
360                         filename, strerror(errno));
361                 return rv;
362         }
363
364         if (chunksize == UnSet) {
365                 /* We don't want more than 2^21 chunks, as 2^11 fill up one
366                  * 4K page (2 bytes per chunk), and 2^10 address of those
367                  * fill up a 4K indexing page.  2^20 might be safer, especially
368                  * on 64bit hosts, so use that.
369                  */
370                 chunksize = DEFAULT_BITMAP_CHUNK;
371                 /* <<20 for 2^20 chunks, >>9 to convert bytes to sectors */
372                 while (array_size > (chunksize << (20-9)))
373                         chunksize <<= 1;
374         }
375
376         memset(&sb, 0, sizeof(sb));
377         sb.magic = BITMAP_MAGIC;
378         sb.version = major;
379         if (uuid != NULL)
380                 memcpy(sb.uuid, uuid, 16);
381         sb.chunksize = chunksize;
382         sb.daemon_sleep = daemon_sleep;
383         sb.write_behind = write_behind;
384         sb.sync_size = array_size;
385
386         sb_cpu_to_le(&sb); /* convert to on-disk byte ordering */
387
388         if (fwrite(&sb, sizeof(sb), 1, fp) != 1) {
389                 fprintf(stderr, Name ": failed to write superblock to bitmap file %s: %s\n", filename, strerror(errno));
390                 goto out;
391         }
392
393         /* calculate the size of the bitmap and write it to disk */
394         bytes = (bitmap_bits(array_size, chunksize) + 7) / 8;
395         if (!bytes) {
396                 rv = 0;
397                 goto out;
398         }
399
400         filesize = bytes + sizeof(sb);
401
402         memset(block, 0xff, sizeof(block));
403
404         while (bytes > 0) {
405                 if (fwrite(block, sizeof(block), 1, fp) != 1) {
406                         fprintf(stderr, Name ": failed to write bitmap file %s: %s\n", filename, strerror(errno));
407                         goto out;
408                 }
409                 bytes -= sizeof(block);
410         }
411
412         rv = 0;
413         fflush(fp);
414         /* make the file be the right size (well, to the nearest byte) */
415         if (ftruncate(fileno(fp), filesize))
416                 perror("ftrunace");
417 out:
418         fclose(fp);
419         if (rv)
420                 unlink(filename); /* possibly corrupted, better get rid of it */
421         return rv;
422 }
423
424 int bitmap_update_uuid(int fd, int *uuid, int swap)
425 {
426         struct bitmap_super_s bm;
427         if (lseek(fd, 0, 0) != 0)
428                 return 1;
429         if (read(fd, &bm, sizeof(bm)) != sizeof(bm))
430                 return 1;
431         if (bm.magic != __cpu_to_le32(BITMAP_MAGIC))
432                 return 1;
433         copy_uuid(bm.uuid, uuid, swap);
434         if (lseek(fd, 0, 0) != 0)
435                 return 2;
436         if (write(fd, &bm, sizeof(bm)) != sizeof(bm)) {
437                 lseek(fd, 0, 0);
438                 return 2;
439         }
440         lseek(fd, 0, 0);
441         return 0;
442 }