]> git.ipfire.org Git - thirdparty/linux.git/commitdiff
lib min_heap: add type safe interface
authorKuan-Wei Chiu <visitorckw@gmail.com>
Fri, 24 May 2024 15:29:46 +0000 (23:29 +0800)
committerAndrew Morton <akpm@linux-foundation.org>
Tue, 25 Jun 2024 05:24:57 +0000 (22:24 -0700)
Implement a type-safe interface for min_heap using strong type pointers
instead of void * in the data field.  This change includes adding small
macro wrappers around functions, enabling the use of __minheap_cast and
__minheap_obj_size macros for type casting and obtaining element size.
This implementation removes the necessity of passing element size in
min_heap_callbacks.  Additionally, introduce the MIN_HEAP_PREALLOCATED
macro for preallocating some elements.

Link: https://lkml.kernel.org/ioyfizrzq7w7mjrqcadtzsfgpuntowtjdw5pgn4qhvsdp4mqqg@nrlek5vmisbu
Link: https://lkml.kernel.org/r/20240524152958.919343-5-visitorckw@gmail.com
Signed-off-by: Kuan-Wei Chiu <visitorckw@gmail.com>
Reviewed-by: Ian Rogers <irogers@google.com>
Cc: Adrian Hunter <adrian.hunter@intel.com>
Cc: Alexander Shishkin <alexander.shishkin@linux.intel.com>
Cc: Arnaldo Carvalho de Melo <acme@kernel.org>
Cc: Bagas Sanjaya <bagasdotme@gmail.com>
Cc: Brian Foster <bfoster@redhat.com>
Cc: Ching-Chun (Jim) Huang <jserv@ccns.ncku.edu.tw>
Cc: Coly Li <colyli@suse.de>
Cc: Ingo Molnar <mingo@redhat.com>
Cc: Jiri Olsa <jolsa@kernel.org>
Cc: Kent Overstreet <kent.overstreet@linux.dev>
Cc: Mark Rutland <mark.rutland@arm.com>
Cc: Matthew Sakai <msakai@redhat.com>
Cc: Namhyung Kim <namhyung@kernel.org>
Cc: Peter Zijlstra <peterz@infradead.org>
Cc: Randy Dunlap <rdunlap@infradead.org>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
drivers/md/dm-vdo/repair.c
drivers/md/dm-vdo/slab-depot.c
include/linux/min_heap.h
kernel/events/core.c
lib/test_min_heap.c

index defc9359f10e27a61e63550338d902ea8ddbe3ef..e8ad611fe7c1ecda4ba1c78ec6780213f8f8bc40 100644 (file)
@@ -51,6 +51,8 @@ struct recovery_point {
        bool increment_applied;
 };
 
+DEFINE_MIN_HEAP(struct numbered_block_mapping, replay_heap);
+
 struct repair_completion {
        /* The completion header */
        struct vdo_completion completion;
@@ -97,7 +99,7 @@ struct repair_completion {
         * order, then original journal order. This permits efficient iteration over the journal
         * entries in order.
         */
-       struct min_heap replay_heap;
+       struct replay_heap replay_heap;
        /* Fields tracking progress through the journal entries. */
        struct numbered_block_mapping *current_entry;
        struct numbered_block_mapping *current_unfetched_entry;
@@ -163,14 +165,13 @@ static void swap_mappings(void *item1, void *item2)
 }
 
 static const struct min_heap_callbacks repair_min_heap = {
-       .elem_size = sizeof(struct numbered_block_mapping),
        .less = mapping_is_less_than,
        .swp = swap_mappings,
 };
 
 static struct numbered_block_mapping *sort_next_heap_element(struct repair_completion *repair)
 {
-       struct min_heap *heap = &repair->replay_heap;
+       struct replay_heap *heap = &repair->replay_heap;
        struct numbered_block_mapping *last;
 
        if (heap->nr == 0)
@@ -1117,7 +1118,7 @@ static void recover_block_map(struct vdo_completion *completion)
         * Organize the journal entries into a binary heap so we can iterate over them in sorted
         * order incrementally, avoiding an expensive sort call.
         */
-       repair->replay_heap = (struct min_heap) {
+       repair->replay_heap = (struct replay_heap) {
                .data = repair->entries,
                .nr = repair->block_map_entry_count,
                .size = repair->block_map_entry_count,
index 46e4721e5b4f14ae45e8ca913e5eb13bfe75dda2..ef9a6e53109cea0766eecd3846436cc0547b4fec 100644 (file)
@@ -3309,7 +3309,6 @@ static void swap_slab_statuses(void *item1, void *item2)
 }
 
 static const struct min_heap_callbacks slab_status_min_heap = {
-       .elem_size = sizeof(struct slab_status),
        .less = slab_status_is_less_than,
        .swp = swap_slab_statuses,
 };
@@ -3509,7 +3508,7 @@ static int get_slab_statuses(struct block_allocator *allocator,
 static int __must_check vdo_prepare_slabs_for_allocation(struct block_allocator *allocator)
 {
        struct slab_status current_slab_status;
-       struct min_heap heap;
+       DEFINE_MIN_HEAP(struct slab_status, heap) heap;
        int result;
        struct slab_status *slab_statuses;
        struct slab_depot *depot = allocator->depot;
@@ -3521,7 +3520,7 @@ static int __must_check vdo_prepare_slabs_for_allocation(struct block_allocator
                return result;
 
        /* Sort the slabs by cleanliness, then by emptiness hint. */
-       heap = (struct min_heap) {
+       heap = (struct heap) {
                .data = slab_statuses,
                .nr = allocator->slab_count,
                .size = allocator->slab_count,
index d52daf45861b9a51f9dc5e9e29f2700aa3146adb..92830f41642ad538d13d2ecd9aede2f9fce5b7f7 100644 (file)
@@ -7,45 +7,53 @@
 #include <linux/types.h>
 
 /**
- * struct min_heap - Data structure to hold a min-heap.
- * @data: Start of array holding the heap elements.
+ * Data structure to hold a min-heap.
  * @nr: Number of elements currently in the heap.
  * @size: Maximum number of elements that can be held in current storage.
+ * @data: Pointer to the start of array holding the heap elements.
+ * @preallocated: Start of the static preallocated array holding the heap elements.
  */
-struct min_heap {
-       void *data;
-       int nr;
-       int size;
-};
+#define MIN_HEAP_PREALLOCATED(_type, _name, _nr)       \
+struct _name { \
+       int nr; \
+       int size;       \
+       _type *data;    \
+       _type preallocated[_nr];        \
+}
+
+#define DEFINE_MIN_HEAP(_type, _name) MIN_HEAP_PREALLOCATED(_type, _name, 0)
+
+typedef DEFINE_MIN_HEAP(char, min_heap_char) min_heap_char;
+
+#define __minheap_cast(_heap)          (typeof((_heap)->data[0]) *)
+#define __minheap_obj_size(_heap)      sizeof((_heap)->data[0])
 
 /**
  * struct min_heap_callbacks - Data/functions to customise the min_heap.
- * @elem_size: The nr of each element in bytes.
  * @less: Partial order function for this heap.
  * @swp: Swap elements function.
  */
 struct min_heap_callbacks {
-       int elem_size;
        bool (*less)(const void *lhs, const void *rhs);
        void (*swp)(void *lhs, void *rhs);
 };
 
 /* Sift the element at pos down the heap. */
 static __always_inline
-void min_heapify(struct min_heap *heap, int pos,
+void __min_heapify(min_heap_char *heap, int pos, size_t elem_size,
                const struct min_heap_callbacks *func)
 {
        void *left, *right;
        void *data = heap->data;
-       void *root = data + pos * func->elem_size;
+       void *root = data + pos * elem_size;
        int i = pos, j;
 
        /* Find the sift-down path all the way to the leaves. */
        for (;;) {
                if (i * 2 + 2 >= heap->nr)
                        break;
-               left = data + (i * 2 + 1) * func->elem_size;
-               right = data + (i * 2 + 2) * func->elem_size;
+               left = data + (i * 2 + 1) * elem_size;
+               right = data + (i * 2 + 2) * elem_size;
                i = func->less(left, right) ? i * 2 + 1 : i * 2 + 2;
        }
 
@@ -54,31 +62,37 @@ void min_heapify(struct min_heap *heap, int pos,
                i = i * 2 + 1;
 
        /* Backtrack to the correct location. */
-       while (i != pos && func->less(root, data + i * func->elem_size))
+       while (i != pos && func->less(root, data + i * elem_size))
                i = (i - 1) / 2;
 
        /* Shift the element into its correct place. */
        j = i;
        while (i != pos) {
                i = (i - 1) / 2;
-               func->swp(data + i * func->elem_size, data + j * func->elem_size);
+               func->swp(data + i * elem_size, data + j * elem_size);
        }
 }
 
+#define min_heapify(_heap, _pos, _func)        \
+       __min_heapify((min_heap_char *)_heap, _pos, __minheap_obj_size(_heap), _func)
+
 /* Floyd's approach to heapification that is O(nr). */
 static __always_inline
-void min_heapify_all(struct min_heap *heap,
+void __min_heapify_all(min_heap_char *heap, size_t elem_size,
                const struct min_heap_callbacks *func)
 {
        int i;
 
        for (i = heap->nr / 2 - 1; i >= 0; i--)
-               min_heapify(heap, i, func);
+               __min_heapify(heap, i, elem_size, func);
 }
 
+#define min_heapify_all(_heap, _func)  \
+       __min_heapify_all((min_heap_char *)_heap, __minheap_obj_size(_heap), _func)
+
 /* Remove minimum element from the heap, O(log2(nr)). */
 static __always_inline
-void min_heap_pop(struct min_heap *heap,
+void __min_heap_pop(min_heap_char *heap, size_t elem_size,
                const struct min_heap_callbacks *func)
 {
        void *data = heap->data;
@@ -88,27 +102,33 @@ void min_heap_pop(struct min_heap *heap,
 
        /* Place last element at the root (position 0) and then sift down. */
        heap->nr--;
-       memcpy(data, data + (heap->nr * func->elem_size), func->elem_size);
-       min_heapify(heap, 0, func);
+       memcpy(data, data + (heap->nr * elem_size), elem_size);
+       __min_heapify(heap, 0, elem_size, func);
 }
 
+#define min_heap_pop(_heap, _func)     \
+       __min_heap_pop((min_heap_char *)_heap, __minheap_obj_size(_heap), _func)
+
 /*
  * Remove the minimum element and then push the given element. The
  * implementation performs 1 sift (O(log2(nr))) and is therefore more
  * efficient than a pop followed by a push that does 2.
  */
 static __always_inline
-void min_heap_pop_push(struct min_heap *heap,
-               const void *element,
+void __min_heap_pop_push(min_heap_char *heap,
+               const void *element, size_t elem_size,
                const struct min_heap_callbacks *func)
 {
-       memcpy(heap->data, element, func->elem_size);
-       min_heapify(heap, 0, func);
+       memcpy(heap->data, element, elem_size);
+       __min_heapify(heap, 0, elem_size, func);
 }
 
+#define min_heap_pop_push(_heap, _element, _func)      \
+       __min_heap_pop_push((min_heap_char *)_heap, _element, __minheap_obj_size(_heap), _func)
+
 /* Push an element on to the heap, O(log2(nr)). */
 static __always_inline
-void min_heap_push(struct min_heap *heap, const void *element,
+void __min_heap_push(min_heap_char *heap, const void *element, size_t elem_size,
                const struct min_heap_callbacks *func)
 {
        void *data = heap->data;
@@ -120,17 +140,20 @@ void min_heap_push(struct min_heap *heap, const void *element,
 
        /* Place at the end of data. */
        pos = heap->nr;
-       memcpy(data + (pos * func->elem_size), element, func->elem_size);
+       memcpy(data + (pos * elem_size), element, elem_size);
        heap->nr++;
 
        /* Sift child at pos up. */
        for (; pos > 0; pos = (pos - 1) / 2) {
-               child = data + (pos * func->elem_size);
-               parent = data + ((pos - 1) / 2) * func->elem_size;
+               child = data + (pos * elem_size);
+               parent = data + ((pos - 1) / 2) * elem_size;
                if (func->less(parent, child))
                        break;
                func->swp(parent, child);
        }
 }
 
+#define min_heap_push(_heap, _element, _func)  \
+       __min_heap_push((min_heap_char *)_heap, _element, __minheap_obj_size(_heap), _func)
+
 #endif /* _LINUX_MIN_HEAP_H */
index effe9c15ec7d5bd8ebe2a2da1c02dc8598788edf..5ae4e429b3fbfb7b7e1dd982527cde9de240b0de 100644 (file)
@@ -3701,13 +3701,14 @@ static void swap_ptr(void *l, void *r)
        swap(*lp, *rp);
 }
 
+DEFINE_MIN_HEAP(struct perf_event *, perf_event_min_heap);
+
 static const struct min_heap_callbacks perf_min_heap = {
-       .elem_size = sizeof(struct perf_event *),
        .less = perf_less_group_idx,
        .swp = swap_ptr,
 };
 
-static void __heap_add(struct min_heap *heap, struct perf_event *event)
+static void __heap_add(struct perf_event_min_heap *heap, struct perf_event *event)
 {
        struct perf_event **itrs = heap->data;
 
@@ -3741,7 +3742,7 @@ static noinline int visit_groups_merge(struct perf_event_context *ctx,
        struct perf_cpu_context *cpuctx = NULL;
        /* Space for per CPU and/or any CPU event iterators. */
        struct perf_event *itrs[2];
-       struct min_heap event_heap;
+       struct perf_event_min_heap event_heap;
        struct perf_event **evt;
        int ret;
 
@@ -3750,7 +3751,7 @@ static noinline int visit_groups_merge(struct perf_event_context *ctx,
 
        if (!ctx->task) {
                cpuctx = this_cpu_ptr(&perf_cpu_context);
-               event_heap = (struct min_heap){
+               event_heap = (struct perf_event_min_heap){
                        .data = cpuctx->heap,
                        .nr = 0,
                        .size = cpuctx->heap_size,
@@ -3763,7 +3764,7 @@ static noinline int visit_groups_merge(struct perf_event_context *ctx,
                        css = &cpuctx->cgrp->css;
 #endif
        } else {
-               event_heap = (struct min_heap){
+               event_heap = (struct perf_event_min_heap){
                        .data = itrs,
                        .nr = 0,
                        .size = ARRAY_SIZE(itrs),
index 7b01b4387cfbcc3f55c44ed84648011553c40d81..52efab9fb2f189b0595f93d0375971229d1b3f36 100644 (file)
@@ -11,6 +11,8 @@
 #include <linux/printk.h>
 #include <linux/random.h>
 
+DEFINE_MIN_HEAP(int, min_heap_test);
+
 static __init bool less_than(const void *lhs, const void *rhs)
 {
        return *(int *)lhs < *(int *)rhs;
@@ -30,7 +32,7 @@ static __init void swap_ints(void *lhs, void *rhs)
 }
 
 static __init int pop_verify_heap(bool min_heap,
-                               struct min_heap *heap,
+                               struct min_heap_test *heap,
                                const struct min_heap_callbacks *funcs)
 {
        int *values = heap->data;
@@ -63,13 +65,12 @@ static __init int test_heapify_all(bool min_heap)
 {
        int values[] = { 3, 1, 2, 4, 0x8000000, 0x7FFFFFF, 0,
                         -3, -1, -2, -4, 0x8000000, 0x7FFFFFF };
-       struct min_heap heap = {
+       struct min_heap_test heap = {
                .data = values,
                .nr = ARRAY_SIZE(values),
                .size =  ARRAY_SIZE(values),
        };
        struct min_heap_callbacks funcs = {
-               .elem_size = sizeof(int),
                .less = min_heap ? less_than : greater_than,
                .swp = swap_ints,
        };
@@ -96,13 +97,12 @@ static __init int test_heap_push(bool min_heap)
        const int data[] = { 3, 1, 2, 4, 0x80000000, 0x7FFFFFFF, 0,
                             -3, -1, -2, -4, 0x80000000, 0x7FFFFFFF };
        int values[ARRAY_SIZE(data)];
-       struct min_heap heap = {
+       struct min_heap_test heap = {
                .data = values,
                .nr = 0,
                .size =  ARRAY_SIZE(values),
        };
        struct min_heap_callbacks funcs = {
-               .elem_size = sizeof(int),
                .less = min_heap ? less_than : greater_than,
                .swp = swap_ints,
        };
@@ -129,13 +129,12 @@ static __init int test_heap_pop_push(bool min_heap)
        const int data[] = { 3, 1, 2, 4, 0x80000000, 0x7FFFFFFF, 0,
                             -3, -1, -2, -4, 0x80000000, 0x7FFFFFFF };
        int values[ARRAY_SIZE(data)];
-       struct min_heap heap = {
+       struct min_heap_test heap = {
                .data = values,
                .nr = 0,
                .size =  ARRAY_SIZE(values),
        };
        struct min_heap_callbacks funcs = {
-               .elem_size = sizeof(int),
                .less = min_heap ? less_than : greater_than,
                .swp = swap_ints,
        };