Too many heap sections как исправить

1

My simplified code shows the issue more concretely. Abstracting away some of the business-specific logic, my code to do a group by/sum is below.

This should keep only one of the same group in memory at one time, so it builds the sum for the group online. I’m replacing a Python script that does that same thing using a less efficient algorithm that requires much more data stored in memory. Python doesn’t choke on using 120GB+ memory, but I’m rewriting so we can run this on smaller EC2 instances.

log.info "ALL #{OUTPUT_FILES.size} files loaded, summarizing CSVs"
OUTPUT_FILES = FILENAMES.map_with_index { |filename, idx| File.join(OUTPUT_FOLDER, "summarize_#{idx}.csv") }
sums_by_group = {} of Set(String) => Array(Float64)

GROUPING_KEY = [
  "product",
  "timestamp",
  "id",
  "other_field",
]
SUM_KEY = [
  "size",
  "foo",
  "bar",
]

OUTPUT_FILES.each do |output_file|
  puts "loading #{output_file}"
  File.open(output_file, "r") do |file|
    CSV.each_row(file) do |row|
      row_array = row.to_a
      group = Set(String).new(row_array[0..GROUPING_KEY.size])
      sum = row_array[GROUPING_KEY.size..-1].map { |value| value.to_f64 }
      if sums_by_group[group]?
        sum.each_with_index do |value, i|
          sums_by_group[group][i] += value
        end
      else
        sums_by_group[group] = sum
      end
    end
  end
end

# Convert to CSV
output_file = File.join(OUTPUT_FOLDER, "summarize_total.csv")

File.open(output_file, "w") do |file|
  CSV.build(file) do |csv|
    csv.row GROUPING_KEY + SUM_KEY

    sums_by_group.each do |k, v|
      csv.row k.to_a + v
    end
  end
end

The dataset is like:

114M summarize_0.csv
113M summarize_10.csv
113M summarize_11.csv
114M summarize_12.csv
114M summarize_13.csv
114M summarize_14.csv
114M summarize_15.csv
113M summarize_16.csv
114M summarize_17.csv
112M summarize_18.csv
114M summarize_19.csv
114M summarize_1.csv
113M summarize_20.csv
114M summarize_21.csv
113M summarize_22.csv
114M summarize_23.csv
114M summarize_24.csv
114M summarize_25.csv
114M summarize_26.csv
114M summarize_27.csv
113M summarize_28.csv
116M summarize_29.csv
114M summarize_2.csv
113M summarize_3.csv
114M summarize_4.csv
113M summarize_5.csv
113M summarize_6.csv
114M summarize_7.csv
114M summarize_8.csv
113M summarize_9.csv

=> which should output one summarized CSV of all of them. So really this algorithm shouldn’t need 120GB, but the internal representation could be greater than 8GB.

I am using the Boehm C++ Garbage collector in an application. The application uses the Levenshtein Deterministic Finite Automata Python program to calculate the Levenshtein distance between two string. I have ported the Python program to C++ on version of Centos Linux using gcc 4.1.2.

Recently, I noticed that after I run the application more than 10 minutes, I get the SIGABRT error message: Too many heap sections: Increase MAXHINCR or MAX_HEAP_SECTS. I was wondering if anyone knew how to fix or work around this problem.

Here is my gdb stack trace. Thank you.

  Program received signal SIGABRT, Aborted.
(gdb) bt
#0  0x002ed402 in __kernel_vsyscall ()
#1  0x00b1bdf0 in raise () from /lib/libc.so.6
#2  0x00b1d701 in abort () from /lib/libc.so.6
#3  0x00e28db4 in GC_abort (msg=0xf36de0 "Too many heap sections: Increase MAXHINCR or MAX_HEAP_SECTS")
    at ../Source/misc.c:1079
#4  0x00e249a0 in GC_add_to_heap (p=0xb7cb7000, bytes=65536) at ../Source/alloc.c:812
#5  0x00e24e45 in GC_expand_hp_inner (n=16) at ../Source/alloc.c:966
#6  0x00e24fc5 in GC_collect_or_expand (needed_blocks=1, ignore_off_page=0) at ../Source/alloc.c:1032
#7  0x00e2519a in GC_allocobj (sz=6, kind=1) at ../Source/alloc.c:1087
#8  0x00e31e90 in GC_generic_malloc_inner (lb=20, k=1) at ../Source/malloc.c:138
#9  0x00e31fde in GC_generic_malloc (lb=20, k=1) at ../Source/malloc.c:194
#10 0x00e322b8 in GC_malloc (lb=20) at ../Source/malloc.c:319
#11 0x00df5ab5 in gc::operator new (size=20) at ../Include/gc_cpp.h:275
#12 0x00de7cb7 in __automata_combined_test2__::DFA::levenshtein_automata (this=0xb7b49080, term=0xb7cb5d20, k=1) 
at ../Source/automata_combined_test2.cpp:199
#13 0x00e3a085 in cDedupe::AccurateNearCompare (this=0x8052cd8, 
    Str1_=0x81f1a1d "GEMMA     OSTRANDER GEM 10   
DICARLO", ' ' <repeats 13 times>, "01748SUE       WOLFE     SUE 268  POND", ' ' <repeats 16 times>, 
"01748REGINA    SHAKIN    REGI16   JAMIE", ' ' <repeats 15 times>, "01748KATHLEEN  MAZUR     CATH10   JAMIE    "
..., 
    Str2_=0x81f2917 "LINDA     ROBISON   LIN 53   CHESTNUT", ' ' <repeats 12 times>, 
"01748MICHELLE  LITAVIS   MICH15   BLUEBERRY", ' ' <repeats 11 times>, "01748JOAN      TITUS     JO  6    SMITH", 
' ' <repeats 15 times>, "01748MELINDA   MCDOWELL  MEL 24   SMITH    "..., Size_=10, 

Update:

I looked at Boehm Garbage Collector source and header files and realized that the: Too many heap sections: Increase MAXHINCR or MAX_HEAP_SECTS error message could be fixed by adding ‑DLARGE_CONFIG to the CFLAGS section in my GNUmakefile.

I tested this change to my GNUmakfile and found that the Too many heap sections: Increase MAXHINCR or MAX_HEAP_SECTS error message no longer occuured. However I am getting a new segmentation fault (core dump). Using gdb I found that the GDB segmentation fault occured in the following function at line 20 (which I have annotated):

set<tuple2<__ss_int, __ss_int> *> *NFA::next_state(set<tuple2<__ss_int, __ss_int> *> *states, str *input) {
    tuple2<__ss_int, __ss_int> *state;
    set<tuple2<__ss_int, __ss_int> *>::for_in_loop __3;
    set<tuple2<__ss_int, __ss_int> *> *__0, *dest_states;
    dict<str *, set<tuple2<__ss_int, __ss_int> *> *> *state_transitions;
    __iter<tuple2<__ss_int, __ss_int> *> *__1;
    __ss_int __2;

    dest_states = (new set<tuple2<__ss_int, __ss_int> *>());

    FOR_IN_NEW(state,states,0,2,3)
        state_transitions = (this->transitions)->get(state, ((dict<str *, set<tuple2<__ss_int, __ss_int> *> *> *)((new dict<void *, void *>()))));

    dest_states->update(state_transitions->get(input, new set<tuple2<__ss_int, __ss_int> *>()));
    dest_states->update(state_transitions->get(NFA::ANY, new set<tuple2<__ss_int, __ss_int> *>()));
    END_FOR

    return (new set<tuple2<__ss_int, __ss_int> *>(this->_expand(dest_states),1));//line20  
}

I was wondering if it was possible to modify this function to fix the segmentation fault. Thank you.

Из названия статьи вы уже поняли, что именуется данная ошибка «Fatal error in gc». А суть этой ошибки: «Get Thread Context failed». Практически все пользователи, познакомившиеся с «Fatal error in gc» — игроманы, в хорошем смысле этого слова. То есть, на компьютере или ноутбуке установлен клиент какой-либо браузерной игры, какая игра – не важно. Естественно, из-за большой популярности игр:

• «Ground War: Tanks».
• «Metal War Online»
• «Contract Wars»
• «Cities: Skylines»
• «Prime World: Defenders»

— ошибка всплывает чаще всего именно в клиентах этих игр.

Список игр можно продолжать перечислять до бесконечности. Суть всего выше сказанного такова: ошибка «Fatal error in gc» появляется во время игры, в Клиент версии игры. Изначально игры браузерные, но разработчики этих самых игр, создают Клиент игры и ошибка выскакивает именно в Клиенте игры, а не в браузерной версии.

Что означает ошибка «Fatal error in gc» и как исправить ошибку «Fatal error in gc»?

Мы решили отследить историю возникновения данной ошибки у пользователей, а точнее у игроманов.

В 2010 году о данной проблеме ещё не слышали и не видели. Тогда, в далёком десятом году, вылетала ошибка «Fatal error in gc», но, правда, с надписью: «Too many heap sections», что явно не с нашей оперы. Наша, рассматриваемая проблема, появилась ровно через десять месяцев, в конце 10-ого, начале 11-ого годов.

В 2011 году начинают появляться призывы о помощи в решении проблемы с «Fatal error in gc» в играх «Wolf Quest» и «Prime World». В те далёкие времена начали появляться всплывающие окошки от виндовс с надписью «Неисправимая ошибка» или «Фатальная ошибка».

И, начиная с 2011 года, начали регулярно всплывать мольбы о помощи на различного рода игровых форумах. Ошибка «Fatal error in gc» появилась в 2013 году в играх: «King’s Bounty: Legions» и «Contra City».

И вот уже сейчас, спустя шесть лет (с 2011 по 2017), проблема остаётся трудно решаемой. Одни советуют одно, другие советуют второе. Как же решить проблему со всплывающей «Фатальной ошибкой»?

Как решить проблему: «Fatal error in gc: Get Thread Context failed»?

Сразу отметим, что причиной возникновения этого лага не есть антивирусники. Отключать, удалять и переустанавливать антивирусник, не важно Kaspersky Anti-Virus это или Dr.Web CureIt – это не решит проблему. Но, отказываться от совета или нет, решать вам: «Необходимо отключить антивирусник, а точнее Real-time shield защиту, потом почистить кеш и перезапусть игровой Клиент». Маловероятно, что проблема у вас решиться, но исключить данный вариант решения вопроса следует

Суть проблемы «Fatal error in gc: Get Thread Context failed» — это несовместимость игры с вашей ОС. Грубовато сказано, но зато доходчиво, ведь действительно проблема в совместимости, которую можно решать несколькими путями.

Решение вопроса с совместимостью

Для решения совместимости программы (игрового клиента) следует кликнуть по иконке игры или по файлу с разрешением .exe правой кнопкой мыши.

В появившемся окошке, выбираем пункт «Исправление проблем с совместимостью».

Дальнейшие действия очень просты. В появившемся окошке, вам необходимо будет определиться с выбором варианта решения проблемы с совместимостью.

Первый пункт. В первом варианте вам будет предложено решить проблему с совместимостью с помощью рекомендованных параметров. При выборе именно этого пункта решения вопроса совместимости, всё закончится довольно таки быстро. Windows решит проблему методом присвоения параметров, которые соответствуют режиму совместимости с Windows Windows 8.

Второй пункт «Диагностика программы» — это долгий путь, который будет закончен режимом совместимости Windows Windows XP. Попробуйте оба варианта совместимости и остановитесь на том варианте, который устраняет возникновение «Fatal error in gc».

Если вы знаете, как по другому решается проблема возникновения Fatal error in gc — пишите об этом в комментариях под этой статьёй.

Little Nightmares

Если Вы столкнулся с ошибкой «Fatal error» в игре Little Nightmares, то есть решение с использованием эмулятора.

Его можно скачать по ссылке ниже.

Инструкция по запуску через эмулятор.

А что делать если данный способ не помог, есть еще варианты?
Проц AMD phenom II x4 995, после всех манипуляций, уже в меню игры жуткие фризы и загрузка камня 99%.

А что делать если данный способ не помог, есть еще варианты?
Проц AMD phenom II x4 995, после всех манипуляций, уже в меню игры жуткие фризы и загрузка камня 99%.

У меня тоже процессор AMD Phenom II x4. Модель не помню. Какая у тебя видеокарта и сколько оперативной памяти? Всё делал как в видео?

Кастыль, не играбельно. Через N-ое время наичнает безбожно тормозить.

P.S: id игры при новом запуске меняется.
P.S: AMD Phenom II X4 970, 16 GB памяти, MSI R7 265 2GB

P.S: Не мучайтесь, делайте возврат денег.

Круто конечно, что и лицензия запускается через эмулятор, но кто-нибудь в курсе собираются разработчики это поправлять?

Ведь по факту толку от того что они юзают SSE4a никакого — лучше бы оптимизировали игру и поправили местами управление — местами очень неудобно.

Мы недавно уже писали об одной из ошибок FATAL ERROR в S.T.A.L.K.E.R.: Call of Pripyat, не подумайте, что это та же самая. Дело в том, что ошибки в этой игре не отображают не код, а значатся просто как FATAL ERROR. И методы смправления у этих багов разумеется совершенно разные. Различать эти баги можно исключительно по тексту, который вы увидите в табличке с ошибкой. В нашей статье мы разберем FATAL ERROR, сопровождающуюся следующим текстом:

[error]Expression : fatal error [error]Function : CInifile::Load [error]File : D:prog_repositorysources runkxrCoreXr_ini.cpp [error]Line : 274 [error]Description : [error]Arguments : Duplicate section ‘wpn_m16’ found.

Давайте мы расскажем вам, как избавиться от этого неприятного бага.

Метод устранения ошибки

Устранить ошибку не так уж и сложно, вам всего лишь нужно:

1. Зайти в папку с игрой.
2. Найти в ней папку gamedata и удалить ее.
3. Далее , если игра скачана в Steam, о найдите ее в библиотеке, щелкните правой кнопкой и выберите «Обновить кэш».
4. Также, если вы используете моды, то рекомендуется использовать только один мод оружия.

Радостная новость заключается в том, что переустановка игры не требуется и после этих нехитрых действий ошибка должна пропасть. Приятной игры!