Модуль pako в Node.JS

[kotenok gav]

У меня есть сервер на Node.JS, который, в частности, отправляет картинки (генерируемые) клиенту по его запросу. Для этого я их сжимаю с помощью функции deflate модуля pako. Я заметил, что иногда на несколько минут (или до перезапуска процесса) функция внезапно начинает сжимать картинку очень медленно (вместо примерно 0.2с становится примерно 15с, причем это бывает даже на одних и тех же картинках). Почему так и что делать? Вот три файла, сгенерированные профайлером Node.JS (первый файл - медленное выполнение, второй и третий - быстрое):
https://cdn.discordapp.com/attachments/ ... ofiler.txt
https://cdn.discordapp.com/attachments/ ... filer2.txt
https://cdn.discordapp.com/attachments/ ... filer3.txt

[arseniiv]

Не очень понимаю данные профилей здесь, но кажется, что в медленном случае функция deflate_slow из pako компилируется куда дольше, чем надо. Я бы подумал, что скомпилированный код хранится в каком-то кэше между запусками, и при плохом запуске в кэше не находится (удалён, потому что туда положили что-то другое, а места было не так много), но остальные два профиля вроде бы это опровергают. (Но если даже CPython кэширует скомпилированный код, я удивлюсь чтобы V8 не кэшировала.)

Но я правильно понимаю, что сервер у вас запущен подолгу как и надо, а не запускается при каждом запросе картинки заново? Тогда компиляция не должна бы никак сказываться, она должна быть один раз на старте. Можно ли как-то сделать профиль для части времени, когда запрос обрабатывается медленно (и когда быстро)?

[kotenok gav]

arseniiv в сообщении #1503517 писал(а):

Но я правильно понимаю, что сервер у вас запущен подолгу как и надо

Ну, не совсем (когда я запускал пройфайлер, я запускал просто для нескольких запросов, от трёх (для первого), до около десяти (третьего)).

arseniiv в сообщении #1503517 писал(а):

а не запускается при каждом запросе картинки заново

Нет.

arseniiv в сообщении #1503517 писал(а):

Можно ли как-то сделать профиль для части времени, когда запрос обрабатывается медленно (и когда быстро)?

Первый результат, если не ошибаюсь, был для одного быстрого и двух медленных запросов. Остальные два результата - для нескольких быстрых. Могу попробовать ещё медленных запросов получить...

[arseniiv]

Было бы хорошо как-то исключить из профиля всю инициализацию сервера, чтоб не мешалась. Если медленные запросы редко выходят, будет трудно накопить их достаточную долю и притом иметь много запросов в целом, чтобы погасить влияние инициализации.

[kotenok gav]

Они, к сожалению, выходят нередко, надо просто поймать момент, когда они начинаются становиться медленными. Сейчас попробую.

-- 01 фев 2021, 14:36 --

Не смог сейчас поймать медленных запросов... Ладно, попробую вечером.

[kotenok gav]

Вот пример с 123 (красивое число получилось) быстрыми запросами вначале и 20 медленными в конце (судя по всему, могло получиться и больше, но мне надоело):
https://cdn.discordapp.com/attachments/ ... filer4.txt
Я пока вижу у медленных выполнений одно общее - очень много выполнений __GI___libc_malloc, _int_free, и _int_malloc.

[arseniiv]

kotenok gav в сообщении #1503706 писал(а):

Я пока вижу у медленных выполнений одно общее - очень много выполнений __GI___libc_malloc, _int_free, и _int_malloc.

Хм, интересно, непонятно. По идее библиотеке, использующейся в конце концов функцией deflate_slow, должно хватать адресного пространства, чтобы выделить кусок нужного размера для своих нужд, даже если сборщик мусора в V8 лентяй, так как скорее всего у вас там 64-разрядная система и в них адресное пространство для каждого процесса просто гигантское. Пока память только выделяется, соответствующие страницы памяти вроде не должны загружаться в физическую память (что могло бы быть медленным, если она прям вся постоянно в ходу — это уже более вероятно, чем занять всё адресное пространство).

Притом опять большую часть полного времени занимает компиляция deflate_slow… хм. У node нет какой-то опции, которая бы говорила, оставлять ли скомпилированный код до следующего запуска?

[kotenok gav]

Ну вроде бы он и так кэшируется:
https://tproger.ru/translations/javascr ... -for-devs/
https://github.com/node-cache/node-cache

[kotenok gav]

Вообще, я не думаю, что дело в компилировании, ведь компиляция идёт просто при запуске node... Т.е. для всех запросов, по идее, всё уже скомпилировано.

[arseniiv]

Я согласен, что так должно быть, но может оказаться, что мы что-то кошмарно не учитываем.

Показал вашу тему кое-кому, кто с маленькой вероятностью может найти кого-то, кто в курсе, но пока ничего нового.

[kotenok gav]

arseniiv в сообщении #1503751 писал(а):

Показал вашу тему кое-кому, кто с маленькой вероятностью может найти кого-то, кто в курсе, но пока ничего нового.

Ну как, он нашёл этого "кого-то"?

[arseniiv]

Неа, видимо никто не откликнулся тогда.

[kotenok gav]

С помощью гугла я сумел найти какую-то другую реализацию DEFLATE под названием UZIP.js, которая, по заявлению автора, лучше сжимает и быстрее, чем pako. Попробую её использовать, и посмотреть, что быстрее...

[kotenok gav]

Вроде бы чуть быстрее, но чуть хуже (несильно, где-то на полкилобайта, т.е. 1%) сжимает. Теперь посмотрю, нет ли бага...