Prognosis of immune state following basic therapy and thymalin treatment in patients with severe COVID-19 infection
- Authors: Kuznik B.I.1,2, Smolyakov Y.N.1,2, Shapovalov K.G.1,3, Tereshkov P.P.1, Konnov V.A.1, Chalisova N.I.4,5
-
Affiliations:
- Chita State Medical Academy
- Innovation Сlinic “Health Academy”
- State Clinical Hospital No. 1, Chita
- St. Petersburg Institute of Bioregulation and Gerontology
- Pavlov Institute of Physiology, Russian Academy of Sciences
- Issue: Vol 26, No 1 (2023)
- Pages: 49-56
- Section: ORIGINAL ARTICLES
- Submitted: 30.11.2022
- Accepted: 01.12.2022
- Published: 22.12.2022
- URL: https://rusimmun.ru/jour/article/view/1209
- DOI: https://doi.org/10.46235/1028-7221-1209-POI
- ID: 1209
Cite item
Full Text
Abstract
Significant changes in cellular and humoral immunity are observed in new coronavirus infection (COVID-19). The “cytokine storm” develops in cases of severe clinical course, being accompanied by significantly increased levels of pro-inflammatory cytokines, often associated with suppression of immune response. At the same time, the prediction of the immune status is an urgent task, thus allowing timely correction of current therapy. The aim of our research was to evaluate predictive capability for the immune system changes on the 6th day of COVID-19 disease when using standard therapy, or with addition of immunocorrector thymalin to the treatment regimen. A retrospective study was conducted in 87 patients with severe COVID-19. All patients were divided into 2 groups, i.e., (1) controls who received basic treatment; (2) basic treatment supplied with thymalin (10 mg, intramuscular injections daily for 5 days). Assessment of severity and clinical course of COVID-19, and basic treatment regimen for the patients corresponded to current version of the interim Guidelines from the Ministry of Health of the Russian Federation “Prevention, diagnosis and treatment of a new coronavirus infection COVID-19”. Laboratory studies included complete blood counts, immunogram parameters with the calculation of the ratio of certain types of leukocytes were performed on the 1st and 6th days of observation. Statistical evaluation was made using scripts of the specialized statistical analysis language R (http://cran.r-project.org) version 4.1.3. The blood parameters were evaluated using the binary classification method. The changes in parameters of cellular immunity were classified by means of ROC-analysis.
We have found that the basic therapy of severely ill COVID-19 patients was not followed by recovery of immune status on the 6th day from the start of treatment. At marginal level, one can only suggest a probable prediction of increase in WBC and MON counts, a decrease in CD4+, NK and CD8+perNK, as well as the CD4+/CD8+ ratio. Addition of thymalin to the basic therapy is largely accompanied by the normalization of immunogram parameters. At the same time, it is possible to predict, with “excellent” rating, an increased number of T-LIM, including CD4+ and B-LIM, and, with “good” rating, an increase in the total numbers of LIM, as well as CD8+, HLA-CD3+DR+ and NK cells. The data obtained in severe cases of COVID-19 make it possible to predict changes in immune status, and, hence, the course of the disease, at a high degree of probability.
Keywords
Full Text
Введение
Известно, что в процессе развития новой коронавирусной инфекции CОVID-19, независимо от штамма SARS-CoV2, ее вызвавшего, наблюдаются значительные изменения со стороны клеточного и гуморального иммунитета. У тяжелобольных COVID-19 развивается так называемый «Цитокиновый шторм», характеризующийся в основном резким увеличением концентрации провоспалительных цитокинов (IL-á и IL-â, IL- 6, IL-8, TNFá и др.), который у значительной части больных способен перейти в депрессию иммунного ответа [2, 10, 11, 14, 20, 25]. Вместе с тем, от сдвигов в иммунной системе во многом зависит тяжесть течения и исход COVID-19. Показано, что при возникновении «цитокинового шторма» развивается эндотелиальная дисфункция, сопровождаемая воспалительными изменениями эндотелия, что не только может привести к тромбозу мелких и крупных кровеносных сосудов, но и развитию полиорганной недостаточности – ПОН [4, 13, 22, 23].
В терапии среднетяжелых и тяжелых форм CОVID-19 в настоящее время применяются различные иммунокорректоры, в том числе иммуномодулятор широкого спектра действия, комплекс полипептидов с ММ до 10 000, выделенный из вилочковой железы – тималин [3, 7, 15, 16, 17]. Тималин, как известно, не только способствует нормализации клеточного и гуморального иммунитета при самых различных патологических состояниях, но и ликвидирует наличие тромбоопасных состояний [4, 8, 15]. Однако до сих пор не разработаны методы, которые позволяли бы предвидеть, какие изменения произойдут в иммунной системе, а, следовательно, и возможный исход заболевания COVID-19 при использовании тималина.
В то же время решение поставленных задач классификации исследуемых показателей делает необходимым выбирать пороговое значение анализируемого параметра для отнесения наблюдений (пациентов) к рассматриваемым в поставленной задаче классам. С этой целью мы решили воспользоваться ROC-кривой, применяемой для представления результатов двоичной классификации и оценки эффективности классификации. ROC-кривая показывает зависимость правильно классифицированных положительных от количества неверно классифицированных отрицательных исходов. При этом чаще используют относительные показатели чувствительности (доля правильно классифицированных положительных исходов) и специфичности (доля правильно классифицированных отрицательных исходов). В биомедицинских исследованиях ROC-анализ чаще всего применяется для решения задач оценки прогностических моделей (бинарной логистической регрессии, дискриминантного анализа). Однако задачи классификации не ограничиваются прогностическими (оценкой наступления результата по признаку, исследованному до его наступления), но могут выполнять роль диагностических (оценкой скрытого результата по признаку, исследованному после его наступления) и лечебных (оценкой эффективности лечебных процедур по признаку, определяемому до и после лечения). В связи с приведенными сведениями нами выделялись два результирующих класса: до лечения (1-й день) и после лечения (6-й день).
Целью настоящего исследования явилось выявление возможности прогнозирования сдвигов в состоянии иммунной системы на шестой день заболевания COVID-19 при использовании стандартной терапии и при добавлении в схему лечения иммунокорректора тималина.
Материалы и методы
Выполнено ретроспективное исследование у 87 пациентов с COVID-19, течение которого соответствовало критериям тяжелого течения коронавирусной инфекции в соответствии с актуальной версией временных методических рекомендаций Минздрава РФ «Профилактика, диагностика и лечение новой коронавирусной инфекции COVID-19». Все пациенты были разделены на 2 группы: 1 – контроль (базовая схема лечения – соответствовала актуальной версии временных методических рекомендаций Минздрава РФ «Профилактика, диагностика и лечение новой коронавирусной инфекции COVID-19» – https://стопкоронавирус.рф/fo/ofdoc/who), куда вошло 44 человека в возрасте 62±13,4 г., и 2 – (базовая схема лечения и тималин, 10 мг, 1 раз в сутки в течение 5 суток, внутримышечно) включала 43 больных в возрасте 61,3±10,1 г. Для принятия решения о применении тималина дополнительно к базовой терапии принимались во внимание клинические критерии тяжелого течения COVID-19, снижение числа лейкоцитов < 3,0 × 109/л, числа лимфоцитов < 0,75 × 109/л. Все лабораторные исследования, включая общий анализ крови и показатели иммунограммы, проводили перед введением препаратов и на 6-е сутки от начала их применения. В исследование не включались пациенты с тромбоцитопенией, повышением уровня трансаминаз, почечной недостаточностью, исходными иммунодефицитами, онкопатологией.
Все больные находились на лечении в моностационаре на базе ГУЗ «Городская клиническая больница № 1» г. Читы в июне-августе 2020 г. Госпитализация всех включенных в исследование лиц проводилась с 6-го по 10-й дни с момента появления симптомов заболевания. Все проводимые мероприятия соответствовали этическим стандартам, разработанным на основе Хельсинкской декларации всемирной ассоциации «Этические принципы проведения научных медицинских исследований с участием человека» с поправками 2008 г, и «Правилами клинической практики в Российской Федерации», утвержденными приказом Минздрава РФ от 19.06.2003 № 266. Получено положительное решение локального этического комитета ФГБОУ ВО Читинская государственная медицинская академия МЗРФ протокол № 102 от 15.05.2020. На использование в лечении тималина оформлялось информированное добровольное согласие пациента.
Подсчет общего числа лейкоцитов, лимфоцитов и моноцитов производили на гемоанализаторе PENTRA-80 Horiba ABX Diagnostics (США). Содержание субпопуляций лимфоцитов (Т-лимфоциты, В-лимфоциты, CD4+, CD8+, CD3+HLA-DR, NKT, CD8+perNKT) определяли методом проточной цитофлуометрии на анализаторе Beckman Coulter (США), используя набор для мультиплексного анализа LEGENDplex™ HU Immune Checkpoint Panel 1 Beckman Coulter (США). Исследования показателей крови проведены на 1-й и 6-й дни терапии в контроле или на следующий день после отмены тималина. При этом общепринятая терапия осуществлялась до конца пребывания больного в стационаре.
Статистический анализ выполнен с помощью скриптов специализированного языка статистического анализа R (http://cran.r-project.org) версии 4.1.3 [20]. Анализ динамики показателей крови выполнен методом бинарной классификации. В качестве детерминируемых классов выступили состояния пациента до лечения (1-й день) и после цикла терапии (6-й день). Классифицирующая способность каждого показателя крови определялась методом ROC анализа. При построении ROC-кривой происходит изменение величины (порога) исследуемого показателя крови, при принятии решения о принадлежности к классу и на заданном пороге по экспериментальным данным рассчитывается чувствительность и специфичность оценки. Цикл ROC-анализа начинается с 0% чувствительности и 100% специфичности, заканчивается при 100% чувствительности, 0% специфичности. В ходе этой процедуры строится ROC-кривая и определяется точка баланса чувствительности/специфичности, в которой эти показатели максимальны. Полученная в этой точке величина исследуемого признака может считаться оптимальным порогом, выше (или ниже, в зависимости от направления изменения признака) которого проявляется влияние исследуемой терапии. Расчет показателя площади под кривой AUC (Area Under Curve) проводился методом численного интегрирования по правилу Симпсона [24]. Экспертная шкала классификации принималась в следующем виде: 90-100% – отличная; 80-90% – хорошая; 70-80% – приемлемая; 60-70% – слабая; 50-60% – неудовлетворительная [6, 9, 12, 18]. Показатели AUC представлены в рамках 95% доверительных интервалов. Пороговые точки нанесены непосредственно на ROC-кривые.
Результаты
Наши наблюдения показали, что в контроле сдвиги в исследуемых показателях общего анализа крови и иммунограммы на 6-й день терапии практически не изменяются. С оценкой «слабо» можно лишь говорить о возможном прогнозировании увеличения числа WBC и MON, уменьшении CD4+, NK и CD8+perNK (рис. 1, 2), а также соотношения CD4+/CD8+, (рис. 1, 2). Лишь количество NKT на 6-й день в контроле уменьшалось с оценкой «удовлетворительно».
Рисунок 1. ROC-кривые оценки изменения лейкоцитарного пула при использовании традиционной схемы лечения
Примечание. Легенда содержит тип линии, название отображаемого параметра, рассчитанную площадь под кривой (AUC) и ее 95% доверительный интервал.
Рисунок 2. ROC-кривые оценки изменения Т-клеток при использовании традиционной схемы лечения
Примечание. См. примечание к рисунку 1.
При исследовании соотношения отдельных видов лейкоцитов с оценкой «слабо» можно было прогнозировать увеличение CD4+/CD8+ и уменьшение CD8+/NK, с оценкой «удовлетворительно» увеличение CD8+/CD8+perNK и с оценкой «хорошо» NK/NKT (рис. 3).
Рисунок 3. ROC-кривые оценки изменения клеточных соотношений при использовании традиционной схемы лечения
Примечание. См. примечание к рисунку 1.
Таким образом при базовой терапии сдвиги в исследуемых показателях общего анализа крови, иммунограммы и соотношения отдельных видов лейкоцитов не существенны и не способны оказать значительного влияния на результаты лечение тяжело больных COVID-19.
Иное наблюдается при использовании тималина (рис. 4, 5). Так, на 6-й день (на следующие сутки после его отмены) можно с оценкой «отлично» прогнозировать увеличение числа Т-LIM, в том числе CD4+ и B-LIM, а с оценкой «хорошо» – повышение общего числа LIM, а также CD8+, HLA-CD3+DR+ и NK. С оценкой «удовлетворительно» можно строить прогнозы возрастания числа MON, CD8+perNKT. Наконец, с оценкой «слабо» можно судить об увеличении WBC и NK-клеток.
Рисунок 4. ROC-кривые оценки изменения лейкоцитарного пула при использовании тималина
Примечание. См. примечание к рисунку 1.
Рисунок 5. ROC-кривые оценки изменения Т-клеток при использовании тималина
Примечание. См. примечание к рисунку 1.
Исследование соотношения отдельных видов лимфоцитов и их субпопуляций при использовании тималина на 6-й день показало, что с оценкой «слабо» можно лишь прогнозировать увеличение NK/NKT и уменьшение T-LYM/CD3+HLA-DR+ (рис. 6).
Рисунок 6. ROC-кривые оценки изменения клеточных соотношений при использовании тималина
Следовательно, соотношение отдельных популяций и субпопуляций лимфоцитов не может играть существенной роли в предсказании сдвигов в иммунограмме на 6-й день при использовании тималина.
Обсуждение
Одной из важнейших задач терапии COVID-19 является ликвидация «цитокинового шторма», приводящая к нормализации состояния клеточного и гуморального иммунитета [1, 7, 10, 22, 25]. Отсюда невольно возникает предположение, что исследования, направленные на прогнозировании иммунного статуса, позволят не только предвидеть исход заболевания, но и своевременно вмешиваться в тактику терапии.
Полученные нами данные свидетельствуют о том, что при базовой терапии тяжелобольных COVID-19 не прогнозировалась тенденция и не наступало восстановление иммунного статуса на 6-й день от начала применяемого лечения, что в значительной степени является причиной затяжного, неблагоприятного течения пневмонии при COVID-19 и фактором развития тромботических осложнений.
При добавлении к базовой терапии пятидневного курса тималина можно с большой долей вероятности с оценками «отлично», прогнозировать увеличение числа Т-LIM, в том числе CD4+ и B-LIM, а с оценкой «хорошо» – повышение общего числа LIM, а также CD8+, HLA-CD3+DR+ и NK. С оценкой «удовлетворительно» можно строить прогнозы возрастания числа MON и CD8+perNKT
Как показывают многочисленные исследования [2, 7, 14, 15, 16, 17], иммунокорректор тималин, используемый в терапии COVID-19, как правило, способствует нормализации не только клеточного и гуморального иммунитета, но и системы гемостаза, за счет чего и наступает улучшение состояния больных, снижение летальности, уменьшение частоты тромботических и других осложнений. Полученные прогностические сведения о возможных изменениях основных показателей иммунограммы в результате применения тималина во многом могут определить дальнейшую тактику терапии больных с тяжелым течением COVID-19 и иных вирусных инфекций.
Выводы
- При базовой терапии тяжелобольных COVID-19 по исходным показателям общего анализа крови, иммунограммы и соотношению различных видов лейкоцитов на шестой день лечения нельзя прогнозировать сдвиги в иммунограмме и возможный исход патологического процесса.
- В случае присоединения к базовой терапии пятидневного курса тималина можно с высокой долей вероятности говорить о том, как на шестой день изменятся показатели клеточного иммунитета, и на этом основании строить дальнейшую тактику терапии.
About the authors
Boris I. Kuznik
Chita State Medical Academy; Innovation Сlinic “Health Academy”
Email: bi_kuznik@mail.ru
ORCID iD: 0000-0002-2502-9411
PhD, MD (Medicine), Professor, Department of Normal Physiology, Chita State Medical Academy; Innovation Clinic "Health Academy"
Russian Federation, Chita; ChitaYurii N. Smolyakov
Chita State Medical Academy; Innovation Сlinic “Health Academy”
Email: smolyakov@rambler.ru
ORCID iD: 0000-0001-7920-7642
PhD (Medicine), Associate Professor, Head, Department of Medical Physic and Informatics, Chita State Medical Academy, Innovation Clinic "Health Academy"
Russian Federation, Chita; ChitaKonstantin G. Shapovalov
Chita State Medical Academy; State Clinical Hospital No. 1, Chita
Email: shkg26@mail.ru
ORCID iD: 0000-0002-3485-5176
PhD, MD (Medicine), Professor, Head, Department of Anestesiology, Reanimation and Intensive Therapy, Chita State Medical Academy; State Clinical Hospital No. 1
Russian Federation, Chita; ChitaPavel P. Tereshkov
Chita State Medical Academy
Email: tpp6915@mail.ru
ORCID iD: 0000-0002-8601-3499
PhD (Medicine), Head, Laboratory of Experimental and Clinical Biochemestry and Immunology, Chita State Medical Academy
Russian Federation, ChitaValerii A. Konnov
Chita State Medical Academy
Email: vlrknv@mail.ru
ORCID iD: 0000-0003-3540-178X
PhD (Medicine), Associate Professor, Department of Anestesiology, Reanimation and Intensive Therapy, Chita State Medical Academy
Russian Federation, ChitaNatalia I. Chalisova
St. Petersburg Institute of Bioregulation and Gerontology; Pavlov Institute of Physiology, Russian Academy of Sciences
Author for correspondence.
Email: ni-chalisova@mail.ru
ORCID iD: 0000-0002-2371-0043
PhD, MD (Biology), Professor, Leading Research Associate, Pavlov Institute of Physiology, Russian Academy of Sciences; Leading Research Associate, Laboratory of Oncogerontology of Biogerontology Department, St. Petersburg Institute of Bioregulation and Gerontology
Russian Federation, St. Petersburg; St. PetersburgReferences
- Кузник Б.И., Хавинсон В.Х., Линькова Н.С. COVID-19: влияние на иммунитет, систему гемостаза и возможные пути коррекции // Успехи физиологических наук, 2020. Т. 51, № 4. С. 51-63. [Kuznik B.I., Khavinson V.Kh., Linkova N.S. COVID-19: effect on immunity. homeostasis system and the correction possible ways. Uspekhi fiziologicheskikh nauk = Advances in Physiological Sciences, 2020, Vol. 51, no. 4, pp. 51-63. (In Russ.)]
- Кузник Б.И., Хавинсон В.Х., Лукьянов С.А., Шаповалов К.Г., Смоляков Ю.Н., Терешков П.П., Шаповалов Ю.К., Коннов В.А., Зайцев Д.Н., Маген Э. Влияние тоцилизумаба и тималина на системное воспаление у больных COVID-19 // Врач, 2020. Т. 31, № 11. С. 87-96. [Kuznik B.I., Khavinson Kh.V., Lukyanov S.A., Shapovalov K.G., Smolyakov Yu.N., Tereshkov P.P., Shapovalov Y.K., Konnov V.A., Zaiztsev D.N., Magen E. Tocilizumab and thymalin effect on the system inflammation in COVID-19 patients. Vrach = Doctor, 2020, Vol. 31, no. 11, pp. 87-96. (In Russ.)]
- Кузник Б.И., Хавинсон В.Х., Смирнов В.С. Особенности патогенеза и течения covid-19 у лиц пожилого и старческого возраста // Успехи геронтологии, 2020. Т. 33, № 6. С. 1032-1042. [Kuznik B.I., Khavinson Kh.V., Smirnov V.S. Speciality of COVID-19 pathogenesis and course of disease in aged and old age. Uspekhi gerontologii = Advances in Gerontology, 2020, Vol. 3, no. 6, pp. 1032-1042. (In Russ.)]
- Кузник Б.И., Васильев Н.В., Цыбиков Н.Н. Иммуногенез, гемостаз и неспецифическая резистентность организма. М.: Медицина 1989. 320 с. [Kuznik B.I., Vasiliev N.V., Tsybikov N.N. Immunogenesis, hemostasis and nonspecific resistance of the body]. Moscow: Meditsina, 1989. 320 p.
- Морозов В.Г., Хавинсон В.Х. Новый класс биологических регуляторов многоклеточных систем – цитомедины // Успехи современной биологии, 1983. Т. 96, № 6. С. 339-352. [Morozov V.G., Khavinson V.Kh. New class of biological regulators of multicellular systems – cytomedins. Uspekhi sovremennoy biologii = Advances of Current Biology, 1983, Vol. 96, no. 6, pp. 339-352. (In Russ.)]
- Потапова Н.Л., Смоляков Ю.Н. Информативность ROC-анализа в определении предикторов тяжелой бронхиальной астмы у детей // Забайкальский медицинский вестник, 2021. № 3. С. 13-18. [Potapova N.L., Smolyakov Yu.N. Informational value of ROC analysis in the detection of predictors of long bronchial asthma in children. Zabaykalskiy meditsinskiy vestnik = Transbaikal Medical Bulletin, 2021, no. 3, pp. 13-18. (In Russ.)]
- Хавинсон В.Х., Кузник Б.И., Рукавишникова С.А., Линькова Н.С., Ахмедов Т.А., Башук В.В. Влияние тималина на показатели клеточного, гуморального иммунитета и качество жизни у пациентов пожилого возраста с COVID-19 // Врач, 2021. № 6. С 51-54. [Khavinson V.Kh., Kuznik B.I., Rukavishnikova S.A., Linkova N.S., Akhmedov T.A. Thymalin effect on the index of cellular, humoral immunity and life quality in the aged patients. Vrach = Doctor, 2021, no. 6, pp. 51-54. (In Russ.)]
- Хавинсон В.Х., Кузник Б.И., Рыжак Г.А. Пептидные геропротекторы – эпигенетические регуляторы физиологических функций организма. СПб.: РГПУ им. А.И. Герцена, 2014. 271 с. [Khavinson V.Kh., Kuznik B.I., Rizhak G.A. Peptide geroprotectors – epigenetic regulators of organism physiological functions]. St. Petersburg A. Herzen Russian State Pedagogical Institute, 2014. 271 p.
- Ярцев С.С. Значение ROC-анализа для определения диагностической эффективности вентиляционных показателей у больных бронхиальной астмой // Пульмонология, 2021. № 6. С. 20-25. [Yartsev S.S. Mean of ROC analysis for detection of diagnostic effectiveness of ventilation rates in patients with bronchial asthma. Pulmonologiya = Pulmonology, 2021, no. 6, pp. 20-25. (In Russ.)]
- Choi J.H., Lee Y.H., Kwon T.W., Ko S.G., Nah S.Y., Cho I.H. Can Panax ginseng help control cytokine storm in COVID-19? J. Ginseng Res., 2022, Vol. 46, no. 3, pp. 337-347.
- Hadid T., Kafri Z., Al-Katib A. Coagulation and anticoagulation in COVID-19. Blood Rev., 2021, Vol. 47, 100761. doi: 10.1016/j.blre.2020.100761.
- Hughes G., Kopetzky J., McRoberts N. Mutual Information as a performance measure for binary predictors characterized by both ROC curve and PROC curve analysis. Entropy, 2020, Vol. 22, no. 9, 938. doi: 10.3390/e22090938.
- Joly B.S., Siguret V., Veyradier A. Understanding pathophysiology of hemostasis disorders in critically ill patients with COVID-19. Intensive Care Med., 2020, Vol. 46, no. 8, pp. 1-4.
- Khavinson V.K., Kuznik B.I., Trofimova S.V., Volchkov V.A., Rukavishnikova S.A., Titova O.N., Akhmedov T.A., Trofimov A.V., Potemkin V.V., Magen E. Results and prospects of using activator of hematopoietic stem cell differentiation in complex therapy for patients with COVID-19. Stem Cell Rev. Rep., 2021, Vol. 17, no. 1, pp. 285-290.
- Khavinson V.K., Kuznik B.I., Ryzhak G.A. Peptide bioregulators: A new class of geroprotectors. Report 2. The results of clinical trials. Adv. Gerontol., 2014, Vol. 4, pp. 346-361.
- Khavinson V., Linkova N., Dyatlova A., Kuznik B., Umnov R. Peptides: prospects for use in the treatment of COVID-19. Molecules, 2020, Vol. 25, no. 19, 4389. doi: 10.3390/molecules25194389.
- Kuznik B.I., Smolyakov Y.N., Shapovalov Y.K., Shapovalov K.G., Lukyanov S.A., Parts D.S. The state of microcirculatory hemodynamics in patients with moderate and severe COVID-19. Bull. Exp. Biol. Med., 2021, Vol. 171, no. 4, pp. 453-457.
- Obuchowski N.A., Bullen J.A. Receiver operating characteristic (ROC) curves: review of methods with applications in diagnostic medicine. Phys. Med. Biol., 2018, Vol. 63, no. 7, 07TR01. doi: 10.1088/1361-6560/aab4b1.
- Otifi H.M., Adiga B.K. Endothelial dysfunction in COVID-19. Am. J. Med. Sci., 2022, Vol. 363, no. 4. pp. 281-287.
- R Core Team (2022). R: A language and environment for statistical computing, R Foundation for Statistical Computing, Vienna, Austria. Available at: https://www.R-project.org (Accessed May 15, 2022).
- Ribes A., Vardon-Bounes F., Mémier V., Poette M., Au-Duong J., Garcia C., Minville V., Sié P., Bura-Rivière A., Voisin S., Payrastre B. Thromboembolic events and COVID-19. Adv. Biol. Regul., 2020, Vol. 77, 100735. doi: 10.1016/j.jbior.2020.100735.
- Sbirkov Y., Dzharov V., Todorova K., Hayrabedyan S., Sarafian V. Endothelial inflammation and dysfunction in COVID-19. Vasa, 2022, Vol. 51, no. 2, pp. 62-70.
- Seitz A., Ong P. Endothelial dysfunction in COVID-19: A potential predictor of long-COVID? Int. J. Cardiol., 2022, Vol. 15, no. 349, pp. 155-156.
- Tuah A.N., Ibrahim A.B., Dzulkifly S., Yusof F.M., Nor R.A., Ariffin R. Analysis of the Area Under a Curve (AUC) using C-programming: Trapezium and Simpson rules techniques. J. ICT Educ., 2022, Vol. 9, no. 1, pp. 143-153.
- Zanza C., Romenskaya T., Manetti A.C., Franceschi F., La Russa R., Bertozzi G., Maiese A., Savioli G., Volonnino G., Longhitano Y. Cytokine storm in COVID-19: Immunopathogenesis and therapy. Medicina (Kaunas), 2022, Vol. 58, no. 2, 144. doi: 10.3390/medicina58020144.