<!DOCTYPE article
PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.4 20190208//EN"
       "JATS-journalpublishing1.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" article-type="research-article" dtd-version="1.4" xml:lang="en">
 <front>
  <journal-meta>
   <journal-id journal-id-type="publisher-id">Virtual Communication and Social Networks</journal-id>
   <journal-title-group>
    <journal-title xml:lang="en">Virtual Communication and Social Networks</journal-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Виртуальная коммуникация и социальные сети</trans-title>
    </trans-title-group>
   </journal-title-group>
   <issn publication-format="print">2782-4799</issn>
   <issn publication-format="online">2782-4802</issn>
  </journal-meta>
  <article-meta>
   <article-id pub-id-type="publisher-id">90419</article-id>
   <article-id pub-id-type="doi">10.21603/2782-4799-2025-4-1-62-70</article-id>
   <article-id pub-id-type="edn">hfslfk</article-id>
   <article-categories>
    <subj-group subj-group-type="toc-heading" xml:lang="ru">
     <subject>Междисциплинарные исследования языка</subject>
    </subj-group>
    <subj-group subj-group-type="toc-heading" xml:lang="en">
     <subject>Interdisciplinary Linguistics</subject>
    </subj-group>
    <subj-group>
     <subject>Междисциплинарные исследования языка</subject>
    </subj-group>
   </article-categories>
   <title-group>
    <article-title xml:lang="en">Automatic Generation of News Headlines Using RuGPT-3 Neural Network: Effect of Training Dataset on Model Performance</article-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Автоматическая генерация новостных заголовков  при помощи нейронной сети RuGPT-3 (влияние обучающего датасета на результативность модели)</trans-title>
    </trans-title-group>
   </title-group>
   <contrib-group content-type="authors">
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Шамигов</surname>
       <given-names>Федор Федорович</given-names>
      </name>
      <name xml:lang="en">
       <surname>Shamigov</surname>
       <given-names>Fedor Fedorovich</given-names>
      </name>
     </name-alternatives>
     <email>fshamigov@mail.ru</email>
     <xref ref-type="aff" rid="aff-1"/>
    </contrib>
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Резанова</surname>
       <given-names>Зоя Ивановна</given-names>
      </name>
      <name xml:lang="en">
       <surname>Rezanova</surname>
       <given-names>Zoya Ivanovna</given-names>
      </name>
     </name-alternatives>
     <email>rezanovazi@mail.ru</email>
     <bio xml:lang="ru">
      <p>доктор филологических наук;</p>
     </bio>
     <bio xml:lang="en">
      <p>doctor of philological sciences;</p>
     </bio>
     <xref ref-type="aff" rid="aff-2"/>
    </contrib>
   </contrib-group>
   <aff-alternatives id="aff-1">
    <aff>
     <institution xml:lang="ru">Национальный исследовательский Томский государственный университет</institution>
    </aff>
    <aff>
     <institution xml:lang="en">National Research Tomsk State University</institution>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-2">
    <aff>
     <institution xml:lang="ru">Томский государственный университет</institution>
     <city>Томск</city>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">Tomsk State University</institution>
     <city>Tomsk</city>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <pub-date publication-format="print" date-type="pub" iso-8601-date="2025-04-11T04:30:25+03:00">
    <day>11</day>
    <month>04</month>
    <year>2025</year>
   </pub-date>
   <pub-date publication-format="electronic" date-type="pub" iso-8601-date="2025-04-11T04:30:25+03:00">
    <day>11</day>
    <month>04</month>
    <year>2025</year>
   </pub-date>
   <volume>4</volume>
   <issue>1</issue>
   <fpage>62</fpage>
   <lpage>70</lpage>
   <history>
    <date date-type="received" iso-8601-date="2024-11-06T00:00:00+03:00">
     <day>06</day>
     <month>11</month>
     <year>2024</year>
    </date>
    <date date-type="accepted" iso-8601-date="2025-01-21T00:00:00+03:00">
     <day>21</day>
     <month>01</month>
     <year>2025</year>
    </date>
   </history>
   <self-uri xlink:href="https://vestnik-pses.kemsu.ru/en/nauka/article/90419/view">https://vestnik-pses.kemsu.ru/en/nauka/article/90419/view</self-uri>
   <abstract xml:lang="ru">
    <p>В статье представлены результаты проверки гипотезы о влиянии типа датасета (отдельные рубрики новостей vs их совокупность) на качество автоматической генерации заголовков новостных статей. Актуальность работы обусловлена высокой конкурентоспособностью СМИ в цифровом пространстве, где успех новостного агентства часто зависит от скорости публикации. На это, в свою очередь, во многом влияет использование технологий автоматической генерации текста новости в целом и его заголовка. Цель – проверить гипотезу: обучение модели RuGPT-3 на статьях отдельных рубрик и на их совокупности даст разные результаты в качестве генерируемого заголовка. Новизна работы: мы сравнили качество генерации на отдельных рубриках и их совокупности, в то время как большинство исследователей в этой сфере, как правило, обучают модели на всей совокупности сразу. Поставлена следующая задача: изучить влияние типов дата­сетов на качество генерируемых заголовков. Задача решалась с использованием модели RuGPT-3 на материале новостных статей корпуса Lenta.ru. Данные были организованы в три датасета: рубрики наука и спорт (по 6900 статей каждая), а также совокупность этих рубрик (6900 статей). В результате исследования гипотеза подтвердилась. Модель, обученная на совокупности рубрик, генерирует более качественные с точки зрения формальной метрики ROUGE заголовки, она достигла среднего значения F-мер 0,22 (против 0,174 на науке и 0,196 на спорте). Более того, в процедурах качественного анализа генерируемых заголовков было выявлено, что они обладают естественностью, соответствуют большинству правил эффективного заголовка (длина до 10 слов, предикативность, прошедшее время предиката, в основном действительный залог, отсутствие предлога или числа в начале, отсутствие относительных указателей времени), однако не всегда соотносятся с правилом о соответствии материалу. Статья имеет поисковый характер, перспективы исследования видятся в проведении дополнительных экспериментов с другими типами датасетов.</p>
   </abstract>
   <trans-abstract xml:lang="en">
    <p>News agencies compete in the digital space, where the success often depends on the promptness of publication, which can be provided by automatic headline generation technologies. This study examined the effect of dataset types on the quality of headline generation, i.e., the impact of dataset type (individual news categories vs. their combination) on the quality of automatic news headlines. The initial hypothesis was that training the RuGPT-3 model on thematic sets of articles and on their totality would give different generated headlines. The authors used the RuGPT-3 model and news articles published by Lenta.ru. The research included three datasets: the categories of science and sports (6,900 articles each) and their combination (6,900 articles). The results confirmed the hypothesis: the model trained on the combined dataset generated higher-quality headlines as measured by the formal ROUGE metric, achieving an average F-score of 0.22 (compared to 0.17 for science and 0.2 for sports). The generated headlines looked authentic and conformed to the good headline practice, i.e., length (≤10 words), predicativity, past tense, active voice, no opening prepositions or figures, no relative time indicators, etc. However, the headlines were not always consistent with the content.</p>
   </trans-abstract>
   <kwd-group xml:lang="ru">
    <kwd>новость</kwd>
    <kwd>новостной заголовок</kwd>
    <kwd>автоматическая генерация</kwd>
    <kwd>машинное обучение</kwd>
    <kwd>модель RuGPT-3</kwd>
    <kwd>нейронные сети</kwd>
    <kwd>метрика ROUGE</kwd>
   </kwd-group>
   <kwd-group xml:lang="en">
    <kwd>news</kwd>
    <kwd>news headline</kwd>
    <kwd>automatic generation</kwd>
    <kwd>machine learning</kwd>
    <kwd>RuGPT-3 model</kwd>
    <kwd>neural networks</kwd>
    <kwd>ROUGE metric</kwd>
   </kwd-group>
  </article-meta>
 </front>
 <body>
  <p></p>
 </body>
 <back>
  <ref-list>
   <ref id="B1">
    <label>1.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Амзин А. А. Новостная интернет-журналистика. М.: Аспект Пресс, 2011. 142 с. https://elibrary.ru/sbfkaz</mixed-citation>
     <mixed-citation xml:lang="en">Amzin A. A. Journalism of online news. Moscow: Aspekt Press, 2011, 142. (In Russ.)] https://elibrary.ru/sbfkaz</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B2">
    <label>2.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Ахмадулин Е. В. «Новость» как основа журнализма. Гуманитарный вектор. 2020. Т. 15. № 5. С. 149–154. https://doi.org/10.21209/1996-7853-2020-15-5-149-154</mixed-citation>
     <mixed-citation xml:lang="en">Akhmadulin E. V. The &quot;News&quot; as the basis of journalism. Humanitarian Vector, 2020, 15(5): 149–154. (In Russ.)] https://doi.org/10.21209/1996-7853-2020-15-5-149-154</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B3">
    <label>3.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Белякова А. Ю., Беляков Ю. Д. Обзор задачи автоматической суммаризации текста. Инженерный вестник Дона. 2020. № 10. С. 142–159. https://elibrary.ru/ayyyfq</mixed-citation>
     <mixed-citation xml:lang="en">Belyakova A. Yu., Belyakov Yu. D. Overview of text summarization methods. Inzhenernyi vestnik Dona, 2020, (10): 142–159. (In Russ.)] https://elibrary.ru/ayyyfq</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B4">
    <label>4.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Головизнина В. С. Автоматическое реферирование текстов. Информационные технологии и нанотехнологии (ИТНТ-2022): VIII Междунар. конф. (Самара, 23–27 мая 2022 г.) Самара: Самарский ун-т, 2022. https://elibrary.ru/evsbxc</mixed-citation>
     <mixed-citation xml:lang="en">Goloviznina V. S. Automatic abstracting of texts. Information technologies and nanotechnology (ITNT-2022): Proc. VIII Intern. Conf., Samara, 23–27 May 2022. Samara: Samara University, 2022. (In Russ.)] https://elibrary.ru/evsbxc</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B5">
    <label>5.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Горбачев А. Д., Синицын А. В. Сравнительный анализ алгоритмов суммаризации текста для проектирования и разработки программного комплекса. Развитие современной науки и технологий в условиях транс­формационных процессов: XI Междунар. науч.-практ. конф. (Москва, 12 мая 2023 г.) СПб.: Печатный цех, 2023. С. 43–52. https://elibrary.ru/nonvjs</mixed-citation>
     <mixed-citation xml:lang="en">Gorbachev A. D., Sinitsyn A. V. Comparative analysis of text summarization algorithms for the design and development of a software package. The development of modern science and technology in the context of transformational processes: Proc. XI Intern. Sci.-Prac. Conf., Moscow, 12 May 2023. St. Petersburg: Pechatnyj ceh, 2023, 43–52. (In Russ.)] https://elibrary.ru/nonvjs</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B6">
    <label>6.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Дорош М., Райковский Д. И., Пугин К. В. Задача суммаризации текста. Инновации. Наука. Образование. 2022. № 49. С. 2036–2044. https://elibrary.ru/znzfhc</mixed-citation>
     <mixed-citation xml:lang="en">Dorosh M., Rajkovsky D. I., Pugin K. V. Text summary problem. Innovatsii. Nauka. Obrazovanie, 2022, (49): 2036–2044. (In Russ.)] https://elibrary.ru/znzfhc</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B7">
    <label>7.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Дьякова Т. В. Основные принципы и структура новостных сообщений. Lingua mobilis. 2011. № 2. С. 102–105. https://elibrary.ru/rodaws</mixed-citation>
     <mixed-citation xml:lang="en">Dyakova T. V. Basic principles and structure of news mes-sages. Lingua mobilis, 2011, (2): 102–105. (In Russ.)] https://elibrary.ru/rodaws</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B8">
    <label>8.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Жигалов А. Ю., Гришина Л. С., Болодурина И. П. Исследование моделей искусственного интеллекта для автоматического аннотирования и реферирования текстов. Цифровые технологии в образовании, науке, обществе: XVII Всерос. науч.-практ. конф. (Петрозаводск, 22–24 ноября 2023 г.) Петрозаводск: ПетрГУ, 2023. С. 36–38. https://elibrary.ru/tugzpu</mixed-citation>
     <mixed-citation xml:lang="en">Zhigalov A. Yu., Grishina L. S., Bolodurina I. P. Research of artificial intelligence models for automatic and abstracting of texts. Digital technologies in education, science, and society: Proc. XVII All-Russian Sci.-Prac. Conf., Petrozavodsk, 22–24 Nov 2023. Petrozavodsk: PetrSU, 2023, 36–38. (In Russ.)] https://elibrary.ru/tugzpu</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B9">
    <label>9.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Иванова С. В. Новость как дискурсивный жанр: не отсутствующая структура. Terra Linguistica. 2022. Т. 13. № 3. С. 7–14. https://doi.org/10.18721/JHSS.13301</mixed-citation>
     <mixed-citation xml:lang="en">Ivanova S. V. News as a genre of discourse: A non-missing structure. Terra Linguistica, 2022, 13(3): 7–14. (In Russ.)] https://doi.org/10.18721/JHSS.13301</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B10">
    <label>10.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Колесниченко А. В. Практическая журналистика. 3-е изд. М.: Московский ун-т, 2020. 191 с.</mixed-citation>
     <mixed-citation xml:lang="en">Kolesnichenko A. V. Practical journalism. 3rd ed. Moscow: Moscow University, 2020, 191. (In Russ.)]</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B11">
    <label>11.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Коротких Е. Г., Носенко Н. В. Семантико-прагматическая компрессия текста в обучении английскому языку для специальных целей. Современные проблемы науки и образования. 2021. № 2. https://doi.org/10.17513/spno.30665</mixed-citation>
     <mixed-citation xml:lang="en">Korotkikh E. G., Nosenko N. V. Semantic and pragmatic text compression in teaching English for special purposes. Modern problems of science and education, 2021, (2). (In Russ.)] https://doi.org/10.17513/spno.30665</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B12">
    <label>12.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Макушин А. Б. Современная трактовка понятия новости в условиях медиаконвергенции. Вестник Кемеровского государственного университета. 2014. № 2-2. C. 187–189. https://elibrary.ru/smmxjz</mixed-citation>
     <mixed-citation xml:lang="en">Makushin A. B. Modern treatment of the concept of news in the conditions of media convergence. Vestnik Kemerovskogo gosudarstvennogo universiteta, 2014, (2-2): 187–189. (In Russ.)] https://elibrary.ru/smmxjz</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B13">
    <label>13.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Сорокина С. Г. Интеллектуальная обработка текстовой информации: обзор автоматизированных методов суммаризации. Виртуальная коммуникация и социальные сети. 2024a. T. 3. № 3. С. 203–222. https://doi.org/10.21603/2782-4799-2024-3-3-203-222</mixed-citation>
     <mixed-citation xml:lang="en">Sorokina S. G. Intelligent text processing: A review of automated summarization methods. Virtual Communication and Social Networks, 2024a, 3(3): 203–222. (In Russ.)] https://doi.org/10.21603/2782-4799-2024-3-3-203-222</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B14">
    <label>14.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Сорокина С. Г. Особенности применения технологии автоматической суммаризации к научным публикациям. Три «Л» в парадигме современного гуманитарного знания: лингвистика, литературоведение, лингводидактика: Всерос. науч.-практ. конф. (Москва, 23 ноября 2023 г.) М.: Языки Народов Мира, 2024b. С. 132–138. https://elibrary.ru/duydpi</mixed-citation>
     <mixed-citation xml:lang="en">Sorokina S. G. Applying automatic summarization technology to academic publications. Three L’s of modern humanities: Linguistics, literary studies, and linguadidactics: Proc. All-Russian Sci.-Prac. Conf., Moscow, 23 Nov 2023. Moscow: Yazyki Narodov Mira, 2024b, 132–138. (In Russ.)] https://elibrary.ru/duydpi</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B15">
    <label>15.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Троицкий Ю. Л. Новости как литература: об одной экспериментальной практике. Новый филологический вестник. 2017. № 3. С. 52–59. https://elibrary.ru/yllsqd</mixed-citation>
     <mixed-citation xml:lang="en">Troitskiy Yu. L. News as literature: Experimental practice. The New Philological Bulletin, 2017, (3): 52–59. (In Russ.)] https://elibrary.ru/yllsqd</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B16">
    <label>16.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Шевчук А. А. Автоматическая генерация новостных заголовков с применением нейронной сети encoder-decoder. Актуальные проблемы лингвистики и литературоведения: VI (XX) Междунар. конф. (Томск, 18–19 апреля 2019 г.) Томск: ООО СТТ, 2020. С. 100–101. https://elibrary.ru/oqgvly</mixed-citation>
     <mixed-citation xml:lang="en">Shevchuk A. A. Encoder-decoder neural network for automatic news headline generation. Relevant issues of linguistics and literary studies: Proc. VI (XX) Intern. Conf., Tomsk, 18–19 Apr 2019. Tomsk: STT LLC, 2020, 100–101. (In Russ.)] https://elibrary.ru/oqgvly</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B17">
    <label>17.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Abualigah L., Bashabsheh M. Q., Alabool H., Shehab M. Text summarization: A brief review. Recent advances in NLP: The case of arabic language, eds. Abd Elaziz M., Al-qaness M. A. A., Ewees A. A., Dahou A. Cham: Springer, 2020, 1–15. https://doi.org/10.1007/978-3-030-34614-0_1</mixed-citation>
     <mixed-citation xml:lang="en">Abualigah L., Bashabsheh M. Q., Alabool H., Shehab M. Text summarization: A brief review. Recent advances in NLP: The case of arabic language, eds. Abd Elaziz M., Al-qaness M. A. A., Ewees A. A., Dahou A. Cham: Springer, 2020, 1–15. https://doi.org/10.1007/978-3-030-34614-0_1</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B18">
    <label>18.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Alami N., Mallahi M. E., Amakdouf H., Qjidaa H. Hybrid method for text summarization based on statistical and semantic treatment. Multimedia Tools and Applications, 2021, 80(13): 19567–19600. https://doi.org/10.1007/s11042-021-10613-9</mixed-citation>
     <mixed-citation xml:lang="en">Alami N., Mallahi M. E., Amakdouf H., Qjidaa H. Hybrid method for text summarization based on statistical and semantic treatment. Multimedia Tools and Applications, 2021, 80(13): 19567–19600. https://doi.org/10.1007/s11042-021-10613-9</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B19">
    <label>19.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Bao G., Zhang Y. A general contextualized rewriting framework for text summarization. IEEE/ACM Transactions on Audio Speech and Language Processing, 2023, 31: 1624–1635. https://doi.org/10.1109/TASLP.2023.3268569</mixed-citation>
     <mixed-citation xml:lang="en">Bao G., Zhang Y. A general contextualized rewriting framework for text summarization. IEEE/ACM Transactions on Audio Speech and Language Processing, 2023, 31: 1624–1635. https://doi.org/10.1109/TASLP.2023.3268569</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B20">
    <label>20.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Chen D., Ma S., Harimoto K., Bao R., Su Q., Sun X. Group, extract and aggregate: Summarizing a large amount of finance news for forexmovement prediction. Proceedings of the Second Workshop on Economics and Natural Language Processing, eds. Hahn U., Hoste V., Zhang Z. Hong Kong: Association for Computational Linguistics, 2019, 41–50. https://doi.org/10.18653/v1/D19-5106</mixed-citation>
     <mixed-citation xml:lang="en">Chen D., Ma S., Harimoto K., Bao R., Su Q., Sun X. Group, extract and aggregate: Summarizing a large amount of finance news for forexmovement prediction. Proceedings of the Second Workshop on Economics and Natural Language Processing, eds. Hahn U., Hoste V., Zhang Z. Hong Kong: Association for Computational Linguistics, 2019, 41–50. https://doi.org/10.18653/v1/D19-5106</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B21">
    <label>21.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Gupta A., Chugh D., Anjum, Katarya R. Automated news summarization using transformers. Sustainable advanced computing, eds. Aurelia S., Hiremath S. S., Subramanian K., Biswas S. Kr. Springer, 2022, 249–259. https://doi.org/10.1007/978-981-16-9012-9_21</mixed-citation>
     <mixed-citation xml:lang="en">Gupta A., Chugh D., Anjum, Katarya R. Automated news summarization using transformers. Sustainable advanced computing, eds. Aurelia S., Hiremath S. S., Subramanian K., Biswas S. Kr. Springer, 2022, 249–259. https://doi.org/10.1007/978-981-16-9012-9_21</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B22">
    <label>22.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Hayatin N., Ghufron K. M., Wicaksono G. W. Summarization of COVID-19 news documents deep learning-based using transformer architecture. TELKOMNIKA. Telecommunication Computing Electronics and Control, 2021, 19(3): 754–761. https://doi.org/10.12928/TELKOMNIKA.v19i3.18356</mixed-citation>
     <mixed-citation xml:lang="en">Hayatin N., Ghufron K. M., Wicaksono G. W. Summarization of COVID-19 news documents deep learning-based using transformer architecture. TELKOMNIKA. Telecommunication Computing Electronics and Control, 2021, 19(3): 754–761. https://doi.org/10.12928/TELKOMNIKA.v19i3.18356</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B23">
    <label>23.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Jalil Z., Nasir J. A., Nasir M. Extractive multi-document summarization: A review of progress in the last decade. IEEE Access, 2021, 9: 130928–130946. https://doi.org/10.1109/ACCESS.2021.3112496</mixed-citation>
     <mixed-citation xml:lang="en">Jalil Z., Nasir J. A., Nasir M. Extractive multi-document summarization: A review of progress in the last decade. IEEE Access, 2021, 9: 130928–130946. https://doi.org/10.1109/ACCESS.2021.3112496</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B24">
    <label>24.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Jiang J., Zhang H., Dai C., Zhao Q., Feng H., Ji Z., Ganchev I. Enhancements of attention-based bidirectional LSTM for hybrid automatic text summarization. IEEE Access, 2021, 9: 123660–123671. https://doi.org/10.1109/ACCESS.2021.3110143</mixed-citation>
     <mixed-citation xml:lang="en">Jiang J., Zhang H., Dai C., Zhao Q., Feng H., Ji Z., Ganchev I. Enhancements of attention-based bidirectional LSTM for hybrid automatic text summarization. IEEE Access, 2021, 9: 123660–123671. https://doi.org/10.1109/ACCESS.2021.3110143</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B25">
    <label>25.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Kumari N., Sharma N., Singh P. Performance of optimizers in text summarization for news articles. Procedia Computer Science, 2023, 218: 2430–2437. https://doi.org/10.1016/j.procs.2023.01.218</mixed-citation>
     <mixed-citation xml:lang="en">Kumari N., Sharma N., Singh P. Performance of optimizers in text summarization for news articles. Procedia Computer Science, 2023, 218: 2430–2437. https://doi.org/10.1016/j.procs.2023.01.218</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B26">
    <label>26.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Ma T., Pan Q., Rong H., Qian Y., Tian Y., Al-Nabhan N. T-BERTSum: Topic-aware text summarization based on bert. IEEE Transactions on Computational Social Systems, 2022, 9(3): 879–890. https://doi.org/10.1109/TCSS.2021.3088506</mixed-citation>
     <mixed-citation xml:lang="en">Ma T., Pan Q., Rong H., Qian Y., Tian Y., Al-Nabhan N. T-BERTSum: Topic-aware text summarization based on bert. IEEE Transactions on Computational Social Systems, 2022, 9(3): 879–890. https://doi.org/10.1109/TCSS.2021.3088506</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B27">
    <label>27.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Muniraj P., Sabarmathi K. R., Leelavathi R., Balaji S. HNTSumm: Hybrid text summarization of transliterated news articles. International Journal of Intelligent Networks, 2023, 4: 53–61. https://doi.org/10.1016/j.ijin.2023.03.001</mixed-citation>
     <mixed-citation xml:lang="en">Muniraj P., Sabarmathi K. R., Leelavathi R., Balaji S. HNTSumm: Hybrid text summarization of transliterated news articles. International Journal of Intelligent Networks, 2023, 4: 53–61. https://doi.org/10.1016/j.ijin.2023.03.001</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B28">
    <label>28.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. Attention is all you need. 31st International Conference on Neural Information Processing Systems (NIPS'17): Proc. Conf., Long Beach, 4–9 Dec 2017. NY: Curran Associates, 2017, 6000–6010. https://doi.org/10.48550/arXiv.1706.03762</mixed-citation>
     <mixed-citation xml:lang="en">Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. Attention is all you need. 31st International Conference on Neural Information Processing Systems (NIPS'17): Proc. Conf., Long Beach, 4–9 Dec 2017. NY: Curran Associates, 2017, 6000–6010. https://doi.org/10.48550/arXiv.1706.03762</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B29">
    <label>29.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Yadav A. K., Ranvijay, Yadav R. S., Maurya A. K. Graph-based extractive text summarization based on single document. Multimedia Tools and Applications, 2024, 83(7): 18987–19013. https://doi.org/10.1007/s11042-023-16199-8</mixed-citation>
     <mixed-citation xml:lang="en">Yadav A. K., Ranvijay, Yadav R. S., Maurya A. K. Graph-based extractive text summarization based on single document. Multimedia Tools and Applications, 2024, 83(7): 18987–19013. https://doi.org/10.1007/s11042-023-16199-8</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B30">
    <label>30.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Yao K., Zhang L., Du D., Luo T., Tao L., Wu Y. Dual encoding for abstractive text summarization. IEEE Transactions on Cybernetics, 2020, 50(3): 985–996. https://doi.org/10.1109/TCYB.2018.2876317</mixed-citation>
     <mixed-citation xml:lang="en">Yao K., Zhang L., Du D., Luo T., Tao L., Wu Y. Dual encoding for abstractive text summarization. IEEE Transactions on Cybernetics, 2020, 50(3): 985–996. https://doi.org/10.1109/TCYB.2018.2876317</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B31">
    <label>31.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Zhou H., Ren W., Liu G., Su B., Lu W. Entity-aware abstractive multi-document summarization. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, eds. Zong Ch., Xia F., Li W., Navigli R. Stroudsburg: Association for Computational Linguistics, 2021, 351–362. https://doi.org/10.18653/v1/2021.findings-acl.30</mixed-citation>
     <mixed-citation xml:lang="en">Zhou H., Ren W., Liu G., Su B., Lu W. Entity-aware abstractive multi-document summarization. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, eds. Zong Ch., Xia F., Li W., Navigli R. Stroudsburg: Association for Computational Linguistics, 2021, 351–362. https://doi.org/10.18653/v1/2021.findings-acl.30</mixed-citation>
    </citation-alternatives>
   </ref>
  </ref-list>
 </back>
</article>
