УДК 81’33 +81’322
DOI: https://doi.org/10.29025/2079-6021-2026-2-53-66

Оценка сложности текстов по русскому как иностранному: инструментарий и алгоритмы на основе больших языковых моделей

Авторы: Солнышкина М. И., Андреева М. И., Гайнутдинова Д. З. 

---

Получена: 18.03.2026 Принята: 09.04.2026 Опубликована онлайн: 25.06.2026

Резюме: В статье представлены инструментарий и алгоритм оценки лексической сложности учебных текстов, используемых в практике преподавания русского как иностранного. Актуальность обращения к проблеме в условиях цифровизации образования обусловлена потребностью в объективных масштабируемых инструментах калибровки сложности учебных материалов. В работе использованы методы компьютерной лингвистики, включая Python-скрипт process_word_lists и большие языковые модели GLM 4.6, Grok 4 fast, Claude Sonnet, GPT-5 и Gemini 2.5 Pro. Материалом исследования явились две текстовые выборки: (1) обучающая, в которую вошли стандартизированные лексические минимумы РКИ и 268 учебных текстов уровней A1–C1 (по CEFR), и (2) тестовая, состоящая из 26 текстов для чтения уровней A2–B1. Для оценки качества классификации применялись экспертная оценка и статистические метрики: коэффициент Коэна, средняя абсолютная ошибка (MAE), ординальная и номинальная точность. Предлагаемый алгоритм позволяет с высокой степенью надежности ранжировать тексты по уровням сложности CEFR. Выявленные различия в способности больших языковых моделей осуществлять оценку сложности текстов РКИ свидетельствуют о высокой точности, продемонстрированной моделями GLM 4.6 и Grok 4 fast. Разработанный алгоритм и инструментарий позволяют автоматизировать калибровку учебных материалов по уровням CEFR, повысить надежность экспертной оценки и расширить возможности разработки адаптивных образовательных ресурсов. Указанный функционал востребован как авторами учебных пособий, так и разработчиками тестовых материалов РКИ при подборе первичных и калибровке вторичных текстов для учебников и цифровых образовательных платформ. Перспективы исследования связаны с расширением тестовой выборки, анализом текстов уровней B2–C1 и использованием новых больших языковых моделей.

Ключевые слова: русский язык как иностранный, большие языковые модели, лексическая сложность, учебный текст, GLM 4.6, Grok 4 fast, Claude Sonnet, GPT-5 и Gemini 2.5 Pro.

Благодарности: Исследование выполнено за счет гранта Российского научного фонда №24-78-10129, http://rscf.ru/project/24-78-10129/.

Для цитирования: Солнышкина М.И., Андреева М.И., Гайнутдинова Д.З. Оценка сложности текстов по русскому как иностранному: инструментарий и алгоритмы на основе больших языковых моделей. Актуальные проблемы филологии и педагогической лингвистики. 2026. № 2. С. 53-66. https://doi.org/10.29025/2079-6021-2026-2-53-66.

For citation: Solnyshkina M.I., Andreeva M.I., Gaynutdinova D.Z. Assessing text complexity in Russian as a foreign language: an LLM-based approach and algorithmic toolkit. Current Issues in Philology and Pedagogical Linguistics. 2026, no 2, pp. 53-66. https://doi.org/10.29025/2079-6021-2026-2-53-66 (In Russ.).

PDF (RUS)   XML (RUS)

Язык: русский

---

Об авторе:

*М.И. Солнышкина¹, М.И. Андреева², Д.З. Гайнутдинова^{3
1,2, 3} Казанский (Приволжский) федеральный университет;
420008, Российская Федерация, Казань, ул. Кремлевская, 18;
¹ORCID ID: 0000-0003-1885-3039;
²ORCID ID: 0000-0002-5760-0934;
³ORCID ID: 0000-0003-4684-6063;
¹ Web of Science Researcher ID: E-3863-2015;
² Web of Science Researcher ID: ABF-7003-2020;
³ Web of Science Researcher ID: M-2805-2013;
¹ SPIN-код: 6480-1830;
² SPIN-код: 9243-6995;
³SPIN-код: 7704-6080;
 *e-mail: mesoln@yandex.ru 

---

Список литературы:
1. Куприянов Р.В., Солнышкина М.И., Лехницкая П.А. Параметрическая таксономия учебных текстов. Вестник Волгоградского государственного университета. Серия 2. Языкознание. 2023; 22 (6): 80–94. https://doi.org/10.15688/jvolsu2.2023.6.6.
2. Ляшевская О.Н. К определению сложности русских текстов. XVII Апрельская международная научная конференция по проблемам развития экономики и общества. 2017; 4: 408-418. Доступно по: https://clck.ru/3TnYMe. Ссылка активна на 22.03.2026.
3. Лапошина А.Н. Опыт экспериментального исследования сложности текстов по РКИ. Динамика языковых и культурных процессов в современной России: материалы VI Конгресса РОПРЯЛ (Уфа, 11-14 октября 2018 г.): сборник статей. 2018; 6: 1544. Доступно по: https://clck.ru/3TnYxL. Ссылка активна на 23.02.2026.
4. Воронин К.В., Исмаева Ф.Х., Данилов А.В. Лингвистическое профилирование учебных и художественных текстов. Русистика. 2024; 22 (4): 555-578. https://doi.org/10.22363/2618-8163-2024-22-4-555-578 
5. Кравцова В.Е. Трудности в изучении русского языка иностранцами и способы их преодоления в практике преподавания РКИ. Актуальные проблемы русского языка и методики его преподавания. 2020: 48-51. Доступно по: https://elibrary.ru/download/elibrary_44284515_13204934.pdf. Ссылка активна на 22.04.2026.
6. Цзян И., Васильева О.В. Проблема омонимии и омо-явлений при обучении русскому языку как иностранному. Наука на иностранном языке – шаг в будущее профессионала: Материалы II Национального (Всероссийского) круглого стола [3 апреля 2025 года]; Санкт-Петербургский государственный архитектурно-строительный университет. СПб. СПбГАСУ, 2025: 393. Доступно по: https://clck.ru/3TnZBj. Ссылка активна на 22.04.2026. 
7. Гатиятуллина Г.М., Гафиятова Э.В., Данилов А.В. Динамика уровня сложности как функция морфологических параметров текста на русском языке. Научный результат. Вопросы теоретической и прикладной лингвистики. 2024; 10(3):70-90. https://doi.org/10.18413/2313-8912-2024-10-3-0-4. 
8. Савельев Д.А. Исследование сложности предложений, составляющих тексты правовых актов органов власти Российской Федерации. Право. Журнал Высшей школы экономики. 2020; 1: 50-74. https://doi.org/10.17323/2072-8166.2020.1.50.74/. 
9. Wolfer S., Hansen-Morath S., Konieczny L. Are shorter sentences always simpler?. Translation and comprehensibility. 2015; 72: 263. Доступно по: https://clck.ru/3TnZLN. Ссылка активна на 12.02.2026.
10. McNamara D.S., Graesser A.C., Louwerse M.M. Sources of text difficulty: Across genres and grades. Measuring up: Advances in how we assess reading ability. 2012: 89-116. Доступно по: https://clck.ru/3TnZQZ. Ссылка активна на 02.01.2026.
11. Шпаковский Ю.Ф. Оценка трудности восприятия и оптимизация сложности учебного текста (на материале текстов по химии) : специальность 10.02.19 «Теория языка» : автореферат диссертации на соискание ученой степени кандидата филологических наук. Минск, 2007: 21 с. Доступно по: https://clck.ru/3TnZT4. Ссылка активна на 12.04.2026.
12. Евтушенко Т. Г. и др. Исследование влияния параметров морфологической сложности на трудность восприятия медиатекста с использованием методов статистического анализа данных. Terra Linguistica. 2023: 14 (1): 30-40. https://doi.org/10.18721/JHSS.14104.
13. Гафиятова Э. В., Галявиева Л. Ш., Солнышкина М. И. Лексические предикторы сложности учебных текстов по русскому языку как иностранному. Филология и культура. 2023; 2 (72): 33-44. https://doi.org/10.26907/2782-4756-2023-72-2-33-44. 
14. Солнышкина М. И., Кисельников А. С. Сложность текста: этапы изучения в отечественном прикладном языкознании. Вестник Томского государственного университета. Филология. 2015; 6 (38): 86-99. https://doi.org/10.17223/19986645/38/7. 
15. Karpov, N., Baranova, J., Vitugin, F. Single-Sentence Readability Prediction in Russian. Proceedings of Analysis of Images, Social Networks, and Texts Conference. AIST. 2014: 91–100. https://doi.org/10.1007/978-3-319-12580-0_9. 
16. Solnyshkina, M. I., Shoeva G. N., Kosova K. O. Towards a Taxonomy of Textbooks as a Genre: the Case of Russian Textbooks. RUDN Journal of Language Studies, Semiotics and Semantics. 2024; 15(3): 872-894. https://doi.org/10.22363/2313-2299-2024-15-3-872-894. 
17. Мартынова Е. В., Солнышкина М. И., Мерзлякова А. Ф., Гизатулина Д.Ю. Лексические параметры учебного текста (на материале текстов учебного корпуса русского языка). Вестник ТГГПУ. 2020; 3(61): 72-80. Доступно по: https://cyberleninka.ru/article/n/leksicheskie-parametry-uchebnogo-teksta-na-materiale-tekstov-ucheb.... Ссылка активна на 27.03.2026.
18. Green A. Language functions revisited: Theoretical and empirical bases for language construct definition across the ability range. Cambridge University Press, 2012; 2. Доступно по: https://clck.ru/3TnZjT. Ссылка активна на 04.03.2026.
19. Лапошина А.Н. Что значит «не входит в лексический минимум»? Подсчет процента незнакомой лексики в тексте по РКИ с учетом доступных словообразовательных моделей. Преподаватель ХХI век. 2021; 4-2: 473-483. Доступно по: https://clck.ru/3TnZtL. Ссылка активна на 07.04.2026.
20. Солнышкина М.И., Андреева М.И. Оценка сложности учебного текста по русскому как иностранному: перспективы и вызовы использования искусственного интеллекта. Русистика. 2026; 24(1): 120-137. https://doi.org/10.22363/2618-8163-2026-24-1-120-137. 
21. Шарифуллина Э.А. Снятие лексико-семантической омонимии слова view: корпусный подход. Ученые записки Национального общества прикладной лингвистики (НОПриЛ). 2022; 1 (37): 58–71. Доступно по: https://elibrary.ru/download/elibrary_48652468_40861642.pdf. Ссылка активна на 09.04.2026.
22. Зайцева О.А., Терских М.В. Дидактический потенциал новостных видеосюжетов на занятиях по русскому языку как иностранному. Актуальные проблемы филологии и педагогической лингвистики. 2023; 2: 216–228. https://doi.org/10.29025/2079-6021-2023-2-216-228. 
23. Kuang E., Jahangirzadeh Soure E., Fan M., Zhao J., & Shinohara K. Collaboration with conversational AI assistants for UX evaluation: Questions and how to ask them (voice vs. text). In Proceedings of the 2023 CHI conference on human factors in computing systems. 2023: 1-15. Доступно по: https://dl.acm.org/doi/pdf/10.1145/3544548.3581247. Ссылка активна на 06.03.2026.
24. Han X.X., Xing R., Zhou M. Evaluating Large Language Models for ADHD Education: A Comparative Study of ChatGPT 5, DeepSeek V3, and Grok 4. medRxiv. 2025: 2025.10. 12.25337841. Доступно по: https://www.medrxiv.org/content/10.1101/2025.10.12.25337841v1.full.pdf. Ссылка активна на 10.02.2026.
25. Breiman L. Random forests. Machine learning. 2001; 45 (1): 5-32. Доступно по: https://link.springer.com/content/pdf/10.1023/a:1010933404324.pdf. Ссылка активна на 08.02.2026.
26. Friedman J.H. Greedy function approximation: a gradient boosting machine. Annals of statistics. 2001: 1189-1232. Доступно по: https://clck.ru/3TnaKf. Ссылка активна на 28.02.2026.
27. Breiman L. et al. Classification and regression trees. Chapman and Hall/CRC, 2017. Доступно по: https://imsarchives.nus.edu.sg/oldwww/Programs/014swclass/files/loh.pdf. Ссылка активна на 01.04.2026. 
28. Алиясова А.В., Кукицяк Ю.В. Методика обучения чтению на разных уровнях посредством разных заданий. European science. 2020; 3 (52): 38-41. Доступно по: https://clck.ru/3TnaQf. Ссылка активна на 17.04.2026. 
29. Krippendorff K. Content analysis: An introduction to its methodology. Sage publications, 2018. Доступно по: https://www.metodos.work/wp-content/uploads/2020/05/content_analysis-kippendorf-book.pdf. Ссылка активна на 18.02.2026. 
30. Alderson J.C. Assessing reading. Cambridge University Press, 2000. Доступно по: https://clck.ru/3TnaYd. Ссылка активна на 13.04.2026. 
31. Foody G.M. Challenges in the real world use of classification accuracy metrics: From recall and precision to the Matthews correlation coefficient. Plos one. 2023; 18(10): e0291908. https://doi.org/10.1371/journal.pone.0291908. 
32. Robeson S. M., Willmott C. J. Decomposition of the mean absolute error (MAE) into systematic and unsystematic components. PloS one. 2023; 18 (2): e0279774. https://doi.org/10.1371/journal.pone.0279774.
33. Gor K. et al. Fuzzy lexical representations in the nonnative mental lexicon. Frontiers in Communication. 2022; (7): 1027692. https://doi.org/10.3389/fcomm.2022.1027692. 
34. McHugh M.L. Interrater reliability: the kappa statistic. Biochemia medica. 2012; 22 (3): 276-282. https://doi.org/10.11613/BM.2012.031.
35. Sharoff S.A. What neural networks know about linguistic complexity. Russian journal of linguistics. 2022; 26 (2): 371-390. https://doi.org/10.22363/2687-0088-30178. 
36. Santucci V., Santarelli F., Forti L., Spina S.. Automatic classification of text complexity. Applied Sciences. 2020; 10 (20): 7285. https://doi.org/10.3390/app10207285. 
37. Trott S., Rivière P.D. Measuring and modifying the readability of English texts with GPT-4. arXiv preprint arXiv:2410.14028. 2024. https://doi.org/10.18653/v1/2024.tsar-1.13.  

Количество показов: 32