Қазақ тілін ескере отырып, толық емес телнұсқаларды іздеудің аралас әдістері мен модельдері негізінде мәтіндік қарыз алуды сәйкестендіру жүйесін әзірлеу

Мәтіндердегі толық емес көшірмелерді, соның ішінде келесі құралдарды іздеуге арналған танымал бағдарламалық кітапханалар мен платформаларға шолу жасалды:

● Apache Lucene / Elasticsearch-ұқсас іздеу мүмкіндіктері бар толық мәтінді іздеу жүйесі (fuzzy search).

● FuzzyWuzzy-Levenshtein кітапханасын пайдаланып жолдарды ұқсастық бойынша сәйкестендіруге арналған Python кітапханасы.

● SimString-берілген жолға ұқсас жолдарды жылдам іздеуге арналған кітапхана.

● Мәтінді талдауға және көптеген тілдерді қолдайтын ұқсас үзінділерді табуға арналған TEXTRAZOR – API.

Талдау шеңберінде мәтіндердегі толық емес телнұсқаларды іздеуге бағытталған, оларды қазақ тілін өңдеу үшін қолдануға ерекше назар аудара отырып, осы бағдарламалық шешімдерді егжей-тегжейлі зерделеу жүргізілді. Олардың әрқайсысы мәтіндік деректерді салыстыру мен талдаудың әртүрлі тәсілдерін ұсынады, алайда қазақ тілін қолдау, әсіресе оның күрделі морфологиясы мен синтаксисімен — құралдар арасында әр түрлі болады. Талдау көрсеткендей, қазақ тілімен дұрыс жұмыс істеу үшін қосымша баптау қажет, әсіресе әдепкі бойынша тек латын тілдерін қолдау көзделген жүйелерде.

Қазақ мәтіндеріндегі тестілеу осы тілдегі толық емес телнұсқаларды іздеудің ең сәтті шешімі —қазақ тіліне арналған морфологиялық анализаторды қосымша баптаумен және енгізумен Elasticsearch екенін анықтады. Fuzzywuzzy латын емес таңбалары бар мәтіндерді өңдеуде тиімділігі аз болды, ал TextRazor қазақ тілін қажетті көлемде мүлдем қолдамайды, бұл оны осы жобада қолдануға жарамсыз етеді.

Нәтижесінде, қазақ тіліндегі мәтіндерде толық емес телнұсқаларды сәтті іздеу үшін бұдан әрі Қазақ сөздерінің морфологиясын өңдеу және токенизациялау үшін баптаумен Elasticsearch зерттеу жоспарлануда. Бұл бағдарламалық шешім деректердің үлкен көлемімен жұмыс істеу және қазақ тілімен жұмыс істеуге арналған мамандандырылған алгоритмдер мен құралдарды интеграциялау үшін қажетті дәлдік пен икемділікті қамтамасыз етеді.

Толық немесе толық емес көшірмелерді тез және тиімді іздеуді қамтамасыз ететін, сондай-ақ мәтіндердің дұрыс өңделуіне кепілдік беретін стандартты іздеу алгоритмдері арқылы мониторинг және тексеру технологияларына талдау жүргізілді. Мұндай жүйелер кескіндер мен математикалық формулаларды тексеруге мүмкіндік бермейтіні анықталды. Бұл жағдайда стандартты процедуралармен шешілмейтін мәселелер туындайды. Ұқсастықтарды анықтау үшін салыстырылған мәтіндердегі математикалық формулаларды талдау процесінде қосымша ерекше қиындықтар пайда болады. Мәтінде формулаларды сурет ретінде немесе формула редакторларының бірімен жасалған графикалық объект ретінде келтіруге болады. Формула редакторы-математикалық және басқа формулаларды жасауға және өңдеуге арналған компьютерлік бағдарлама. Формула редакторлары технологияға негізделген:

● OpenOffice редакторы үшін TeX, Latex редакторындағы MathML, Math сияқты арнайы белгілеу тілін қолдану;

● GUI көмегімен формулалар құру: KFormula, MathType, MathCastmula, WIRIS Editor, MathCast;

● кірістірілген компоненттер: Math Expression Editor Light;

● символдық есептеу: Mathematica.

Үлгілерді қолдана отырып формулаларды салыстыру. Формулаларды іздеу мәтінді іздеуге қарағанда әлдеқайда күрделі (мысалы, үлгі бойынша X2 және a2 формулалары бірдей және айнымалы атаулармен ерекшеленеді). Түрлендіргіштерді қолдана отырып формулаларды салыстыру.

Математикалық формулаларды автоматтандырылған талдаудың перспективалық бағыты әртүрлі форматтардан (TeX, Equation, MathType) XML/MathML канондық форматына формула түрлендіргіштерін құру болып табылады

1. Талдау жүргізілді, нәтижесінде цифрлық әлемде мәтіндік құжаттардағы қарыздарды жасыру плагиатты анықтау жүйелері үшін қиын міндетке айналғаны анықталды. Қарыздарды жасыруға тырысқанда, авторлар мазмұнды өзгертудің әртүрлі әдістерін қолданады. Бұл өзгерістер қарапайым сөздік өзгерістерден күрделі құрылымдық модификацияларға дейін болуы мүмкін. Бұл есепте қарыздарды жасырудың негізгі әдістері, мазмұнның құрылымдық өзгерістері, сондай-ақ мәтіннің Елеулі модификацияларында да қарыздарды анықтау үшін қолданылатын толық емес көшірмелерді табудың модельдері мен әдістері қарастырылған.

2. Құжаттардағы қарыздарды жасырудың негізгі әдістері анықталды:

2.1. Семантикалық өзгерістер: кілт сөздерді синонимдермен ауыстыру, парафразалау, терминдерді немесе сөз тіркестерін қарапайым немесе күрделі құрылымдармен ауыстыру.

2.2. Құрылымдық өзгерістер: сөйлемдердің немесе абзацтардың ретін өзгерту, сөйлемдер мен абзацтарды бөлу немесе біріктіру, мәтін стилін өзгерту (мысалы, белсенді пассивті дауысқа).

2.3. Пішімдеу өзгерістері: қаріпті өзгерту, тақырыптар мен субтитрлерді қосу немесе жою.

2.4. Мазмұнның құрылымдық өзгерістері: абзацтар мен сөйлемдерді қайта құру, грамматикалық құрылымдарды бейімдеу, деректерді ұсыну форматтарын өзгерту, мысалы, тізімді сол мағынаны қамтитын абзацқа өзгерту.

3. Қарыз алуды анықтау процесін қиындатуға бағытталған құжаттармен манипуляцияның негізгі әдістеріне талдау жасалды:

3.1. Парафразалау-негізгі мағынаны сақтай отырып, мәтін тұжырымдамаларын өзгерту (сөздерді синонимдермен ауыстыру; сөздердің ретін өзгерту; басқа грамматикалық құрылымдарды қолдану; белсенді сөйлемдерді пассивті және керісінше түрлендіру).

3.2. Сөйлемдер мен абзацтардың ретін өзгерту-сөйлемдерді немесе абзацтарды ауыстыру арқылы мәтін құрылымын қайта құру.

3.3. Мәтін бөліктерін графиктермен немесе кестелермен ауыстыру құжат құрылымының айтарлықтай өзгеруі болып табылады.

3.4. Дәйексөзді әдейі дұрыс қолданбау-өзгертулермен немесе қате сілтемелерді қолдану арқылы дәйексөз (дәйексөздерді бірнеше бөлікке бөлу; дәйексөз атрибуциясын өзгерту; дәйексөзді парафразамен араластыру).

3.5. Бір тілден екінші тілге аудару, содан кейін парафразалау

3.6. Мәтінді қысу немесе кеңейту әдістері-түсініктемелерді, мысалдарды, деректерді және басқа мәліметтерді қысқарту немесе қосу.

3.7. Мазмұнды бөліктерге бөлу

3.8. Метафоралар мен ұқсастықтарды қолдану – ақпаратты жеткізу үшін ойдың бейнелі көрінісін қолдану.