Korpus textov predstavuje špecifický súbor jazykových dát, ktorý sa buduje v elektronickej podobe. Jeho základom sú texty zvyčajne rôznych štýlov a žánrov, ku ktorým sa pridávajú lingvistické informácie na úrovni slova (textovej jednotky), vety aj celého textu. Výkonné vyhľadávacie nástroje umožňujú vyhľadávanie a triedenie skúmaných jazykových prostriedkov a informácií. Lingvisti na základe autentického jazykového materiálu opisujú významy a funkcie slov i ďalších jazykových javov, ich štatistiky, spájateľnosti a pod. Bežným používateľom jazyka môže korpus poslúžiť ako zdroj praktického poznania systému jazyka a overenia či doplnenia jednotlivých poznatkov o reálnom fungovaní jazykových prostriedkov v praxi. Korpus nie je elektronickou knižnicou (texty v ňom sa nedajú čítať ako jeden celok), ani nenahrádza kodifikačné či gramatické príručky.
Slovenský národný korpus (SNK) je vedecko-výskumný projekt budovania elektronického korpusu textov, v prvej fáze so zameraním na písané texty súčasného slovenského jazyka (1955 - 2005). V druhej a tretej fáze sa rozšíril o texty z ďalších období (spred roka 1955 až do začiatkov spisovného obdobia a do predspisovného obdobia, ako aj po roku 2005) a sfér používania slovenského jazyka (hovorená slovenčina, podľa možností výberovo aj dialekty). Náplňou štvrtej fázy bolo vydanie kolokačných a frekvenčných slovníkov, dobudovanie špecializovaných korpusov, napríklad korpusu nárečí, historického korpusu slovenčiny či sprístupňovanie nových verzií vybraných korpusov. V súčasnosti prebieha už piata fáza budovania korpusových databáz, ktorá sa zameriava na rozširovanie a skvalitňovanie zdrojov Slovenského národného korpusu prostredníctvom prípravy a sprístupnenia nových verzií korpusov, a to predovšetkým novej verzie hlavného korpusu písaných textov, korpusu pomenovaných entít, webového korpusu, vybraných paralelných korpusov či akvizičného korpusu.
História a inštitucionálne zázemie
V Jazykovednom ústave Ľ. Štúra Slovenskej akadémie vied, kde sa SNK začal v roku 2002 budovať s podporou Ministerstva kultúry SR a Ministerstva školstva, vedy, výskumu a športu SR, sa systematicky a komplexne spracúva slovenský jazyk a realizuje sa elektronizácia jazykovedného výskumu na Slovensku. Slovenský národný korpus vznikol ako elektronická databáza textov súčasného slovenského jazyka, ktorá slúži na vyhľadávanie slov, slovných spojení a jazykových prostriedkov. Archívované texty pochádzajú najmä z beletrie, odbornej literatúry a žurnalistiky, a korpus obsahuje aj nárečové a historické databázy slov, ako aj slovníkové databázy, ktoré umožňujú skúmať slovenský jazyk a význam slov v časových obdobiach.
Hlavný korpus písaných textov SNK, jeho aktuálna verzia prim-8.0, bola sprístupnená 31. januára 2018 v rozsahu takmer 1,5 miliardy tokenov. V súčasnosti je realizovaná piata etapa (2022 - 2026), ktorá rozširuje a skvalitňuje zdroje prostredníctvom nových verzií korpusov: hlavného korpusu písaných textov, korpusu pomenovaných entít, webového korpusu, vybraných paralelných korpusov či akvizičného korpusu. Dlhodobé súčasné aktivity sú tiež opísané v kolektívnej práci Slovenský národný korpus a v ďalších publikáciách o jeho využití a Metadátach.
Čo je to SNK a ako funguje
SNK je rozsiahly a systematicky budovaný súbor textov v slovenskom jazyku. Slúži ako cenný zdroj pre jazykovedný výskum, vývoj jazykových technológií a pre širokú kultúrnu verejnosť. Elektronické jazykové a textové zdroje SNK, ktoré sa budujú a rozvíjajú v Jazykovednom ústave Ľ. Štúra SAV už takmer dve desaťročia, slúžia mnohým záujemcom o poznanie a používanie slovenského jazyka.
Proces budovania a spracovania textov prebieha v niekoľkých fázach: systematický zber dát zo všetkých regiónov Slovenska na základe licenčnej zmluvy; digitalizácia a rekonštrukcia textov do elektronickej podoby; označovanie textu morfologickými a vetnými informáciami; a sprístupnenie textov na internete pre presné vyhľadávanie a analýzu. Vysvetlenie štruktúr a anotácií zahŕňa lematizáciu, tagging a ďalšie atribúty na úrovni tokenov, slovných druhov a viet.
Pri tvorbe sa používajú dva druhy anotácie: ručná (manuálna) v podkorpuse r-mak a automatizovaná anotácia s využitím MorphDiTa, natrénovaného na podkorpuse r-mak. Korpusy sú zároveň označované bibliografickou a štýlovo-žánrovou anotáciou, čo umožňuje ich ľahšie vyhľadávanie a použitie v špecifických výskumných úlohách.
Struktúra SNK a dostupné zdroje
SNK obsahuje hlavný korpus písaných textov, ručne morfológicky anotovaný korpus, morfologickú databázu, korpusy textov pred rokom 1955, hovorené korpusy a korpus nárečí, historický korpus slovenčiny, terminologickú databázu a ďalšie korpusy súčasných písaných textov. Desiate verzie desiatok korpusov, vrátane prim-10.0 a plánovaných verzií 11.0, predstavujú postupné rozširovanie a aktualizáciu zdrojov. Používateľ môže po registrácii získať plný prístup k viac ako stovke korpusov a sledovať aktuálne novinky prostredníctvom webových stránok SNK a kanálu YouTube.
Medzi praktické výstupy patrí frekvenčný slovník, ktorý je užitočný pre lingvistov, korektorov, učiteľov aj osobitne pre pacientov po mozgových príhodách, pre tvorbu jazykových technológií a pre výučbu jazykov. Paralelné korpusy sú spárované rovnaké texty v origináli a preklade alebo dva preklady toho istého textu; verejne sú dostupné tri: slovensko-ruský, slovensko-francúzsky a slovensko-český paralelný korpus.
Digitalizácia starších textov umožňuje zachovanie kultúrneho dedičstva a prispieva k rešponzívnym potrebám moderného jazykového výskumu a výučby. Spomedzi cieľov SNK sú aj tvorba a sprístupňovanie slovníkov a lexikografických zdrojov na podporu ďalšieho výskumu a vzdelávania.
Použitie a praktické využitie
SNK slúži ako zdroj materiálu na lingvistický výskum a vývoj jazykových technológií. Funkcie a databázy korpusu vyhľadávajú predovšetkým lingvisti, jazykovedci, autori slovníkov, ale aj tvorcovia či lúštitelia krížoviek. Učitelia si z korpusových dát pripravujú cvičenia pre študentov; používajú ho aj korektori, redaktori a prekladatelia. Software a nástroje pre prácu s SNK umožňujú efektívnu prácu počítačového spracovania jazyka a automatické vyhľadávanie jazykových javov.
Medzi konkrétne aplikácie patrí spracovanie prirodzeného jazyka, kontrola pravopisu a gramatiky, strojový preklad textov a rozpoznávanie reči. Korpus tiež slúži ako nástroj na výučbu cudzieho aj materinského jazyka, poskytuje veľké množstvo fráz a viet pre jazykové cvičenia a ukážky.
Jednoduché uvedenie, ako používať SNK, zahŕňa výber korpusu a rôzne druhy vyhľadávania: jednoduché hľadanie, zobrazenie frekvencií, kolokácie, filtre a trendy na časovej osi. SNK organizuje semináre a video-návody na YouTube, ktoré pomáhajú používateľom zvládnuť prácu s korpusom. Mapka s nárečiami a ich charakteristikou predstavuje ďalší nástroj na poznanie regionálnych odlišností slovenského jazyka.
Praktické technické detaily a citovanie
Lematizácia v SNK znamená priradenie základného tvaru ku každému tokenu. V priemyselnej praxi existujú dva druhy anotácie: ručná a automatizovaná s využitím nástrojov ako MorphDiTa. Značky (tagy) sa používajú na klasifikáciu slovných druhov a ďalších formálnych kategórií a ich poradie je záväzné. Zoznam bežných značiek zahŕňa S pre substantívum, V pre sloveso, A pre adjektívum a ďalšie.
Pri citovaní výsledkov SNK je nutné uvádzať konkrétnu verziu a/alebo podkorpus (napr. prim-10.0-public-sane, s-hovor-7.0, r-mak-6.0, par-sken-all-4.0). Verzia prim-10.0 a jej podkorpusy sú uvedené v oficiálnych publikáciách a na stránkach Jazykovedného ústavu SAV.
Príklad využitia a vzdelávací význam
- Výskumníci skúmajú frekvencie a kolokácie slov, aby overili teórie o jazykových javoch.
- Učitelia používajú korpus na tvorbu cvičení a ilustráciu gramatických javov v reálnych textoch.
- Slovník frekvencií a lematizácia sú praktické pre technológie spracovania prirodzeného jazyka a pre klinické aplikácie v neurológii.
V budúcnosti SNK plánuje pokračovať v rozširovaní a skvalitňovaní zdrojov, zahŕňajúc hlavný korpus písaných textov, korpus pomenovaných entít, webový korpus, paralelné korpusy a akvizičný korpus s cieľom lepšie mapovať súčasný slovenský jazyk a jeho históriu.