Корпус Забоншиносӣ чӣ гуна аст?

Танҳо як чанд дањсола пеш автоматӣ таҳқиқи забонӣ, олимон танҳо метавонад аз орзу. Дар кори дасти иҷро шуд, ба он ҷалб мекунад, шумораи зиёди талабагон, аст, ки эҳтимолияти зиёди хато "бепарвоӣ", ва аз њама муњимтар - ин ҳама дароз, дер вақт гирифт.

Бо рушди технологияи компютерӣ имконпазир гардид ба гузаронидани тадќиќот оид ба тартиби андоза тезтар ва имрӯз яке аз самтҳои ояндадор дар омӯзиши забони як Забоншиносии пайкарасозӣ аст. хусусияти асосии он истифода шудани миқдори зиёди иттилооти матн, маълумот ба махзани ягонаи, дар як роҳи махсус аст ва даъват мақоми назаррасро.

То имрӯз, бисёр биноҳои офаридааст, ки бо мақсадҳои гуногун дар асоси маводи гуногуни забонї аз соли миллионҳо ба даҳҳо миллиард адад lexical нест. Ин самт ҳамчун ояндадор эътироф ва нишон медиҳад, пешравиҳои назаррас дар самти ариза ва тадқиқотӣ мақсадҳои аст. Коршиносон, ин ё он тарз муносибат дигар бо забони табиӣ, он аст, тавсия барои шиносоӣ бо бадани матнҳои на камтар аз сатҳи асосӣ шинос шуд.

Таърихи забоншиносӣ пайкарасозӣ

Дар ташаккули ин раванд дар он аст сабаби ба таъсиси Иёлоти Муттаҳидаи Амрико дар мақоми Браун дар аввали 60-уми асри гузашта. Дар ҷамъоварии мегирад матнҳои ҳамаи 1 миллион шаклҳои калима ва имрӯз ин ҷисми андозаи бошад тамоман берақобат. Ин аст, асосан ба суръати рушди технологияи компютерӣ, инчунин талаботи афзоянда барои захираҳои таҳқиқоти нав, вобаста аст.

Дар солҳои 90-забоншиносии пайкарасозии ба интизоми пурра ва мустақил вуҷуд омаданд, ки ҷамъоварии матнҳои кашида шуданд ва ишора ба даҳҳо забонҳои. Дар ин давра аз он, таъсис дода шуд, барои мисол, дар Бритониё миллии Корпус 100 млн оина.

Бо рушди ин соҳаи забоншиносӣ, ҳаҷми матн доранд, њарчи бештар ва бештар (ва расидан ба миллиардҳо адад луғат) ва тарҳбандии торафт бештар гуногун. То имрӯз, фазои Интернет метавонад љасади навишта ёфт ва забон, бисёрзабонаи ва адабиёти бадеӣ ва ё илмӣ-таълими нигаронидашуда, инчунин бисёр навъҳои дигар сухан ронда намешуд.

манзил чист

намудҳои Ҳайати дар Забоншиносии бадан метавонад барои якчанд сабаб таъмин карда мешавад. Зеҳнан асос барои таснифи метавонад як забони матн (русӣ, олмонӣ), ҳолати дастрасии (кушода, баста, тиҷоратӣ), жанр мавод манбаъ (бадеӣ, ҳуҷҷатӣ, илмӣ, журналистика).

ба таври ҷолиб тавлид маводи забони набӣ. Аз сабти қасдан чунин сухан барои бунёд кардани муҳите сунъӣ барои мусоњибон, ва моддию карда наметавонистанд номида мешавад »стихиявї», забоншиносии муосир пайкарасозии роҳи дигар рафт. Ходими ихтиёрӣ аст, ки бо як садопардоз муҷаҳҳаз, ва дар давоми рӯз истеҳсол сабт ҳамаи сӯҳбатҳо, ки дар он иштирок мекунад. Одамон дар атрофи, албатта, шояд намедонанд, ки дар рафти сӯҳбат ҳаррӯза мусоидат ба рушди илм.

Баъдтар сабти захира дар базаи маълумотҳо қабул шудаанд ва бо чоп навъи молӣ матни ҳамроҳӣ мекунанд. Ҳамин тавр, он рақам имконпазир лозим барои сохтани манзил суханронӣ рӯз шифоҳӣ мегардад.

ариза

Ҳар ҷо, имконияти истифодаи забон, ва шояд истифодаи биноҳои матнҳои. Усулњо ба кор бурдани пучощ дар забоншиносӣ метавонанд:

• Сохтани барномаи муайян асосӣ, ба таври васеъ дар сиёсат ва тиҷорат истифода бурда, ба пайгирӣ намудани ҷавобҳои мусбат ва манфї овоздиҳандагон ва мизоҷон, мутаносибан.
• Пайвастшавӣ системаи иттилоотии ба луғатҳо ва тарҷумонҳо барои такмил додани фаъолияти худ.
• Гуногун вазифаҳои илмӣ, ки ба дарки шӯъбаи забон, таърихи инкишоф ва пешг он тағйирот дар ояндаи наздик мусоидат менамояд.
• Рушди системаҳои ҷустуҷӯи иттилоот дар асоси морфологӣ, syntactic, semantic ва дигар хусусиятҳои.
• Бењсозии системаи гуногуни забонї ва дигарон.

Истифодаи бино

Интерфейси захираҳои монанд бо як системаи ҷустуҷӯӣ хос, ва ибораро истифодабаранда дохил як калима ё омезиши калимаҳо барои ҷустуҷӯи пойгоҳи иттилоотӣ. Ба ғайр ташкил дархости дақиқ метавонад версияи беҳтар, ки имкон медиҳад маълумот дар бораи Номгузории қариб њар гуна меъёрњои забонї пайдо истифода баред.

заминаи Ҷустуҷӯи метавонанд:

• мансубият ба гурӯҳи муайяни қитъаҳои сухан;
• хусусиятҳои грамматикӣ;
• semantics;
• stylistic ва эмотсионалӣ ранги.

Шумо инчунин метавонед меъёрҳои ҷустуҷӯии муттаьид барои пайдарпаии суханоне, барои мисол, барои пайдо кардани ҳама-ашро аз феъли дар айни замон, шахс аввал singular, ки пас аз пешоянд «дар» ва исм дар сурати винителний меояд. Ҳалли ба чунин вазифаи оддӣ мегирад корбар як чанд сония ва талаб танҳо як чанд паши муши дар соҳаҳои нишон дода мешавад.

Раванди ташкили

Дар худи ҷустуҷӯӣ мумкин аст дар бораи ҳамаи subcorpus гузаронида мешавад ва яке аз махсусан интихоб, вобаста ба талаботи дар расидан ба ҳадафи аз ҷумла:

1. Қадами аввал аст, ки ба муайян, ки матнҳои асоси сурати ташкил медиҳанд. Барои мақсадҳои амалӣ, он аст, зуд-зуд истифода бурда журналистӣ ҳикояҳои ахбор, шарҳҳои онлайн. Лоиҳаи тадқиқотӣ истифодаи доираи васеи навъҳои бастаи аст, аммо матн бояд тибқи баъзе асосҳои умумӣ интихоб карда шаванд.
2. Дар ҷамъоварии дар натиҷаи матнҳои мавриди коркарди аввалияи аст, ислоҳ намудани хатоҳои нест, агар ягон, омода тарафи тавсифи библиографӣ ва иловагии-забонии матни.
3. Оё ҳамаи маълумоти ғайридавлатӣ Номгузории бартараф карда: Поккунии графика, тасвирҳо, мизҳои.
4. Оё ин људо намудани оёти, ки маъмулан мебошанд сухан, ки барои коркарди минбаъда.
5. Ниҳоят, plurality морфологӣ, syntactical маркировкаи рақамӣ ва ғайра ба даст элементҳои анҷом дода мешавад.

Дар натиҷаи ҳамаи амалиёт бо тақсим он ҷо plurality унсурҳои, ҳар як аз он як қисми сухан, грамматикӣ муайян мешавад ва дар баъзе ҳолатҳо, хусусиятҳои semantic аз тарафи як сохтори syntactic.

Мушкилот дар ташкили бино

Ќайд кардан зарур аст, ки ба ақл аст, ки кофӣ барои якҷоя маҷмӯи калимаҳо ё ҳукми барои бадан тааллуқ надорад. Аз як тараф, Маҷмӯаи матнҳои бояд мутавозин бошад, аст, ки намояндагӣ намудҳои гуногуни матнҳои дар таносуб муайян. Дар бораи дигар - мазмуни бурдед бояд ба таври махсус хонем.

Дар масъалаи аввал аст, бо шартномаи ҳал: масалан, дар ҷамъоварии мегирад 60% матнҳои адабӣ, 20% ҳуҷҷатӣ, фоизи муайян дода мешавад намояндагии хаттии забони набӣ, қонунгузорӣ, корҳои илмӣ ва ғайра имрӯз комил дорухат мақоми мувозӣ вуҷуд надорад ...

Саволи дуюм, дар бораи тарҳбандии мундариҷа, ҳал кардан душвор. барномањои махсус ва алгоритмҳои истифода барои аломатгузории автоматӣ матнҳои нест, вале онҳо дар натиҷаи комил надиҳад, метавонад боиси вайронӣ ва талаб коркарди дастӣ. Имкониятҳо ва мушкилоти дар муносибат бо ин масъала дар муфассал дар як коғазӣ V. P. Zaharova аз Забоншиносии пайкарасозӣ тавсиф карда шудаанд.

рақам матн аст, ки дар якчанд сатҳи, ки мо номбар поён амалӣ мегардад.

tagging морфологӣ

Аз мактаб хотир дорем, ки ба забони русӣ ҳастанд, қисмҳои гуногуни сухан вуҷуд дорад, ва ҳар яке аз онҳоро ҳуқуқ дорад хусусиятҳои худро дорад. Масалан, феъли дорад, категорияҳои майл ва вақти дар он нест, исм. Яке модарӣ бе дудилагӣ паст Забони ва verbs conjugate, балки ба қайд мақоми 100 млн. оина меҳнати дастӣ кор нахоҳад кард. Ҳамаи амалиёт зарурӣ метавонад аз компютер иҷро, аммо барои ин ба он ниёз дорад, то таълим.

tagging морфологӣ, компютер бояд «дарк» ҳар як калима ҳамчун қисми муайяни суханронии дорои хусусиятҳои грамматикӣ муайян. Аз Русия (ва ҳар гуна забони дигар) амал як қатор қоидаҳои мунтазам, мумкин аст, ки ба сохтани тартиби автоматӣ барои таҳлили морфологӣ, сармоягузорӣ дар мошин бо як қатор алгоритмҳои. Бо вуҷуди ин, истисноҳо ба волоияти, инчунин омилњои гуногуни мушкилоти нест. Дар натиҷа, таҳлили компютерии софи имрӯз аст, дур аз беҳтарин, ва ҳатто 4 гумроҳӣ% медиҳад арзиши 4 млн. Калимоти дар бадан 100 млн. Шӯъбаҳо, талаб коркарди дастӣ.

китоби муфассали ин масъала Zaharova V. P. "в Корпус Забоншиносӣ» тасвир мекунад.

Тақриз syntactic

Таҷзияи ё таҷзияи - тартиби ки муносибати калимаҳои дар як ҳукм муайян менамояд. Бо истифода аз маҷмӯи алгоритмҳои муайян намудани матни мавзӯъ, мустанад, иловаҳо, муроди якчанд суханронии имконпазир аст. Пайдо берун, ки суханашон мебошанд навбат асосӣ, ва он - вобаста, мо метавонем самаранок ахборотро аз матн ва таълим мошини додани ки дар посух ба дархости ҷустуҷӯӣ танҳо ба маълумоти ҷолиб мо.

Бо роҳи, системаҳои ҷустуҷӯӣ муосир истифода аз ин, то аз рақамҳои мушаххас ба ҷои матнҳои дароз дар вокуниш ба дархостҳои дахлдор ба монанди: «Чӣ бисёр калория дар себ» ё «дар масофаи аз Маскав ба Санкт-Петербург». Бо вуҷуди ин, барои фаҳмидани ҳатто асосҳои раванди тасвир бо зарурати машварат ба «Муќаддима ба Корпус Забоншиносӣ» ё дигар ёдгирии асосӣ.

рақам semantic

Дар semantics калом - аст, ки дар шароити оддӣ, ба маънои. Муносибати таври васеъ истифода ба таҳлили semantic як барчаспҳои калимаи Attribution, инъикос мансубияти худ ба як қатор категорияҳои semantic ва зергурӯҳҳо дорад. Чунин иттилоот барои Ренессанс алгоритмҳои тањлил оҳанги матн, summarization автоматӣ ва вазифањои дигар усулҳои Забоншиносии пайкарасозӣ арзишманд аст.

Як қатор «реша» аз он дарахт, намояндагони сухане реферат бо semantics хеле васеъ вуҷуд дорад. Тавре филиали гиреҳи дарахт ташкил карда мешаванд, ки дорои бештар ва мушаххас унсурҳои lexical. Масалан, калимаи «махлуқи» мумкин аст бо чунин мафњумњои мисли «инсон» ва «ҳайвон» алоқаманд аст. Дар аввали калима идома хоҳад дод, то филиали берун ба касбу кори гуногун, нигоҳи риоат, миллат, ва дуюм - оид ба дарсҳо ва намуди ҳайвонот.

Истифодаи системаҳои ҷустуҷӯи иттилоот

Самтҳои истифодабарии Забоншиносии пайкарасозӣ фаро соҳаҳои гуногун фаъолият. Housings барои омодагї ва ислоҳ намудани луғат истифода бурда мешавад, сохтани системаҳои тарҷумаи автоматӣ, annotating, retrieving далелҳо, муайян намудани оҳанг ва дигар коркарди матн.

Илова бар ин, ба монанди захираҳои фаъолона дар омӯзиши забон ва механизмҳои фаъолият забон дар маҷмӯъ ҷаҳон истифода бурда мешавад. Дастрасӣ ба ҳаҷми зиёди иттилоот пеш омода мусоидат омӯзиши босуръат ва ҳамаҷонибаи тамоюли забонҳои рушд ва тағйири neologisms ташаккули устувор суръати сухан қадр адад lexical ва дигарон.

Аз кор бо чунин миқдори зиёди додаҳо талаб автоматизатсияи, ки имрӯз аст, ҳамкории зич байни компютер ва пайкарасозӣ дар забоншиносии нест.

Русия Корпус миллӣ

Дар ин ҳолат (кӯтоҳи NKRYA) дар бар мегирад, теъдоди subcorpus, имкон истифодаи захираҳои барои доираи васеи вазифаҳои.

Дар мавод дар пойгоҳи дода шудаанд, тақсим NKRYA:

• ба адабиётҳои дар 90-2000 ва ВАО », ҳам ватанӣ ва хориҷӣ;
• Сабти суханронии;
• aktsentologicheski ишора матнҳои (i.e., ба осори фишори);
• Сухани лаҳҷаи;
• шеърҳо;
• Мавод бо syntactic ва дигар маркировкаи.

Дар системаи иттилоотии низ дар бар мегирад Subcorpus бо тарҷумаҳои баробари корҳои Ӯ аз русӣ ба англисӣ, олмонӣ, фаронсавӣ ва бисёре забонҳои дигар (ва баръакс).

Инчунин дар базаи аст, гурӯҳе аз матнҳои таърихӣ, намояндагони сухани навишта шудааст, дар Русия дар давраҳои гуногуни рушди худ нест. низ як мақоми таълим, ки метавонад дар азхуд кардани забони русӣ барои шаҳрвандони хориҷӣ муфид аст.

Русия Корпус миллии иборат аз 400 миллион адад lexical, ва дар бисёр роҳҳои пеш як қисми зиёди забонҳо мақомоти Аврупо.

дурнамои

Далели ба манфиати эътирофи ин тамоюл мавҷудияти ваъда лабораторияи Забоншиносии пайкарасозӣ дар донишгоҳҳои Русия, инчунин хориҷӣ мебошад. Бо истифода аз ва тадқиқотӣ дар доираи ин иттилоот ва ҷустуҷӯи захираҳои боиси рушди соҳаи муайяни дар соҳаи технологияҳои олӣ, низоми савол ҷавоби-, вале он дар боло баррасӣ шуд.

Рушди минбаъдаи забоншиносӣ пайкарасозӣ дар ҳама сатҳҳои пешгӯӣ гуногун, аз техникӣ ва дар робита ба татбиқи алгоритмҳои нав, ки мутаносибгардонии раванди ҷустуҷӯ ва коркарди иттилоот, қувват компютер, RAM бештар, ва ба истеъмолкунанда, зеро истифодабарандагони роҳҳои бештар ва бештар барои истифода бурдани ин навъи захираҳо дар ҳаррӯзаи худ ҳастанд зиндагӣ ва кор.

Дар хотима

Дар миёнаи асри гузашта дар соли 2017 чунин менамуд, ояндаи дур, ки дар он spaceships ба воситаи олам бигардед ва роботҳои кор ҳамаи кори барои мардум. Дар асл, илм Қуръон бо «нуқтаҳои сафед» ва ворид намудани кӯшишҳои ноумед барои ҷавоб додан ба саволҳои мардум асрҳо халал аст. Саволҳо фаъолияти забони ишѓол ҷои шавкат, ва Девони ва компютеризатсия забоншиносии мо кӯмак карда метавонад, то ба онҳо ҷавоб диҳанд.

Коркарди маҷмӯи маълумот калон метавонад шакли ошкор, қаблан дастнорас, пешгӯии рушди хусусиятҳои забони мушаххас пайгирӣ ташаккули суханони дар вақти воқеӣ қариб.

Дар сатҳи амалӣ, ба оғил ҷаҳонӣ дида мешавад, масалан, ҳамчун воситаи эҳтимолӣ барои арзёбии кайфияти давлатӣ - Интернет доимо нав дар асоси матнҳои гуногуни рӯз офаридааст, аз ҷониби истифодабарандагони воқеӣ аст: ин тафсирњо ва шарњи, ва мақолаҳо, ва бисёр дигар намуди сухани.

Илова бар ин, кор бо мақомоти мусоидат ба рушди сахтафзор ҳамин, ки дар ҷустуҷӯи иттилооти ҷалб, ки мо бо Хадамоти "Google" ё "Яндекс", тарҷумаи мошин, луғатҳо электронӣ шинос мекунанд.

Мо итминон метавон мегӯянд, ки забоншиносӣ пайкарасозӣ медиҳад танҳо қадамҳои аввал, ва дар ояндаи наздик инкишоф хоҳад ёфт.