Uputstva korišćena u anotaciji STS.news.sr korpusa

Ovaj dokument sadrži srpsku verziju uputstava korišćenih u anotaciji srpskog korpusa kratkih novinskih tekstova za određivanje semantičke sličnosti (STS.news.sr). Uputstva su takođe dostupna i na engleskom.

Opšte smernice su identične onima koje su korišćene u anotacijama skupova podataka sa SemEval zajedničkih zadataka na temu određivanja semantičke sličnosti kratkih tekstova (2012-2017). Međutim, ovaj dokument sadrži drugačije primere za svaku od ocena. Pored toga, umesto jednog primera za svaku ocenu, navedena su po tri primera za svaku ocenu - zaključeno je da ovo povećava razumljivost zadatka i kvalitet anotacije. Primeri su preuzeti iz MSRPar (2012) i Headlines (2013-2016) delova anotiranih SemEval STS korpusa na engleskom, a zatim su profesionalno prevedeni na srpski.

Uporedite značenja dva iskaza

Uputstva

Dva iskaza mogu da znače istu stvar čak i ako koriste vrlo drugačije reči ili fraze. Nasuprot tome, dva iskaza koja su na prvi pogled veoma slična u pogledu izbora reči, fraza i ukupne strukture mogu imati veoma različita značenja.

Vaš zadatak je da uporedite dva iskaza i odredite vrstu odnosa koji postoje između njihovih značenja/poruka (tj. između onoga šta oni kažu o/na šta se odnose u svetu).

Da biste uspešno sproveli ovaj zadatak zamislite situacije koje iskazi opisuju i kontrastirajte ono što je sadržano u prvom sa onim što je sadržano u drugom iskazu.

Da li se iskazi odnose na istu osobu, radnju, događaj, ideju ili stvar? Da li su iskazi slični ali se razlikuju u pogledu bilo manjih bilo većih detalja?

Saveti:

Budite precizni u ocenjivanju i pokušajte da izbegnete da se previše oslanjate na samo jednu od kategorija (npr. nemojte da samo većinu parova obeležite kao „uglavnom ekvivalentne“ ili „grubo govoreći ekvivalentne“)
Vodite računa o suptilnim razlikama između parova koje imaju važan uticaj na to šta se opisuje ili govori.
Ignorišite gramatičke greške i loše sročene stvari dokle god ti faktori ne zamagljuju značenje koje iskaz treba da prenese.

Ocene i primeri

(5) – Dve rečenice su potpuno ekvivalentne jer znače istu stvar.
- Buš planira da se u sredu sastane sa izraelskim premijerom Arijelom Šaronom i novim palestinskim premijerom Mahmudom Abasom u jordanskoj luci Akaba.
  
  Naredne srede, Buš će se sastati sa izraelskim premijerom Arijelom Šaronom i novim palestinskim liderom Mahmudom Abasom u Akabi, Jordanu.
- Kažu da će zarade u predstojećem drugom kvartalu biti naročito važne u pružanju smernica investitorima.
  
  Kažu da će izveštaji o zaradama u drugom kvartalu biti ključni u davanju tih smernica investitorima.
- Kasnije je saznao da je incident izazvalo Konkordovo probijanje zvučnog zida.
  
  Kasnije je otkrio da je zabrinjavajući incident izazvalo Konkordovo snažno probijanje zvučnog zida.
(4) – Dve rečenice su uglavnom ekvivalentne, ali se neki nevažni detalji razlikuju.
- Kratka, problematična košarkaška karijera Rikija Klemonsa u Misuriju je završena.
  
  Misuri je izbacio Rikija Klemonsa, okončavajući njegovu problematičnu karijeru u tom timu.
- Nekoliko država i savezna vlada kasnije su usvojile slične ili strože zabrane.
  
  Sledeći primer Kalifornije, nekoliko država i savezna vlada usvojile su slične ili oštrije zabrane.
- „Na osnovu našeg prvobitnog izveštaja, čini se da je ovo bio školski primer sletanja imajući u vidu date uslove“, rekao je Berk.
  
  Berk je rekao: „Bio je to školski primer sletanja imajući u vidu date uslove.“
(3) – Dve rečenice su ekvivalentne grubo govoreći, ali se neke važne informacije razlikuju/nedostaju u jednoj od rečenica.
- Po treći put tokom četiri godine, šumski požari su primorali park na zatvaranje.
  
  Po treći put za četiri godine, zbog šumskih požara zatvoren je nacionalni park Mesa verde, jedini park u zemlji posvećen drevnim ruševinama.
- Parovi, američka verzija britanske hit komedije, dobiće udarni termin četvrtkom u 9:30 uveče.
  
  Parovi, američka verzija britanske hit komedije, biće prikazivana četvrtkom, u paru sa Prijateljima.
- Selenski se spustio niz zid i iskoristio dušek da se prebaci preko bodljikave žice.
  
  Selenski je iskoristio dušek da se uspenje uz tri metra visoku bodljikavu žicu, rekao je Fiši.
(2) – Dve rečenice nisu ekvivalentne, ali dele neke detalje.
- Kompanija nije iznela detalje o troškovima zamene i popravki.
  
  Ali zvaničnici kompanije očekuju da troškovi radova na zameni dostignu milione dolara.
- Prema izvorima, u preliminarnim izveštajima navodi se da ti muškarci nisu viđeni zajedno na aerodromu.
  
  Ovi muškarci su imali pakistanske pasoše i navodno su viđeni zajedno na aerodromu ranije iste večeri, rekli su izvori iz policije.
- Kineski ledolomac je skrenuo sa kursa prema sumnjivim objektima.
  
  Kineski patrolni avion je pronašao „sumnjive objekte“.
(1) – Dve rečenice nisu ekvivalentne, ali se odnose na istu temu.
- Sirija je apelovala na izbeglice da se vrate.
  
  Krhko primirje je stupilo na snagu u Siriji.
- Islamista Morsi je pobedio na egipatskim predsedničkim izborima.
  
  Al-Šater će se kandidovati na predsedničkim izborima u Egiptu.
- Japanski premijer je pozvao na bržu obradu otpada od cunamija.
  
  Japan obeležava godinu dana od nesreće prouzrokovane zemljotresom i cunamijem.
(0) – Dve rečenice se odnose na različite teme.
- Potres umerene jačine zabeležen je u centralnom Sredozemlju.
  
  Kandidat umerene struje pobedio je na predsedničkim izborima u Iranu.
- Jedna osoba je ubijena u verskim sukobima u Libanu.
  
  180 ljudi je poginulo u zemljotresu u Iranu.
- Avion Malezija erlajnsa srušio se na rusko-ukrajinskoj granici.
  
  SAD tvrde da Rusija grupiše vojsku na ukrajinskoj granici.