Tapaus 2.



Tehtävää ja selvitettävää
  • Selvittää konekäännöksen nykytila eli mitä ylipäätään voidaan vaatia Konekäännös OY:ltä ja onko realistista käyttää sitä hyväkseen Toinen OY:n käyttötarkoitukset huomioon ottaen

  • BLEU ja METEOR / eli mitä ne indeksit oikein tarkoittaa, mitä 0,8:n tulos tarkoittaa ja mihin niin hyvää tai huonoa käännöstä voitaisiin käyttää?



Jos tulos on tosiaan 0.8, niin käännös on erittäin laadukas ja kelpaa hyvin korvikkeena ihmiskääntäjälle. Etuina ihmiskääntäjään on nopeus ja edullisuus, haittoina vain lievä kielen jäykkyys ja satunnaiset virheet. Toinen Oy voi käyttää tämän tason käännöstä hyvinkin sekä dokumentaation kääntämiseen, että lisädokumentaation selailuun. Epävarmuutta Konekäännös Oy:n ilmoittamaan tulokseen kuitenkin tuo se, että heidän tähän mennessä toteuttamansa käännöskieliparit ovat kielitypologisesti hyvin samankaltaisia. Kääntämänsä kielet edustavat vain paria kieliryhmää (germaaniset ja romaaniset kielet), joten herää epäilys, että korkea METEOR-tulos on saavutettu nimenomaan kielten samankaltaisuudesta johtuen. Toinen Oy saattaa kuitenkin haluta käsitellä myös muita ajankohtaisia business-kieliä, kuten suomea, arabiaa ja kiinaa. Kysymyksiä herättää siis, riittävätkö Konekäännös Oy:n rahkeet näin erilaisia rakenteita sisältävien kielten kääntämiseen.
MT-järjestelmän tilastopohjaisuus voi osaltaan auttaa kompensoimaan kielten eroja ja uuden kielen vaikeuden lisäämistä olemassaolevaan käännösjärjestelmään.
Tulos 0.8 on epäilyttävän korkea: Europarl-korpuksista tehdyllä konekäännöksellä paras tulos oli 0,35 - tämä espanja-portugali-kieliparilla ja rajoitetulla aihealueella.


  • Raha: paljon maksaa konekäännös/sana versus ihmiskäännös/sana

Tämä kysymys onkin liian laaja: Käännöksen hinta riippuu liian monesta tekijästä (aika, tyyli, aihe, kieliparit...). Konekäännöksen sanahintaa ei myöskään voi helposti arvioida, jos kehityskustannukset lasketaan mukaan.

Yleistä tietoa on kuitenkin saatavilla:
http://swz.salary.com/salarywizard/layouthtmls/swzl_compresult_national_OF13000052.html
Toiselta sivustolta löytyi: "here is a wide range of starting salaries: the lowest salary is about £18,000, depending on qualifications and work experience; others may earn between £50 - £120 per 1,000 words, depending on language combinations."

Sivu http://www.multilingualwebmaster.com/library/mt-vs-tm.html arvioi, että konekäännöksellä (tai käännösmuistilla) voidaan päästä 5-50%:n säästöihin pelkkään ihmistyövoimaan nähden. Etuina myös käännöksen yhtenäisyys / tasalaatuisuus.
Lisää aiheesta:
http://www.nap.edu/openbook.php?record_id=9547&page=43

Appendix 5 Machine Translation at the Foreign Technology Division, U.S. Air Force Systems Command In December 1962, the USAF Scientific Advisory Board Ad Hoc Commitee on Mechanical Translation of Languages recommended the implementation of "a limited initial operational capability for mechanical translation of at least 100,000 words of Russian per day using the IBM Mark II translation equipment and Phase II translation system." This system became fully operational in February 1964 at the U.S. Air Force Systems Command's Foreign Technology Division (FTD) at Wright-P atterson Air Force Base, Ohio. Operations at FTD have recently been the subject of a study by Arthur D. Little, Inc., and it is from this study that the following data have been taken: 1. The cost of machine translation (excluding overhead and equipment amortization) is about $36 per 1,000 Russian words. 2. FTD's in-house human-translation cost, excluding overhead, is about $40 per 1,000 Russian words. 3. FTD's contract translation cost is about $33 per 1,000 Russian words, including contractor's overhead. 4. Postediting (31 percent) and decomposition (40 percent) are the main cost components in the machine-translation process, accounting for over 70 percent of the total cost; input processing accounts for only 11 percent. 5. The average total machine-translation processing time is 109 days. The average for high-priority documents is 44 days. 6. During the period June-September 1964, the average output per working day was 103,146 Russian words translated into English. The average output per hour was 7,569 words. The average work- ing day for the computer, therefore, amounts to 13 hours. 7. Input costs to the machine-translation system amount to $4.10 per 1, 000 Russian words . From the A. D. Little data and from the results of a comparison with the work done by the Joint Publications Research Service

BLEU


BLEU-testin arviointiasteikko on välillä 0-1 sen mukaan, miten hyvin käännös vastaa tilastollisesti ihmiskääntäjän tekemää korkealaatuista vertailukäännöstä. Kurssimateriaalissa olleessa paperissa kerrottiin, että "arvosanan" 1 saavuttaakseen käännöksen täytyisi olla identtinen vertailukäännöksen kanssa: saavutus, johon edes ihmiskääntäjä ei välttämättä yllä. Kaiken kaikkiaan 0,8: n BLEU-lukema on siis varsin hyvä, vaikka arvo vertaakin vain tilastollista todennäköisyyttä eikä siitä voi suoraan vetää johtopäätöksiä käännöksen ymmärrettävyydestä tai kieliopillisesta laadusta.

NIST 2006 MT Evaluation tuloksia (BLEU-4):

ID BLEU-4 score
google 0.4281
ibm 0.3954
isi 0.3908
rwth 0.3906
apptek*# 0.3874
lw 0.3741


METEOR

Wikipedian mukaan METEOR korreloi vielä paremmin ihmiskääntäjän arvion mukaan kuin BLEU: METEORin korrelaatio on jopa 0.964 kun taas BLEU yltää vain korrelaatioon 0.817.

BLEU perustuu sanasta-sanaan yhtäläisyyksiin. METEOR tuo tähän "mätsäykseen" laajemman näkökannan, se ottaa huomioon mm. synonyymit.

BLEU ja käännöksen taso

Eräs artikkeli http://www.ll.mit.edu/IST/pubs/050502_Jones2.pdf

Tämän mukaan paras konekäännös pääsee tasolle 2 eli:

Convey facts with the purpose of ex­changing information; do not editorialize on the facts; often written in an instructive mode; require limited working proficiency. Example: Newswire articles.

Vastaava BLEU-arvo on noin 0,4.

Materiaalia:
http://en.wikipedia.org/wiki/Evaluation_of_machine_translation
http://nist.gov/speech/tests/mt/2006/doc/mt06eval_official_results.html

http://www1.cs.columbia.edu/nlp/sgd/bleu.pdf
http://www.iccs.informatics.ed.ac.uk/~pkoehn/publications/europarl.ps
http://acl.ldc.upenn.edu/W/W05/W05-0909.pdf
http://mt-archive.info/IWSLT-2006-Paul.pdf

-- TuomasKatila - 06 Feb 2008

Topic revision: r3 - 2008-11-25 - HennaRiikkaLaitinen
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2018 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback