A Comparison of DeepL Translate and Google Translate Considering Their English-Turkish and Turkish-English Translation Performances
Abstract
Today, it is almost impossible to talk about a field that is not affected by developing technology. The field of translation studies has also been significantly affected by technological developments. It is possible to evaluate this impact positively or negatively from different perspectives. On the one hand, the convenience factor offered by current machine translation systems can be considered as an attractive factor; on the other hand, it can be inferred that these developments may pose a serious threat to the translation profession. When we examine the current state of machine translation software in general, there are studies showing that artificial intelligence supported neural systems can provide good results that cannot be underestimated. This study aims to provide a comparative analysis of the technical features and current performance of DeepL Translate and Google Translate translation systems using artificial intelligence-supported neural networks. The comparison has been made on the basis of the same translation tasks between English-Turkish and Turkish-English given to both systems. In order to obtain reliable results, different text types have been used in the translation tasks. The resulting translations have been evaluated by taking the opinion of three different experts with reference to a standard rubric. In the light of the findings obtained from the comparative translation performance of these two machine translation programmes, evaluations have been made on the possible future role of machine translation in the related field and industry.
References
- Barut, E. (2022). İstatistiksel Makine Çevirisi ile Nöral Makine Çevirisinin Dilbilimsel Parametrelerle Karşılaştırılması: Google Translate. Akdeniz Havzası ve Afrika Medeniyetleri Dergisi, 4(1), 103-118.
- Banerjee, S. and Lavie, A. (2005). “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments”. Proceedings of the ACL 2005 Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization, 65-72.
- Chan, S. W. (2014). “The development of translation technology: 1967–2013”. Routledge Encyclopedia of Translation Technology (s. 41-69). Routledge.
- Çetiner, C. (2019). Makine çevirisi sonrası düzeltme işlemine (post-editing) yönelik kapsamlı bir inceleme. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 6, 462-472. DOI:10.29000/rumelide.649333
- Dreyer, M. and Marcu, D. (2012). “HyTER: Meaning-Equivalent Semantics for Translation Evaluation”. Proceedings of NAACL 2012 Seventh Workshop on Statistical Machine Translation, 162-171.
- Koçer Güldal, B.; İşisağ, K. U. (2019). A comparative study on google translate: An erroranalysis of Turkish-to English translations in terms of the text typology of Katherina Reiss. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 5, 367-376. DOI: 10.29000/rumelide.606217.
- Reiss, K. (1989). “Text types, translation types and translation assessment”. A. Chesterman (Ed.), Readings in translation theory (s. 105– 115). Finn Lectura.
- The National Institute of Standards and Technology (2015). NIST Open Machine Translation 2015 Evaluation Plan. https://www.nist.gov/system/files/documents/itl/iad/mig/OpenMT15_EvalPlan_v0-9.pdf
- Papineni, K., Roukos, S., Ward, T. and Zhu, W. J. (2002). “BLEU: A Method for Automatic Evaluation of Machine Translation”. Proceedings of the 40th Annual Meeting of the Association for Computatiol Linguistics, 311-318.
- Snover, M., Dorr, B., Schwartz, R., Micciulla, L. and Makhoul, J. (2006). “A Study of Translation Edit Rate with Targeted Human Annotation”. Proceedings of Association for Machine Translation in the Americas, 223-231.
- Süngü, G. (2020). Düş Kesiği. İstanbul: İz Yayıncılık.
- Şahin, M. (2021). Edebî Makine Çevirisi Yoluyla Çevirmenlerin Üslubunu Yansıtan Çeviriler Üretme ve Yeniden Çeviriler Oluşturma. TÜBİTAK Projesi. (https://transint.boun.edu.tr/tr/edebi-makine-cevirisi-projesi)
- Şentürk, E., Orhan-Sungur, M., & Özkan-Seyhan, T. (2021). Google Translate: Can It Be a Solution for Language Barrier in Neuraxial Anaesthesia?. Turkish journal of anaesthesiology and reanimation, 49(2), 181.
- Temizöz, Ö. (2016). Postediting machine translation output: Subject-matter experts versus professional translators. Perspectives, 24(4), 646-665.
- https://www.aselsan.com.tr/tr/cozumlerimiz/askeri-haberlesme-sistemleri (Erişim: 10.08.2022)
- https://www.buffalo.edu/content/dam/www/inclusion/docs/Comm %20Health%20Equity.pdf (Erişim: 10.08.2022)
- https://cevbir.org.tr/genel/cevbirin-kurulusuna-amaclarina-ve-faaliyetlerine-dair (Erişim: 10.08.2022)
- http://icastis.ibu.edu.tr/bildiri (Erişim: 10.08.2022)
- https://incl.ca/bmw-anti-drink-driving-ad-devalues-disability/ (Erişim: 10.08.2022)
- https://onlinelibrary.wiley.com/journal/15457249 (Erişim: 10.08.2022)
- https://tr-tr.facebook.com/vwticariarac/photos/biz-daha-iyisini-yapana-kadar-en-iyisi-bu-volkswagen-transporter-3-kez-uluslarar/1063082603736541/ (Erişim: 10.08.2022)
- https://translate.google.com (Erişim: 10.08.2022)
- https://www.deepl.com/translator (Erişim: 10.08.2022)
- https://www.michaeljackson.com/news/michael-jackson-on-the-meaning-of-the-track-they-dont-care-about-us/ (Erişim: 10.08.2022)
- https://www.poetryfoundation.org/poems/44272/the-road-not-taken (Erişim: 10.08.2022)
- https://www.who.int/emergencies/diseases/novel-coronavirus-2019/global-research-on-novel-coronavirus-2019-ncov (Erişim: 10.08.2022)
DeepL Translate ve Google Translate Sistemlerinin İngilizce-Türkçe ve Türkçe-İngilizce Çeviri Performanslarının Karşılaştırılması
Abstract
Günümüzde gelişen teknolojiden etkilenmeyen bir alandan bahsetmek neredeyse olanaksızdır. Çeviribilim alanı da teknolojik gelişmelerden kayda değer oranda etkilenmiştir. Bu etkiyi farklı açılardan olumlu ya da olumsuz olarak değerlendirmek mümkündür. Bir taraftan güncel makine çevirisi sistemleri tarafından sunulan kolaylık faktörü cezbedici bir unsur olarak değerlendirilebilirken diğer taraftan bu gelişmelerin çevirmenlik mesleği açısından ciddi bir tehdit teşkil edebileceği çıkarımında bulunulabilir. Makine çevirisi yazılımlarının bugünkü durumunu genel olarak incelediğimizde yapay zeka destekli nöral sistemlerin hafife alınamayacak derecede iyi sonuçlar verebildiğini gösteren çalışmalar mevcuttur. Bu çalışma yapay zeka destekli nöral ağlar kullanan DeepL Translate ve Google Translate çeviri sistemlerinin teknik özelliklerini ve güncel performanslarını karşılaştırmalı olarak ele almayı amaçlamaktadır. Karşılaştırma İngilizce-Türkçe ve Türkçe-İngilizce dilleri arasında her iki yazılıma da verilen aynı çeviri görevleri üzerinden yapılmıştır. Sağlıklı sonuç elde edebilmek için çeviri görevlerinde farklı metin türleri kullanılmıştır. Ortaya çıkan çeviriler standart bir dereceli puanlama anahtarı çerçevesinde üç farklı uzmanın kanısı alınarak değerlendirilmiştir. Söz konusu iki makine çevirisi yazılımının karşılaştırmalı çeviri performansı üzerinden elde edilen bulgular ışığında makine çevirisinin ilgili alanda ve sektörde gelecekti muhtemel rolü üzerine değerlendirmeler ortaya konmuştur.
References
- Barut, E. (2022). İstatistiksel Makine Çevirisi ile Nöral Makine Çevirisinin Dilbilimsel Parametrelerle Karşılaştırılması: Google Translate. Akdeniz Havzası ve Afrika Medeniyetleri Dergisi, 4(1), 103-118.
- Banerjee, S. and Lavie, A. (2005). “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments”. Proceedings of the ACL 2005 Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization, 65-72.
- Chan, S. W. (2014). “The development of translation technology: 1967–2013”. Routledge Encyclopedia of Translation Technology (s. 41-69). Routledge.
- Çetiner, C. (2019). Makine çevirisi sonrası düzeltme işlemine (post-editing) yönelik kapsamlı bir inceleme. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 6, 462-472. DOI:10.29000/rumelide.649333
- Dreyer, M. and Marcu, D. (2012). “HyTER: Meaning-Equivalent Semantics for Translation Evaluation”. Proceedings of NAACL 2012 Seventh Workshop on Statistical Machine Translation, 162-171.
- Koçer Güldal, B.; İşisağ, K. U. (2019). A comparative study on google translate: An erroranalysis of Turkish-to English translations in terms of the text typology of Katherina Reiss. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 5, 367-376. DOI: 10.29000/rumelide.606217.
- Reiss, K. (1989). “Text types, translation types and translation assessment”. A. Chesterman (Ed.), Readings in translation theory (s. 105– 115). Finn Lectura.
- The National Institute of Standards and Technology (2015). NIST Open Machine Translation 2015 Evaluation Plan. https://www.nist.gov/system/files/documents/itl/iad/mig/OpenMT15_EvalPlan_v0-9.pdf
- Papineni, K., Roukos, S., Ward, T. and Zhu, W. J. (2002). “BLEU: A Method for Automatic Evaluation of Machine Translation”. Proceedings of the 40th Annual Meeting of the Association for Computatiol Linguistics, 311-318.
- Snover, M., Dorr, B., Schwartz, R., Micciulla, L. and Makhoul, J. (2006). “A Study of Translation Edit Rate with Targeted Human Annotation”. Proceedings of Association for Machine Translation in the Americas, 223-231.
- Süngü, G. (2020). Düş Kesiği. İstanbul: İz Yayıncılık.
- Şahin, M. (2021). Edebî Makine Çevirisi Yoluyla Çevirmenlerin Üslubunu Yansıtan Çeviriler Üretme ve Yeniden Çeviriler Oluşturma. TÜBİTAK Projesi. (https://transint.boun.edu.tr/tr/edebi-makine-cevirisi-projesi)
- Şentürk, E., Orhan-Sungur, M., & Özkan-Seyhan, T. (2021). Google Translate: Can It Be a Solution for Language Barrier in Neuraxial Anaesthesia?. Turkish journal of anaesthesiology and reanimation, 49(2), 181.
- Temizöz, Ö. (2016). Postediting machine translation output: Subject-matter experts versus professional translators. Perspectives, 24(4), 646-665.
- https://www.aselsan.com.tr/tr/cozumlerimiz/askeri-haberlesme-sistemleri (Erişim: 10.08.2022)
- https://www.buffalo.edu/content/dam/www/inclusion/docs/Comm %20Health%20Equity.pdf (Erişim: 10.08.2022)
- https://cevbir.org.tr/genel/cevbirin-kurulusuna-amaclarina-ve-faaliyetlerine-dair (Erişim: 10.08.2022)
- http://icastis.ibu.edu.tr/bildiri (Erişim: 10.08.2022)
- https://incl.ca/bmw-anti-drink-driving-ad-devalues-disability/ (Erişim: 10.08.2022)
- https://onlinelibrary.wiley.com/journal/15457249 (Erişim: 10.08.2022)
- https://tr-tr.facebook.com/vwticariarac/photos/biz-daha-iyisini-yapana-kadar-en-iyisi-bu-volkswagen-transporter-3-kez-uluslarar/1063082603736541/ (Erişim: 10.08.2022)
- https://translate.google.com (Erişim: 10.08.2022)
- https://www.deepl.com/translator (Erişim: 10.08.2022)
- https://www.michaeljackson.com/news/michael-jackson-on-the-meaning-of-the-track-they-dont-care-about-us/ (Erişim: 10.08.2022)
- https://www.poetryfoundation.org/poems/44272/the-road-not-taken (Erişim: 10.08.2022)
- https://www.who.int/emergencies/diseases/novel-coronavirus-2019/global-research-on-novel-coronavirus-2019-ncov (Erişim: 10.08.2022)
Details
| Primary Language | Turkish |
|---|---|
| Subjects | Language Studies |
| Journal Section | ARAŞTIRMA MAKALELERİ |
| Authors | |
| Publication Date | February 25, 2023 |
| Submission Date | October 10, 2022 |
| Acceptance Date | December 25, 2022 |
| Published in Issue | Year 2023 Issue: Çeviribilim Özel Sayısı |
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.