Google Translate vs. ChatGPT: Which System Translates Ukrainian Better?

It looks like everyone is creating ChatGPT-related stuff. As a result, we apologise to you for engaging in the same behavior.

One of our blog entries was going to be translated into Ukrainian, and this was a great chance to assess how well Google's solution performed versus that of OpenAI. Additionally, it would (hopefully) speed up the translation process and give us material for yet another article (this one).

We believe we’re qualified to properly evaluate the translations as there are a few native Ukrainian speakers in our team, including the author of this article.

For this task, we used the paid version of ChatGPT, model gpt-4 in Playground.

Below is the prompt we used for ChatGPT (we didn't make any changes to the original article): 

“Translate this article to idiomatic Ukrainian.

<article here>”

We’ll evaluate each paragraph and compare each model’s outputs. In case you are not fluent in Ukrainian (we’re almost sure you’re not), feel free to skip the translations and concentrate on the analysis.

# Google Translate

3 тенденції цифрового фітнесу, на яких варто скористатися

# ChatGPT

3 цифрові тренди у фітнесі, на які варто звернути увагу

The second translation is much better, as it conveys the idea more accurately and does not contain any inconsistent words, unlike Google Translate, which made a mistake: where it should have read "якими варто скористатися" it translated it as "на яких варто скористатися".

# Google Translate

Одне можна сказати точно: спорт сьогодні – справжній тренд. Статистика показує, що індустрія здоров’я та фітнесу зростає в середньому на 8,7% на рік. І з часом ця кількість буде тільки збільшуватися. Передбачається, що фітнес-індустрія зросте на 171,75% до 2028 року, а річний приріст онлайн-фітнесу становитиме 33,1%. Як так?

# ChatGPT

Одне незмінне: спорт сьогодні - це справжній тренд. Статистика показує, що галузі охорони здоров'я та фітнесу ростуть у середньому на 8.7% в рік. І з часом це число тільки зростатиме. Прогнозують, що фітнес-індустрія збільшиться на 171.75% до 2028 року, а щорічне зростання онлайн фітнесу становитиме 33.1%. Чому ж так?

Once again, ChatGPT is more accurate. In the original article, the beauty industry and the fitness industry are two separate industries but Google Translate combined them into one by using the singular term "індустрія здоров’я та фітнесу". 

In addition, ChatGPT used the more appropriate "число" instead of "кількість" as suggested by Google Translate. The final question of the paragraph also received a more accurate translation "Чому ж так?" from ChatGPT.

# Google Translate

Сьогодні фізичні вправи – це більше, ніж фізичний вигляд і здоров’я. Люди тренуються, щоб відволіктися від своїх турбот і подбати про своє психічне благополуччя. Шалений ритм життя, карантинні обмеження та інші глобальні проблеми роблять заняття спортом недосяжним задоволенням, а технології, в свою чергу, наближають його до нас.

# ChatGPT

Сьогодні фізичні вправи стали більше ніж просто способом підтримки зовнішнього вигляду та здоров'я. Люди займаються спортом, щоб вирватися від своїх турбот і подбати про своє психічне здоров'я. Безумне темпи життя, карантинні обмеження та інші глобальні проблеми роблять фізичні вправи майже недосяжною розкошшю, а технології, навпаки, наближають її до нас.

It was here that ChatGPT probably got a little tired and started making mistakes. The phrase "вирватися від своїх турбот" is not used in Ukrainian at all. Google Translate's version of the phrase "відволіктися від своїх турбот" sounds much better and more natural.

Then ChatGPT got completely confused about genders, singulars and plurals, and translated "безумний темп життя" instead of "безумне темпи життя".

# Google Translate

Якщо колись нам потрібно було п’ять зупинок метро, щоб дістатися до тренажерного залу чи йоги й нарешті відкласти роботу, то сьогодні єдине, що нам потрібно зробити, це використовувати наші пристрої, щоб стати на шлях. І сучасний бізнес повинен знати, як надати таку можливість своїм клієнтам.

# ChatGPT

Ще кілька років тому, щоб піти в спортзал або на йогу, ми мусили проїхати п'ять зупинок метро, сьогодні все, що нам потрібно зробити, - це скористатися нашими пристроями, щоб зайнятися спортом. І сучасні бізнеси мають знати, як надати цю можливість своїм клієнтам.

Speaking of this paragraph, if ChatGPT hadn't "swallowed" the phrase "and finally put work aside," it would have been my clear leader in terms of translation quality. Google Translate, for example, messed up here by translating "to get on track" literally as "щоб стати на шлях".

# Google Translate

Таким чином, команда MadAppGang хоче розповісти вам більше про тенденції індустрії цифрового фітнесу та технології, які можуть допомогти вам не відставати від них.

# ChatGPT

У цьому дусі, команда MadAppGang хотіла б розповісти вам більше про тренди в цифровій фітнес-індустрії та технології, які допоможуть вам слідувати за ними.

Neither language model makes any damning mistakes in this sentence.

# Google Translate

Чому фітнес-індустрія прагне цифровізації?

# ChatGPT

Чому фітнес-індустрія приймає цифровізацію?

In this case, Google Translate conveyed the exact meaning of the subheading by translating the word "seek" as "прагне". The option "приймає", as chosen by ChatGPT distorts the interpretation of the question.

Google Translate and ChatGPT now have equal scores, it’s 3 for 3. Let's see what happens next!

# Google Translate

Як і в інших сферах, пік цифрової трансформації у фітнес-індустрії припав на період Covid-19. Пандемія замкнула всіх у домівках, і єдиним способом зв’язку із зовнішнім світом були наші смартфони, ноутбуки та планшети.

# ChatGPT

Як і в інших сферах, пік цифрової трансформації в фітнес-індустрії відбувся під час Covid-19. Пандемія замкнула всіх у власних домівках, і єдиним способом комунікації з зовнішнім світом стали наші смартфони, ноутбуки та планшети.

In this paragraph, the translations are almost identical, except for the phrases "припав на період" and "відбувся під час". There is no fundamental difference between the two and both versions are acceptable.

# Google Translate

Звичайно, чи то через нудьгу, чи то від справжнього інтересу до фізичних вправ, людям хотілося займатися вдома, і сучасні технології прийшли на порятунок. Такі програми, як Sworkit або Freeletics, які встановлюють плани тренувань, і MyFitnessPal, який відстежує калорії, допомогли людям піклуватися про своє тіло, не відвідуючи тренажерний зал.

# ChatGPT

Звичайно, з нудьги або реального інтересу до вправ, люди захотіли тренуватися вдома, і сучасні технології прийшли на допомогу. Додатки, як от Sworkit або Freeletics, що створюють тренувальні плани, та MyFitnessPal, що відстежує калорії, допомогли людям подбати про свої тіла без необхідності ходити в спортзал.

The Google Translate version is easier to read, more natural and closer to everyday speech. ChatGPT's translation of "take care of their bodies" as "подбати про свої тіла" made me smile a little, because in Ukrainian the word "body" is rarely used in the plural. Google Translate's translation of "піклуватися про своє тіло" is more characteristic and familiar.

# Google Translate

Навіть якщо пропустити карантинні обмеження та їхній вплив на цифровізацію фітнес-індустрії, для сучасних компаній важливо надавати клієнтам новітні, більш інноваційні рішення. Людям бракує часу, і вони шукають найшвидший і найпростіший спосіб отримати доступ до кожної послуги.

# ChatGPT

Навіть якщо ми не звернемо увагу на карантинні обмеження та їх вплив на цифровізацію фітнес-індустрії, для сучасних компаній важливо надавати клієнтам найновіші та більш інноваційні рішення. Люди зазвичай мають відсутність вільного часу і шукають найшвидший та найпростіший шлях доступу до кожної послуги.

Here, both language models made mistakes. Google Translate failed to translate the beginning of the first sentence "Навіть якщо пропустити карантинні обмеженняs" by translating the English phrasal verb "skip over" literally. 

ChatGPT's version — "Навіть якщо ми не звернемо увагу на карантинні обмеження" — is much more appropriate in this context. However, ChatGPT failed in the second sentence: a Ukrainian would never say "люди зазвичай мають відсутність вільного часу". You can't have what you don't have! But Google Translate did a great job, translating "людям бракує часу".

OpenAI's chatbot also got it wrong with the translation of "the fastest and easiest way to access every service". It translated as "найшвидший та найпростіший шлях доступу до кожної послуги", which is very formal and official, and does not match the tone of the article. Google Translate's "найшвидший і найпростіший спосіб отримати доступ до кожної послуги" is more appropriate.

# Google Translate

Covid-19 не прискорив перехід від традиційних фітнес-практик до більш ефективних цифрових, але, безперечно, підкреслив його необхідність.

# ChatGPT

Covid-19 не спонукав перехід від традиційних фітнес-практик до більш ефективних цифрових, але він безумовно висвітлив його необхідність.

In general, the translations are correct and similar, but I can praise Google Translate for a more relevant translation of the verbs "precipitate" (“прискорив”) and "highlighted"  (“підкреслив”) that better fit the context.

# Google Translate

І які переваги цифровізації для бізнесу в цьому просторі? Можна виділити кілька основних.

# ChatGPT

А які ж переваги цифровізації для бізнесу в цій сфері? Ми можемо виокремити декілька основних.

And this is where ChatGPT gets its last point for the best translation of the noun "space", "сфера", as the variant "простір" offered by Google Translate is very far from the meaning.

According to our subjective assessment, Google Translate won with a score of 6 to 5. 

Both tools can provide a valuable advantage in translating a text. However, for critical situations, we recommend having a human reviewer perform the final assessment.

In terms of performance, both tools are relatively similar without a clear standout. 

If we had to choose only one, we would opt for Google Translate due to its ability to grasp the broader context of the text. But ChatGPT offers greater flexibility as I can modify the prompt to adjust the text's tone, such as making it more formal. 

However, ChatGPT has a significant drawback: the maximum length of a text fragment is limited to 2048 characters.

Nevertheless, it's important to note that our evaluation is based on a single translation, which may not be sufficient for a comprehensive comparison. So please consider this information with some caution.

PS: We have a very interesting article on our website by our CTO about how artificial intelligence can harm your business.