UnicodeEncodeError: 'latin-1' codec can't encode character

python | error

При запуску python-скрипта через консоль, який мав взяти дані БД з колонки де були кириличні літери виникала помилка:

UnicodeEncodeError: 'latin-1' codec can't encode character '\u041b' in position 26: ordinal not in range(256)

$ ./_plates_to_json.py
--- Logging error ---
...
Traceback (most recent call last):
  File "/home/.../cgi-bin/./_plates_to_json.py", line 83, in <module>
    f_out_sec.write(comma + '{' + f'"id":"{row.carid}",...' + '}')
UnicodeEncodeError: 'latin-1' codec can't encode character '\u041b'
in position 26: ordinal not in range(256)

⁉️Причому, цей самий скрипт працював без проблем, коли запускався як subprocess з іншого скрипта...

plates_json_maker = '/cgi-bin/_plates_to_json.py'
try:
	subpr_res = subprocess.check_output([plates_json_maker], text=True)  # text=True - повертає строку, а не байти
except subprocess.CalledProcessError as e:
	subpr_err = f'Помилка при оновленняі JSON: {e.returncode}'
	log.error(subpr_err)
else:
	log.debug('Все Ok')

Причина

В системі VDS, що використовувався, стояла локаль за замовчуванням ISO-8859-1 що і є latin-1 (про яку писалося в помилці), яка оперує лише 256 символами:

А якщо запустити такий скрипт:

Він напише:

Рішення

Нема необхідності додавати і встановлювати по замовчуванню кириличну локалізацію як то uk_UA.UTF-8 (це змінить мову системи).

Щоб позбутися помилки достатньо увімкнути ту ж, en_US, але з підтримкою utf.

Перемикаємося на root: sudo -i і подивимося, які локалі в нас є:

Так, там є en_US.utf8.

Редагуємо /etc/default/locale (додаемо .UTF-8 до LANG):

щоб стало так:

Після цього треба перелогинитись. Я вийшов з сеансу SSH і зайшов знову.

Запускаю тестовий скрипт test_locale.py і бачимо, що локаль змінилася:

Після цього і основний скрипт відпрацював без проблем!

Десктопна ubuntu 22.04 (linux lite, тобто)

Задля цікавості перевірив:

Last updated