Unicode error latin 1

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'u201c' in position 0: ordinal not in range(256)

479  


8  

символ U + 201C левая двойная кавычка отсутствует в кодировке Latin-1 (ISO-8859-1).

Это и присутствует на кодовой странице 1252 (западноевропейский). Это кодировка для Windows, основанная на ISO-8859-1, но которая помещает дополнительные символы в диапазон 0x80-0x9F. кодовая страница 1252 часто путается с ISO-8859-1, и это раздражает, но теперь стандартное поведение веб-браузера, что если вы обслуживаете свои страницы как ISO-8859-1, браузер будет рассматривать их как вместо cp1252. Однако, они действительно являются двумя различными кодировками:

>>> u'He said u201CHellou201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said u201CHellou201D'.encode('cp1252')
'He said x93Hellox94'

Если вы используете свою базу данных только в качестве хранилища байтов, вы можете использовать cp1252 для кодирования “ и другие символы, присутствующие на западной кодовой странице Windows. Но все же другие символы Юникода, которых нет в cp1252, вызовут ошибки.

можно использовать encode(..., 'ignore') чтобы подавить ошибки, избавившись от символов, но на самом деле в этом веке вы должны использовать UTF-8 в обоих ваших база данных и ваши страницы. Эта кодировка позволяет использовать любой символ. Вы также должны в идеале сказать MySQL, что вы используете строки UTF-8 (установив соединение с базой данных и параметры сортировки по строковым столбцам), поэтому он может получить сравнение и сортировку без учета регистра.

я столкнулся с этой же проблемой при использовании модуля Python MySQLdb. Поскольку MySQL позволит вам хранить практически любые двоичные данные, которые вы хотите в текстовом поле, независимо от набора символов, я нашел свое решение здесь:

использование UTF8 с Python MySQLdb

Edit: цитата из приведенного выше URL, чтобы удовлетворить запрос в первом комментарии…

«UnicodeEncodeError:’ latin-1 ‘ кодек не может кодировать символ …»

Это потому что MySQLdb обычно пытается кодировать все на латинице-1.
Это можно исправить, выполнив следующие команды сразу после
вы установили соединение:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

» db » является результатом MySQLdb.connect(), и » dbc » является результатом
db.cursor().

Я надеюсь, что ваша база данных по крайней мере UTF-8. Тогда вам нужно будет запустить yourstring.encode('utf-8') прежде чем вы попытаетесь поместить его в базу данных.

лучшим решением

1. установите кодировку mysql в ‘utf-8’

2. нравится этот комментарий(добавить use_unicode=True и charset="utf8")

   db = MySQLdb.подключения(хост=»локальный», пользователь = «корень», пароль = «» дБ = «столбцам», use_unicode=правда, кодировка=»в формате utf8″) – KyungHoon Ким марта
   13 ‘ 14 at 17: 04

подробно см. :

class Connection(_mysql.connection):

    """MySQL Database Connection Object"""

    default_cursor = cursors.Cursor

    def __init__(self, *args, **kwargs):
        """

        Create a connection to the database. It is strongly recommended
        that you only use keyword parameters. Consult the MySQL C API
        documentation for more information.

        host
          string, host to connect

        user
          string, user to connect as

        passwd
          string, password to use

        db
          string, database to use

        port
          integer, TCP/IP port to connect to

        unix_socket
          string, location of unix_socket to use

        conv
          conversion dictionary, see MySQLdb.converters

        connect_timeout
          number of seconds to wait before the connection attempt
          fails.

        compress
          if set, compression is enabled

        named_pipe
          if set, a named pipe is used to connect (Windows only)

        init_command
          command which is run once the connection is created

        read_default_file
          file from which default client values are read

        read_default_group
          configuration group to use from the default file

        cursorclass
          class object, used to create cursors (keyword only)

        use_unicode
          If True, text-like columns are returned as unicode objects
          using the connection's character set.  Otherwise, text-like
          columns are returned as strings.  columns are returned as
          normal strings. Unicode objects will always be encoded to
          the connection's character set regardless of this setting.

        charset
          If supplied, the connection character set will be changed
          to this character set (MySQL-4.1 and newer). This implies
          use_unicode=True.

        sql_mode
          If supplied, the session SQL mode will be changed to this
          setting (MySQL-4.1 and newer). For more details and legal
          values, see the MySQL documentation.

        client_flag
          integer, flags to use or 0
          (see MySQL docs or constants/CLIENTS.py)

        ssl
          dictionary or mapping, contains SSL connection parameters;
          see the MySQL documentation for more details
          (mysql_ssl_set()).  If this is set, and the client does not
          support SSL, NotSupportedError will be raised.

        local_infile
          integer, non-zero enables LOAD LOCAL INFILE; zero disables

        autocommit
          If False (default), autocommit is disabled.
          If True, autocommit is enabled.
          If None, autocommit isn't set and server default is used.

        There are a number of undocumented, non-standard methods. See the
        documentation for the MySQL C API for some hints on what they do.

        """

вы пытаетесь сохранить кодовую точку Юникода u201c с помощью кодировки ISO-8859-1 / Latin-1 это не может описать эту кодовую точку. Либо вам может потребоваться изменить базу данных для использования utf-8 и сохранить строковые данные с использованием соответствующей кодировки, либо вы можете очистить свои входные данные до хранения содержимого; т. е. с помощью что-то вроде превосходного руководства i18n Сэма Руби. Это говорит о проблемах, которые windows-1252 может вызвать, и предлагает, как его обработать, плюс ссылки на образец код!

пользователи SQLAlchemy могут просто указать свое поле как convert_unicode=True.

пример:
sqlalchemy.String(1000, convert_unicode=True)

SQLAlchemy просто принимает объекты unicode и возвращает их обратно, обрабатывая саму кодировку.

Docs

латинский-1 (ака ISO 8859-1) — это схема кодирования символов с одним октетом, и вы не можете соответствовать u201c (“) в байт.

вы хотели использовать кодировку UTF-8?

Python: вам нужно будет добавить
# — * — кодирование: UTF-8 — * — (удалите пробелы вокруг * )
к первой строке файла python. а затем добавьте в текст для кодирования следующее:.encode (‘ascii’,’xmlcharrefreplace’). Это заменит все символы юникода на его эквивалент ASCII.

Я нахожусь в сценарии, где я вызываю API и на основе результатов API я называю базу данных для каждой записи, которую я в API. Мои строки возврата вызова API, и когда я выполняю вызов базы данных для элементов, возвращаемых через API, для некоторых элементов я получаю следующую ошибку.

Traceback (most recent call last):
  File "TopLevelCategories.py", line 267, in <module>
    cursor.execute(categoryQuery, {'title': startCategory});
  File "/opt/ts/python/2.7/lib/python2.7/site-packages/MySQLdb/cursors.py", line 158, in execute
    query = query % db.literal(args)
  File "/opt/ts/python/2.7/lib/python2.7/site-packages/MySQLdb/connections.py", line 265, in literal
    return self.escape(o, self.encoders)
  File "/opt/ts/python/2.7/lib/python2.7/site-packages/MySQLdb/connections.py", line 203, in unicode_literal
    return db.literal(u.encode(unicode_literal.charset))
UnicodeEncodeError: 'latin-1' codec can't encode character u'u2013' in position 3: ordinal not in range(256)

Сегмент моего кода, на который ссылается вышеуказанная ошибка:

         ...    
         for startCategory in value[0]:
            categoryResults = []
            try:
                categoryRow = ""
                baseCategoryTree[startCategory] = []
                #print categoryQuery % {'title': startCategory}; 
                cursor.execute(categoryQuery, {'title': startCategory}) #unicode issue
                done = False
                cont...

После некоторого поиска в Google я попробовал следующее в командной строке, чтобы понять, что происходит …

>>> import sys
>>> u'u2013'.encode('iso-8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'latin-1' codec can't encode character u'u2013' in position 0: ordinal not in range(256)
>>> u'u2013'.encode('cp1252')
'x96'
>>> 'u2013'.encode('cp1252')
'\u2013'
>>> u'u2013'.encode('cp1252')
'x96'

Но я не уверен, что бы решить эту проблему. Кроме того, я не знаю, в чем заключается теория encode('cp1252'), было бы здорово, если бы я мог получить какое-то объяснение тому, что я пробовал выше.

Если вам нужна кодировка Latin-1, у вас есть несколько вариантов, чтобы избавиться от дефиса или других кодовых точек выше 255 (символы, не включенные в Latin-1):

>>> u = u'hellou2013world'
>>> u.encode('latin-1', 'replace')    # replace it with a question mark
'hello?world'
>>> u.encode('latin-1', 'ignore')     # ignore it
'helloworld'

Или сделайте ваши собственные замены:

>>> u.replace(u'u2013', '-').encode('latin-1')
'hello-world'

Если вам не нужно выводить Latin-1, тогда UTF-8 является распространенным и предпочтительным выбором. Это рекомендуется W3C и хорошо кодирует все кодовые точки Unicode:

>>> u.encode('utf-8')
'helloxe2x80x93world'

Unicode-символ u ‘ 02013’ является «черточкой». Он содержится в наборе символов Windows-1252 (cp1252) (с кодировкой x96), но не в наборе символов Latin-1 (iso-8859-1). Набор символов Windows-1252 имеет еще несколько символов, определенных в области x80 — x9f, среди которых — тире.

Решением будет для вас выбрать другой целевой набор символов, нежели Latin-1, такой как Windows-1252 или UTF-8, или заменить пробел на простой «-».

u.encode('utf-8') преобразует его в байты, которые затем можно распечатать на стандартный вывод с помощью sys.stdout.buffer.write(bytes) оформить заказ https://docs.python.org/3/library/sys.html

Добрых суток,

Пытаюсь запустить скрипт загрузки файла PDF на FTP сервер, но когда я выставляю имя файла в латинице, то получаю ошибку вида

 Traceback (most recent call last):
  File "C:ConvertWordDocumentToPDF (PowerShell)script.py", line 70, in <module>
    ftpcon.storbinary('STOR ' + nameFilePDF.decode('utf-8'), fobj, 1024)  #загружаем файл на ФТП сервер
  File "C:Usersseverin.admAppDataLocalProgramsPythonPython36-32libftplib.py", line 504, in storbinary
    with self.transfercmd(cmd, rest) as conn:
  File "C:Usersseverin.admAppDataLocalProgramsPythonPython36-32libftplib.py", line 399, in transfercmd
    return self.ntransfercmd(cmd, rest)[0]
  File "C:Usersseverin.admAppDataLocalProgramsPythonPython36-32libftplib.py", line 365, in ntransfercmd
    resp = self.sendcmd(cmd)
  File "C:Usersseverin.admAppDataLocalProgramsPythonPython36-32libftplib.py", line 272, in sendcmd
    self.putcmd(cmd)
  File "C:Usersseverin.admAppDataLocalProgramsPythonPython36-32libftplib.py", line 199, in putcmd
    self.putline(line)
  File "C:Usersseverin.admAppDataLocalProgramsPythonPython36-32libftplib.py", line 194, in putline
    self.sock.sendall(line.encode(self.encoding))
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 6-7: ordinal not in range(256)

                 ftpcon = ftplib.FTP('cloud.biz')   	#указыаем сервер FTP
                ftpcon.login('ftpmuser', '12345667')		#указываем логин и пароль для подключения к серверу FTP 
                pdf_path = BufFolder + nameFilePDF			#путь до созданного файла ПДФ
	
                ftpcon.cwd(CloudFolder)  					#обращаемся к дирректории на ФТП сервере
                with open(pdf_path, 'rb') as fobj:
                   ftpcon.storbinary('STOR ' +'фаил.pdf', fobj, 1024)  #загружаем файл на ФТП сервер			   
                ftpcon.quit()   							#закрываем ФТП соединение