如何分析Python unicode編碼問(wèn)題，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

成都創(chuàng)新互聯(lián)公司主營(yíng)牡丹網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,手機(jī)APP定制開(kāi)發(fā),牡丹h5小程序制作搭建,牡丹網(wǎng)站營(yíng)銷推廣歡迎牡丹等地區(qū)企業(yè)咨詢

這個(gè)問(wèn)題在python3.0里已經(jīng)解決了。

這有篇很好的文章，可以明白這個(gè)問(wèn)題:

為什么會(huì)報(bào)錯(cuò)“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就來(lái)研究一下這個(gè)問(wèn)題。

字符串在Python內(nèi)部的表示是unicode編碼，因此，在做編碼轉(zhuǎn)換時(shí)，通常需要以u(píng)nicode作為中間編碼，即先將其他編碼的字符串解碼（decode）成unicode，再?gòu)膗nicode編碼（encode）成另一種編碼。

decode的作用是將其他編碼的字符串轉(zhuǎn)換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉(zhuǎn)換成unicode編碼。

encode的作用是將unicode編碼轉(zhuǎn)換成其他編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉(zhuǎn)換成gb2312編碼。

因此，轉(zhuǎn)碼的時(shí)候一定要先搞明白，字符串str是什么編碼，然后decode成unicode，然后再encode成其他編碼

代碼中字符串的默認(rèn)編碼與代碼文件本身的編碼一致。

如：s='中文'

如果是在utf8的文件中，該字符串就是utf8編碼，如果是在gb2312的文件中，則其編碼為gb2312。這種情況下，要進(jìn)行編碼轉(zhuǎn)換，都需 要先用decode方法將其轉(zhuǎn)換成unicode編碼，再使用encode方法將其轉(zhuǎn)換成其他編碼。通常，在沒(méi)有指定特定的編碼方式時(shí)，都是使用的系統(tǒng)默 認(rèn)編碼創(chuàng)建的代碼文件。

如果字符串是這樣定義：s=u'中文'

則該字符串的編碼就被指定為unicode了，即python的內(nèi)部編碼，而與代碼文件本身的編碼無(wú)關(guān)。因此，對(duì)于這種情況做編碼轉(zhuǎn)換，只需要直接使用encode方法將其轉(zhuǎn)換成指定編碼即可。

如果一個(gè)字符串已經(jīng)是unicode了，再進(jìn)行解碼則將出錯(cuò)，因此通常要對(duì)其編碼方式是否為unicode進(jìn)行判斷：

isinstance(s, unicode) #用來(lái)判斷是否為unicode

用非unicode編碼形式的str來(lái)encode會(huì)報(bào)錯(cuò)

如何獲得系統(tǒng)的默認(rèn)編碼？

#!/usr/bin/env python

#coding=utf-8

import sys

print sys.getdefaultencoding()

該段程序在英文WindowsXP上輸出為：ascii

在某些IDE中，字符串的輸出總是出現(xiàn)亂碼，甚至錯(cuò)誤，其實(shí)是由于IDE的結(jié)果輸出控制臺(tái)自身不能顯示字符串的編碼，而不是程序本身的問(wèn)題。

如在UliPad中運(yùn)行如下代碼：

s=u"中文"

print s

會(huì)提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。這是因?yàn)閁liPad在英文WindowsXP上的控制臺(tái)信息輸出窗口是按照ascii編碼輸出的（英文系統(tǒng)的默認(rèn)編碼是 ascii），而上面代碼中的字符串是Unicode編碼的，所以輸出時(shí)產(chǎn)生了錯(cuò)誤。

將最后一句改為：print s.encode('gb2312')

則能正確輸出“中文”兩個(gè)字。

若最后一句改為：print s.encode('utf8')

則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制臺(tái)信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結(jié)果。

unicode(str,'gb2312')與str.decode('gb2312')是一樣的，都是將gb2312編碼的str轉(zhuǎn)為unicode編碼

使用str.__class__可以查看str的編碼形式

>>>>>

groups.google.com/group/python-cn/browse_thread/thread/be4e4e0d4c3272dd

-----

python是個(gè)容易出現(xiàn)編碼問(wèn)題的語(yǔ)言。所以，我按照我的理解寫下下面這些文字。

=首先，要了解幾個(gè)概念。= 

*字節(jié)：計(jì)算機(jī)數(shù)據(jù)的表示。8位二進(jìn)制?？梢员硎緹o(wú)符號(hào)整數(shù)：0-255。下文，用“字節(jié)流”表示“字節(jié)”組成的串。 

*字符：英文字符“abc”，或者中文字符“你我他”。字符本身不知道如何在計(jì)算機(jī)中保存。下文中，會(huì)避免使用“字符串”這個(gè)詞，而用“文本”來(lái)表 

示“字符”組成的串。 

*編碼（動(dòng)詞）：按照某種規(guī)則（這個(gè)規(guī)則稱為：編碼（名詞））將“文本”轉(zhuǎn)換為“字節(jié)流”。（在python中：unicode變成str） 

*解碼（動(dòng)詞）：將“字節(jié)流”按照某種規(guī)則轉(zhuǎn)換成“文本”。（在python中：str變成unicode） 

**實(shí)際上，任何東西在計(jì)算機(jī)中表示，都需要編碼。例如，視頻要編碼然后保存在文件中，播放的時(shí)候需要解碼才能觀看。 

unicode：unicode定義了，一個(gè)“字符”和一個(gè)“數(shù)字”的對(duì)應(yīng)，但是并沒(méi)有規(guī)定這個(gè)“數(shù)字”在計(jì)算機(jī)中怎么保存。（就像在C中，一個(gè)整數(shù)既 

可以是int，也可以是short。unicode沒(méi)有規(guī)定用int還是用short來(lái)表示一個(gè)“字符”） 

utf8：unicode實(shí)現(xiàn)。它使用unicode定義的“字符”“數(shù)字”映射，進(jìn)而規(guī)定了，如何在計(jì)算機(jī)中保存這個(gè)數(shù)字。其它的utf16等都是 

unicode實(shí)現(xiàn)。 

gbk：類似utf8這樣的“編碼”。但是它沒(méi)有使用unicode定義的“字符”“數(shù)字”映射，而是使用了另一套的映射方法。而且，它還定義了如何在 

計(jì)算機(jī)中保存。 

=python中的encode，decode方法= 

首先，要知道encode是 unicode轉(zhuǎn)換成str。decode是str轉(zhuǎn)換成unicode。 

下文中，u代表unicode類型的變量，s代表str類型的變量。 

u.encode('...')基本上總是能成功的，只要你填寫了正確的編碼。就像任何文件都可以壓縮成zip文件。 

s.decode('...')經(jīng)常是會(huì)出錯(cuò)的，因?yàn)閟tr是什么“編碼”取決于上下文，當(dāng)你解碼的時(shí)候需要確保s是用什么編碼的。就像，打開(kāi)zip文 

件的時(shí)候，你要確保它確實(shí)是zip文件，而不僅僅是偽造了擴(kuò)展名的zip文件。 

u.decode(),s.encode()不建議使用，s.encode相當(dāng)于s.decode().encode()首先用默認(rèn)編碼（一般是 

ascii）轉(zhuǎn)換成unicode在進(jìn)行encode。 

=關(guān)于#coding=utf8= 

當(dāng)你在py文件的第一行中，寫了這句話，并確實(shí)按照這個(gè)編碼保存了文本的話，那么這句話有以下幾個(gè)功能。 

1.使得詞法分析器能正常運(yùn)作，對(duì)于注釋中的中文不報(bào)錯(cuò)了。 

2.對(duì)于u"中文"這樣literal string能知道兩個(gè)引號(hào)中的內(nèi)容是utf8編碼的，然后能正確轉(zhuǎn)換成unicode 

3."中文"對(duì)于這樣的literal string你會(huì)知道，這中間的內(nèi)容是utf8編碼，然后就可以正確轉(zhuǎn)換成其它編碼或unicode了。 

沒(méi)有寫完，先碼那么多字，以后再來(lái)補(bǔ)充，這里不是wiki，太麻煩了。

>>>>>

>>>>>

=Python編碼和Windows控制臺(tái)= 

我發(fā)現(xiàn)，很多初學(xué)者出錯(cuò)的地方都在print語(yǔ)句，這牽涉到控制臺(tái)的輸出。我不了解linux，所以只說(shuō)控制臺(tái)的。 

首先，Windows的控制臺(tái)確實(shí)是unicode（utf16_le編碼）的，或者更準(zhǔn)確的說(shuō)使用字符為單位輸出文本的。 

但是，程序的執(zhí)行是可以被重定向到文件的，而文件的單位是“字節(jié)”。 

所以，對(duì)于C運(yùn)行時(shí)的函數(shù)printf之類的，輸出必須有一個(gè)編碼，把文本轉(zhuǎn)換成字節(jié)?？赡苁菫榱思嫒?5，98， 

沒(méi)有使用unicode的編碼，而是mbcs（不是gbk之類的）。 

windows的mbcs，也就是ansi，它會(huì)在不同語(yǔ)言的windows中使用不同的編碼，在中文的windows中就是gb系列的編碼。 

這造成了同一個(gè)文本，在不同語(yǔ)言的windows中是不兼容的。 

現(xiàn)在我們知道了，如果你要在windows的控制臺(tái)中輸出文本，它的編碼一定要是“mbcs”。 

對(duì)于python的unicode變量，使用print輸出的話，會(huì)使用sys.getfilesystemencoding()返回的編碼，把它變成str。 

如果是一個(gè)utf8編碼str變量，那么就需要 print s.decode('utf8').encode('mbcs') 

最后，對(duì)于str變量，file文件讀取的內(nèi)容，urllib得到的網(wǎng)絡(luò)上的內(nèi)容，都是以“字節(jié)”形式的。 

它們?nèi)绻_實(shí)是一段“文本”，比如你想print出來(lái)看看。那么你必須知道它們的編碼。然后decode成unicode。 

如何知道它們的編碼： 

1.事先約定。（比如這個(gè)文本文件就是你自己用utf8編碼保存的） 

2.協(xié)議。（python文件第一行的#coding=utf8，html中的等） 

2.猜。 

>>>>>

> 這個(gè)非常好，但還不是很明白 

> 將“文本”轉(zhuǎn)換為“字節(jié)流”。（在python中：unicode變成str） 

"最后，對(duì)于str變量，file文件讀取的內(nèi)容，urllib得到的網(wǎng)絡(luò)上的內(nèi)容，都是以“字節(jié)”形式的。" 

雖然文件或者網(wǎng)頁(yè)是文本的,但是在保存或者傳輸時(shí)已經(jīng)被編碼成bytes了,所以用"rb"打開(kāi)的file和從socket讀取的流是基于字節(jié)的. 

"它們?nèi)绻_實(shí)是一段“文本”，比如你想print出來(lái)看看。那么你必須知道它們的編碼。然后decode成unicode。" 

這里的加引號(hào)的"文本",其實(shí)還是字節(jié)流(bytes),而不是真正的文本(unicode),只是說(shuō)明我們知道他是可以解碼成文本的.

在解碼的時(shí)候,如果是基于約定的,那就可以直接從指定地方讀取如BOM或者python文件的指定coding或者網(wǎng)頁(yè)的meta,就可以正確解碼, 

但是現(xiàn)在很多文件/網(wǎng)頁(yè)雖然指定了編碼,但是文件格式實(shí)際卻使用了其他的編碼(比如py文件指定了coding=utf8,但是你還是可以保存成ansi--記事本的默認(rèn)編碼),這種情況下真實(shí)的編碼就需要去猜了 

解碼了的文本只存在運(yùn)行環(huán)境中,如果你需要打印/保存/輸出給數(shù)據(jù)庫(kù)/網(wǎng)絡(luò)傳遞,就又需要一次編碼過(guò)程,這個(gè)編碼與上面的編碼沒(méi)有關(guān)系,只是依賴于你的選擇,但是這個(gè)編碼也不是可以隨便選擇的,因?yàn)榫幋a后的bytes如果又需要傳遞給其他人/環(huán)境,那么如果你的編碼也不遵循約定,又給下一個(gè)人/環(huán)境造成了困擾,于是遞歸之~~~~ 

>>>>>

> 主要有一條非常容易誤解： 

> 一般人會(huì)認(rèn)為Unicode（廣義）統(tǒng)一了編碼，其實(shí)不然。Unicode不是唯一的編碼，而一大堆編碼的統(tǒng)稱。但是Windows下Unicode

> （狹義）一般特指UCS2，也就是UTF-16/LE 

unicode作為字符集(ucs)是唯一的,編碼方案(utf)才是有很多種 

>>>>>

將字符與字節(jié)的概念區(qū)分開(kāi)來(lái)是很重要的。Java 一直就是這樣，Python也開(kāi)始這么做了，Ruby 貌似還在混亂當(dāng)中。

>>>>>

>>>>>

我也說(shuō)兩句。我對(duì)編碼的研究相對(duì)比較深一些。因?yàn)楣ぷ髦幸步?jīng)常遇到亂碼，于是在05年，對(duì)編碼專門做過(guò)研究，并在公司刊物上發(fā)過(guò)文章，最后形成了一個(gè)教材，每年在公司給新員工都講一遍。于是項(xiàng)目中遇到亂碼的問(wèn)題就能很快的定位并解決了。 

理論上，從一個(gè)字符到具體的編碼，會(huì)經(jīng)過(guò)以下幾個(gè)概念。 

字符集（Abstract character repertoire） 

編碼字符集（Coded character set） 

字符編碼方式（Character encoding form） 

字符編碼方案（Character encoding scheme ） 

字符集：就算一堆抽象的字符，如所有中文。字符集的定義是抽象的，與計(jì)算機(jī)無(wú)關(guān)。 

編碼字符集：是一個(gè)從整數(shù)集子集到字符集抽象元素的映射。即給抽象的字符編上數(shù)字。如gb2312中的定義的字符，每個(gè)字符都有個(gè)整數(shù)和它對(duì)應(yīng)。一個(gè)整數(shù)只對(duì)應(yīng)著一個(gè)字符。反過(guò)來(lái)，則不一定是。這里所說(shuō)的映射關(guān)系，是數(shù)學(xué)意義上的映射關(guān)系。編碼字符集也是與計(jì)算機(jī)無(wú)關(guān)的。unicode字符集也在這一層。 

字符編碼方式：這個(gè)開(kāi)始與計(jì)算機(jī)有關(guān)了。編碼字符集的編碼點(diǎn)在計(jì)算機(jī)里的具體表現(xiàn)形式。通俗的說(shuō)，意思就是怎么樣才能將字符所對(duì)應(yīng)的整數(shù)的放進(jìn)計(jì)算機(jī)內(nèi)存，或文件、或網(wǎng)絡(luò)中。于是，不同人有不同的實(shí)現(xiàn)方式，所謂的萬(wàn)碼奔騰，就是指這個(gè)。gb2312，utf-8,utf-16,utf-32等都在這一層。 

字符編碼方案：這個(gè)更加與計(jì)算機(jī)密切相關(guān)。具體是與操作系統(tǒng)密切相關(guān)。主要是解決大小字節(jié)序的問(wèn)題。對(duì)于UTF-16和UTF-32

編碼，Unicode都支持big-endian 和 little-endian兩種編碼方案。 

一般來(lái)說(shuō)，我們所說(shuō)的編碼，都在第三層完成。具體到一個(gè)軟件系統(tǒng)中，則很復(fù)雜。 

瀏覽器－apache－tomcat（包括tomcat內(nèi)部的jsp編碼、編譯，文件讀?。瓟?shù)據(jù)庫(kù)之間，只要存在數(shù)據(jù)交互，就有可能發(fā)生編碼不一致，如果在讀取數(shù)據(jù)時(shí)，沒(méi)有正確的decode和encode，出現(xiàn)亂碼就是家常便飯了。

看完上述內(nèi)容，你們掌握如何分析Python unicode編碼問(wèn)題的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

網(wǎng)站欄目：如何分析Pythonunicode編碼問(wèn)題
網(wǎng)頁(yè)地址：http://aaarwkj.com/article20/peejjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、商城網(wǎng)站、網(wǎng)站設(shè)計(jì)、微信小程序、自適應(yīng)網(wǎng)站、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)