0–127代表的标记是同样的,每一个景观对应一个标志

ASCII码

咱俩了然,在统计机内部,所有的音讯最后都表示为一个二进制的字符串。每一个二进制位(bit)有0和1二种意况,由此多个二进制位就足以组成出256种状态,这被喻为一个字节(byte)。也就是说,一个字节一共可以用来代表256种不同的场馆,每一个状况对应一个标志,就是256个记号,从0000000到11111111。
上个世纪60年代,米国制订了一套字符编码,对法语字符与二进制位之间的涉嫌,做了统一规定。这被喻为ASCII码,从来沿用至今。
ASCII码一共规定了128个字符的编码,比如空格”SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)。这128个标志(包括32个无法打印出来的支配符号),只占用了一个字节的前边7位,最前面的1位统一规定为0。

正文参考:http://www.ruanyifeng.com/blog/2007/10/ascii\_unicode\_and\_utf-8.html)

非ASCII编码

拉脱维亚语用128个记号编码就够了,但是用来代表另外语言,128个记号是不够的。比如,在日语中,字母上方有注音符号,它就不能用ASCII码表示。于是,一些北美洲国度就决定,利用字节中不了了之的最高位编入新的标记。比如,马耳他语中的é的编码为130(二进制10000010)。这样一来,这一个南美洲国度采纳的编码序列,可以代表最多256个记号。

不过,这里又出新了新的题材。不同的国家有两样的字母,由此,哪怕它们都选择256个标志的编码形式,代表的字母却不一样。比如,130在俄语编码中象征了é,在印度语印尼语编码中却意味着了字母Gimel
(ג),在韩文编码中又会表示另一个符号。可是无论如何,所有这个编码格局中,0–127意味的记号是如出一辙的,不均等的只是128–255的这一段。

有关亚洲国度的文字,使用的号子就更多了,汉字就多达10万左右。一个字节只能表示256种标志,肯定是不够的,就亟须使用五个字节表明一个标志。比如,简体中文常见的编码情势是GB2312,使用五个字节表示一个汉字,所以理论上最多可以象征256×256=65536个标志。

中文编码的题材需要专文啄磨,那篇笔记不关乎。这里只指出,即便都是用六个字节表示一个标志,不过GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。

1. ASCII码

Unicode

正如上一节所说,世界上设有着冒尖编码格局,同一个二进制数字可以被解释成不同的符号。因而,要想打开一个文书文件,就不可能不清楚它的编码情势,否则用错误的编码形式解读,就会油然则生乱码。为啥电子邮件平时现身乱码?就是因为发信人和收信人使用的编码格局不同等。

可以想象,倘若有一种编码,将世界上装有的号子都纳入其间。每一个标志都给以一个无比的编码,那么乱码问题就会消亡。这就是Unicode,就像它的名字都代表的,这是一种具有符号的编码。

Unicode当然是一个很大的会见,现在的范畴得以容纳100多万个记号。每个符号的编码都不同等,比如,U+0639象征阿拉伯字母Ain,U+0041代表菲律宾语的大写字母A,U+4E25表示汉字”严”。具体的标志对应表,可以查询unicode.org,或者特其它汉字对应表。

我们了然,在电脑内部,所有的信息最后都代表为一个二进制的字符串。每一个二进制位(bit)有0和1二种状态,由此两个二进制位就可以组成出256种情景,这被称之为一个字节(byte)。也就是说,一个字节一共可以用来表示256种不同的情事,每一个景色对应一个符号,就是256个记号,从0000000到11111111。

Unicode的问题

需要注意的是,Unicode只是一个标记集,它只确定了标记的二进制代码,却尚无确定这么些二进制代码应该什么存储。

比如说,汉字”严”的unicode是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说那个标记的意味至少需要2个字节。表示其它更大的记号,可能需要3个字节或者4个字节,甚至更多。

此地就有五个严重的问题,第一个问题是,怎么样才能分别Unicode和ASCII?总结机怎么知道五个字节表示一个标志,而不是独家代表六个记号呢?第二个问题是,我们曾经知道,英文字母只用一个字节表示就够了,假诺Unicode统一规定,每个符号用五个或多少个字节表示,那么每个英文字母前都一定有二到两个字节是0,这对于仓储来说是庞大的荒废,文本文件的尺寸会由此大出二三倍,这是无能为力接受的。

它们造成的结果是:1)出现了Unicode的有余储存格局,也就是说有为数不少种不同的二进制格式,可以用来代表Unicode。2)Unicode在很长一段时间内不可能放手,直到互联网的出现。

上个世纪60年代,美利坚同盟国制订了一套字符编码,对丹麦语字符与二进制位之间的涉嫌,做了统一确定。这被喻为ASCII码,一贯沿用至今。

UTF-8

互联网的推广,强烈要求出现一种统一的编码格局。UTF-8就是在互联网上行使最广的一种Unicode的落实情势。其他实现格局还包括UTF-16(字符用六个字节或五个字节表示)和UTF-32(字符用多少个字节表示),然而在互联网上基本不用。重复五次,这里的涉嫌是,UTF-8是Unicode的落实格局之一。

UTF-8最大的一个表征,就是它是一种变长的编码形式。它可以使用1~4个字节表示一个标志,遵照不同的记号而变化字节长度。
UTF-8的编码规则很粗略,唯有二条:

1)对于单字节的记号,字节的首位设为0,后边7位为这些标记的unicode码。因而对此捷克语字母,UTF-8编码和ASCII码是如出一辙的。

2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,前面字节的前两位一律设为10。剩下的没有提及的二进制位,全体为这么些标记的unicode码。
下表总计了编码规则,字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码模式

(十六进制) | (二进制)

——————–+———————————————

0000 0000-0000 007F | 0xxxxxxx

0000 0080-0000 07FF | 110xxxxx 10xxxxxx

0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟据上表,解读UTF-8编码相当简单。假诺一个字节的首先位是0,则这一个字节单独就是一个字符;假如首位是1,则连接有微微个1,就象征目前字符占用多少个字节。

下面,仍旧以汉字”严”为例,演示咋样实现UTF-8编码。

已知”严”的unicode是4E25(100111000100101),按照上表,能够窥见4E25远在第三行的限定内(0000
0800-0000 FFFF),因而”严”的UTF-8编码需要四个字节,即格式是”1110xxxx
10xxxxxx
10xxxxxx”。然后,从”严”的结尾一个二进制位先导,依次从后迈入填入格式中的x,多出的位补0。那样就赢得了,”严”的UTF-8编码是”11100100
10111000 10100101″,转换成十六进制就是E4B8A5。

ASCII码一共规定了128个字符的编码,比如空格”SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)。这128个记号(包括32个不可能打印出来的支配符号),只占用了一个字节的前边7位,最前头的1位统一确定为0。

python 中的字符串编码

在使用

#!/usr/bin/env python
# -*- coding:utf-8 -*-

默认的国语编码为utf8

>>> kel = '中' 
>>> kel
'\xe4\xb8\xad'

加入u以后,变成unicode

>>> kel = u'中'
>>> kel
u'\u4e2d'

2、非ASCII编码

python 文件字符串编码

保存Unicode字符到文本文档

#coding=utf-8
import os

def write_use_open(filepath):
    try:
        file = open(filepath, 'wb')
        try:
            content = '中华人民共和国abcd \r\nee ?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n'
            print file.encoding
            print file.newlines
            print file.mode
            print file.closed
            print content
            file.write(content)
        finally:
            file.close()
            print file.closed
    except IOError, e:
        print e


if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)

先导我是IDLE编写的,并一向按F5周转,没觉察问题,文件也被正确地保存,文件的编码类型也是utf-8.

唯独我用命令行运行,却发现展现出现乱码了,然后在打开文件发现文件被科学保存了,编码仍然utf-8:

威尼斯人官网 1

问题是命令行不可以自动识别字符编码吧,因为IDLE显示是毋庸置疑的,它匡助utf-8。

于是自己修改了代码,在字符串前加了’u’,申明content是unicode:
content = u’中华人民共和国abcd \r\nee
?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n’

不过运行发现,命令行是正确显示了,可是却出现相当:

威尼斯人官网 2

很彰着,content里带有了非ASCII码字符,肯定不可能选取ASCII来拓展编码的,write方法是默认使用ascii来编码保存的。

很容易就足以想到,在保留从前,先对unicode字符进行编码,我采取utf-8

#coding=utf-8
import os

def write_use_open(filepath):
    try:
        file = open(filepath, 'wb')
        try:
            content = u'中华人民共和国abcd \r\nee ?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n'
            print file.encoding
            print file.newlines
            print file.mode
            print file.closed
            print content
            print unicode.encode(content, 'utf-8')
            file.write(unicode.encode(content, 'utf-8'))
        finally:
            file.close()
            print file.closed
    except IOError, e:
        print e

if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)

威尼斯人官网,看看运行结果:

威尼斯人官网 3

OK了打开文档也是无可非议的。
读取文件又何以?同样道理,只是本次不是编码了,而解码:

def read_use_open(filepath):
    try:
        file = open(filepath, 'rb')
        try:
            content = file.read()
            content_decode = unicode(content, 'utf-8')
            print 'original text'
            print content
            print 'decode using utf-8'
            print content_decode
        finally:
            file.close()
    except IOError, e:
        print e

if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)
    print 'read file ---------------------------'
    read_use_open(filepath)

威尼斯人官网 4

怎么不直接在open的时候就解码呢?呵呵,可以啊,可以采用codecs的open方法

import codecs
def read_use_codecs_open(filepath):
    try:
        file = codecs.open(filepath, 'rb', 'utf-8')
        try:
            print 'using codecs.open'
            content = file.read()
            print content
        finally:
            file.close()
    except IOError, e:
        print e

威尼斯人官网 5

爱尔兰语用128个标志编码就够了,不过用来表示另外语言,128个记号是不够的。比如,在加泰罗尼亚语中,字母上方有注音符号,它就不能用ASCII码表示。于是,一些北美洲国家就控制,利用字节中不了了之的参天位编入新的标记。比如,波兰语中的é的编码为130(二进制10000010)。那样一来,那一个亚洲国家利用的编码系列,可以象征最多256个标志。

网络中乱码的化解

粤语网页中,有些网页抓取下来之后,由于网页编码的题目,需要展开解码。首先我们需要判定网页中到底使用的是咋样编码,在遵照这多少个编码把字符串变成utf8编码。

在探测编码时,chardet第三方库非凡的有利。

网页编码判断:

import urllib
rawdata = urllib.urlopen('http://tech.163.com/special/00097UHL/tech_datalist.js').read()
import chardet
print chardet.detect(rawdata)

{'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'}

因此 chardet
探测出,网页的字符编码为GB2312编码,通过unicode转化为utf8编码:

str_body = unicode(rawdata, "gb2312").encode("utf8")

更多入门教程可以参见:[http://www.bugingcode.com/python_start/]
(http://www.bugingcode.com/python_start/)

而是,这里又出现了新的题材。不同的国度有两样的假名,因此,哪怕它们都利用256个记号的编码模式,代表的假名却不均等。比如,130在阿尔巴尼亚语编码中代表了é,在意大利语编码中却代表了字母Gimel
(ג),在芬兰语编码中又会意味着另一个符号。然而无论如何,所有这多少个编码格局中,0–127表示的符号是平等的,不一致的只是128–255的这一段。所以,在128–255这段中,同一个二进制数在不同国家的文字中意味着不同的字符。

有关北美洲国度的文字,使用的符号就更多了,汉字就多达10万左右。一个字节只可以表示256种标志,肯定是不够的,就不可能不采纳两个字节表明一个标志。比如,简体普通话常见的编码情势是GB2312,使用三个字节表示一个汉字,所以理论上最多可以代表256×256=65536个标志。

闽南语编码的题材需要专文研商,这篇笔记不涉及。这里只提出,即便都是用三个字节表示一个符号,然则GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。

3.Unicode

正如上一节所说,世界上设有着冒尖编码模式,同一个二进制数字可以被演说成不同的符号。因而,要想打开一个文本文件,就非得知道它的编码格局,否则用错误的编码模式解读,就相会世乱码。为何电子邮件平常出现乱码?就是因为发信人和收信人使用的编码格局不同等。

可以想象,要是有一种编码,将世界上装有的符号都纳入其间。每一个标志都给予一个无比的编码,那么乱码问题就会消亡。这就是Unicode,就像它的名字都代表的,这是一种具有符号的编码。

Unicode当然是一个很大的会见,现在的规模得以容纳100多万个记号。每个符号的编码都不同等,比如,U+0639象征阿拉伯字母Ain,U+0041象征乌克兰(Crane)语的大写字母A,U+4E25代表汉字”严”。具体的标志对应表,可以查询unicode.org,或者特此外汉字对应表

4. Unicode的问题

内需留意的是,Unicode只是一个符号集,它只确定了标记的二进制代码,却未曾确定那些二进制代码应该如何存储。

例如,汉字”严”的unicode是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说这么些符号的象征至少需要2个字节。表示其它更大的标志,可能需要3个字节或者4个字节,甚至更多。

这边就有四个沉痛的问题,第一个问题是,怎么着才能分别Unicode和ASCII?总括机怎么通晓五个字节表示一个标记,而不是个别表示五个记号呢?第二个问题是,我们早就清楚,英文字母只用一个字节表示就够了,假设Unicode统一规定,每个符号用两个或三个字节表示,那么每个英文字母前都必将有二到五个字节是0,那对于仓储来说是翻天覆地的荒废,文本文件的分寸会就此大出二三倍,这是力不从心经受的。

它们造成的结果是:1)出现了Unicode的多种仓储形式,也就是说有成千上万种不同的二进制格式,可以用来代表Unicode。2)Unicode在很长一段时间内无法放开,直到互联网的面世。

5.UTF-8

互联网的推广,强烈要求出现一种统一的编码形式。UTF-8就是在互联网上应用最广的一种Unicode的落实模式。其他实现格局还包括UTF-16(字符用六个字节或两个字节表示)和UTF-32(字符用六个字节表示),可是在互联网上基本不用。再也五遍,这里的关联是,UTF-8是Unicode的贯彻形式之一。

UTF-8最大的一个特性,就是它是一种变长的编码模式。它可以应用1~4个字节表示一个符号,遵照不同的标志而变化字节长度。

UTF-8的编码规则很粗略,只有二条:

1)对于单字节的标志,字节的最高位设为0,后边7位为这几个符号的unicode码。因而对此印度语印尼语字母,UTF-8编码和ASCII码是平等的。

2)对于n字节的记号(n>1),第一个字节的前n位都设为1,第n+1位设为0,前边字节的前两位一律设为10。剩下的从未有过提及的二进制位,全体为这么些符号的unicode码。

下表总括了编码规则,字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码格局
(十六进制) | (二进制)
——————–+———————————————
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

跟据上表,解读UTF-8编码分外简单。假使一个字节的首位是0,则这多少个字节单独就是一个字符;假若第一位是1,则连续有微微个1,就代表目前字符占用多少个字节。

下边,依旧以汉字”严”为例,演示如何促成UTF-8编码。

已知”严”的unicode是4E25(100111000100101),遵照上表,可以窥见4E25处在第三行的限量内(0000
0800-0000 FFFF),由此”严”的UTF-8编码需要两个字节,即格式是”1110xxxx
10xxxxxx
10xxxxxx”。然后,从”严”的最终一个二进制位起先,依次从后迈入填入格式中的x,多出的位补0。这样就拿到了,”严”的UTF-8编码是”11100100
10111000 10100101″,转换成十六进制就是E4B8A5。

相关文章