unicodeencodeerror latin-1_gbk codec

unicodeencodeerror latin-1_gbk codec最近在搞人工智能的东东,玩了玩词云的东西,在编写代码时,出现了一个问题。目的:统计西游记里出现的词的内容。读取西游记整本小说的内容,然后进行统计分析。代码如下:text=open(‘西游记.txt’).read()但是在执行的时候一直报错:UnicodeDecodeError:‘gbk’codeccan’tdecodebyte0x80inposition2:i…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

最近在搞人工智能的东东,玩了玩词云的东西,在编写代码时,出现了一个问题。

目的:统计西游记里出现的词的内容。

读取西游记整本小说的内容,然后进行统计分析。

代码如下:

text = open('西游记.txt').read()

但是在执行的时候一直报错:
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 2: illegal multibyte sequence

分析可能是由于小说里的内容不是标准的gbk的内容导致的。

查看小说内容截图:

在这里插入图片描述

于是乎查找了一番,分析可能是由于小说里还有特殊的符号等内容导致的。

想法:需要进行编码转换。

于是修改代码为,添加了编码范围为utf-8:

text = open('西游记.txt' ,encoding='utf-8').read()

若依然报错,可以添加属性忽略非法字符内容

text = open('西游记.txt', encoding='utf-8', errors='ignore' )

哦了!!问题解决!!成功显示出图如下!!!

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/194510.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • js 字符串截取slice、substring、substr

    js 字符串截取slice、substring、substr1、slice//slice()方法用于从原字符串取出子字符串并返回,不改变原字符串。它的第一个参数是子字符串的开始位置,第二个参数是子字符串的结束位置(不含该位置)。’JavaScript’.slice(0,4)//”Java”//如果省略第二个参数,则表示子字符串一直到原字符串结束。’JavaScript’.slice(4)//”Script”//如果参数是负值,表示从结尾开始倒数计算的位置,即该负值加上字符串长度。’JavaScript’.slice(-6)//”S

    2022年5月27日
    50
  • python 怎么保留小数「建议收藏」

    python 怎么保留小数「建议收藏」使用字符串格式化大部分语言都可以使用字符串格式化的方法来实现保留两位小数的效果,python也不例外:a=3.1415926print(“%.2f”%a)#%代表格式化输出,.2代表小数点后保留两位,f代表数据类型是浮点型使用round内置函数python内置了一个名为round的函数,这个函数可以用来对数据进行格式化。代码如下:a=3.1415926a1=round(a,2)#将a通过round函数处理后赋值给a1,传入的2代表保留两位小数print(a1)使

    2022年8月12日
    3
  • pycharm的最新版本_pycharm最新版本是多少

    pycharm的最新版本_pycharm最新版本是多少地址:https://www.jetbrains.com/pycharm/download/other.html

    2025年6月24日
    0
  • C++教程(最全)「建议收藏」

    C++教程(最全)「建议收藏」C++简介

    2022年4月26日
    48
  • onshow「建议收藏」

    onshow「建议收藏」当小程序启动或者从后台重新进入的时候会触发事件

    2022年6月29日
    19
  • 用例图详解_用例图include是用什么画的

    用例图详解_用例图include是用什么画的对于用例图来说我们需要了解的是什么叫用例图,构成用例图的要素,用例图有哪些重要的元素,各个用例之间的关系。当然最重要的是如何根据需求创建用例图。具体的创建通过一个简单的学生管理的例子说明创建的过程和例子。  我的所有例子都是是使用Rose这个软件来画的,现在虽然有新的UML模型画图软件,但是我比较喜欢用这个Rose,如果你还没有装这个软件需要先装一个,或者使用你比较喜欢的UML画图软件。下面我们

    2022年9月7日
    1

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号