在使用jieba分词时发现分词速度比较慢，由于一直默认使用的paddle模式，好奇是不是该模式拖慢了运行速度，因此想着对比一下paddle模式相比默认模式的分词和运行速度上的差异。
# 准备了100条语料
len(corpus)
Out[112]: 100
corpus[0]
Out[113]: '勒布朗承受压力远超乔丹 公牛王朝首冠曾充满争议新浪体育讯北京时间3月18日 迈克尔-乔丹是公认的篮球史上最杰出、最伟大的23号。8年前，一个仰慕他的年轻人在克利夫兰穿上了23号，他希望能够达到偶像的高度。而现在这个人已经辗转来到了迈阿密，并改穿了6号，这个人就是勒布朗-詹姆斯。詹姆斯一直是个争议很大的球星，他拥有超强的身体素质，但技术细节一直为人诟病。去年夏天，詹姆斯“叛逃”骑士，来到南佛罗里达海滩，而他的《决定》成了最声名狼藉的作秀。不过ESPN专家凯文-诺维兹撰文为詹姆斯鸣不平，他认为詹姆斯面临的环境比乔丹那时更严苛，如果他能得到总冠军，那么一切还可以重来。密歇根大学的亚戈-科拉斯教授开设了一门名为篮球文化101讲的课程，他的学生马特-戈登在Hoopism网站上发表了自己在课上学到的东西。在进行关于乔丹传奇的研究时，戈登称自己被震撼到了，因为现实和我们的感觉以及记忆之间差距如此明显。戈登最近刚刚读过萨姆-史密斯的《乔丹法则》，这本书里记载了公牛的1990-91赛季。那是公牛第一个夺冠的赛季，期间也充满了摇摆和争议，但公牛最终夺得总冠军。戈登最近同时还参加了公牛夺冠的20周年庆典，在联合中心，他看到欢呼的前公牛成员们之间和谐友爱，他们拥有热烈的集体回忆，气氛令人愉快。1990-91赛季那些丑陋的篇章、意气之争统统都消失不见了。这个场面引发了戈登的思考：如果热火赢得总冠军的话会发生什么呢？公众会因此忘记詹姆斯的“决定”时刻吗？会因此忘记掉这个赛季里发生的种种“门”吗？那些不喜欢詹姆斯的人，会因此原谅他身上的那些个性弱点吗？胜利，能够衍生出修正主义吗？他说：对于现在这些热火黑来说，如果他们赢得一个冠军，更别说不止一个冠军，现在关于哭泣门的任何胡说都不会被记得，更不用说那个臭名昭著的“决定”时刻了。如果你是人气巨星，并且赢下一个总冠军，那么其他所有都会消停下来。要看清现实最容易的办法就是看看过去。随着时间流逝，你觉得大家会记住科比-布莱恩特2007年夏天嚷嚷着让湖人交易安德鲁-拜纳姆吗？还是他强烈的竞争力以及冠军头衔？我们只记得胜者。很显然，“决定”时刻永远不会被忘记，尤其是在克利夫兰，但如果热火拿到一个总冠军，“决定”将马上变成冠军的注脚。TrueHoop网站的亨利-阿伯特指出，乔丹的故事都是由一些被选择过的新闻组成的，而詹姆斯恰恰相反，他的故事充斥着各种日常消息。他的手肘都有一个微博，YouTube上循环播放他的头条。如果赛前他说了什么轻率的话，公众马上会讨论。如果他和丹-吉尔伯特发生点什么，我们会品头论足。詹姆斯不会获得任何同情，因为他在数码时代打球，这让无法养成一个传奇，像乔丹那样纯洁。我们不再纯洁，我们的世界毫无疑问会有很多灰色地带，这并不一定是坏事。(春水方生)\n'
import jieba
import time
# 不使用paddle分词，设置use_paddle=False
start = time.time()
not_use_paddle = jieba.lcut(corpus[0],use_paddle=False)
end = time.time()
time_false = end-start
# 使用paddle分词，设置use_paddle=True
start = time.time()
use_paddle = jieba.lcut(content[0],use_paddle=True)
end = time.time()
time_true = end-start
time_false
Out[157]: 0.005010128021240234
time_true
Out[158]: 0.37805891036987305
time_true/time_false
Out[159]: 75.45893214047777
单条语句分词，paddle模式耗时是不使用paddle模式的75倍。
再来对比一下分词的效果。
# 不使用paddle模式分词效果
' '.join(not_use_paddle)
Out[160]: '勒布朗 承受 压力 远超 乔丹 公牛 王朝 首冠 曾 充满 争议 新浪 体育讯 北京 时间 3 月 18 日 迈克尔 - 乔丹 是 公认 的 篮球 史上 最 杰出 、 最 伟大 的 23 号 。 8 年前 ， 一个 仰慕 他 的 年轻人 在 克利夫兰 穿 上 了 23 号 ， 他 希望 能够 达到 偶像 的 高度 。 而 现在 这个 人 已经 辗转 来到 了 迈阿密 ， 并 改穿 了 6 号 ， 这个 人 就是 勒布朗 - 詹姆斯 。 詹姆斯 一直 是 个 争议 很大 的 球星 ， 他 拥有 超强 的 身体素质 ， 但 技术细节 一直 为 人 诟病 。 去年 夏天 ， 詹姆斯 “ 叛逃 ” 骑士 ， 来到 南 佛罗里达 海滩 ， 而 他 的 《 决定 》 成 了 最 声名狼藉 的 作秀 。 不过 ESPN 专家 凯文 - 诺维 兹 撰文 为 詹姆斯 鸣不平 ， 他 认为 詹姆斯 面临 的 环境 比 乔丹 那时 更 严苛 ， 如果 他 能 得到 总冠军 ， 那么 一切 还 可以 重 来 。 密歇根 大学 的 亚戈 - 科拉斯 教授 开设 了 一门 名为 篮球 文化 101 讲 的 课程 ， 他 的 学生 马特 - 戈登 在 Hoopism 网站 上 发表 了 自己 在 课 上学 到 的 东西 。 在 进行 关于 乔丹 传奇 的 研究 时 ， 戈登称 自己 被 震撼 到 了 ， 因为 现实 和 我们 的 感觉 以及 记忆 之间 差距 如此 明显 。 戈登 最近 刚刚 读过 萨姆 - 史密斯 的 《 乔丹 法则 》 ， 这 本书 里 记载 了 公牛 的 1990 - 91 赛季 。 那 是 公牛 第一个 夺冠 的 赛季 ， 期间 也 充满 了 摇摆 和 争议 ， 但 公牛 最终 夺得 总冠军 。 戈登 最近 同时 还 参加 了 公牛 夺冠 的 20 周年 庆典 ， 在 联合 中心 ， 他 看到 欢呼 的 前 公牛 成员 们 之间 和谐 友爱 ， 他们 拥有 热烈 的 集体 回忆 ， 气氛 令人 愉快 。 1990 - 91 赛季 那些 丑陋 的 篇章 、 意气 之争 统统 都 消失 不见 了 。 这个 场面 引发 了 戈登 的 思考 ： 如果 热火 赢得 总冠军 的话 会 发生 什么 呢 ？ 公众 会 因此 忘记 詹姆斯 的 “ 决定 ” 时刻 吗 ？ 会 因此 忘记掉 这个 赛季 里 发生 的 种种 “ 门 ” 吗 ？ 那些 不 喜欢 詹姆斯 的 人 ， 会 因此 原谅 他 身上 的 那些 个性 弱点 吗 ？ 胜利 ， 能够 衍生 出 修正主义 吗 ？ 他 说 ： 对于 现在 这些 热火 黑 来说 ， 如果 他们 赢得 一个 冠军 ， 更 别说 不止 一个 冠军 ， 现在 关于 哭泣 门 的 任何 胡说 都 不会 被 记得 ， 更 不用说 那个 臭名昭著 的 “ 决定 ” 时刻 了 。 如果 你 是 人气 巨星 ， 并且 赢下 一个 总冠军 ， 那么 其他 所有 都 会 消停 下来 。 要 看清 现实 最 容易 的 办法 就是 看看 过去 。 随着 时间 流逝 ， 你 觉得 大家 会 记住 科比 - 布莱恩特 2007 年 夏天 嚷嚷 着 让 湖人 交易 安德鲁 - 拜纳姆 吗 ？ 还是 他 强烈 的 竞争力 以及 冠军 头衔 ？ 我们 只 记得 胜者 。 很 显然 ， “ 决定 ” 时刻 永远 不会 被 忘记 ， 尤其 是 在 克利夫兰 ， 但 如果 热火 拿到 一个 总冠军 ， “ 决定 ” 将 马上 变成 冠军 的 注脚 。 TrueHoop 网站 的 亨利 - 阿伯特 指出 ， 乔丹 的 故事 都 是 由 一些 被 选择 过 的 新闻 组成 的 ， 而 詹姆斯 恰恰相反 ， 他 的 故事 充斥 着 各种 日常 消息 。 他 的 手肘 都 有 一个 微博 ， YouTube 上 循环 播放 他 的 头条 。 如果 赛前 他 说 了 什么 轻率 的话 ， 公众 马上会 讨论 。 如果 他 和 丹 - 吉尔伯特 发生 点 什么 ， 我们 会 品头论足 。 詹姆斯 不会 获得 任何 同情 ， 因为 他 在 数码 时代 打球 ， 这 让 无法 养成 一个 传奇 ， 像 乔丹 那样 纯洁 。 我们 不再 纯洁 ， 我们 的 世界 毫无疑问 会 有 很多 灰色 地带 ， 这 并不一定 是 坏事 。 ( 春水 方生 ) \n'
# 使用paddle模式分词效果
' '.join(use_paddle)
Out[161]: '勒布朗 承受 压力 远 超 乔丹 公牛 王朝 首冠 曾 充满 争议 新浪体育讯 北京 时间 3月18日 迈克尔 - 乔丹 是 公认 的 篮球史 上 最 杰出 、 最 伟大 的 23号 。 8年前 ， 一个 仰慕 他 的 年轻人 在 克利夫兰 穿上 了 23号 ， 他 希望 能够 达到 偶像 的 高度 。 而 现在 这个人 已经 辗转 来到 了 迈阿密 ， 并 改 穿 了 6号 ， 这个人 就是 勒布朗 - 詹姆斯 。 詹姆斯 一直 是 个 争议 很大 的 球星 ， 他 拥有 超强 的 身体素质 ， 但 技术 细节 一直 为人 诟病 。 去年 夏天 ， 詹姆斯“ 叛逃 ”骑士， 来到 南佛 罗里达 海滩 ， 而 他 的 《 决定 》 成 了 最 声名狼藉 的 作秀 。 不过 ESPN 专家 凯文 - 诺维兹 撰文 为 詹姆斯鸣 不平 ， 他 认为 詹姆斯 面临 的 环境 比 乔丹 那时 更 严苛 ， 如果 他 能得到 总冠军 ， 那么 一切 还 可以 重来 。密歇根大学 的 亚戈-科拉斯 教授 开设 了 一门 名 为 篮球 文化 101 讲 的 课程 ， 他 的 学生 马特 - 戈登 在 Hoopism 网站 上 发表 了 自己 在 课 上 学到 的 东西 。 在 进行 关于 乔丹传奇 的 研究 时 ，戈登称 自己 被 震撼 到 了 ， 因为 现实 和 我们 的 感觉 以及 记忆 之间 差距 如此 明显 。 戈登 最近 刚刚 读 过 萨姆 - 史密斯 的 《 乔丹法则 》 ， 这本书 里 记载 了 公牛 的 1990 - 91 赛季 。 那 是 公牛 第一个 夺冠 的 赛季 ， 期间 也 充满 了 摇摆 和 争议 ， 但 公牛 最终 夺得 总冠军 。 戈登 最近 同时 还 参加 了 公牛 夺冠 的 20周年 庆典 ， 在 联合 中心 ， 他 看到 欢呼 的 前 公牛 成员们 之间 和谐 友爱 ， 他们 拥有 热烈 的 集体 回忆 ， 气氛 令人 愉快 。 1990 - 91 赛季 那些 丑陋 的 篇章 、意气 之 争 统统 都 消失 不见了。 这个 场面 引发 了 戈登 的 思考： 如果 热火 赢得 总冠军 的 话 会 发生 什么 呢？公众会 因此 忘记 詹姆斯 的 “ 决定 ” 时刻 吗 ？ 会 因此 忘记 掉 这个 赛季 里 发生 的 种 种 “门” 吗 ？ 那些 不 喜欢 詹姆斯 的 人 ， 会 因此 原谅 他 身上 的 那些 个性 弱点 吗 ？胜利， 能够 衍生 出 修正主义 吗 ？ 他 说 ： 对于 现在 这些 热火黑 来说 ， 如果 他们 赢得 一个 冠军 ， 更 别说 不止 一个 冠军 ， 现在 关于 哭泣 门 的 任何 胡说 都 不会 被 记得 ， 更 不用 说 那个 臭名昭著 的 “ 决定 ” 时刻 了 。 如果 你 是 人气 巨星 ， 并且 赢 下 一个 总冠军 ， 那么 其他 所有 都会 消停 下来 。 要 看清 现实 最容易 的 办法 就是 看看 过去 。 随着 时间 流逝 ， 你 觉得 大家 会 记住 科比 - 布莱恩特 2007年 夏天 嚷嚷 着 让 湖人 交易 安德鲁 - 拜纳姆 吗 ？ 还是 他 强烈 的 竞争力 以及 冠军 头衔 ？ 我们 只 记得 胜者 。 很显然 ，“ 决定 ” 时刻 永远不会 被 忘记 ， 尤其 是 在 克利夫兰， 但 如果 热火 拿到 一个 总冠军 ，“ 决定 ” 将 马上 变成 冠军 的 注脚。TrueHoop 网站 的 亨利 - 阿伯特 指出 ，乔丹 的 故事 都是 由 一些 被 选择 过 的 新闻 组成 的 ， 而 詹姆斯 恰恰相反 ， 他 的 故事 充斥 着 各种 日常 消息 。 他 的 手肘 都 有 一个 微博 ，YouTube 上 循环 播放 他 的 头条 。 如果 赛前 他 说 了 什么 轻率 的 话 ， 公众 马上 会 讨论 。 如果 他 和 丹 - 吉尔伯特 发生 点 什么 ， 我们 会 品头论足 。 詹姆斯 不会 获得 任何 同情 ， 因为 他 在 数码 时代 打球 ， 这 让 无法 养成 一个 传奇 ，像 乔丹 那样 纯洁 。 我们 不再 纯洁 ， 我们 的 世界 毫无疑问 会 有很多 灰色 地带 ， 这 并 不 一定 是 坏事 。 ( 春水 方生 )'
可以看到，不使用paddle模式分词已经十分精准，但在复合名词识别上paddle模式做的更加出色，比如：新浪体育讯、热火黑。
我们再来对比一下100条语句的运行时间消耗：
# 不使用paddle分词，设置use_paddle=False
start = time.time()
not_use_paddle = [' '.join(jieba.lcut(sentence,use_paddle=False)) for sentence in corpus]
end = time.time()
time_false = end-start
# paddle分词，设置use_paddle=True
start = time.time()
use_paddle = [' '.join(jieba.lcut(sentence,use_paddle=True)) for sentence in corpus]
end = time.time()
time_true = end-start
time_false
Out[163]: 0.29122042655944824
time_true
Out[164]: 25.265052556991577
time_true/time_false
Out[165]: 86.75577072487427
100条语句分词使用paddle模式相比不使用paddle模式耗时更是达到了86倍。
总结： 通过有限的语料比较，使不使用paddle模式其实分词效果差异并不大，而paddle模式非常耗时，感觉性价比不高，因此在文件非常大的场景下不太建议使用paddle模式进行分词。
更多推荐
jieba分词paddle模式性能测试
发布评论