概要
HyperLRP是一个开源的、基于深度学习高性能中文车牌识别库,由北京智云视图科技有限公司开发,支持PHP、C/C++、Python语言,Windows/Mac/Linux/Android/IOS 平台。本文将根据官网指引,进行一个车牌识别的入门探索。
HyperLPR的检测流程
- 使用opencv的HAAR Cascade检测车牌大致位置
- Extend检测到的大致位置的矩形区域
- 使用类似于MSER的方式的多级二值化和RANSAC拟合车牌的上下边界
- 使用CNN Regression回归车牌左右边界
- 使用基于纹理场的算法进行车牌校正倾斜
- 使用CNN滑动窗切割字符
- 使用CNN识别字符
TODO
- 支持多种车牌以及双层
- 支持大角度车牌
- 轻量级识别模型
更新
- 更新了Android实现,增加实时扫描接口 (2019.07.24)
- 更新Windows版本的Visual Studio 2015 工程至端到端模型(2019.07.03)
- 更新基于端到端的IOS车牌识别工程。(2018.11.13)
- 可通过pip一键安装、更新的新的识别模型、倾斜车牌校正算法、定位算法。(2018.08.11)
- 提交新的端到端识别模型,进一步提高识别准确率(2018.08.03)
- 增加PHP车牌识别工程@coleflowers (2018.06.20)
- 添加了HyperLPR Lite 仅仅需160 行代码即可实现车牌识别(2018.3.12)
- 感谢 sundyCoder Android 字符分割版本
- 增加字符分割训练代码和字符分割介绍(2018.1.)
特性
- 速度快 720p,单核 Intel 2.2G CPU (MaBook Pro 2015)平均识别时间低于100ms
- 基于端到端的车牌识别无需进行字符分割
- 识别率高,卡口场景准确率在95%-97%左右
- 轻量,总代码量不超1k行
模型资源说明
- cascade.xml 检测模型 - 目前效果最好的cascade检测模型
- cascade_lbp.xml 召回率效果较好,但其错检太多
- char_chi_sim.h5 Keras模型-可识别34类数字和大写英文字 使用14W样本训练
- char_rec.h5 Keras模型-可识别34类数字和大写英文字 使用7W样本训练
- ocr_plate_all_w_rnn_2.h5 基于CNN的序列模型
- ocr_plate_all_gru.h5 基于GRU的序列模型从OCR模型修改,效果目前最好但速度较慢,需要20ms。
- plate_type.h5 用于车牌颜色判断的模型
- model12.h5 左右边界回归模型
注意事项:
- Win工程中若需要使用静态库,需单独编译
- 本项目的C++实现和Python实现无任何关联,都为单独实现
- 在编译C++工程的时候必须要使用OpenCV 3.3以上版本 (DNN 库),否则无法编译
- 安卓工程编译ndk尽量采用14b版本
一键安装
python -m pip install hyperlpr
支持python3,支持Windows Mac Linux 树莓派等。
720p cpu real-time (st on MBP r15 2.2GHz haswell).
快速上手
#导入包
from hyperlpr import *
#导入OpenCV库
import cv2
#读入图片
image = cv2.imread("demo.jpg")
#识别结果
print(HyperLPR_plate_recognition(image))
Python 依赖
- Keras (>2.0.0)
- Theano(>0.9) or Tensorflow(>1.1.x)
- Numpy (>1.10)
- Scipy (0.19.1)
- OpenCV(>3.0)
- Scikit-image (0.13.0)
- PIL
CPP 依赖
- Opencv 3.4 以上版本
Linux/Mac 编译
- 仅需要的依赖OpenCV 3.4 (需要DNN框架)
cd Prj-Linux
mkdir build
cd build
cmake ../
sudo make -j
可识别和待支持的车牌的类型
可识别车牌类型:
- 单行蓝牌
- 单行黄牌
- 新能源车牌
- 白色警用车牌
- 使馆/港澳车牌
- 教练车牌
- 双层黄牌
待识别车牌:
- 武警车牌
- 民航车牌
- 双层武警
- 双层军牌
- 双层农用车牌
- 双层个性化车牌
Note:由于训练的时候样本存在一些不均衡的问题,一些特殊车牌存在一定识别率低下的问题,如(使馆/港澳车牌),会在后续的版本进行改进。
识别测试APP
- 体验 Android APP:http://demo.zeusee/HyperLPR (根据图片尺寸调整程序中的尺度,提高准确率)
作者和贡献者信息:
作者昵称不分前后
- Jack Yu 作者(jack-yu-business@foxmail / https://github/szad670401)
- AlanNewImage v2版win工程、python双层完善 (https://github/AlanNewImage)
- lsy17096535 整理(https://github/lsy17096535)
- xiaojun123456 IOS贡献(https://github/xiaojun123456)
- sundyCoder Android第三方贡献(https://github/sundyCoder)
- coleflowers php贡献(@coleflowers)
- Free&Easy 资源贡献
- 海豚嘎嘎 LBP cascade检测器训练
- Windows工程端到端模型 (https://github/SalamanderEyes)
- Android实时扫描实现 (https://github/lxhAndSmh)
Q&A
Q:Android识别率没有所传demo apk的识别率高?
A:请使用Prj-Linux下的模型,android默认包里的配置是相对较早的模型
Q:车牌的训练数据来源?
A:由于用于训练车牌数据涉及到法律隐私等问题,本项目无法提供。开放较为大的数据集有CCPD车牌数据集。
Q:训练代码的提供?
A:相关资源中有提供训练代码
Q:关于项目的来源?
A:此项目来源于作者早期的研究和调试代码,代码缺少一定的规范,同时也欢迎PR。
项目地址:
HyperLPR: HyperLRP是一个开源的、基于深度学习高性能中文车牌识别库,由北京智云视图科技有限公司开发,支持PHP、C/C++、Python语言,Windows/Mac/Linux/Android/IOS 平台。
相关资源
- Android配置教程
- python配置教程
- Linux下C++配置教程
- 带UI界面的工程(感谢群内小伙伴的工作)。
- 端到端(多标签分类)训练代码(感谢群内小伙伴的工作)。
- 端到端(CTC)训练代码(感谢群内小伙伴工作)。
参考:
HyperLPR 开源车牌识别系统的入门使用_oJiWuXuan的博客-CSDN博客_hyperlpr
更多推荐
HyperLPR 高性能开源中文车牌识别框架
发布评论