在使用OpenCV和Tesseract OCR进行车牌识别时，遇到字符检测问题

Question

我正在使用Python中的OpenCV进行图像处理和Tesseract OCR进行字符识别，开发一个车牌识别系统。我已经编写了一个函数来处理车牌图像并从中提取文本，但在一致检测大字体和小字体字符方面遇到了问题。该函数旨在锐化图像、增加对比度，并在使用Tesseract OCR之前应用各种预处理步骤。

@staticmethod
def process_license_plate(frame, x1, y1, x2, y2):
    """
    使用增强的OCR从帧中提取并处理车牌区域。

    参数:
    - frame (numpy.ndarray): 包含车牌的图像或视频帧。
    - x1, y1, x2, y2 (int): 车牌边界框的坐标。

    返回:
    - str: 识别出的车牌文本。
    """
    # 步骤1：裁剪车牌区域
    license_plate_area = frame[y1:y2, x1:x2]

    # 步骤2：使用核函数锐化车牌区域
    sharpening_kernel = np.array([[-1, -1, -1], [-1, 9, -1], [-1, -1, -1]])
    sharpened_license_plate = cv2.filter2D(license_plate_area, -1, sharpening_kernel)

    # 步骤3：使用CLAHE增加对比度
    lab = cv2.cvtColor(sharpened_license_plate, cv2.COLOR_BGR2LAB)
    l, a, b = cv2.split(lab)
    clahe = cv2.createCLAHE(clipLimit=3.0, tileGridSize=(8, 8))
    limg = cv2.merge([clahe.apply(l), a, b])
    enhanced_license_plate = cv2.cvtColor(limg, cv2.COLOR_LAB2BGR)

    # 步骤4：为OCR预处理 - 灰度转换、高斯模糊和自适应阈值
    grayscale_license_plate = cv2.cvtColor(enhanced_license_plate, cv2.COLOR_BGR2GRAY)
    blurred_license_plate = cv2.GaussianBlur(grayscale_license_plate, (3, 3), 0)
    _, thresholded_license_plate = cv2.threshold(blurred_license_plate, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)

    # 步骤5：形态学操作清理图像
    morph_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
    opened_license_plate = cv2.morphologyEx(thresholded_license_plate, cv2.MORPH_OPEN, morph_kernel, iterations=1)
    inverted_license_plate = cv2.bitwise_not(opened_license_plate)

    # 步骤6 1/2：使用OCR提取文本
    license_plate_text = pytesseract.image_to_string(
        inverted_license_plate, lang='eng',
        config='--psm 6 -c tessedit_char_whitelist=ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'
    )

    return license_plate_text.strip()

我尝试通过使用车牌高度比例作为参考来隔离较大的字符。然而，正如预期的那样，这种方法并未成功。

# 步骤6：过滤掉较小的元素，保留较大的字符（可选）
contours, _ = cv2.findContours(inverted_license_plate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
filtered_license_plate = np.zeros_like(inverted_license_plate)
# 定义轮廓面积的阈值（例如，车牌区域的90%）
threshold_area = 0.9 * license_plate_area.shape[0] * license_plate_area.shape[1] # 调试值
for contour in contours:
    if cv2.contourArea(contour) > threshold_area:
        cv2.drawContours(filtered_license_plate, [contour], -1, (255, 255, 255), thickness=cv2.FILLED)

这是应用过滤器后的最终结果：
过滤后

这是未应用过滤器的结果：
未过滤

web-tiki · Answer

我们观察到图像中先是三个字符，紧接着是一个州图标，之后又是三个字符。为了更有效地定位并处理这六个关键字符，可以设计一个程序来为新泽西（NJ）图标定位并绘制边界框。一旦确定了图标的边界，就更容易为感兴趣的六个字符定义一个边界框。此外，删除图标边界内的像素可能会进一步提升OCR的识别性能。

图像中文字的大小存在较大差异，这对于OCR识别来说是一大挑战。Tesseract OCR在处理不同分辨率的图像时表现不一。在字符尺寸适中时（比如每个字符宽度约为十几到几十个像素），其表现出色。但当字符被放大到每个字符有几百个像素时，识别准确率反而会下降。

注意到小字号的文本已被较为准确地识别。为了使Tesseract忽略这些干扰性的次要文本，可以采取以下建议：

重复模糊与锐化图像：这个过程可以消除细小的文字，同时保持大号字符的可读性。
调整图像尺寸：如果你的原始图像高度为400像素，尝试将其缩小至接近80像素左右。这同样可以去除细小文字，同时让大号字符保持相对清晰，并且将图像调整到了Tesseract表现最佳的分辨率范围内。

如果能够利用边界框来移除干扰项，也是一个可行的方案，但这要求对不同车牌和车辆类型的广泛适应性。或许可以利用连通组件的垂直延伸来识别大号字母，预期至少能找到六个这样的组件，它们具有相似的基线和高度。

此外，RGB颜色通道也能发挥作用，帮助创建灰度图像的掩码。"New Jersey"文本与其前景/背景颜色之间存在一定的关联，识别州名及其颜色方案可以作为处理流程的早期阶段，对后续步骤提供辅助。

总结而言，通过结合图标定位、尺寸调整、颜色分析以及特定的图像处理技巧，可以显著提高对包含多尺度字体的车牌图像的识别准确率。

hek2mgl · Answer

如另一个答案中讨论的，你需要调整黑白图像的大小和阈值。

import cv2
import numpy as np
import pytesseract

# 读取图像
img = cv2.imread('plate.jpg', cv2.IMREAD_UNCHANGED)

# 裁剪图像并设置为黑白
cropped_image = img[150:265, 140:510]  # img[y:y+h, x:x+w]
grayImage = cv2.cvtColor(cropped_image, cv2.COLOR_BGR2GRAY)
(thresh, blackAndWhiteImage) = cv2.threshold(grayImage, 75, 255, cv2.THRESH_BINARY)

# 调整图像大小
scale_percent = 46  # 原始大小的百分比
width = int(blackAndWhiteImage.shape[1] * scale_percent / 100)
height = int(blackAndWhiteImage.shape[0] * scale_percent / 100)
dim = (width, height)
resized = cv2.resize(blackAndWhiteImage, dim, interpolation=cv2.INTER_AREA)

# 对调整大小后的黑白图像进行OCR
pytesseract.pytesseract.tesseract_cmd=r'C:\Program Files\Tesseract-OCR	esseract.exe'
custom_config = r'--psm 13 --oem 3 -l eng'
text = pytesseract.image_to_string(resized, config=custom_config)
print(text)

# 显示裁剪后的图像
cv2.imshow("cropped", resized)

# 保存裁剪后的图像
cv2.imwrite("Cropped Image.jpg", resized)

cv2.waitKey(0)
cv2.destroyAllWindows()

输出结果展示了裁剪并调整大小后的图像，其内容已通过OCR识别并打印出来。