小米表格识别技术官方解读，支持智能提取图片中的表格

IT之家 9 月 3 日新闻，今日晚间，小米开办人、董事长兼 CEO 雷军经由过程社交媒体表现，小米工程师研发了一套表格辨认算法，该算法高效精确地将图片中的表格转化为可编纂的 Excel 文件，年夜幅晋升使用体验。

同时，小米技术官方也发文对表格辨认算法中的一些技术实现原理进行相识读，涉及总体框架、表格检测算法、表格辨认算法、对齐算法等内容。

以下为小米技术官方解读内容：

表格辨认是指将图片中的表格布局和笔墨信息辨认成计算机可以懂得的数据格局，在办公、商务、教育等场景中有着普遍的适用代价，也一直是文档阐发研讨中的热门问题。环抱这个问题，我们研发了一套表格辨认算法，该算法高效精确地提取图片中的表格，转化为可编纂的 Excel 文件。今朝算法已经胜利落地于小米 10S 系列、MIXFold 2等旗舰机型，年夜家可以从相册-更多-表格辨认，或者扫一扫进入体验。

▲图一雷军在 MIXFold 2 宣布会上先容小米表格辨认算法

一、配景

年夜多半人日常办公处置的文件，主要是表格和文档，此中表格的紧张性毋庸置疑。在各行各业的桌面办公场景中，Excel 和 WPS 是电子表格的事实尺度。我们常常遇到这种需求：将一个表格图片的内容导入 Excel。

以前我们只能对着图片一点点把内容录入 Excel，既低效又容易失足。近年来，跟着技术的成长，OCR（光学字符辨认）的可用性赓续晋升，用户可以借助 OCR 软件，从图片中主动提取文本信息。

然而对付表格场景，仅提取笔墨是不够的，用户还需重复手动复制粘贴以还原出电子表格，这仍会消耗年夜量光阴。为此我们实现了一套表格图像提取计划，它能切实晋升用户办公效力。图二是我们的辨认后果展现：

▲图二表格辨认后果展现

二、总体框架

图三展现的是我们今朝算法的一个总体框架图，主要包括手机真个表格检测算法和服务真个表格辨认算法。

▲图三表格辨认技术框架

表格检测算法主要是从图片中精确的提取表格区域，并对表格进行矫正，获得平整的表格图片以便下一步的表格辨认；表格辨认算法主要是从图片中提取表格布局和表格笔墨内容，然后将这些信息有用的联合在一路，输出可编纂的 Excel 表格。下文将具体先容表格检测算法和表格辨认算法。

三、表格检测算法

表格检测有以下难点：一方面是手机上的算法和内存有限，另一方面是对表格检测成果要求异常高，表格四周每每包括其他笔墨，假如检测成果禁绝，会对后面的辨认成果造成负面影响。我们的表格检测算法会同时检测到表格区域和表格的四个角点，经由过程透视变换和我们自研的抗扭曲算法获得只有表格区域的平整表格，后果如图四所示。

▲图四表格检测算法后果

表格检测算法框架如图五所示，因为算法运行在手机端，必要保证运行速率和模子年夜小，我们采纳了一个异常简便的一阶段检测框架，backbone 采纳 shuffleNetV2；在检测出表格框的同时，回归出症结点信息，便于表格的透视矫正，并用 Wing loss 取代 L1 loss让症结点回归加倍精确；数据方面，用算法低本钱地从公开数据中发掘年夜量表格检测数据，明显性地进步表格检测后果。终极模子年夜小为 1M左右，顺畅地运行在小米手机上。

▲图五表格检测算法框架

四、表格辨认算法

表格辨认算法如图三所示，该算法在服务端运行，主要包括的模块有：文本检测、文本辨认、表格布局猜测、单位格匹配、对齐算法、Excel 导出。文本检测辨认模块采纳了我们之前已经上线的 OCR 服务，这里不再做重点先容。下面将主要先容表格布局猜测算法和 Cell 坐标聚合算法。数据方面，因为表格数据标注艰苦，我们完成了一套表格衬着对象，可以合成各类样式的表格数据，极年夜地低落了标注本钱。

表格样式多样，有线的表格、无线的表格、隔段横线表格等，而且表格中有异常多各类繁杂的归并单位格呈现；另外，图片含有暗影、光照、扭曲、变形等也增年夜了表格猜测的难度。表格布局猜测古人有不少研讨，基于传统算法提取表格线，再由表格线推导行、列、归并单位格的信息；基于目的检测，检测出单位格，再用后处置办法组织单位格还原表格布局；基于语义朋分，朋分出表格线，然后对朋分成果进行后处置还原表格布局；以上算法有一个配合的问题，后处置繁杂而且鲁棒性较差，通常必要针对特定表格的算法适配。

今朝主流的办法是将表格用 HTML 的超文本表现，然后对 HTML 进行编码，猜测 HTML 序列和对应的坐标信息。该办法在开源数据集上取得了不错的后果，中国安全科技和百度也采纳了这种计划，然则 HTML 的标签过多导致表格布局辨认容易失足。针对该办法的不敷，我们对表格采纳全新的编码方式，仅用四个标签就能表现随意率性布局的表格，极年夜地进步了表格布局辨认精确率。

如图六所示，将表格界说为 M*N 个单位格构成的矩阵，以及内部归并单位格构成。“0”：代表通俗的单位格、“1”：代表向左归并单位格、“2”：表现向上归并单位格；而且每个单位格对应一个坐标框，以便后续把 OCR 辨认的成果与之匹配。如许界说的长处：无工资语律例则；数据组织具有自然的二维对齐属性，收集更不容易发生漂移；少量标签可以还原出随意率性表格布局，无开放集分类问题。

▲图六表格布局界说

我们采纳了如图七所示的表格布局猜测框架，该办法基于 cnn+transformer decoder 的图像到序列进修收集，在解码阶段包括两个猜测头，分离猜测表格序列和表格 Cell 的坐标信息。

▲图七表格布局猜测框架

表格布局后果如图八所示，表格布局辨认算法猜测出每个单位格的地位信息和每个地位对应的序列信息。图八左右两个图是逐一对应的，统一种色彩的检测框对应右边 Cell 单位格，Cell 是有次序的。

▲图八表格布局辨认后果展现

表格辨认在部署进程中，采纳 Fastertransformer 推理框架进行加快，我们的推理速率晋升了年夜约 20 倍，显著改善用户体验。

Cell 坐标聚合算法主要是将文本检测到的内容与表格猜测的单位格进行正确匹配，算法流程如图九所示。文本框与单位格框进行匹配，起首匹配 IOU 最年夜的，假如 IOU=0，则匹配两个框中心距比来的。假如一个单位格中包括多个文本框的布局，还要在单位格内依照浏览次序输出，并实现智能换行从而改善用户体验。

▲图九 Cell 坐标聚合算法流程

终极我们的算法在表格布局提取和端到端表格还原的精确率上，均领先业界的主要竞品。

五、对齐算法

上述算法已经根本还原出表格信息，然则统一表格里单位格的对齐方式并不雷同，可能同时存在“左对齐” “右对齐” “居中对齐”。我们设计了一套对齐算法，经由过程阐发表格中单位格的地位信息实现主动对齐，完全还原出真实表格，显著改善用户体验。对齐算法后果如图十所示：

▲图十 对齐算法后果