深兰科技赛道|ICPR2020图表信息提取竞赛方案分享( 二 ) 在日前结束的第25届国际模式识

文章图片
表一

文章图片
表二
赛道五
道五将图例标签文本与图例中相应的样式元素相关联。我们采用先检测图例元素，然后匹配图例元素和图例标签的方法。为了进一步提高匹配精度，同时检测图例对和图例元素，图例对的检测结果辅助匹配过程。
我们的方法分为三个步骤：
使用与赛道三相同的方法对文本框进行分类，然后筛选出图例标签类别的文本框。用CenterNet[3]检测图例元素和图例对两个类别，图例对通过合并图例元素和相应文本的边框获得。匹配图例元素和图例标签，对于每个图例标签，如果存在图例元素在同一个图例对中，则该图例标签和图例元素配对，然后使用匈牙利算法匹配剩余的图例元素和图例标签。为了减少赛道三的分类错误对赛道五结果的影响，加入了后处理，对于赛道三的结果中没有图例标签的图像，如果同时检测到图例元素和图例对，则将图例元素与所有文本框进行匹配。

文章图片
赛道六
赛道六第一个子任务的目标，是对图表中绘图区域中的每个元素进行检测和分类，第二个子任务输出用于生成图表图像的原始数据，且在元素的表示形式中包含框和点两种类型。我们将对这两个子任务进行整体介绍。
道六的评价指标比较复杂，概括为采用检测到的元素与真实标注元素之间的欧氏距离或者IOU评价检测的得分，通过每个分组中的点与真实标注每个分组中点匹配程度，与提取到的坐标轴坐标系的数据和真实数据之间的误差，计算分组得分与数据提取得分。
我们分别通过基于框的检测算法和基于点的检测算法来检测元素。为了检测框表示的元素，我们使用目标检测算法CenterNet进行检测。为了检测点表示的元素，我们使用与赛道四中相同的点检测算法，并删除OTB分支。
解决了检测问题之后，为了将检测到的元素进行分组（比如检测到的同一条曲线上的点，应该被分为同一组）。对于水平框和垂直框，我们可以按X轴或Y轴的L1距离对框进行分组，但是对于“线和散点图”而言，则更为复杂。我们分别提取检测到的元素的颜色直方图特征和Hog特征，然后使用K-means对它们进行聚类分组。
通过检测我们可以得到元素在图像坐标系中的位置表示，为了获得绘制图表图像时所使用的原始元素数据，我们需要将图像坐标系表示的元素转化为轴坐标系表示。经过分析，我们将UBPMC数据集分为五个类别，将AdobeSynth数据集分为八个类别，然后分别处理每个类别。对于数据序列，如果x值为数字值，则通过插值计算x轴值。如果x值为字符串值，则使用L1距离查找最接近的字符内容。
最终在测试阶段我们使用单模型取得了76.43%与61.18%的得分，位列第三。

文章图片
参考文献：
1.BreimanL.Randomforests[J].Machinelearning,2001,45(1):5-32.
2.KeG,MengQ,FinleyT,etal.Lightgbm:Ahighlyefficientgradientboostingdecisiontree[C]//Advancesinneuralinformationprocessingsystems.2017:3146-3154.
3.ZhouX,WangD,Kr¨ahenb¨uhlP.Objectsaspoints[J].arXivpreprintarXiv:1904.07850,2019.