图片搜索技术的应用与实现_开题报告

（一）图片搜索技术产生的背景

随着智能手机以及移动社交网络的发展带来了海量图片大数据，根据BI2016年份的数据报告，Instagram日图片上传量约为6000万张；2016年2月份WhatsApp日图片发送量为5亿张。不受地域和语言限制的图片逐渐取代了繁杂而枯燥的文字，成为了网民表达情绪的首选。图片成为互联网信息交流主流媒介的原因有以下两点：第一，从网民阅读习惯来看，相比于文字，图片能够为用户提供更加生动、容易理解、有趣及更具艺术感的信息；第二，从信息来源来看，智能手机提供了便捷拍摄和截屏手段，使图片采集和记录信息相比文字记录更加便利。国内的社交媒体来看，81.5%的微博用户内容偏好形式为图片+文字，50.7%的微信用户朋友圈内容形式偏好为图片，今日头条组图内容的阅读量占比从 2016 年年初的 7.3%增至 2016 年 10 月的 16.5%，图文形式阅读量占比从70.8%减少至 41.5%，所以图片仍将是互联网今后最重要的信息载体。

但伴随着图片已经成为互联网中的主要信息载体，难题随之出现。文字记载的信息，我们可以通过关键词搜索轻易找到所需内容并进行任意编辑，而当信息是由图片记载时，我们却无法像文字那样容易的对图片中的内容进行快速的搜索，如果采用人工的话，不仅大大影响了信息获取的效率，而且当面对海量的图片时也只能“望图兴叹”了。图片给我们带来了快捷的信息记录和分享方式，却降低了信息搜索获取的效率。在这样一种状况下，计算机的图像识别、图像搜索技术就显得尤为重要了。

（二）图片搜索技术发展现状

随着互联网大数据的发展，图片搜索技术应运而生。图片搜索技术按描述图片内容方式的不同可以分为两类，一类是基于文本的图片搜索(TBIR, Text Based Image Retrieval)，另一类是基于内容的图片搜索(CBIR, Content Based Image Retrieval)。

1. 基于文本的图片搜索(TBIR, Text Based Image Retrieval)。基于文本的图片搜索方法始于上世纪70年代，它为图片添加描述内容的文本标注，为每幅图片形成描述这幅图片内容的关键词，比如图片中的地址、事物等，这种方式可以是人工标注方式，也可以通过图片识别技术进行半自动标注。在进行搜索时，用户可以根据自己的兴趣提供查询关键字，系统根据用户提供的查询关键字找出该关键字所对应的图片，最后将查询的结果返回给用户。这种基于文本描述的图片搜索方式较易于实现，且在标注时有人工介入，所以其查准率也相对较高。时至今日一些中小规模图搜索Web应用上仍有使用，但是这种基于文本描述的方式缺点也是非常明显的：首先这种基于文本描述的方式需要人工介入标注的过程，使得它只能应用于小规模的图片数据，在大规模图片数据上要完成这一过程需要耗费相当大的人力与财力，而且随时不断外来的图片在入库时都需要人工的干预；其次，一张图片包含的内容往往比较多，对于需要精确的查询，用户有时很难用简短的关键字来描述出想要获取的图像；再次，人工标注过程不可避免的会受到标注者的认知水平、言语使用以及主观判断等因素的影响，造成文字描述图片的差异性，影响了查询的效率。

随着图片数据快速增长，基于文本的图片检索方法的弊端日益凸现，在1992年美国国家科学基金会就图片数据库管理系统新发展方向达成一致共识，即表示索引图片信息的最有效方式应该是基于图片内容自身的。自此，基于内容的图像搜索技术便逐步建立起来，并在最近十多年里得到了迅速的发展。典型的基于内容的图片搜索利用计算机对图像进行分析，建立图像特征矢量描述并存入图像特征库，当用户输入一张查询图片时，用相同的特征提取方法提取查询图片的特征得到查询向量，然后在相应的相似度算法下，计算查询向量到特征库中各个特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。基于内容的图片搜索技术将图片内容的表达和相似性度量交给计算机进行自动的处理，克服了采用文本进行图片搜索所面临的缺陷，充分发挥了计算机的优势，大大提高了搜索的效率，从而为处理图片大数据提供了可能。不过，缺点也是明显的，主要表现为特征描述与高层语义之间存在着难以填补的语义鸿沟，并且这种语义鸿沟是不可消除的。

2. 基于内容的图片检索(CBIR, Content Based Image Retrieval)。基于内容的图像检索技术在医疗诊断、服装原料、电子商务、版权保护等工业领域具有广阔的应用前景。在医疗诊断方面，医生通过搜索医学影像库找到多个病人的相似部位的图片，从而可以协助医生做病情的诊断；在服装原料工业中，皮革布料生产商可以将样板拍成图片，当衣服制造商需要某种纹理的皮革布料时，可以检索库中是否存在相同或相似的皮革布料，使得皮革布料样本的管理更加方便；在电子商务方面，谷歌的Goggles、 阿里巴巴的拍立淘等购物APP让用户可以自行拍摄上传至服务器，在服务器端进行图片搜索应用，为用户找到相同或相似的产品，并提供购买服务；在版权保护方面，提供版权保护的服务商可以运用图片搜索技术对商标是否已经注册了的查询、认证等等基于内容的图片搜索技术已经深入到了生活中的方方面面，利用计算机的先进技术为人民提供便利。 

（三）目前图片搜索技术的实例

下面列举一些图片搜索引擎和APP是图片搜索和识别技术分别在业界的各类应用场景：互联网图片搜索；商品购物搜索及移动端的商品、物体搜索识别。这类搜索引擎基本上代表了图片检索和识别的主流技术，其中有些搜索引擎的检索结果融合了多模态的检索（文本、图片内容、上下文等）。

1.以图搜图的图片搜索引擎

TinEye： ://.tineye.com/

Google：://images.google.com.hk/

Baidu （百度识图）：://stu.baidu.com/

Sougou （搜狗识图）：://pic.sogou.com/

2. 商品图像搜索引擎及移动端APP

Amazon：://.a9.com/whatwedo/visual-search/

Ebay：://.ebay.com/mlt/

Google Goggles APP

淘宝APP

二、^范文提纲

引言：图片搜索技术出现的必要性

一、图片搜索技术的分类

（一）基于文本的图片检索技术

（二）基于内容的图片检索技术

（三）两种搜索方式的优劣比较

二、图片搜索技术面临的难题

（一）相同物体搜索面临的问题

（二）相似物体搜索面临的问题

三、图片搜索实现的过程

（一）图片预处理

（二）特征提取与分类

（三）相似度匹配

（四）查询结果输出

四、基于感知哈希算法的相似图像检索技术比较

（一）基于低频的均值哈希算法

（二）感知哈希算法

（三）差异值哈希算法

五、图片搜索技术的展望

六、参考文献

三、参考文献

钱纪初：《基于内容的图片检索研究》，浙江：浙江工业大学，2007；

熊回香：《基于基于内容的图像检索技术的发展的发展方向》[J]，计算机应用-信息处理《现代图书情报技术》，2005；

邵刚：《基于内容的图像检索技术研究与系统实现》，大连：大连理工大学，2005；

周明全，耿国华，韦娜：《基于内容的图像检索技术》，北京：清华大学出版社，2007；

彭军，向毅：《数据结构与算法》，北京：人民邮电出版社，2013；

唐振军：《感知图像Hash框架、方法及性能测评指标》，上海：上海大学，2009；

牛夏牧，焦玉华：《感知哈希综述》[J]，电子学报2008；

赵玉鑫：《多媒体感知哈希算法及应用研究》，南京：南京理工大学，2009；

张慧：《图像感知哈希测评基准及算法研究》，哈尔滨：哈尔滨工业大学，2009；

罗亚威，魏本昌，管涛：《面向移动设备的快速特征点匹配方法研究》[J]，计算机应用研究，2013；

曹莉华，吴玲达，栾悉道：《基于内容的图像检索技术研究》[J]，计算机工程与应用，2002。