Search results
微校 (www.wxiao.net)，微信数字校园。. 全国157所名校校长共同推荐的移动数字校园！. 4年持续打磨，2109所学校每天使用！. 1步即可完成全校师生加入，5天形成应用效果！. 微校wxiao是面向全国中小学及幼儿园的移动数字校园产品，功能涵盖校园安全、行政管理、家 ...
有意思的是，之后3天，我加的两个微信没有一个通过我的好友申请（如果不服务了，至少更换一下网页端微信服务人员的二维码吧？ ），其次我的留言似乎没有卵用，我还是接到了国内的电话（幸好那会晚上我还没睡觉刚好在开会），而且并不知道我留言加为 ...
WeChatFerry, 一个玩微信的工具。. 参数: host ( str) -- wcferry RPC 服务器地址，默认本地启动；也可以指定地址连接远程服务. port ( int) -- wcferry RPC 服务器端口，默认为 10086，接收消息会占用 port+1 端口. debug ( bool) -- 是否开启调试模式（仅本地启动有效）. block ( bool ...
- 概览
- 一、引言
- 二、扫一扫识物是做什么的？
- 三、扫一扫识物落地哪些场景？
- 四、扫一扫识物给扫一扫家族带来哪些新科技？
- 五、扫一扫识物整体框架
- 六、扫一扫识物数据建设
- 6.1、图片去重
- 6.2、检测数据库构建
- 6.3、检索数据库构建
本文由腾讯WXG应用研究员breezecheng原创发表于公众号“腾讯技术工程”，原题“微信「扫一扫识物」 的背后技术揭秘”。
现在市面上主流的移动端IM应用于都有“扫一扫”功能，看起来好像也就能扫一扫加好友、加群，但实际上作为一个IM产品的重要信息入口，“扫一扫”功能也可以很强大。
▲ 几款主流IM里的“扫一扫”功能
以国民应用微信为例，微信的“扫一扫”（即扫码功能）已经深入人心。
微信的“扫一扫识物”功能2019年12月23日已在iOS版本中正式上线，从识别特定编码形态的图片（二维码/小程序码/条形码/扫翻译），到精准识别自然场景中商品图片（鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品），扫码识物以图片(视频)作为媒介，聚合微信内部有价值的生态内容如电商、百科、资讯进行展示，有哪些技术难点需要去克服?本文将详细为你解密微信“扫一扫识物”功能背后的技术秘密。
扫一扫识物是指以图片或者视频(商品图：鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品)作为输入媒介来挖掘微信内容生态中有价值的信息（电商+百科+资讯，如图 1 所示），并展示给用户。这里我们基本覆盖了微信全量优质小程序电商涵盖上亿商品 SKU，可以支持用户货比 N 家并直接下单购买，百科和资讯则是聚合了微信内的搜一搜、搜狗、百度等头部媒体，向用户展示和分享与该拍摄商品相关的资讯内容。
▲ 图1. 扫一扫识物功能示意图
百闻不如一试，欢迎大家更新 ios 新版本微信 → 扫一扫 → 识物 自行体验，也欢迎大家通过识物界面中的反馈按键向我们提交体验反馈。图 2 即为扫物实拍展示。
（视频地址点此查看）
扫一扫识物的目的是开辟一个用户直达微信内部生态内容的一个新窗口，该窗口以用户扫图片的形式作为输入，以微信生态内容中的百科、资讯、电商作为展示页提供给用户。除了用户非常熟悉的扫操作，后续我们会进一步拓展长按识图操作，将扫一扫识物打造成用户更加触手可及的运用。
扫一扫识物的落地场景如下图所示，主要涵盖 3 大部分：
•a. 科普知识：用户通过扫物体既可以获得微信生态中关于该物体相关的百科、资讯等小常识或者趣闻，帮助用户更好的了解该物体；
•b. 购物场景：同款搜索功能支持用户对于见到的喜爱商品立即检索到微信小程序电商中的同款商品，支持用户扫即购；
对于扫一扫，大家耳熟能详的应该是扫二维码、扫小程序码，扫条形码，扫翻译。无论是各种形态的码还是文本字符，都可以将其认为是一种特定编码形态的图片，而识物则是识别自然场景图片，对于扫一扫家族来说是一个质的飞跃，我们希望从识物开始，进一步拓展扫一扫对自然场景图片的理解能力，比如扫酒，扫车，扫植物，扫人脸等等服务，如下图 3 所示。
▲ 图3. 扫一扫家族
下面我们为大家重点介绍扫一扫识物的完整技术实现方案，图 4 展示的是扫一扫的整体框架示意图。
该框架主要包含 4 大部分：
•1）用户请求环节；
•2）商检离线入库环节；
•3）同款检索+资讯百科获取环节；
•4）模型训练部署环节。
扫一扫识物数据构建分为两大块，一大块是用于模型训练的训练数据建设，另一大块则是支撑用户任意商品检索请求的线上检索库构建。
模型训练数据库构建 训练数据库主要是支援模型训练，如同款检索中需要的物体检测模型，类目预测模型以及同款检索模型等，在百科资讯搜索中则需要训练商品标题文本分类模型，命名实体识别模型等。本篇文章我们重点关注视觉语义这一块的算法策略，对于百科资讯用到 NLP 算法我们在下一篇文章中详细阐述。3.3 章节中我们将阐述数据构建中用到的图片去重，检测数据库标注用到的半监督学习算法，以及检索数据构建提出的半自动同款去噪+合并算法。
▲ 图5. 训练数据构建（视觉模块）
在线检索数据库构建 在线检索数据库的覆盖范围至关重要，决定了能否支持用户的任意商品搜索请求。我们采用定向导入、长尾加爬、访问重放、主动发现四种策略不断扩展我们的商家图规模，目前已覆盖 95%+常见商品。这一数字还在不断上涨中，我们希望后续对用户的任意商品请求都能够精确召回同款商品。
无论是检测数据库还是检索数据库，第一步都是清理掉重复图片，这样既可以降低存储压力，也能够降低模型训练压力。
常用的图片去重算法有如下 2 种：
•1）MD5 去重，去除完全相同的图片；
•2）哈希去重，除完全重复图外，还能去除在原图上进行了些简单加工的图片。
如改变原图的亮度、尺度、对比度、边沿锐化、模糊、色度以及旋转角度，这些图片保留意义也不大，因为在模型训练中采用数据增强策略可以覆盖到。常用的哈希去重主要有 aHash，dHash，pHash 等，详细理解可以参阅相关文章[1，2]，我们重点对比各个去重算法的速度和鲁棒性，如下图 6 所示。
▲ 图6. 常用去重算法速度和鲁棒性对比
从图 4 展示的整体框架可知，扫一扫识物的首要步骤就是主体检测，即先定位用户感兴趣的区域，去除掉背景对后续环节的干扰。主体检测基本是大部分以图搜图产品的公认首要操作，如下图 7 所示的阿里的拍立淘，百度的拍照识图，以及微软的识花小程序。当然主体检测的算法各有差异，如拍立淘采用的是物体检测算法，百度识图采用的是显著性区域预测，微软识花需要用户配合定位。为了解放用户，我们希望算法能够自动定位商品区域，考虑到显著性区域预测很难处理多个商品出现在视野的情况，类似拍立淘，我们采用更加精确的物体检测算法来定位商品位置，并选择置信度最高的商品进行后续的商品检索以及资讯百科展示。
▲ 图7. 常用以图搜图产品的主体检测操作示意图
当然物体检测模型离不开检测数据库的支撑，这里我们对比三种标注物体 boundbox 位置和类别的方法，即人工检测标注，弱监督检测标注以及半监督学习检测标注。
人工检测标注：常用的人工检测标注工具 labelimg 如下图所示，我们需要标注爬虫的商品库中 11 类商品出现的位置以及对应的类别标签。考虑到人工标注的时间和金钱成本都非常巨大，我们只采用该策略标注少量的样本，更多的采用后续的算法进行自动检测框标注。
▲ 图8. 常用人工检测标注工具labelimg
弱监督检测标注：该算法的核心思想是标注图片中所含物体的类别相比标注框+类别的时间成本要低很多，如何只利用全图类别信息来自动推断物体的位置信息，从而完成自动检测标注呢？学术界和工业界有大量的研究者对这一方向进行了研究和探索，主要思路都是挖掘图片中的局部显著性区域，用其来表征全图的类别语义信息，如图 9 列举了几篇代表性文章。图 9 左下角算法重点阐述下，它是业内第一篇用深度学习来做弱监督检测的文章，实验室师兄研发，我们还基于该算法参加过 ImageNet14 的竞赛，拿了一个小分支的冠军。尽管愿景很美好，弱监督检测算法有个严重的缺陷，就是很容易拟合到局部区域，比如从大量猫的图片中拟合到的位置是猫脸区域，而很难定位到完整的猫的位置，这对于我们同款商品检索来说是难于接受的，我们需要精确召回同一款商品（细粒度检索），所有信息量都非常重要，因而该算法基本被我们 pass 掉了。
完成了图片去重和主体检测之后，大家一个自然的想法就是，能否直接用这批抠图后的商品图结合 SKU 货号进行检索模型的训练，答案是否定的。
抠图之后的商品图还存在两大问题：
•1）同款噪声问题，即同一个 SKU 下面存在非同款的图片，这可能是由于用户上传错误图片、商家展示的是局部细节图、检测抠图错误等因素导致；
•2）同款合并问题，不同的 SKU 可能对应的是同一个款式商品，不加以合并，会导致分类类别数目急剧膨胀，而且模型难于收敛。
因此，在训练检索模型之前，我们需要完成同款去噪和同款合并两个环节，我们提出了基于自动聚类的同款去噪算法和基于混淆分类矩阵的同款合并算法，如下图 11 所示。后续我们将分别对这个算法进行解析。
▲ 图11. 同款去噪+同款合并算法示意图
Aug 16, 2023 · 发行微信小游戏 目前正在发行，但是代码审核就过不去，我也很纳闷，第一次发确实不太了解，现在搞了个代码混淆不知道行不行，微信这方面太坑了，我这代码原创的还和一个已经下架的游戏代码冲突，人间真实。
之前我有整理过一系列文章“支付功能如何测试？”，“抖音直播要如何测试”，“微信红包如何测试”，很多学生说是及时雨，帮助了他们的测试面试， 你能说说“支付功能”怎么测试么？ 你能说说“抖音直播”怎么测试…
未来的同学大家好，非常感谢大家对俄亥俄州立大学费舍尔商学院的关注。楼主是Fisher Full-Time MBA正在就读的学生，代表招生办欢迎各位！在新的申请季开始之前，楼主这里给 ... Ohio State OSU Fisher MBA 2016 信息、官方新生微信群 ChaseDream
