虽然在线服务机构采用了越来越多的保障措施来识别和标记虐待儿童的图像，但这些系统并不是万无一失的，它们可能会对被错误指控的人产生毁灭性的影响。一位父亲的情况就是如此，他的Google账户在该公司错误地将他刚学会走路的儿子的腹股沟的医疗图像标记为儿童色情后仍被关闭。

根据《纽约时报》的报道，这位名叫Mark的父亲在去年2月跟医生进行视频预约之前在一名护士的建议下拍摄了这些照片。Mark的妻子用丈夫的Android手机拍下了男孩肿胀的生殖器部位的照片并将这些照片发到她的iPhone上以便上传到医疗机构的消息系统。医生开出了抗生素，但这还不是结束。

似乎这些图片被自动备份到Google照片，此时该公司的人工智能(AI)工具和微软的PhotoDNA将它们标记为儿童性虐待材料(CSAM)。Mark两天后收到通知并被告知他的Google账户--包括Gmail和Google Fi电话服务--已经被锁定，原因是存在有害内容，这严重违反了Google的政策并可能是非法的。

作为一名曾经从事过类似识别问题内容的AI工具的前软件工程师，Mark认为一旦有人类内容管理员审查这些照片一切都会被清除。但他却在12月因为“剥削儿童的视频”被旧金山警察局调查。他被清除了任何罪行，但Google仍没有恢复他的账户并称它坚持自己的决定。

Google发言人Christa Muldoon表示：”我们遵循美国法律来定义什么是CSAM，并使用哈希匹配技术和AI的组合来识别它并从我们的平台上删除它。”

Google儿童安全业务主管Claire Lilley表示，审查人员没有在Mark的照片中发现皮疹或红肿。审查CSAM的Google工作人员接受过儿科医生的培训以寻找皮疹等问题，但在这些情况下不会咨询医学专家。

Lilley还补充称，对Mark账户的进一步审查发现，六个月前的一段视频显示，一个孩子和一个没有穿衣服的女人躺在床上。Mark则称自己不记得这段视频也没有机会接触到它。

“我可以想象。一天早上，我们醒来了。这是一个美丽的日子，我和我的妻子和儿子在一起，我想记录这一刻。如果我们穿着睡衣睡觉就好了，这一切就可以避免了，”Mark说道。

这一事件凸显了跟儿童性虐待图像自动检测系统有关的问题。去年，苹果计划在照片上传到云端之前在其设备上扫描CSAM，这遭到了隐私倡导者的强烈反对。它最终将该功能无限期搁置。然而家庭共享计划中的儿童账户也有类似的可选功能。