UDA的并行算力下,对局部图像特徵的捕捉会表现出非同寻常的优越性,但他没想到,实际错误率比他预估中还低。
此时李教授拿着话筒上台了。
东京大学团队的人立刻大声问道:「李教授,请问漆昊团队是否将训练集和测试集搞错了?」
面对东京大学代表队不服气的质疑,原本有些嘈杂的主报告厅再次安静了下去,大家都在期待李教授这位ImageNet:挑战赛发起人会怎麽说。
台上李教授,拿起话筒直接解释了起来:「我非常理解东京大学团队,以及在座诸位此时此刻所感受到的震撼和难以置信,但从I mageNet挑战赛的工程逻辑和规则设计来看,你们所质疑的混淆数据集的情况,在物理层面上是绝对不可能发生的。」
「众所周知,为了确保比赛的绝对公平,ImageNet将整个数据集严格划分为三个完全独立的部分。」
「第一部分是包含120万张图片和完整标注的训练集,用於给各大团队进行模型训练,第二部分是包含5万张图片的验证集,用於大家在本地调参数,而真正决定结果,用於计算最终成绩的,是包含10万张图片的测试集。」
「简单说一下区别,拿训练集和验证集来说,它们就像是学校发给你们用来复习和模拟考的课後习题和参考答案,不管题面如何,大家手里都有一清二楚的正确答案。」
李教授考虑到现场有很多非专业的观众,尽量找了一个简单的例子:「那10万张测试集的图片,就像是期末考试中的期末考卷。」
「所以大家应该知道了,这10万张期末考卷只有题目,根本没有参考答案,标准答案自始至终都被锁在史丹福大学的离岸评测伺服器里,在这个世界上,除了我们核心评估小组的研究员,没有任何一个参赛团队能够接触到其中一个字节。」
「QIet团队和在座的诸位一样,手里只有那10万张没有任何标注的图,他们必须让自己的模型去预测这些图片里装的到底是什麽,然後将生成的纯文本预测报告上传至我们的伺服器,由我们的系统在後台进行全自动的双盲比对。」
「因此,除非漆昊团队黑进了斯坦福的网络,盗取了这10万张测试集的标准答案去教他们的神经网络做题,否则,根本没有可能把训练集和测试集搞混,更不可能在闭环中进行作弊。」
李教授话音一落,主报告厅里那点不服气的嗡嗡声,顿时小了许多。
东京大学领队本想再争辩两句,可如果他再质疑数据集污染,无疑是在暗示李教授团队有问题,李教授作为这个领域的佼佼者,他肯定不想得罪。
「我知道,仅仅是规则的严密,依然无法平息大家对QInet团队成绩的疑惑。」
「ImageNet挑战赛本意是想成为促进学术交流的平台,所以下面我们进入现场答辩环节。」
「下面有请QInet团队负责人漆昊,上台!」
现场观众大多数都是为了漆昊来的,现在漆昊上了台,他们非常给面子的给了他最大的掌声。
随後佩罗宁迫不及待开口了:「李教授,请问我可以提问吗?」
李教授说:「现场答辩期间你们可以问问题。」
佩罗宁接过工作人员递过来的话筒,说:「李教授,我们当然相信测试集的公平性,但成绩归成绩,科学是要讲方法论的。」
「我想请问QInet团队,你们如何将错误率降低到15%的?如果连方法都说不清楚,恕我直言,这个结果很难让人信服。」
漆昊拿起话筒就说了起来:「各位好,我是漆昊。」
「我理解各位目前的质疑,事实上,如果易地而处,看到有人把imageneti
-->>(第2/5页)(本章未完,请点击下一页继续阅读)