竞赛官网
CodaLab - Competitionhttps://codalab.lisn.upsaclay.fr/competitions/12239
背景介绍
腹部器官是相当常见的患癌部位,例如结直肠癌和胰腺癌,分别位列癌症死亡率排名的第二位和第三位。Computed tomography (CT) 成像可以为医生提供重要的诊断信息,在临床腹部疾病诊疗中被广泛使用。为了精准地做出诊断,临床实践中需要通过图像分割来明确病灶及其与周围器官的关系。手工分割非常耗时耗力,而且有较大的组内和组间差异性。AI的发展有望将这个过程变得自动化,大幅降低医生手工分割的负担。FLARE23竞赛旨在促进腹部CT器官和肿瘤通用分割方法的发展,它是FLARE21和FLARE22竞赛的延伸。FLARE21的任务是在全监督环境下分割4个腹部器官,FLARE22的任务是在半监督环境下分割13个腹部器官。FLARE23中,新添加了泛癌分割任务,同时将训练数据进一步扩充到了4000个3D病例!与现有的其他腹部病变分割任务不同,FLARE23的数据涵盖了多种腹部癌症类型(如肝癌、肾癌、胃癌、胰腺癌、结肠癌)。分割算法需要分割13个腹部器官和所有可从CT中观察到的病变,如下图所示:
数据介绍
作为首个关注腹部CT泛癌分割的竞赛,我们提供了目前国际上最大的腹部CT数据集,包含了来自30多个医学中心的4000例CT数据,数据划分如下:
- 训练集:2200例部分标注的CT病例,1800例未标注的CT病例;
- 验证集:100例不同癌种的CT病例;
- 测试集:400例不同癌种的CT病例。
Remark:FLARE22的比赛证明,利用好无标注数据能大幅提升方法的泛化能力!强烈推荐阅读FLARE22获胜队伍的文章:Awards - Grand Challenge
评测指标
1)分割精度指标
- Dice Similarity Coefficient(DSC):区域重合度,得分范围在 [0, 1];
- Normalized Surface Distance(NSD):给定误差范围内的边界重合度,得分范围在 [0, 1]。
Code:GitHub - JunMa11/FLARE: Official Repository of MICCAI FLARE Challenges
2)分割性能指标
- 运行时间,单个病例的运行时间按如下公式计算,需要注意的是,若运行时间超过60秒,则该病例的DSC和NSD都会记为0;
-
GPU显存 - Time曲线下面积,数值越低表示性能越好。GPU显存有4GB的容忍值,即分割过程中显存占用4GB以内即可在GPU指标上得到满分。
参赛方式
1)获取参赛编号:证明自己会用Docker封装算法
- 为了保证在测试集上客观地评测,FLARE要求参赛者提交docker,而不是直接开放测试集给参赛者。因此,我们设置该测试来确保所有的参赛者都是会docker的。具体而言,参赛者需要基于如下playground里的数据开发任意的分割算法,用docker封装好并上传到docker hub;Home - Grand ChallengeFully supervised abdominal organ CT segmentation benchmarkhttps://abdomenct-1k-fully-supervised-learning.grand-challenge.org/
- 用docker分割测试集并录屏3~5个测试病例的预测过程,在Submit页面提交分割结果;
- 把视频、docker hub链接和排行榜(DSC>0.8)截图发送到MICCAI.FLARE@aliyun.com,主办方审核后将发放参赛编号,用这个参赛编号就可以参加正式的比赛了。
Remark 1:若已在MICCAI FLARE21竞赛中获奖,或在MICCAI FLARE22竞赛中发表LNCS文章,您可以直接参加FLARE23正赛,参赛编号为获奖证书编号或LNCS论文链接。
Remark 1:若已在MICCAI 2021-22其他基于docker提交的竞赛中获得前30%的排名,您也可以直接参加FLARE23正赛,只需将证明材料发送到MICCAI.FLARE@aliyun.com,我们会反馈参赛编号给您。
2)参加FLARE23正赛
- 在竞赛网站上注册账号并点击参赛按钮;
- 填写在线申请表并将签过名的规则同意书发送到MICCAI.FLARE@aliyun.com;
- 主办方会在2~4个工作日内审核您的邮件并发送数据链接。
奖品
- 现金(TBA,正在与赞助商沟通)
- 获奖证书
- 受邀在MICCAI期间做Oral presentation,展示自己的获奖算法
- 经同行评审后在比赛论文集中发表自己的参赛文章(LNCS,EI Index)
- 受邀一起撰写比赛总结文章,该文章将会投稿到顶刊
获胜秘诀
FLARE竞赛同时关注算法的精度和性能,根据FLARE21-22竞赛的结果,只实现精度最优或性能最优并不能获得靠前的名次。通过观察FLARE21-22获胜方案,总结出如下可能有助于获得更好名次的方法:
1)分割精度提升方面
- 预处理:灰度标准化、重采样等
- 大量的数据增广
- 先粗分割再精分割(两阶段/级联)设计
- 后处理:连通域分析去掉器官的孤立分割
- 利用好无标注数据:伪标签学习
2)分割性能提升方面
- 基于whole-volume输入
- 轻量网络模块:带瓶颈层的残差、各向异性卷积、金字塔池化等
- 通过ONNX Runtime、TensorRT等加速推理
FLARE21-22所有获奖队伍的代码都已经公开,它们的方案有很高的借鉴价值
Awards - Grand ChallengeMICCAI 2022 Fast and Low-resource semi-supervised Abdominal oRgan sEgmentation (FLARE) Challengehttps://flare22.grand-challenge.org/awards/Awards - Grand ChallengeFast and Low GPU memory Abdominal oRgan sEgmentation Challengehttps://flare.grand-challenge.org/Awards/对FLARE竞赛感兴趣但是不熟悉图像分割和Docker,别担心,我们提供了教程帮您快速上手!
CodaLab - Competitionhttps://codalab.lisn.upsaclay.fr/competitions/12239#learn_the_details-howtowin
常见问题
1. 我只对数据集感兴趣,对竞赛本身没兴趣,可以只下载数据而不提交解决方案吗?
- 谢谢您的兴趣,竞赛期间数据只对参赛者开放。playground是完全开放的,欢迎您练手。
2. 多少人可以组一个队?
- 每个队最多可以有6位成员,提交文章中的作者需要和注册时列出的成员相同。
3. 我已经参加竞赛并下载了数据集,可以中途退赛吗?
- 不可以。竞赛主办方投入了很多心力,多中心数据集尤其来之不易,希望您能尊重竞赛协议。
4. 可以使用其他数据集或者预训练模型来开发分割算法吗?
- 不可以。
5. 可以手动勾画未标注数据以扩充训练集吗?
- 不可以。
6. 验证阶段的提交会影响最终排名吗?
- 不会。
7. 进入测试阶段后,我还能调整我的docker和文章吗?
- 您可以在deadline之前进行任何调整。
本文作者:Song Gu and Jun Ma