damo-radar README

The project's README from github.com/alibaba-damo-academy/damo-radar. As one markdown file: README.md.

RADAR: An Expert-Level Generalist AI for Abdominal CT Diagnosis

Paper GitHub Zenodo Hugging Face ModelScope License

RADAR is a generalist vision-language model trained on over 400,000 contrast-enhanced abdominal CT examinations with 15 million anatomy-aware image–text pairs, learning directly from clinical reports without manual annotation. RADAR provides a scalable and versatile framework for radiology AI, demonstrating expert-level performance across both routine and complex clinical tasks.

RADAR Overview

Setup

Create a conda environment and install the required dependencies:

conda create -n radar python=3.10
conda activate radar
pip install -r requirements.txt

Model & Data

cd download_scripts
# Download model checkpoints and support files into ckpt/
python download_checkpoints.py
# Download auxiliary data (processed masks)
python download_auxiliary_data.py

Zenodo

Code can also be archived on Zenodo.

Documentation

For detailed instructions, please refer to the following guides:

Guide Description
Training Train RADAR/RADAR+ from scratch or fine-tune on MERLIN data; inference and evaluation are also included.
Inference 1. An inference demo with a radar pre-trained checkpoint on RAD-CT, and 2. Inference and evaluation of radar performance on the external MERLIN test set.
Preprocess Image/mask and radiology report preprocessing code, which can be used to process the MERLIN data or your own custom data.

Acknowledgements

This project is built upon the following open-source projects:

License

This project is released under the CC BY-NC-SA 4.0.

Portions of the code are derived from third-party open-source projects that are distributed under their own licenses (see the Acknowledgements above). Their original license texts are retained in THIRD_PARTY_LICENSES.md.

The Radar model is currently intended for research purposes only. Further improvements and prospective clinical studies are still required before it can be used directly for clinical deployment.

Citation

If you find RADAR useful in your research, please cite our paper:

@article{damo-radar-2026,
    author = {Qi Zhang and Jianpeng Zhang and Weiwei Cao and Zilin Lu and Wanxing Chang and Haonan Ding and Cao Chen and Zhi Li and Xing Xue and Sinuo Wang and Shaoteng Zhang and Yutong Xie and Yong Xia and Qi Wu and Zhongyi Shui and Xi Li and Zhilin Zheng and Yanjie Zhou and Tony C.W. Mok and Yingda Xia and Hongkan Wang and Xianghua Ye and Tao Ma and Jie Peng and Xiaoguang Wang and Jian Ding and Yuming Gao and Huazhen Ye and Yiping Liu and Dongjie Chen and Zhaomin Ni and Jianwen Ning and Wei Zhang and Jian Liu and Chaohui Yu and Shenghong Ju and Jianfeng Zhang and Wenbo Xiao and Ling Zhang and Tingbo Liang },
    title = {An expert-level generalist AI for abdominal CT diagnosis},
    journal = {Science},
    volume = {393},
    number = {6817},
    pages = {eaec6129},
    year = {2026},
    doi = {10.1126/science.aec6129},
    URL = {https://www.science.org/doi/abs/10.1126/science.aec6129}
}

damo-radar (alibaba-damo-academy/damo-radar)

Searching Database…

206 ·GitHub
Damo-radar
Что это?RADAR — универсальная визуально-языковая ИИ-модель для диагностики по КТ брюшной полости, обученная на более чем 400 000 контрастных КТ-исследований живота с 15 миллионами пар изображение-текст, учитывающих анатомию и полученных непосредственно из клинических отчётов.
Это готовый диагностический инструмент или исследовательская модель, которую нужно обучать/дообучать?Это исследовательская предобученная визуально-языковая модель с кодом для обучения, дообучения и инференса; предобученные чекпоинты размещены на HuggingFace и ModelScope.
Как его запустить?Создайте окружение conda и установите нужные зависимости, затем скачайте предобученные чекпоинты и вспомогательные файлы с HuggingFace (вспомогательные скрипты есть в downloadscripts/), после чего следуйте руководствам Training/Inference/Preprocess.
От каких данных и инструментов он зависит?Нужно окружение conda с PyTorch/CUDA, а также предобученные чекпоинты и демо-файлы NIfTI с HuggingFace; код построен на LAVIS, nnU-Net, MONAI и 3D-ResNets-PyTorch.
Можно ли использовать это для реальной клинической диагностики?Нет, авторы прямо заявляют, что это только для исследований и не готово к клиническому внедрению до дальнейшей валидации.
Допускает ли лицензия коммерческое использование?Нет, он выпущен под CC BY-NC-SA 4.0 — некоммерческой лицензией с условием распространения на тех же условиях (share-alike); сторонние компоненты в комплекте сохраняют свои собственные лицензии.
На каких тестовых данных можно его оценить?В документации есть руководства по инференсу и оценке на наборе данных RAD-CT с использованием предобученного чекпоинта, а также по оценке на внешнем тестовом наборе MERLIN.
Можно ли обучать на своих КТ-снимках?Да, руководство Preprocess описывает предобработку изображений/масок и радиологических отчётов, так что вы можете обработать данные MERLIN или собственные данные для обучения.
Чем RADAR отличается от типичной модели-классификатора?Он обучается сквозным образом на сырых клинических радиологических отчётах без ручной разметки, усваивая учитывающее анатомию выравнивание изображение-текст на 15 миллионах пар, вместо опоры на категории, размеченные вручную.
What are similar projects?LongCat-Next, Qwen-Drive-1.0, ZDTaichu5.0-9B, OraRL, sam2, pointdit, EasyWAM, vegaml
Which topics is it in?vision-language-models, medical-imaging, multimodal-ai, healthcare, vision, foundation-models, vision-language-model, pretrained-models, fine-tuning, multimodal, academic-research, transformer
Creator
alibaba-damo-academy
Size
511 MB
Stars
206
Updated
CommitSep 22
Age
3mo
Commits · 90 Days