参考:
https://imageomics.github.io/bioclip/
CLIP模型引入到生物领域,针对生物分类:界门纲目科属种,进行文本与图像的对比学习训练对其,可以快速对图像进行分类到可能的界门纲目科属种
在线体验:
https://huggingface.co/spaces/imageomics/bioclip-demo
预测结果:
用蚂蚁的微距图测试,结果基本也没问题
代码:
参考:https://github.com/mlfoundations/open_clip
pip install open_clip_torch
import open_clip
model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:imageomics/bioclip')
tokenizer = open_clip.get_tokenizer('hf-hub:imageomics/bioclip')