RMBG 2.0 обучали на датасете, включающем в себя снимки с фотостоков, рекламные плакаты, кадры из игр и другие изображения. Всего в набор данных вошли более 15 тыс. снимков, каждый из которых промаркировали вручную. Важно отметить, что все данные в датасете лицензированные, поэтому RMBG можно использовать в коммерческих проектах.

За основу авторы проекта взяли архитектуру нейросети BiRefNet, но улучшили метод обучения и использовали собственный датасет. Это позволило добиться результата лучше, чем у оригинальной модели.

Нейросеть RMBG опубликовали на площадке Hugging Face. Есть версии для PyTorch и Safetensors. В тестовом пространстве разработчики развернули бесплатное демо. Для некоммерческого использования RMBG доступна по лицензии Creative Commons. 

Пример кода для запуска:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")