Получилось с небольшими костылями.
В докере добавил образ из докер хаба /kevinhalpin/transmission-telegram
Зарегал телеграм бота через @BotFather
Запустил бота вручную через ssh. Через gui не получилось, т.к. докер почему-то ругается на форматирование команды. Команда для запуска ниже. Что -master два раза - не ошибка, так можно добавить нескольких юзеров, которым бот будет отвечать. Заменяете звёздочки на ваши параметры и всё должно получиться
sudo docker run -d --name transmission-telegram \
kevinhalpin/transmission-telegram:latest \
-token=*** -master=*** -mast
