Шлюз доступа к нейросетям по токенам: асинхронный бэкенд на FastAPI, ответы моделей приходят потоком, баланс пополняется криптой.
Доступ к сильным моделям упирается в подписку и зарубежную карту. Нужен был сервис, где можно платить за фактическое потребление, а не за месяц вперёд, и без банковской карты другой страны.
Второе требование — отклик. Пользователь не должен смотреть на пустой экран, пока модель думает: ответ обязан появляться по мере генерации, как в оригинальных интерфейсах.
Баланс считается в токенах и списывается по факту запроса. Видно, сколько стоил каждый диалог, — без абонентской платы за простой.
Стриминг через SSE: текст появляется по мере генерации, а не выпадает целиком через полминуты. Ожидание перестаёт ощущаться зависанием.
Автоматическое зачисление на баланс без ручной сверки платежей и без привязки карты.
FastAPI и asyncio: соединения к моделям держатся долго, и синхронный сервер на них просто встал бы. Асинхронная схема позволяет одному процессу вести десятки открытых стримов одновременно.
Поток от модели не буферизуется на сервере, а пробрасывается клиенту как есть. Любое промежуточное накопление свело бы на нет весь смысл: пользователь снова ждал бы ответ целиком.
Доступ к сильным моделям без подписки и зарубежной карты: платишь за токены, ответ идёт потоком.