Surgical Copilot Vyzkoušet demoDemo

Rakathon 2026 výzva 5 · Fakultní nemocnice Olomouc

Surgical Copilot

Podpůrná vrstva pro robotickou operaci nádoru ledviny. Z předoperačního CT a operačního videa skládá jeden případ, který chirurg otevře před operací, na sále i po ní.

Modelový výkon je roboticky asistovaná parciální nefrektomie (RAPN): chirurg odstraní nádor a ledvinu zachová. Copilot podporuje, nikdy nerozhoduje.

Vyzkoušet demo Co aplikace umí

Demo je jen pro přihlášené (tým a porota). Odkaz vás nejdřív pošle na přihlášení účtem Microsoft.

Schéma ledviny s nádorem na horním pólu, renální tepnou, renální žílou a dutým systémem s močovodem Nádor Ledvina Tepna Žíla Dutý systém
Schéma, ne data pacienta. Každá struktura má jednu barvu všude: ve 3D modelu, ve videu i v textu.
Problém

Chirurg vidí nádor na CT, ale v kameře robota ne

Během robotické parciální nefrektomie má chirurg ruce na konzoli a hlavu v obraze z kamery. Informace z CT, čas a průběh operace si musí držet v hlavě.

  1. 01

    Žádný vlastní 3D model

    Urolog dnes nemá interaktivní 3D model pacienta z CT, musí ho kupovat od externích firem. Podle rozhovoru se zadavatelem mu chybí nejvíc právě tohle.

  2. 02

    Teplá ischemie běží

    Po zasvorkování cév v hilu je ledvina bez krve a „každá minuta se počítá“. Čas přitom hlídá člověk, jehož ruce jsou na konzoli robota.

  3. 03

    Zpráva se skládá ručně

    Fáze, časy a operační zpráva vznikají po výkonu ze záznamu a z paměti. Video z robota existuje, ale nic ho zatím nevyhodnocuje.

Cílem není nahradit chirurga, ale vytvořit inteligentní vrstvu, která jej podpoří před operací, během ní i po jejím skončení. Zadání výzvy 5, Fakultní nemocnice Olomouc (rakathon.cz)
Řešení

Jeden případ, tři chvíle

Jedna aplikace, ve které má každý pacient svůj případ: 3D model a hodnoty z CT, video operace s výstupy modelů, časovou osu fází a návrh zprávy.

1Před operací

3D model ledviny a nádoru z CT

Chirurg si model otáčí, vypíná a zapíná struktury a dívá se na nádor z pohledu, který bude mít na sále.

  • Ledvina, nádor, cévy, dutý systém a okolní orgány z automatické segmentace
  • Pohledy „od dolního pólu“ a „poloha na boku“ (jen otočení modelu, bez deformace)
  • Míry z CT (objem a průměr nádoru, vzdálenosti, R.E.N.A.L., PADUA), každá se zdrojem a typem hodnoty
  • Aplikace řekne, které podklady k případu chybí
Schéma obrazovky před operací: 3D model ledviny, volba pohledu a lišta se strukturami Zepředu Dolní pól Bok Ledvina Nádor Tepny Žíly Dutý systém Játra
Schéma obrazovky. Skutečný model počítá z CT pipeline ct-pipeline/.
2Během operace

Video, fáze a čas na jednom místě

Záznam operace je hodiny celého případu. Podle něj se řídí časová osa, vyznačení ve videu, aktuální fáze i časovač.

  • Výstupy modelů nad videem: nástroje, tkáně, šicí gesta, s prahem pro každou vrstvu
  • Aktuální fáze s jistotou; kde si model není jistý, píše neurčeno
  • Časovač teplé ischemie: svorku model jen navrhne, spouští ji člověk tlačítkem nebo hlasem
  • Hlasový asistent Heralt („Heralte, …“ nebo mezerník) ovládá 3D, časovač a poznámky a odpovídá z dat případu se zdrojem. Sám nic nehlásí.
  • 3D model vedle videa, nebo ve druhém okně na druhém monitoru
Schéma obrazovky během operace: video s obrysem ledviny a nástroji, časová osa fází, panel s fází a časovačem teplé ischemie Ledvina Záznam 41:12 / 1:24:00 Fáze Disekce hilu 4:12 v této fázi kritická fáze Teplá ischemie 12:40 potvrzeno hlasem Heralt Odpovídá jen na dotaz, z dat případu, se zdrojem.
Schéma obrazovky. Čísla jsou ilustrační. Šrafovaný úsek na časové ose je „neurčeno“.
3Po operaci

Průběh a návrh zprávy ke schválení

Po výkonu chirurg projde časovou osu fází a událostí, doplní výsledek a dostane návrh operační zprávy složený jen ze zaznamenaných údajů.

  • Klepnutí na úsek časové osy otevře to místo ve videu
  • Výsledek (okraj, Clavien-Dindo, teplá ischemie) zadává a potvrzuje operatér
  • Trifecta podle naší definice: teplá ischemie do 25 min, negativní okraj, bez komplikací Clavien-Dindo ≥ III
  • Zprávu schvaluje operatér svým jménem, pak tisk nebo PDF
  • Registr případů se statistikami, kde u každé hodnoty je počet případů
Schéma návrhu operační zprávy na papíře se štítkem „Návrh, ke kontrole a schválení operatérem“ Operační zpráva Návrh, ke kontrole a schválení operatérem Průběh Mobilizace ledviny jistota vysoká Disekce hilu jistota střední neurčeno Excize nádoru jistota vysoká Teplá ischemie Detekováno ze záznamu, ke kontrole. Čas potvrdí operatér. Schválit
Schéma. Zpráva odchází ze sálu, proto je na papíře a v patkovém písmu.
Co dnes funguje

Poctivě, bez přikrášlování

Stav prototypu po 24 hodinách hackathonu. Na reálných datech FN Olomouc je zpracovaný jeden případ celý (CT i video), další dva jen z CT. Žádný model není klinicky validovaný.

Před operací
částečně 3D model z CT Hotový pro dva případy. Offline pipeline (TotalSegmentator, Renal-Net, registrace fází CT, vlastní cévy a dutý systém) vyrobí stránku s modelem, kterou aplikace vloží.
částečně Míry z CT Objem a průměr nádoru, vzdálenosti, R.E.N.A.L., PADUA pro tři případy. Část hodnot je aproximace a je tak označená; chybí-li vstup, hodnota je „neurčeno“.
není Přesnost segmentace Na datech FN Olomouc nejsou ruční anotace, takže Dice neznáme.
Během operace
funguje Výstupy modelů ve videu Nástroje, tkáně a šicí gesta, předpočítané offline nad záznamem. Žádný model nebyl trénovaný na RAPN, ledvinu ani nádor nepoznají.
funguje České titulky k videu Co se v záběru děje (fáze, nástroj, úkon), předpočítané vizuálním jazykovým modelem.
částečně Časová osa fází Offline z celého videa, slabě podložené úseky jsou „neurčeno“. Přesnost není změřená, chybí ruční značení fází.
funguje Časovač teplé ischemie Tlačítkem nebo hlasem; detekovanou svorku jen nabídne, potvrdí člověk. Potvrzený čas se uloží k případu.
částečně Hlasové ovládání Lokálně na notebooku (faster-whisper, česká gramatika, Piper). Na skutečném hlasu správně 15 z 30 vět; demo používá jen ověřené povely.
funguje Heralt: dotaz na případ Krátká odpověď z hodnot CT se zdrojem. Odpověď s číslem, které v datech není, nezobrazí.
Po operaci
částečně Návrh operační zprávy Jen ze záznamu (fáze, ischemie, poznámky, výsledek, CT), věty bez zdroje označí. Schvaluje operatér jménem.
funguje Registr a statistiky Výsledky, potvrzená ischemie a schválení v SQLite, s auditem změn. Statistiky uvádějí počet případů a „bez údaje“.
částečně Pohyb nástrojů Kinematiku robota nemáme. Čas nástrojů v záběru po fázích odvozujeme z detekcí ve videu, na RAPN neověřeno.
není Export do nemocničního systému FHIR R4 export je navržený, ne implementovaný.
Aplikace
funguje Desktop a offline Jeden příkaz spustí aplikaci na celou obrazovku, s 3D na druhém monitoru. Bez sítě odpovídá Heralt jen z nahraných odpovědí.
funguje Jak moc tomu věřit Stránka v aplikaci: na čem byl který model testovaný, kde selhává a jaké má licence.

Úrovně podle zadavatele

FN Olomouc hodnotí po úrovních. Kam jsme došli:

Úroveň 1

Segmentace z CT a interaktivní 3D model

Model v aplikaci je. Dice proti ruční anotaci neověřeno.

Úroveň 2

Model přiložený do videa s pomocí člověka

Neděláme. 3D a video běží vedle sebe se sdíleným výběrem struktury.

Úroveň 3

Automatická registrace a sledování

Mimo rozsah prototypu.

Bonus

Časová osa fází z videa

Offline pro celé video jednoho případu. Přesnost neověřena.

Jak to funguje

Těžké výpočty předem, na sále jen přehrávání a čas

Segmentace CT i analýza videa běží offline. Aplikace čte hotové soubory případu, takže demo nepotřebuje GPU ani síť. Hlas běží lokálně na notebooku.

Vstupy

CT s kontrastemDICOM, více fází
Video z robotazáznam operace
Hlas chirurgamikrofon na sále

Zpracování (offline, lokálně)

CT pipelinesegmentace, registrace fází, cévy a dutý systém, míry a skóre, 3D stránka
Video modelynástroje, tkáně, šicí gesta, titulky, časová osa fází
Hlasová službarozpoznání řeči, pevná česká gramatika, syntéza řeči

Aplikace

Data případuJSON podle jednoho datového kontraktu
Surgical Copilotpřed operací, během, po operaci; desktop i web
Heraltjazykový model jen přes jednu vrstvu s rozpočtem a cache
~48 minsegmentace jednoho CT (Renal-Net, GTX 1070)
41 mindetekce nad 84 min videa (RTX 4050)
Bez sítě a GPUna sále: aplikace přehrává předpočítané výsledky
CT
TotalSegmentator, Renal-Net (nnU-Net), vlastní klasifikátor nádor / cysta
Video
YOLO26 (nástroje), DINOv3 s vlastními hlavami (tkáně, šicí gesta), SAM 2.1
Hlas
faster-whisper large-v3-turbo, Silero VAD, Piper (česky)
Aplikace
React 19, Vite, TypeScript, Tailwind, three.js; Electron pro sál
Server
Python, FastAPI, Pydantic (datový kontrakt), SQLite
Jazykový model
Azure gateway s tvrdým rozpočtem, záložním modelem a cache odpovědí
Bezpečnost

Copilot podporuje, nikdy nerozhoduje

Co copilot nikdy nedělá

  • Nespustí časovač ischemie sámSvorku jen navrhne, potvrzuje člověk.
  • Nedoplní, co nevíPíše „neurčeno“, „chybí v podkladech“, „není v datech“.
  • Nic nehlásí bez vyzváníHeralt odpovídá jen na dotaz a vždy uvede zdroj.
  • Nevydá zprávu sámNávrh, výsledek zadává a zprávu schvaluje operatér.

Co říkáme dopředu

  • Vše je předpočítanéVideo i CT se analyzují předem, aplikace přehrává záznam. Nejde o zpracování v reálném čase.
  • Jeden případ end-to-endPravidla fází jsou laděná na jednom videu; validace na pacientech FN Olomouc chybí.
  • Bez deformace modeluCT je snímané vleže na zádech, operace probíhá na boku. Pohled „na boku“ je jen otočení.
  • Hlas není hotovýNa skutečném hlasu zatím polovina vět správně.
Další kroky

Kam to chceme dotáhnout

V pořadí podle přínosu pro chirurga.

  1. Validace s FN Olomouc Ruční anotace nádoru na pár řezech (Dice), R.E.N.A.L. od urologa, ručně označené fáze na jednom videu.
  2. 3D model ve videu s pomocí člověka Ruční přiložení modelu na začátek videa a hodnocení urologem (úroveň 2 zadání).
  3. Registr a nemocniční systém Statistiky napříč případy a export do nemocničního systému přes FHIR R4.
  4. Pohyb nástrojů po fázích Z detekcí ve videu, dokud nebude k dispozici kinematika robota.
Tým

Čtyři lidé, 24 hodin

Rakathon 2026, výzva 5 od Fakultní nemocnice Olomouc. Lokální kolo v Ostravě.

  • Michal Heralt

    Průběh operace a fáze z videa, Heralt a jazykové modely, české titulky.

  • Tomáš Drkoš

    Aplikace a server, video modely, registr a statistiky, desktop pro sál.

  • Adam Mikoláš

    CT pipeline a 3D model, předoperační míry a skóre, hlasová služba.

  • Adam Vrána

    Koordinace, segmentace CT, video v aplikaci, bezpečnostní audit, nasazení.

Děkujeme Fakultní nemocnici Olomouc za zadání, rozhovor a připravená data.