Najważniejsze
- •OpenAI ma rozwijać narzędzia dla ochrony zdrowia o agentów komputerowych, ulepszone wyszukiwanie kliniczne i ponad 20 integracji medycznych.
- •Agenci komputerowi mogą odczytywać ekrany, klikać, wpisywać dane i przenosić informacje między aplikacjami, ale powinni działać z ograniczeniami dostępu i nadzorem człowieka.
- •Dostępne wyniki testów dotyczą głównie zadań kontrolowanych, ocen ekspertów i symulowanych portali, a nie poprawy wyników leczenia pacjentów.
- •Deklaracje dotyczące wdrożeń u CVS Health oraz innych partnerów nie zostały niezależnie potwierdzone i nie zawierają wystarczających danych o błędach ani skali produkcyjnego użycia.
- •Przed oceną bezpieczeństwa rozwiązania potrzebne są informacje o retencji danych, logach audytowych, odpowiedzialności, kontroli dostępu i umowach BAA.
Według trzech materiałów wtórnych OpenAI miała 16 listopada zapowiedzieć rozszerzenie narzędzi dla ochrony zdrowia o agentów obsługujących interfejsy komputerowe, ulepszone wyszukiwanie kliniczne oraz ponad 20 medycznych integracji. W dostarczonych materiałach brakuje jednak bezpośredniego komunikatu OpenAI, dlatego nie można niezależnie potwierdzić pełnej treści ogłoszenia ani ustalić jego roku.
Opisywani agenci mają odczytywać zawartość ekranów, klikać, wpisywać dane i przechodzić między aplikacjami. AIstify i StartupHub wymieniają także funkcje wyszukiwania klinicznego oraz ponad 20 wtyczek lub integracji medycznych. Materiały wskazują na możliwość ograniczania agentowi dostępu do określonych aplikacji, prowadzenia logów audytowych oraz wymagania zatwierdzenia przez człowieka w przypadku wybranych działań.
AIstify i StartupHub przypisują modelom GPT-6 Astra i GPT-6 Luna wyniki uzyskane w testach bezpieczeństwa i zadaniach administracyjnych. Astra miał uzyskać 99 proc. ocen bezpieczeństwa w 325 zadaniach, 93 proc. ocen „bardzo pomocny” lub „wyjątkowo pomocny” w 646 ocenach oraz 94,3 proc. punktów w benchmarku HealthAdminBench. Luna miała uzyskać 91,8 proc. punktów, a koszt jej działania przy maksymalnym wysiłku rozumowania miał wynosić 8,5 centa za zadanie. W klastrze nie ma jednak danych surowych, pełnego opisu metodologii ani niezależnego audytu tych wyników.
HealthAdminBench obejmował 135 zadań związanych z uzyskiwaniem uprzednich zgód, zamawianiem sprzętu medycznego i odwołaniami w symulowanych portalach administracyjnych. Wyniki oznaczały punktację przyznawaną według rubryki, a nie odsetek procesów zakończonych całkowicie poprawnie. AIstify opisało także demonstrację z wykorzystaniem syntetycznych danych pacjenta. Agent analizował dokumentację rezonansu, przygotowywał zlecenie, odpowiedź dla pacjenta oraz formularz autoryzacji ubezpieczeniowej. Przygotowane materiały miały trafiać do kontroli profesjonalisty.
StartupHub przypisał OpenAI deklarację, że rozwiązania wykorzystywane przez CVS Health usuwały zaległości w dokumentacji i realizowały czynności systemowe dotyczące dziesiątek tysięcy konsultacji dziennie. Materiał wymienił także Abridge, Ambience i Cigna Healthcare jako wczesnych użytkowników lub podmioty wdrażające te rozwiązania. Brakuje niezależnego potwierdzenia tych informacji, danych o błędach oraz jasnego rozróżnienia między pilotażem, demonstracją a produkcyjnym wykorzystaniem. Nie potwierdzono również powszechnej dostępności narzędzi określanych jako API, ChatGPT for Healthcare, ChatGPT for Clinicians, ChatGPT Work i Codex.
Agenci komputerowi różnią się od chatbotów tym, że wykonują sekwencje czynności w aplikacjach, a nie tylko generują odpowiedzi. Opisane testy dotyczyły jednak środowisk kontrolowanych lub symulowanych i nie pokazują niezawodności tych rozwiązań w realnych szpitalach ani ich wpływu na wyniki leczenia.
Dalsza ocena wymaga potwierdzenia ze strony OpenAI i wymienionych partnerów, a także danych o błędach, nadzorze człowieka, retencji danych i odpowiedzialności za działania agenta. Przy przetwarzaniu chronionych informacji zdrowotnych znaczenie będą miały także umowy BAA, kontrola dostępu i logi audytowe.
Najczęstsze pytania
Czym są agenci komputerowi w ochronie zdrowia?▼
Jakie funkcje miała zapowiedzieć OpenAI?▼
Czy agenci mogą działać całkowicie autonomicznie?▼
Co obejmowała demonstracja z danymi pacjenta?▼
Czy wyniki HealthAdminBench oznaczają odsetek bezbłędnie wykonanych procesów?▼
Czy skuteczność agentów w szpitalach została niezależnie potwierdzona?▼
Słownik pojęć
- Agent komputerowy
- System AI wykonujący działania w interfejsach aplikacji, takie jak odczytywanie ekranów, klikanie, wpisywanie danych i przechodzenie między programami.
- Wyszukiwanie kliniczne
- Funkcja pomagająca odnajdywać i analizować informacje związane z opieką nad pacjentem oraz dokumentacją medyczną.
- HealthAdminBench
- Benchmark obejmujący 135 symulowanych zadań administracyjnych, między innymi uzyskiwanie uprzednich zgód, zamawianie sprzętu i odwołania.
- Uprzednia zgoda
- Procedura uzyskania akceptacji ubezpieczyciela przed wykonaniem określonego świadczenia lub użyciem produktu medycznego.
- Syntetyczne dane pacjenta
- Dane wygenerowane lub sztucznie przygotowane do testów i demonstracji, które nie opisują rzeczywistego pacjenta.
- Log audytowy
- Chronologiczny zapis działań systemu, użytkowników lub agenta, służący do kontroli, analizy i wyjaśniania wykonanych operacji.
- BAA
- Umowa regulująca przetwarzanie chronionych informacji zdrowotnych przez podmiot działający na rzecz organizacji ochrony zdrowia.
Deklarowane wyniki testów agentów AI
| Model lub test | Wynik | Zakres i ograniczenia |
|---|---|---|
| GPT-6 Astra – oceny bezpieczeństwa | 99 proc. | 325 ocenianych zadań; brak danych surowych i niezależnego audytu |
| GPT-6 Astra – pomocność | 93 proc. | 646 ocen, w których lekarze wybrali odpowiedź „bardzo pomocny” lub „wyjątkowo pomocny” |
| GPT-6 Astra – HealthAdminBench | 94,3 proc. punktów | Punktacja według rubryki, nie odsetek całkowicie poprawnych procesów |
| GPT-6 Luna – HealthAdminBench | 91,8 proc. punktów | Wynik dotyczy symulowanych zadań administracyjnych |
| GPT-6 Luna – koszt | 8,5 centa za zadanie | Deklarowany koszt przy maksymalnym wysiłku rozumowania; brak niezależnej weryfikacji |
Chatbot a agent komputerowy w ochronie zdrowia
Chatbot
Agent komputerowy
Jak agent może obsłużyć zadanie medyczno-administracyjne
Opracowano na podstawie dostarczonych materiałów AIstify i StartupHub; demonstracja wykorzystywała syntetyczne dane pacjenta i nie dowodzi autonomicznego leczenia.

Zbigniew Jakubas o robotach, AI i zdrowiu
Zaufanie klinicystów i czynniki ludzkie w systemach wspomagania decyzji klinicznych wykorzystujących sztuczną inteligencję w opiece ostrej: badanie metod mieszanych
JMIR human factors

