Skuteczność modeli językowych zmienia się tak dynamicznie, że wyniki badań bywają nieaktualne już w momencie publikacji. Na marginesie: to w gruncie rzeczy problem współczesnej technologii jako takiej.
W przypadku samych LLM-ów bardziej niepokojące od skali zmienności są obszary, w których się ona ujawnia. „Tu naprawi, tam zepsuje” – a do tego różne, czasem wręcz sprzeczne odpowiedzi różnych modeli na te same pytania.
Ostatecznie jedynym sensownym sposobem badania modeli wydaje się szeroka obserwacja trendów, a nie pojedynczych wyników.
Jako, że LLM oparty jest na prawdopodobieństwie użycia danych słów w danym kontekście, w danej kolejności, to nie różni się to aż tak bardzo od czytania podręcznika, gdzie człowiek robi to samo, tylko z naszą magiczną 'świadomością'. Tylko chat napisze jeszcze podręcznik dla naszego kontekstu. I generalnie z podręcznika też można wyczytać czasem niebezpieczne rzeczy (a raczej niebezpieczne w naszej sytuacji).
Oczywiście AI lubi halucynować, to jest najniebezpieczniejsze, bo prowadzi do faktycznie zmyślonych sposobów na choroby. I pod tym kątem póki co długo jeszcze nie zastąpi lekarzy.
Najlepiej (praktycznie w każdym wypadku, nie tylko zdrowia) zadawać to samo pytanie wielokrotnie, cały czas od nowa w nowych czatach, zanim cokolwiek na podstawie rozmowy zadecydujemy. Tylko, że to jest mniej wygodne, więc pewnie nigdy nie wejdzie w mainstream.
Tak kończąc ten wywód, to edukacja zawsze jest rozwiązaniem, podkreślanie, że chat nie jest lekarzem. Wcale nie blokowanie narzędzi. Tylko jak wyedukować ogół społeczeństwa?
No właśnie. Jak wyedukować w tym zakresie ogół społeczeństwa? Jak się upewnić, że każdy zweryfikuje informacje bądź co najmniej spróbuje ją pozyskać w inny sposób, zamiast ślepo wierzyć profesorowi LLMowi?
I czy nazywanie czata “Health” to nie jest działanie sprzeczne z tym powyżej?
Komentarz do gwiazdki :)
Skuteczność modeli językowych zmienia się tak dynamicznie, że wyniki badań bywają nieaktualne już w momencie publikacji. Na marginesie: to w gruncie rzeczy problem współczesnej technologii jako takiej.
W przypadku samych LLM-ów bardziej niepokojące od skali zmienności są obszary, w których się ona ujawnia. „Tu naprawi, tam zepsuje” – a do tego różne, czasem wręcz sprzeczne odpowiedzi różnych modeli na te same pytania.
Ostatecznie jedynym sensownym sposobem badania modeli wydaje się szeroka obserwacja trendów, a nie pojedynczych wyników.
Jako, że LLM oparty jest na prawdopodobieństwie użycia danych słów w danym kontekście, w danej kolejności, to nie różni się to aż tak bardzo od czytania podręcznika, gdzie człowiek robi to samo, tylko z naszą magiczną 'świadomością'. Tylko chat napisze jeszcze podręcznik dla naszego kontekstu. I generalnie z podręcznika też można wyczytać czasem niebezpieczne rzeczy (a raczej niebezpieczne w naszej sytuacji).
Oczywiście AI lubi halucynować, to jest najniebezpieczniejsze, bo prowadzi do faktycznie zmyślonych sposobów na choroby. I pod tym kątem póki co długo jeszcze nie zastąpi lekarzy.
Najlepiej (praktycznie w każdym wypadku, nie tylko zdrowia) zadawać to samo pytanie wielokrotnie, cały czas od nowa w nowych czatach, zanim cokolwiek na podstawie rozmowy zadecydujemy. Tylko, że to jest mniej wygodne, więc pewnie nigdy nie wejdzie w mainstream.
Tak kończąc ten wywód, to edukacja zawsze jest rozwiązaniem, podkreślanie, że chat nie jest lekarzem. Wcale nie blokowanie narzędzi. Tylko jak wyedukować ogół społeczeństwa?
No właśnie. Jak wyedukować w tym zakresie ogół społeczeństwa? Jak się upewnić, że każdy zweryfikuje informacje bądź co najmniej spróbuje ją pozyskać w inny sposób, zamiast ślepo wierzyć profesorowi LLMowi?
I czy nazywanie czata “Health” to nie jest działanie sprzeczne z tym powyżej?