Od umělého neuronu k ChatGPT
03-17, 15:00–16:55 (Europe/Prague), Track 1
Language: Čeština

Velké jazykové modely (Large language model, LLM) vyvolaly v posledním roce velkou bouři i mezi laickou veřejností. Jejich využití pro řešení všemožných úloh je vskutku impozantní. Na jednoduchých příkladech si ukážeme, jak funguje neuronová síť a jak se učí. Na řešení problému rozpoznávání obrázků (kde se to lépe ukazuje) si ukážeme základní koncepty a vývoj. Potom už přejdeme k jazykovým modelům. Představíme si, k čemu to vlastně bylo a je dobré, a ukážeme si několik vzorových úloh, na kterých se jazykové modely vyhodnocují, jako je například Winograd schema challenge. Vysvětlíme si zásadní průlomy, které postupně vedly od jednoduchých jazykových nástrojů k nejnovějším systémům jako ChatGPT a GPT-4 - kódování vstupu pomocí word2vec a byte pair encoding, rekurentní sítě s attention, transformers, prompt engineering, RLHF. Zmíníme si limitace současných LLM a nahlédneme do budoucnosti, jak se některé z nich možná budou řešit. Na závěr odstoupíme od čistě technického popisu a zamyslíme se nad vývojem a bezpečností AI.


Slidy k přednášce jsou dostupné na https://jenda.hrach.eu/f/gpt.pdf

K přednášce není potřeba žádná předchozí znalost strojového učení, umělé inteligence, neuronových sítí ani matematiky. Bude se hodit základní představa o programování v libovolném běžném programovacím jazyce.


The difficulty level of the lecture.

2/3

Věnuji se modernímu využití rádiových vln, konkrétně poslední dobou vyvíjím a vyrábím radary.

https://jenda.hrach.eu/