Наукова стаття Google 2017 року
Ілюстрація основних складових трансформерної моделі з цієї статті
«Увага — це все, що вам треба» (англ. Attention Is All You Need) — це наукова стаття 2017 року від Google.[1] Створена вісьмома науковцями, вона була покликана поширити механізми уваги 2014 року, запропоновані Багдановим зі співавт., на нову архітектуру глибокого навчання, відому як трансформер. Цю статтю вважають засадничим документом сучасного штучного інтелекту, оскільки трансформери стали основною архітектурою великих мовних моделей.[2][3] На той час це дослідження зосереджувалося на покращенні методик seq2seq[en] для машинного перекладу, але навіть у своїй статті автори бачили потенціал для інших завдань, як-от відповідання на питання, та для того, що зараз називають мультимодальним породжувальним ШІ.
Станом на 2024 цю статтю процитували понад 100 000 разів. Усі вісім авторів покинули Google.[4]
Примітки
- ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). Attention is All you Need (PDF). Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 30.
- ↑ Toews, Rob (3 вересня 2023). Transformers Revolutionized AI. What Will Replace Them?. Forbes (англ.). Архів оригіналу за 26 вересня 2023. Процитовано 3 грудня 2023.
- ↑ Murgia, Madhumita (23 липня 2023). Transformers: the Google scientists who pioneered an AI revolution. Financial Times (англ.). Архів оригіналу за 30 листопада 2023. Процитовано 3 грудня 2023.
- ↑ Meet the $4 Billion AI Superstars That Google Lost. Bloomberg (англ.). 13 липня 2023 — через www.bloomberg.com.
|
---|
|
Компанія |
---|
Підрозділи | |
---|
Люди | |
---|
Нерухомість | |
---|
Дизайн та типографія | |
---|
Події | |
---|
Проєкти та ініціативи | |
---|
Критика | |
---|
|
|
Розробка |
---|
Операційні системи | |
---|
Бібліотеки / Фреймворки | |
---|
Платформи | |
---|
Інструменти | |
---|
Алгоритми пошуку | |
---|
Інше | |
---|
|
|
|
---|
Розваги |
|
---|
Комунікації | |
---|
Пошук | |
---|
Навігація | |
---|
Бізнес/Фінанси | |
---|
Організація | |
---|
Інші | |
---|
|
|
Пристрої |
---|
Смартфони | |
---|
Ноутбуки та планшети | |
---|
Носимі пристрої | |
---|
Інші | |
---|
|
|
|
Курсивом позначено припинені продукти, лінії продуктів та/або сервіси · Біржове скорочення: (NASDAQ: GOOG, LSE: GGEA) · Гасло: «Вчиняй правильно» · Сайт: www.google.com |