конспирология нейронных сетей
Jun. 30th, 2016 02:14 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
akor168В настоящее время изучаю, что такое нейронные сети и текущее состояние поля.
Кстати, никто не видел каких-нибудь введений(видео или текст) именно с точки зрения математика, а не практика-компьютерщика.
Однако, вот что изумляет. Как известно, прорыв состоялся в 2012 году, когда пара аспирантов Хинтона (один из ведущих специалистов в области нейронных сетей последние 30 лет) настроили буквально на коленке сверточную нейроную сеть (идея ЛеКуна, но в одном из видео Хинтон сделал ремарку, что он сейчас недоволен, что все ломанулись именно в сверточные сети, хотя не пояснил почему) и выиграли конкурс по распознаванию картинок, уменьшив ошибку с 25% до 16%. В настоящее время ошибка уменьшились до 3.5%, что лучше, чем распознает человек с базой 4.5%.
Так вот нейронные сети сейчас применяются в каждом утюге, но что интересно, когда начинаешь знакомиться, с деталями, оказывается что все концептуальные идеи были предложены еще в 60-х, а все технические вещи по сути проделаны в 80-х. Но почему-то понадобилось еще 30 лет...
Вот например, идея представления слов (словосочетаний, предложений) языка как векторов и близкие по значению слова должны соответствовать близким расстояниям между векторами, тоже идет из 60-х.
Реально куда не плюнь, люди используют уже накопленную базу идей и разработок 30-50 летней давности. Возникает, вопрос а почему? Ведь получается это гигантский факап. То есть, все что появляется сейчас, могло появится 30(50) лет назад.
Вы скажете - а как же компьютерные мощности и размеченные данные. Так вот - не покупаю я этот аргумент. Сплошь и рядом оказывается, что текущие нейронные сети преспокойно тренируются на базах всего в несколько тысяч или десятков тысяч образцов, причем занимает это несколько дней современной видеокарты. Да, 30 лет назад такого не было на каждом столе. Но простите, а как же военные и государственные компьютеры. Когда говорят, что сегодняшний процессор в смартфоне эквивалентен суперкомпьютеру Крей в 1985-м я делаю вывод что на этом суперкомпьютере или кластере нейронная сетка могла тренироваться еще 30 лет назад. Нужны миллионы изображений? Во-первых, как оказывается вовсе не миллионы, во вторых, а в чем собственно проблемы при военных бюджетах современных стран. Посадить 1000 клерков размечателей и пакет в миллион размеченных фото будет готов через неделю. Вон, Байду вообще всех перехитрила, сначала введя сервис распознавания окружающего через телефон, попросту посадив 400 вьетнамцев, а потом, когда они набрали базу, заменив их нейронной сетью. 400 вьетнамцев может потянуть даже не транснациональная корпорация, а вполне средняя фирма, не говоря уже о правительственных ведомствах.
То что сейчас каждый бомж может тренировать нейронные сети транслируется, что 30 лет назад это спокойно могло делать NSA и Пентагон, и должно было делать. Но почему то не делало. И причины две: или глупость или конспирология.
Ученое сообщество же в истории выглядит великолепно - за абсолютно смешные деньги(по сути зарплаты групп Хинтона и ЛеКуна) они подарили человечеству технологии, которые уже сейчас приносят миллиарды, а в будущем будут возможно приносить триллионы. Честно, маленькое подсообщество из нескольких десятков(сотен) ученых скорее всего окупило все затраты на фундаментальную науку, сделанные в 20-м веке. Это к вопросу, а зачем она нужна, фундаментальная наука. Но на самом деле очень интересный вопрос другой - а что еще, сравнимое с нейронными сетями, пылится на полках научных библиотек? То есть сделано, но не неизвестно. И еще более интересный - сколько не было сделано, из-за "оптимизаторов работы научных бездельников".
Кстати, никто не видел каких-нибудь введений(видео или текст) именно с точки зрения математика, а не практика-компьютерщика.
Однако, вот что изумляет. Как известно, прорыв состоялся в 2012 году, когда пара аспирантов Хинтона (один из ведущих специалистов в области нейронных сетей последние 30 лет) настроили буквально на коленке сверточную нейроную сеть (идея ЛеКуна, но в одном из видео Хинтон сделал ремарку, что он сейчас недоволен, что все ломанулись именно в сверточные сети, хотя не пояснил почему) и выиграли конкурс по распознаванию картинок, уменьшив ошибку с 25% до 16%. В настоящее время ошибка уменьшились до 3.5%, что лучше, чем распознает человек с базой 4.5%.
Так вот нейронные сети сейчас применяются в каждом утюге, но что интересно, когда начинаешь знакомиться, с деталями, оказывается что все концептуальные идеи были предложены еще в 60-х, а все технические вещи по сути проделаны в 80-х. Но почему-то понадобилось еще 30 лет...
Вот например, идея представления слов (словосочетаний, предложений) языка как векторов и близкие по значению слова должны соответствовать близким расстояниям между векторами, тоже идет из 60-х.
Реально куда не плюнь, люди используют уже накопленную базу идей и разработок 30-50 летней давности. Возникает, вопрос а почему? Ведь получается это гигантский факап. То есть, все что появляется сейчас, могло появится 30(50) лет назад.
Вы скажете - а как же компьютерные мощности и размеченные данные. Так вот - не покупаю я этот аргумент. Сплошь и рядом оказывается, что текущие нейронные сети преспокойно тренируются на базах всего в несколько тысяч или десятков тысяч образцов, причем занимает это несколько дней современной видеокарты. Да, 30 лет назад такого не было на каждом столе. Но простите, а как же военные и государственные компьютеры. Когда говорят, что сегодняшний процессор в смартфоне эквивалентен суперкомпьютеру Крей в 1985-м я делаю вывод что на этом суперкомпьютере или кластере нейронная сетка могла тренироваться еще 30 лет назад. Нужны миллионы изображений? Во-первых, как оказывается вовсе не миллионы, во вторых, а в чем собственно проблемы при военных бюджетах современных стран. Посадить 1000 клерков размечателей и пакет в миллион размеченных фото будет готов через неделю. Вон, Байду вообще всех перехитрила, сначала введя сервис распознавания окружающего через телефон, попросту посадив 400 вьетнамцев, а потом, когда они набрали базу, заменив их нейронной сетью. 400 вьетнамцев может потянуть даже не транснациональная корпорация, а вполне средняя фирма, не говоря уже о правительственных ведомствах.
То что сейчас каждый бомж может тренировать нейронные сети транслируется, что 30 лет назад это спокойно могло делать NSA и Пентагон, и должно было делать. Но почему то не делало. И причины две: или глупость или конспирология.
Ученое сообщество же в истории выглядит великолепно - за абсолютно смешные деньги(по сути зарплаты групп Хинтона и ЛеКуна) они подарили человечеству технологии, которые уже сейчас приносят миллиарды, а в будущем будут возможно приносить триллионы. Честно, маленькое подсообщество из нескольких десятков(сотен) ученых скорее всего окупило все затраты на фундаментальную науку, сделанные в 20-м веке. Это к вопросу, а зачем она нужна, фундаментальная наука. Но на самом деле очень интересный вопрос другой - а что еще, сравнимое с нейронными сетями, пылится на полках научных библиотек? То есть сделано, но не неизвестно. И еще более интересный - сколько не было сделано, из-за "оптимизаторов работы научных бездельников".
