akor168

Задумчиво, я кажется получил свой первый бан в ЖЖ. Точнее бан прямо в процессе дискуссии(предмет скорее неважен - про спорт и допинг). Неприятно, честно скажу, и как-то совершенно пропадает желания читать и даже вникать в посты подобного юзера (но это все равно в чужой френдленте). Забавно однако, что сие произошло аж на 14-м году ведения ЖЖ.

А есть ли способ посмотреть удаленные ролики с Ютуб. То есть например несколько лет назад они точно были, но сейчас их уже нет. Могли ли они тем не менее где-то сохраниться? На самом деле это весьма актуально, поскольку вероятность удаления ролика либо самим автором, либо его акка за нарушения, удивительно велика. Практически можно дать не больше 7-8 лет любому видео, после чего оно скорее всего будет недоступно.

Возник вот следующий вопрос.

Пусть нам дано некое пространство с заданной вероятностной мерой на нем (можно просто конечной мерой - это вопрос нормировки). Я держу в уме либо интервал [0,1] с лебеговой мерой, либо конечное множество из N элементов со считающей равномерной мерой 1/N для каждого элемента. И там и там у нас много подмножеств промежуточной мер между 0 и 1. Давайте рассмотрим все подмножества меры 1/k для некоторого целого k. Сколько всего мы может набрать взаимно непересекающихся подмножеств такого вида? Ответ тривиальный - не больше k, и для тех пространств которые мы имеем ввиду - ровно k.

А теперь давайте зададим такой вопрос - сколько можно выбрать подмножеств меры 1/k с тем свойством, что в любой паре они как минимум различаются в половине. То есть мера
m(A\B) >=0.5*m(A)=0.5*m(B)=1/2k
m(B\A) >=0.5*m(B)=0.5*m(A)=1/2k
Или другими словами мера симметрической разницы любой пары не меньше чем мера самих множеств, то есть 1/k.
Так вот, вопрос такой - как много можно набрать таких множеств?

Комбинаторные соображения показывают что так как разные подмножества из 2 элементов всегда имеют симмметрическую разность не меньше 2 (ровно 2 если они пересекаются и 4 если нет). Значит, если мы разделим, например наш интервал [0,1] на 2*k непересекающихся подмножеств меры 1/2k каждая. И просто теперь возьмем всевозможные пары сочетаний С(2,2k)=2k(2k-1)/2=k(2k-1). И эти пары это и есть наши подмножества меры 1/k, которые в каждой паре различаются на 50%. То есть у нас есть оценка снизу.

Вопрос - можно ли придумать лучше?

И тот же вопрос, если мы вместо 50% допускаем пересечение на (100*p)%, 0 < p < 1. То есть требуем, что

m(A\B) >= p*m(A)=p*m(B)=p/k
m(B\A) >= p*m(B)=p*m(A)=p/k

То есть сколько можно выбрать попарно "p-несовместных" множеств(из интервала, конечного множества, общий случай)?

Update:
Замечу, что для последней задачи при p=1/m можно использовать тот же трюк разбиения на m*k равно-измеримых не-пересекающихся подмножеств, и выбрать все возможные комбинации C(m,m*k).
Для конечного(N элементов) исходного пространства число всех n-элементных подмножеств C(n,N), которые различаются хотя бы в одном, дают оценку для p=1/n. Причем уменьшать p дальше попросту не имеет смысла.

Но это все оценки снизу. Вопрос остается - насколько они оптимальны? Хотя для практических целей трюка выше должно быть достаточно (уже С(2,2*k) растет квадратично относительно k, что дает достаточно множеств-моделей).

После чтения вот этой заметки

http://arxiv.org/abs/math/0601660

подумалось следующее. Идея, что аппроксмировать функцию полиномом локально, и у нас получаются производные нужных порядков и все такое, студентам на матанализе рассказывают и показывают долго и упорно. Но вот по сути ее логичнейшнее продолжение - а что будет, если мы вместо полинома(полинома Тейлора-Маклорена) попробуем подбирать оптимальную рациональную функцию(отношение полиномов) почему то из базового курса анализа совершенно выпала. Я сам узнал про то, что это такое (это и называется аппроксимации Паде) буквально несколько лет назад. А ведь это по слухам мощнейшая штука(например аппроксимации Паде могут быть приличным и глобальным аппроксимантами, а отличие от тейлоровского полинома, и точность приближения гораздо лучше).

Но почему ее не рассказывают на матане всем? Ей же очевидно там место!

Забавно:

you can find the above proof in the essssential stability paper by Shalev-Shwartz, Shamir, Srebro and Sridharan

Вообще забавно, я всего лишь буквально несколько лет назад серьезно проникся моментом, что если мы хотим обратить матрицу размерности миллион наивным методом Гаусса, то нам нужно миллион в кубе операций, то есть квинтиллион 10^18, что делает нашу задачу по сути нереальной.
И именно поэтому алгоритм, который делает обращение матрицы размерности N за время N^3-A не просто теория, а без подобных алгоритмов работа с такими матрицами попросту невозможна. И с практической точки зрения алгоритмы, где A как можно ближе к 1, должны быть гораздо важнее для практики, чем все эти теории про P=NP.

Update: Грубо говоря, практически нужны алгоритмы вида С(N)*N^2, где с практической точки зрения С(N) ограничено несколькими тысячами на реальных данных объема N^2 (количество данных в матрице размерности N) с которыми человечество потенциально будет иметь дело.

Возникает некоторое устойчивое раздражение по поводу разговоров о сильном АИ, который изобретается сначала, потом де начинает улучшать само себя, а потом еще раз сам себя, и еще раз, и так бах, бах и во все ускоряющем режиме, и здравствуй, Сингулярность (которая строго говоря и есть описание очень быстрого появления сверх АИ).

Так вот, что можно сказать.

Во-первых, тот прогресс в АИ, начатки которого мы наблюдаем сейчас, не имеет к сильному АИ никакого отношения. Что человечество разрабатывает сейчас это слабоумных, умных и сверх-умных дебилов, которые выполняют одну из 100500 задач на уровне человека и лучше(в перспективе). Да, их будут группировать в комплексы, даже в большие комплексы, но ничего подобного сильному АИ само-зародиться в этом комплексе не сможет просто физически(если все нейроны заполнены и сформированы, то для чего-то незаложенного извне попросту нет места). Даже более того, если ставить задачу специальной попытки вырастить чего-то, имеющего, скажем, самосознание, то совершенно не ясно, почему это может получится. Заметьте - специальной попытки. Зачем делать эти попытки, если специализированные АИ все равно будут лучше в отдельных задачах, это вопрос отдельный. Будут конечно пробовать делать из любопытства, может даже что и получится. Но для этого надо будет скорее всего целенаправленно генерировать аналог эмоций и аналог боли и страданий. Такая система будет пытаться это минимизировать, но приведет ли это к появлению самосознания или это просто будет сверх-умная амеба?
Здесь стоит заметить, что для машины нет никакой разницы между смертью и сном. И то и другое это попросту режим не-функционирования. Причем если вся информация сохранена, то систему можно всегда включить. Если часть информации теряется, то это уже хитрее.

Далее, тем не менее предположим, что мы научимся создавать искусственные разумные сущности. Во-первых, откуда люди берут предположения, что это будет обязательно быстро и потом все быстрее и быстрее. Вот даже сейчас промышленную нейронную сеть тренируют месяцами, если не годами. Это реально аналог воспитания, причем для решения даже простых задач. И процесс этот затратный, причем чем больше хочешь получить, тем больше придется потратить, причем тупо времени.

И третье и самое важное - кто вам сказал, что вообще существует некий супер-интеллект? Я уже поднимал этот вопрос - откуда берется утверждение об отсутствие предела интеллекта, или что этот предел сильно сильно превышает уровень, скажем, существующих лучших представителей человеческого рода. Нет, превышает, конечно, но во вполне разумное количество раз. Точнее шкала интеллекта скорее всего логарифмическая по отношению к потраченным ресурсам. То есть нейронная сеть размером с землю возможно и будет очень "умной" (при этом может совершенно не осознавать саму себя), но относительно количества ресурсов, требуемых для ее создания, выход будет сильно скромнее, чем если разбить ее на множество под-частей копий. Это условно говоря, гипотеза о логарифмическом характере роста интеллекта. Но логарифм с практической точки зрения нашего реального конечного мира ничем не отличается от константы. Причем константы небольшой.

Собственно, последний аргумент мне кажется наиболее убедительным против Сингулярности. Логарифмическое "качественное" улучшение АИ в зависимости от размера дает вполне ясную верхнюю границу на степень умности. Подчеркну - качественное. Как раз в количественном смысле копирование нужных структур в необходимых количествах будет явно оптимальнее. Грубо говоря, нет смысла воспитывать сеть в миллиард раз больше, если она будет функционировать лишь в 9-10 раз более эффективнее. Проще наклепать миллиард отдельных акторов, как собственно развивались и развиваются биологические виды.

Экзистенциально-математический вопрос: какие известны всевозможные способы из произвольной(непрерывной, гладкой) функции получить выпуклую? Можно менять области определения и значения, вопрос понимается в самом широком смысле. Возможно стоит отдельно наложить условие, что по преобразованной функции хотелось бы как-то как можно больше узнать об оригинале (например в идеале полностью восстановить). Но для практических целей, наверное пусть глобальные экстремумы оригинальной функции можно восстановить по преобразованной выпуклой.

Понравилась статья

https://geektimes.ru/post/271614/

Насколько ясно из описания техник, это уже судя по всему давно не АИ, а скорее полигон для отработки разных алгоритмов умного перебора.

В комментах там немного и про шашки рассказали.

Update:
Там упоминается случай, когда нейронную сеть учили без правил, и она вроде достигла приличного уровня, но этот уровень гораздо слабее того, что достигают топ программы.

Однако вот непонятно, пробовал ли кто-нибудь серьезно сделать систему типа Alpha Go, где наработанная учебой "интуиция" помогает в расчете вариантов. Понятно что с практической точки зрения это уже неинтересно и не привлечет большого внимания, но как опять таки демонстрация мощи совоокупных методов может быть очень любопытно.

В настоящее время изучаю, что такое нейронные сети и текущее состояние поля.

Кстати, никто не видел каких-нибудь введений(видео или текст) именно с точки зрения математика, а не практика-компьютерщика.

Однако, вот что изумляет. Как известно, прорыв состоялся в 2012 году, когда пара аспирантов Хинтона (один из ведущих специалистов в области нейронных сетей последние 30 лет) настроили буквально на коленке сверточную нейроную сеть (идея ЛеКуна, но в одном из видео Хинтон сделал ремарку, что он сейчас недоволен, что все ломанулись именно в сверточные сети, хотя не пояснил почему) и выиграли конкурс по распознаванию картинок, уменьшив ошибку с 25% до 16%. В настоящее время ошибка уменьшились до 3.5%, что лучше, чем распознает человек с базой 4.5%.

Так вот нейронные сети сейчас применяются в каждом утюге, но что интересно, когда начинаешь знакомиться, с деталями, оказывается что все концептуальные идеи были предложены еще в 60-х, а все технические вещи по сути проделаны в 80-х. Но почему-то понадобилось еще 30 лет...

Вот например, идея представления слов (словосочетаний, предложений) языка как векторов и близкие по значению слова должны соответствовать близким расстояниям между векторами, тоже идет из 60-х.

Реально куда не плюнь, люди используют уже накопленную базу идей и разработок 30-50 летней давности. Возникает, вопрос а почему? Ведь получается это гигантский факап. То есть, все что появляется сейчас, могло появится 30(50) лет назад.

Вы скажете - а как же компьютерные мощности и размеченные данные. Так вот - не покупаю я этот аргумент. Сплошь и рядом оказывается, что текущие нейронные сети преспокойно тренируются на базах всего в несколько тысяч или десятков тысяч образцов, причем занимает это несколько дней современной видеокарты. Да, 30 лет назад такого не было на каждом столе. Но простите, а как же военные и государственные компьютеры. Когда говорят, что сегодняшний процессор в смартфоне эквивалентен суперкомпьютеру Крей в 1985-м я делаю вывод что на этом суперкомпьютере или кластере нейронная сетка могла тренироваться еще 30 лет назад. Нужны миллионы изображений? Во-первых, как оказывается вовсе не миллионы, во вторых, а в чем собственно проблемы при военных бюджетах современных стран. Посадить 1000 клерков размечателей и пакет в миллион размеченных фото будет готов через неделю. Вон, Байду вообще всех перехитрила, сначала введя сервис распознавания окружающего через телефон, попросту посадив 400 вьетнамцев, а потом, когда они набрали базу, заменив их нейронной сетью. 400 вьетнамцев может потянуть даже не транснациональная корпорация, а вполне средняя фирма, не говоря уже о правительственных ведомствах.

То что сейчас каждый бомж может тренировать нейронные сети транслируется, что 30 лет назад это спокойно могло делать NSA и Пентагон, и должно было делать. Но почему то не делало. И причины две: или глупость или конспирология.

Ученое сообщество же в истории выглядит великолепно - за абсолютно смешные деньги(по сути зарплаты групп Хинтона и ЛеКуна) они подарили человечеству технологии, которые уже сейчас приносят миллиарды, а в будущем будут возможно приносить триллионы. Честно, маленькое подсообщество из нескольких десятков(сотен) ученых скорее всего окупило все затраты на фундаментальную науку, сделанные в 20-м веке. Это к вопросу, а зачем она нужна, фундаментальная наука. Но на самом деле очень интересный вопрос другой - а что еще, сравнимое с нейронными сетями, пылится на полках научных библиотек? То есть сделано, но не неизвестно. И еще более интересный - сколько не было сделано, из-за "оптимизаторов работы научных бездельников".