Система уравнений

[granit201z]

Здравствуйте! Есть следующая система уравнений:

$E\cdot A\cdot\sin c_i\cdot\sin a_i + G\cdot B\cdot\sin c_i\cdot\sin b_i = X\cdot k_i$

$E\cdot C\cdot\sin c_i\cdot\sin a_i + G\cdot D\cdot\sin c_i\cdot\sin b_i = Y\cdot l_i$

$F\cdot A\cdot\sin d_i\cdot\sin a_i + H\cdot B\cdot\sin d_i\cdot\sin b_i = X\cdot m_i$

$F\cdot C\cdot\sin d_i\cdot\sin a_i + H\cdot D\cdot\sin d_i\cdot\sin b_i = Y\cdot n_i$

Неизвестные тут все, кроме $k_i , l_i , m_i , n_i$

Самих четверок уравнений предполагается столько, пока система не станет определенной Но я даже не знаю: в состоянии с одним $i$ - не является ли она уже переопределенной, Потому что в ней слишком много внутренних зависимостей.
Например, как мне кажется (интуитивно), просто из одного вида этой системы вытекает, что $\sin a_i = \sin b_i$ и это минус одна переменная в каждой $i$-той четверке уравнений
Также (опять же мне это только кажется) из этой системы можно вычленить систему:

$E\cdot A + G\cdot B = X$

$E\cdot C + G\cdot D = Y$

$F\cdot A + H\cdot B = X$

$F\cdot C + H\cdot D = Y$

И тогда останется:

$\sin c_i\cdot\sin a_i = \sin c_i\cdot\sin b_i = k_i$

$\sin c_i\cdot\sin a_i = \sin c_i\cdot\sin b_i = l_i$

$\sin d_i\cdot\sin a_i = \sin d_i\cdot\sin b_i = m_i$

$\sin d_i\cdot\sin a_i = \sin d_i\cdot\sin b_i = n_i$

Оказывает ли она вообще какое-либо влияние на оставшееся, и, вообще, можно ли так вычленить систему - мне не ясно

[svv]

К сожалению, кажется неправильно. У вас $4n$ уравнений и $4n+10$ неизвестных, где $n$ — число четвёрок уравнений. К произвольному решению системы можно применить много разных преобразований, результат которых тоже будет решением. Например, умножить одновременно $A, B, X$ на одно и то же число.

[arseniiv]

Можно уменьшить число неизвестных [хм, ну не уменьшить, а даже увеличить, но какая-то структура выделится, что ли], заметив, что пара переменных, входящая через синусы, определяется тем из множителей $E, F, G, H$, с которым вместе она входит в одно слагаемое. Тогда определим

$$E'_i = E\sin c_i\sin a_i, \;\ldots,\; H'_i = H\sin d_i\sin b_i$$

и получим вдобавок к этим уравнениям чуть более упрощённые первые:

$$AE'_i + BG'_i = Xk_i, \;\ldots,\; CF'_i + DH'_i = Yn_i.$$

Квадратично-линейные, уже без синусов. Но непонятно, что с этим делать, тем более при том, что уже заметил svv.

granit201z в сообщении #1390990 писал(а):

Например, как мне кажется (интуитивно), просто из одного вида этой системы вытекает, что $\sin a_i = \sin b_i$

granit201z в сообщении #1390990 писал(а):

Также (опять же мне это только кажется) из этой системы можно вычленить систему: <…>

Просто кажется без всяких более точных предположений? Тогда странно: мне вот не видно, почему могло бы вообще казаться.

Кстати, откуда система взялась? Можно было в каком-то смысле усложнить, упрощая. Возможно, например, что исходный контекст как раз и даёт вам те предположения, которые из текущего вида сделать нельзя.

Сам вид системы намекает, что она могла выйти, например, из каких-то синусов сумм чего-то или, к примеру, что там могли бы быть полезны косинусы вместо некоторых синусов, а то и мнимые экспоненты, чем Великий Рандом не шутит.

[svv]

Из чисто эстетических соображений решил переписать Вашу систему в матричном виде. Это никак не поможет её решить, разве что увидеть, что неизвестных слишком много
$\begin{bmatrix}\sin c_i&0\\0&\sin d_i\end{bmatrix}\begin{bmatrix}E&G\\F&H\end{bmatrix}\begin{bmatrix}\sin a_i&0\\0&\sin b_i\end{bmatrix}\begin{bmatrix}A&C\\B&D\end{bmatrix}=\begin{bmatrix}k_i&\ell_i\\m_i&n_i\end{bmatrix}\begin{bmatrix}X&0\\0&Y\end{bmatrix}$

[granit201z]

arseniiv в сообщении #1391000 писал(а):

Можно уменьшить число неизвестных [хм, ну не уменьшить, а даже увеличить, но какая-то структура выделится, что ли], заметив, что пара переменных, входящая через синусы, определяется тем из множителей $E, F, G, H$, с которым вместе она входит в одно слагаемое. Тогда определим

$$E'_i = E\sin c_i\sin a_i, \;\ldots,\; H'_i = H\sin d_i\sin b_i$$

и получим вдобавок к этим уравнениям чуть более упрощённые первые:

$$AE'_i + BG'_i = Xk_i, \;\ldots,\; CF'_i + DH'_i = Yn_i.$$

Квадратично-линейные, уже без синусов.

Ну на самом деле она почти такой и была изначально. По смыслу задачи там:
$A_i = A\cdot\sin a_i$

$B_i = B\cdot\sin b_i$

$C_i = C\cdot\sin a_i$

$D_i = D\cdot\sin b_i$

$E_i = E\cdot\sin c_i$

$F_i = F\cdot\sin d_i$

$G_i = G\cdot\sin c_i$

$H_i = H\cdot\sin d_i$

-- 04.05.2019, 19:30 --

arseniiv в сообщении #1391000 писал(а):

Просто кажется без всяких более точных предположений?

Ну как раз по той причине кажется, о которой сказал svv:

То есть, если взять к примеру уравнение:

$E\cdot A + G\cdot B = X$

то при тех же $E, A, G, B, X$, уравнение:

$E\cdot A\cdot\sin c_i\cdot\sin a_i + G\cdot B\cdot\sin c_i\cdot\sin b_i = X\cdot k_i$

будет эквивалентным первому только в случае, если:

$\sin c_i\cdot\sin a_i = \sin c_i\cdot\sin b_i = k_i$

Разве нет?

-- 04.05.2019, 19:50 --

arseniiv в сообщении #1391000 писал(а):

Кстати, откуда система взялась? Можно было в каком-то смысле усложнить, упрощая.

Это вытекло из моей попытки линеаризовать (хотя, наверное, это слово не совсем подходит) и аналитически решить многослойный персептрон.
Т.е. к линейной системе уравнений то я его свел. С помощью них я, вроде как, могу получить числовые значения $k_i, l_i, m_i, n_i$
И вот дальше мне уже нужно определиться с весами, которые в одном частном случае представляют из себя $A, B, C, D, E, F, G, H$. А для этого мне и нужно решить бы эту систему. Но с ней у меня какой-то затык.

[svv]

Тут, во-первых, непонятно, откуда Вы взяли уравнение $EA+GB=X$. Вы говорите, что вычленили его из системы, но в действительности оно не вычленяется.
Во-вторых, даже если верны оба уравнения:
$\begin{cases}EA+GB=X\\EA\sin c_i\sin a_i+GB\sin c_i\sin b_i=X k_i\;,\end{cases}$
всё равно отсюда не следует, что $\sin c_i\sin a_i=\sin c_i\sin b_i=k_i$. Легко придумать контрпример:
$\begin{array}{l}E=1, A=2\\[0.4ex]G=1, B=3\\[0.4ex]X=5\\[0.4ex]\sin c_i=0.5\\[0.4ex]\sin a_i=0.2\\[0.4ex]\sin b_i=0.4\\[0.4ex]k_i=0.16\end{array}$

В общем, непонятно: почему Вы думаете, что должны быть ещё какие-то зависимости между неизвестными?

[arseniiv]

granit201z в сообщении #1391011 писал(а):

Это вытекло из моей попытки линеаризовать (хотя, наверное, это слово не совсем подходит) и аналитически решить многослойный персептрон.

Спасибо. А с какой ограничительной функцией (забыл как это по-нормальному называется, в общем clamping) у вас вышли синусы? Странненько. Плюс её лучше не фиксировать, а оставить неизвестной, если хочется, чтобы результаты были применимы к более широкому классу сетей.

-- Сб май 04, 2019 22:25:04 --

Плюс подозреваю, что аналитические штуки были сделаны с этим уже давно, и стоит смотреть, что же именно писали, а что не дописали и почему.

-- Сб май 04, 2019 22:32:24 --

Ага, мне сказали, что функция та зовётся активации функцией.

[granit201z]

arseniiv в сообщении #1391029 писал(а):

Ага, мне сказали, что функция та зовётся активации функцией.

функция активации у меня - сигмоидальная функция:

$y=\dfrac{x}{\sqrt{x^2 + 1}}$

если рассмотреть прямоугольный треугольник с катетами $a=1$ и $b=x$, то его гипотенуза как раз $c=\sqrt{x^2 + 1}$

Соответственно $x=\ctg \alpha$, а $y=\dfrac{x}{\sqrt{x^2 + 1}}=\cos \alpha$

Т.е. нейрон с такой функцией активации, получая на вход $\ctg \alpha$ , берет от него $\cos \alpha$

На самом деле чаще всего используется другая функция активации - логистическая. Но она мне показалась чрезвычайно сложной для каких-бы то ни было "аналитических" подходов. Насколько я знаю с такими сетями работают только численными методами, минимизируя функцию ошибки, что напоминает мне в некотором роде "пляски с бубном" вокруг этой сети.

С другой стороны эти пляски позволяют избежать "переобучения". Когда сеть на "заученных" примерах выдает отличные результаты, но абсолютно не может "экстраполировать".

Но мне все же несмотря ни на что захотелось не обучением достичь нужных весов, а непременно вывести их математически. Пока что вот уперся в эту систему.

[arseniiv]

Хм, ну у вас тогда получится какой-то подход с минусами одновременно и аналитического (долгие мучения), и численного (выбрали одну функцию, а не довольно большой класс). Возьмите общего вида. Кстати какую литературу по нейронным сетям вы читали? Если мало какую, стоит сначала заполнить пробел.

-- Сб май 04, 2019 23:17:28 --

granit201z в сообщении #1391037 писал(а):

Но мне все же несмотря ни на что захотелось не обучением достичь нужных весов, а непременно вывести их математически.

Ну, на наивном уровне видится, что это должно быть задачей с не менее сложным решением и выражением ответа. Это же минимизировать практически произвольную функцию — с ответом для общего же случая, но притом чтобы его было можно применить быстрее или удобнее, чем применяя другие способы, у которых есть геометрический смысл, например.

[granit201z]

arseniiv в сообщении #1391042 писал(а):

Кстати какую литературу по нейронным сетям вы читали? Если мало какую, стоит сначала заполнить пробел.

Тут Вы как раз попали в точку - опыта прочтения литературы по этому вопросу у меня далеко не так много, как того бы требовалось и хотелось)

-- 04.05.2019, 21:48 --

arseniiv в сообщении #1391042 писал(а):

чем применяя другие способы, у которых есть геометрический смысл, например.

Вы имеете ввиду существующие специализированные математические методы решения различных задач без использования нейросетей?

[arseniiv]

Нет, я говорю всё ещё про них. Обучение такой простой сети без всяких хитрых современных наворотов (то есть это не LSTM какая-нибудь) — процедура не так уж недавно осмысленная; понятно, что за ней стоит.

Друг мне предлагал посоветовать какой-то курс о глубоком обучении, но в последний момент, увы, застеснялся, а сам я в этом разбираюсь поверхностно, так что придётся подождать ссылок от кого-то ещё.

[granit201z]

arseniiv в сообщении #1391056 писал(а):

так что придётся подождать ссылок от кого-то ещё.

Николенко С., Кадурин А., Архангельская Е.
Глубокое обучение - СПб., Питер, 2018 - 480 с.: ил.

Иэн Гудфеллоу, Йошуа Бенджи, Аарон Курвилль
Глубокое обучение.

Причем это авторы первой книги сами рекомендуют вторую.

[dmd]

Оператором Результант можно сильно упростить систему.

[granit201z]

dmd в сообщении #1391070 писал(а):

Можно оператором Результант упростить систему до одного уравнения, избавившись от синусов:



Обозначения в маленьких буковках, т.к. в Вольфраме символы C,D,E заняты, и соответствующие синусы названы как sa,sb,sc,sd.

На выходе получились два "нулевых" фактора, один из них либо оба равны нулю. В большом факторе видна квадратичная зависимость относительно x,y.

Прошу прощения, это результат упрощения этой системы (третья снизу строка и самая нижняя)? Как правильно читать?

[Lia]

dmd
Уберите картинку и оформите все нужное в тегах сode.