Вопрос о зависимостях между числами в таблице 100х100чисел

[ilnarius]

Добрый день! Допустим имеется таблица размером 100 х 100 чисел (100 столбцов и 100 строк), всего 10000 чисел в таблице. Числа от 0 и до 100. Полагаю, что зависимость между числами таблицы можно найти при помощи коэффициента корреляции. Подскажите пожалуйста, есть ли еще какие-либо статистические методы, которые помогут обнаружить зависимости (ну или связи) между числами указанной таблицы. Спасибо!

[worm2]

Вопрос задан неправильно. Вот это вот: "зависимость между числами таблицы" — вещь непонятная. Даже математики, привыкшие общаться с нематематиками, не смогут догадаться, какой смысл мог бы скрываться за этим выражением.
Попробуйте привести маленький пример: две-три таблицы 2x2 или 3x3, у которых, по вашему мнению, есть зависимость (которая вас интересует), и ещё пару таблиц, у которых, с вашей точки зрения, отсутствует зависимость (интересующего вас вида). И поясните, почему в первых примерах зависимость есть, а во вторых нет. А мы вам попробуем помочь для случая 100x100.

[ozheredov]

ilnarius в сообщении #1440170 писал(а):

зависимость между числами таблицы можно найти при помощи коэффициента корреляции

Зависимость между СТОЛБЦАМИ таблицы

[Александрович]

ilnarius, вам известна природа порождения данных?

[ilnarius]

worm2 в сообщении #1440177 писал(а):

Вопрос задан неправильно. Вот это вот: "зависимость между числами таблицы" — вещь непонятная. Даже математики, привыкшие общаться с нематематиками, не смогут догадаться, какой смысл мог бы скрываться за этим выражением.
Попробуйте привести маленький пример: две-три таблицы 2x2 или 3x3, у которых, по вашему мнению, есть зависимость (которая вас интересует), и ещё пару таблиц, у которых, с вашей точки зрения, отсутствует зависимость (интересующего вас вида). И поясните, почему в первых примерах зависимость есть, а во вторых нет. А мы вам попробуем помочь для случая 100x100.

Да, согласен некорректно сформулировал свой вопрос. Действительно, наличие зависимости может быть только между столбцами. Ладно, поспешил я с вопросом. Сам должен разобраться и понять.

-- 18.02.2020, 12:18 --

Александрович в сообщении #1440240 писал(а):

ilnarius, вам известна природа порождения данных?

Данные допустим это, температуры, давление в соседних городах. Допустим у меня есть все эти значения и есть значения для моего города. Вот хотелось бы найти какою-то зависимость погоды в моем городе от погоды в других городах, которые равномерны удалены от моего города.

[Александрович]

ilnarius в сообщении #1440256 писал(а):

Действительно, наличие зависимости может быть только между столбцами.

Или между строками.

-- Вт фев 18, 2020 15:24:48 --

ilnarius в сообщении #1440256 писал(а):

Данные допустим это, температуры, давление в соседних городах. Допустим у меня есть все эти значения и есть значения для моего города.

Пусть у вас есть данные по 100 городам это столбцы и данные по температурам в какой-то момент времени (за сутки, за месяц, за год, за столетие) это строки. Первым делом нужно получить новый столбец со средним (медианным, модальным) значением.

[ozheredov]

Александрович в сообщении #1440259 писал(а):

Или между строками.

А тех, у кого между строками, надо воспитывать с применением руко ногоприкладства )), ибо так составленная таблица может породить неожиданные и дичайшие баги. Железное правило: прецеденты по строке, переменные по столбцу.

ilnarius в сообщении #1440256 писал(а):

Данные допустим это, температуры, давление в соседних городах. Допустим у меня есть все эти значения и есть значения для моего города. Вот хотелось бы найти какою-то зависимость погоды в моем городе от погоды в других городах, которые равномерны удалены от моего города.

Тогда у вас не двумерная, а трехмерная таблица - Lat, Lon и время. Попробуйте многофакторную регрессию, описывающую температуру в вашем квадрате как функцию температур соседних в евклидовой норме квадратов. Посчитайте коэфф. детерминации, напишите его сюда )

[arseniiv]

Тут как-то не очень таблица выходит и не очень 100×100. Города уместнее располагать как точки в каком-то метрическом пространстве, а данные о погоде — всё равно не как квадратные таблицы: по одному измерению там будет например дата, а по другому разные параметры погоды (то есть мало того, по одному измерению у нас в идеале равномерные отсчёты, а по другому величины совершенно разной природы).

-- Вт фев 18, 2020 21:55:51 --

ozheredov
Тогда четырёхмерная уже.

И вообще немного весело задавать вопрос так, как будто его никто доселе не рассматривал. Метеорология существует и не просто существует, а всё ещё пытается предсказывать погоду всё лучше и лучше. Кроме того у метеорологов обычно больше данных (география, например, из положений городов никак не выводится, и даже высоты относительно уровня моря в общем мало скажут).

-- Вт фев 18, 2020 21:56:13 --

То есть я бы ТС предложил обратиться к метеорологам.

-- Вт фев 18, 2020 21:58:09 --

А то ну ладно можно будет что-то раскопать из закономерностей конкретного места, но ведь всё равно останется много желать: а почему оно так, а можно ли ещё точнее, а что может ещё понадобиться знать для большей точности? А для неточного прогноза и достаточно близких городов, между которыми не проходят никакие горы и подобное, можно действительно ограничиться банальными вычислениями среднего.

[ozheredov]

arseniiv в сообщении #1440325 писал(а):

Тогда четырёхмерная уже.

У него там одна только температура, пусть с ней в начале разберется.

arseniiv в сообщении #1440325 писал(а):

таблица выходит и не очень 100×100. Города уместнее располагать как точки в каком-то метрическом пространстве

С этим согласен. Квадратная сетка (и любая другая) там как корове пятое седло, если только не происходит усреднение показателей многих (мамкиных) метеорологических станций по пространству.

arseniiv в сообщении #1440325 писал(а):

разные параметры погоды

Я думаю, до обращения с категориальными данными ТС еще не дорос. Пусть работает с температурой.

arseniiv в сообщении #1440325 писал(а):

То есть я бы ТС предложил обратиться к метеорологам.

Только после наработки определенного бэкграунда в области data science. Сейчас он им не интересен -- поверьте моему опыту, они будут над ним издеваться, как старшеклассники над малолеткой. Пусть сам пока повозится, азбуку освоит.

[arseniiv]

ozheredov в сообщении #1440326 писал(а):

Сейчас он им не интересен

Так за ответом обратиться, не с предложением. Что они бы делали, если им не давать всех замечательных данных, а имели только вот такие-то. Ну и данные о том же рельефе стянуть например.

Да, я пропустил что там только температура. С одной стороны это хорошо, с другой плохо (точность будет самая минимальная, если не учитывать больше ничего). С третьей стороны если можно узнать суточные колебания, это уже скажет больше (при прочих равных, когда небо ясное, размах больше, то есть мы узнаём совсем немного о воде в воздухе).

-- Вт фев 18, 2020 22:24:44 --

Главное конечно что без формулировки осмысленных гипотез о данных числодробление даст мало пользы, а это пока что не автоматизируемо, так что никакого «замкнутого рецепта», если начинать с сырых данных, получить обычно нельзя.

[ozheredov]

arseniiv в сообщении #1440328 писал(а):

Так за ответом обратиться

"У меня есть комнатное растение, пара зубочисток и резинка от трусов. Как сделать лук, со ста метров пробивающий кабана на вылет?" )

arseniiv в сообщении #1440328 писал(а):

формулировки осмысленных гипотез о данных

Пусть хотя бы "почувствует", что такое мультифакторная зависимость, что показывает корреляция-детерминация и т.д. Пощупает в своё удовольствие. А потом, как Вы справедливо заметили выше, мы ему мягко подсунем идею рассмотрения категориальных переменных: роса, облачность, дымка, измороСь, измороЗь, в общем вот это вот всё ))

[Sicker]

worm2 в сообщении #1440177 писал(а):

Попробуйте привести маленький пример: две-три таблицы 2x2 или 3x3, у которых, по вашему мнению, есть зависимость (которая вас интересует), и ещё пару таблиц, у которых, с вашей точки зрения, отсутствует зависимость (интересующего вас вида). И поясните, почему в первых примерах зависимость есть, а во вторых нет. А мы вам попробуем помочь для случая 100x100.

Тут с вами не соглашусь - на таких маленьких таблицах нельзя выявить никакие закономерности, в отличии от больших, где например если чередуются нули и единицы, то мы можем говорить о закономерности. Т.е. можно определить наличие закономерности как возможность сжатия информации

ilnarius в сообщении #1440170 писал(а):

Полагаю, что зависимость между числами таблицы можно найти при помощи коэффициента корреляции. Подскажите пожалуйста, есть ли еще какие-либо статистические методы, которые помогут обнаружить зависимости (ну или связи) между числами указанной таблицы. Спасибо!

Да, есть еще более точный метод информационной энтропии

[ilnarius]

Я читал о программах на нейронных сетях. Они позволяют найти закономерности, которые не возможно найти при помощи статистических методах исследования данных.

[Утундрий]

ilnarius в сообщении #1440492 писал(а):

Я читал о программах на нейронных сетях. Они позволяют найти закономерности, которые не возможно найти при помощи статистических методах исследования данных.

Думаете, они смогут даже поставить за вас задачу?

[ilnarius]

Утундрий в сообщении #1440493 писал(а):

ilnarius в сообщении #1440492 писал(а):

Я читал о программах на нейронных сетях. Они позволяют найти закономерности, которые не возможно найти при помощи статистических методах исследования данных.

Думаете, они смогут даже поставить за вас задачу?

Самое трудное это какие и как подать данные в нейронную сеть, чтобы она нашла закономерность.