А анализ данных, по вашему мнению, чем-то отличается принципиально?
Самое интересное, что я пока не нашёл в сети хорошего текста, который раскрывал бы суть анализа данных. Обычно пишут, что анализ - офигеть какое важное понятие, которое имеет множество видов:
Цитата:
...корреляционный анализ, регрессионный анализ, канонический анализ, метод сравнения средних, частотный анализ, метод сопряжения, анализ соответствий, кластерный анализ, дискриминантный анализ, факторный анализ...
и множество этапов:
Цитата:
Сбор данных. Подготовка данных. Обработка данных.
Википедия дает определение:
Википедия писал(а):
Анализ данных это:
- область математики[1] и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных[2];
- процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений.
Анализ понятия анализа, так сказать, как будто упущенный момент. Видимо все оставили этот многогранный вопрос на рассмотрение философам. Но философы не имеют согласия в своих рядах:
Википедия писал(а):
По двум[2][3] проведённым небольшим опросам среди профессиональных философов, среди англоязычной выборки почти 62 % философов проводят границу между аналитическими и синтетическими суждениями, а 28 % нет, при этом в русскоязычной выборке ситуация обратная, 29 % соглашаются, что чёткая граница есть, а 48 % считают, что её нет.
В опросе, однако, не было уточнено, имеют ли в виду, что они считают границу и сами понятия условными (надуманная классификация) или имеют в виду, что есть много суждений, которые они не могут уверенно классифицировать как аналитические или синтетические (нечёткая классификация), или же имеют в виду что-то ещё.
https://ru.wikipedia.org/wiki/Анализ_(философия)#Общественное_принятие
Воспользуюсь замешательством философов и попробую восполнить этот пробел. Проведу анализ анализа.
Сразу скажу: анализ - это не разбор. Разобрать, вскрыть - это действия, которые не соответствуют анализу. Не знаю, когда закрепилось это заблуждение, но оно крепко засело, ей-богу.
Анализ - это обобщение. То есть нужно иметь хотя бы два вскрытых ореха, чтобы что-то проанализировать.
Вскрытие ореха синтезирует новое знание, то есть разбор - это синтез.
Мы вскрываем орехи и записываем, например, интересуемую нас характеристику:
созревший
пустой
созревший
не созревшийДо этого был синтез - это сбор данных, этап обработки данных, который исторически или еще по какой-то причине отнесли к анализу данных. Я бы проложил здесь границу. В узком смысле анализ данных не включает в себя сбор данных, иначе происходит загрязнение понятия.
А теперь самый настоящий и элементарный анализ:
созревший - 2 шт
пустой - 1 шт
не созревший - 1 штПри анализе информация сжимается. В данном случае без потерь.
Частотный анализ:
созревший - 50%
пустой - 25%
не созревший - 25%Можно сжать информацию с потерями (дальнейший анализ) за счет обобщения значений категориального признака:
созревший - 50%
плохой - 50%Здесь сделано обобщение значений "пустой" и "не созревший" -> "плохой".
Это был анализ табличных данных. Таблица - это самое элементарное представление данных, а категориальный признак - это самый элементарный вид данных. Так становится все более-менее понятнее.
Аналитики данных активно используют агрегацию данных - это и есть подобная группировка данных по какому-либо столбцу. В языке SQL - это GROUP BY column, в Python/Pandas тоже есть groupby и agg.
Выполнил ли я анализ анализа? Нужно лишь посмотреть на остальные методы анализа и сделать обобщение: анализ - это сжатие информации с незначительными (минимальными) потерями, предшествующий этап сбора информации следует отделять от анализа в чистом понимании.
Сравним:
1.
Анализ кала. Определение количественных характеристик, сбор кала вроде как не относится к анализу, т.е. все правильно.
2.
Анализ понятия. Нужно сначала собрать данные, перечислить применения понятия - это еще не анализ, т.к. анализом является последующее обобщение.
3.
Анализ произведения. Данные уже готовы - это само произведение, история его создания, нужно лишь сжать информацию по определенному плану. Однако, зачастую, здесь нет такого чистого анализа, ибо в этот анализ могут запросто входить некоторые субъективные предположения и информация, которые не истекают от автора или его произведения.
-- 03.06.2024, 20:11 --Википедия писал(а):
В философии в противоположность синтезу анализом называют логический приём определения понятия, когда данное понятие раскладывают по признакам на составные части, чтобы таким образом сделать его познание ясным в полном его объёме.
Раскладывание понятия по признакам на составные части - это синтез, это генерация информации, в результате которой данных очень много и ничего не понятно. Так что "таким образом сделать его познание ясным в полном его объёме" невозможно. Здесь требуется обобщение, сжатие данных. И у философов это пропущено, перепутано с синтезом.
Философский энциклопедический словарь (1983) писал(а):
АНАЛИЗ (от греч. - разложение, расчленение), процедура мысленного, а часто также и реального расчленения предмета (явления, процесса), свойства предмета (предметов) или отношения между предметами на части (признаки, свойства, отношения); процедурой, обратной А., является синтез, с которым А. часто сочетается в практич. или познават. деятельности. Процедуры А. входят органич. составной частью во всякое науч. исследование и обычно образуют его первую стадию, когда исследователь переходит от нерасчленённого описания изучаемого объекта к выявлению его строения, состава, а также его свойств, признаков.
http://philosophy.niv.ru/doc/dictionary ... -192-3.htmИз философского словаря писал(а):
в логике понятийное, т.е. делающее возможным образование понятий, разложение единства на множество, целого – на его части, сложного – на его компоненты, события – на его отдельные ступени, содержания сознания – на его элементы, понятия – на его признаки (противоположность – синтез).
https://www.philosophydic.ru/analizА вот статья, которая раскрывает проблематику, но как истинные философы авторы не стали делить подходы на верные и неверные, а просто воспроизвели экскурсы в историю философии:
AnalysisFirst published Mon Apr 7, 2003; substantive revision Wed Mar 19, 2014https://plato.stanford.edu/entries/analysis/Пора бы уже почистить философию за ее "декомпозиционный подход к анализу", за неспособность видеть те вещи, в "которых они сильны как никто".
Да есть полезные философы: много лет назад я писал на этом форуме 
