Анализ гигабайтов данных (проблемы и решения)

[neg_lib]

rockclimber в сообщении #1193309 писал(а):

Искать текст в исходниках может любая нормальная IDE, главное нагуглить, где там эта функция запрятана.

Хорошо не находят и медленно.

-- 17.02.2017, 14:46 --

rockclimber в сообщении #1193309 писал(а):

Берете SID вашей тормозящей сессии, смотрите в v$session какой запрос в данный момент выполняется (поле sql_id), потом смотрите в v$sql его текст, потом смотрите его план.

Блокировок нет, запросов много проходит - каждый смотреть долго.

[mustitz]

matemat в сообщении #1193261 писал(а):

Приходиться или парсить или грепать (чего особо не умею) файлы, потом это все еще агрегировать, если данные нужны за неделю/месяц/квартал ... Причем вся эта работа почему-то перекладывается на математика/аналитика.
Интересно, какие инструменты или системы позволяют хранить и обрабатывать логи с целью data analysis/mining?

Во-первых, никто не заставляет парсить логи всякий раз. В общем случае достаточно распарсить один раз и сохранить в каком-либо нормальном формате. Во-вторых, для парсинга можно использовать много различных тулзовин. Начиная от awk, и заканчивая скриптовыми языками типа Python. Но в любом случае понабиться знание регулярных выражений.

[neg_lib]

mustitz в сообщении #1193352 писал(а):

Но в любом случае понабиться знание регулярных выражений.

Математик не должен делать чужую работу
Просто, человекн так устроился в нашей стране.

Попробуйте составить ТЗ и послать его разработчикам, опишите в каком виде нужны данные для анализа и пусть напишут парсер.
Вы же анализ делаете, а не данные готовите.

Покажите начальству на что уходит ваше дророгое время, надавите деньгами итд

Начальники любят экономить, помогите им

Анализ им нужен для увеличения своей прибыли, они никогда вас не отпустят.

Дальше в России будет интереснее.

Те, кто смог сделать себе аналитику, начнет поедать конкурентов.Опережать их. На западе хорошо это понимают.

[arseniiv]

neg_lib в сообщении #1193340 писал(а):

Хорошо не находят и медленно.

Значит, IDE не нормальная.

[neg_lib]

arseniiv в сообщении #1193358 писал(а):

Значит, IDE не нормальная.

https://www.allroundautomations.com/pls ... AqTR8P8HAQ - не все ищет и думает

Но, удобный в остальном. Я за ним присматриваю обычно.

[mustitz]

neg_lib в сообщении #1193356 писал(а):

Математик не должен делать чужую работу
Просто, человекн так устроился в нашей стране.

Я не вижу большой сложности. Можно так сказать, что математик не программист. На выходе от математика должен быть документ, где описано что делать и как. Потом алгоритмист должен нарисовать блок-схему. Потом программист должен написать программу. Потом оператор должен ввести её в ЭВМ и получить результат

[neg_lib]

mustitz в сообщении #1193370 писал(а):

Потом оператор должен ввести её в ЭВМ и получить результат

Писать программу автоматизации разового исследования дорого.
Полностью автоматизируют, только регулярные исследования(если это возможно)

Тут, разработка идет от задач бизнеса, которые могут тоже меняться.

[neg_lib]

https://www.allroundautomations.com/pls ... AuRh8P8HAQ - сделали в нем профайлер )

[rockclimber]

neg_lib в сообщении #1193340 писал(а):

Блокировок нет, запросов много проходит - каждый смотреть долго.

Там есть возможность посмотреть топ-10 запросов, смотрите сначала там.
И еще (совсем память плохая на старости лет стала, только сейчас вспомнил): есть же замечательнейшая бесплатная софтина ASH viewer. Написана на java, повторяет во многом ОЕМ (показывает точно такие же картинки), но разжиться этой программкой немного легче (не надо просить DBA дать доступ к ОЕМ или самому поднимать его на сервере).

mustitz в сообщении #1193370 писал(а):

Потом программист должен написать программу. Потом оператор должен ввести её в ЭВМ и получить результат

Это в 19-м веке так работали? Ужас какой. Хорошо, что сейчас немного проще стало

[alex_dorin]

Работа с большими данными часто требует эффективный поиск. К сожалению, никакие IDE это хорошо не делают. Нужно это делать самостоятельно, используя, например алгоритм Ахо-Корасика и др.

[arseniiv]

Кстати, фамилия Маргарет Корасик не склоняется.

[alex_dorin]

(Оффтоп)

Скоро и наши фамилии не будут склоняться.

GAA:

Откровенное отступление убрано под тег off. Не развиваем в этой теме этот оффтопик.