2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2, 3, 4, 5
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 13:27 
rockclimber в сообщении #1193309 писал(а):
Искать текст в исходниках может любая нормальная IDE, главное нагуглить, где там эта функция запрятана.


Хорошо не находят и медленно.

-- 17.02.2017, 14:46 --

rockclimber в сообщении #1193309 писал(а):
Берете SID вашей тормозящей сессии, смотрите в v$session какой запрос в данный момент выполняется (поле sql_id), потом смотрите в v$sql его текст, потом смотрите его план.


Блокировок нет, запросов много проходит - каждый смотреть долго.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:13 
matemat в сообщении #1193261 писал(а):
Приходиться или парсить или грепать (чего особо не умею) файлы, потом это все еще агрегировать, если данные нужны за неделю/месяц/квартал ... Причем вся эта работа почему-то перекладывается на математика/аналитика.
Интересно, какие инструменты или системы позволяют хранить и обрабатывать логи с целью data analysis/mining?


Во-первых, никто не заставляет парсить логи всякий раз. В общем случае достаточно распарсить один раз и сохранить в каком-либо нормальном формате. Во-вторых, для парсинга можно использовать много различных тулзовин. Начиная от awk, и заканчивая скриптовыми языками типа Python. Но в любом случае понабиться знание регулярных выражений.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:24 
mustitz в сообщении #1193352 писал(а):
Но в любом случае понабиться знание регулярных выражений.


Математик не должен делать чужую работу :D
Просто, человекн так устроился в нашей стране.

Попробуйте составить ТЗ и послать его разработчикам, опишите в каком виде нужны данные для анализа и пусть напишут парсер.
Вы же анализ делаете, а не данные готовите.

Покажите начальству на что уходит ваше дророгое время, надавите деньгами итд

Начальники любят экономить, помогите им :D

Анализ им нужен для увеличения своей прибыли, они никогда вас не отпустят.

Дальше в России будет интереснее.

Те, кто смог сделать себе аналитику, начнет поедать конкурентов.Опережать их. На западе хорошо это понимают.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:35 
neg_lib в сообщении #1193340 писал(а):
Хорошо не находят и медленно.
Значит, IDE не нормальная.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:39 
arseniiv в сообщении #1193358 писал(а):
Значит, IDE не нормальная.


https://www.allroundautomations.com/pls ... AqTR8P8HAQ - не все ищет и думает

Но, удобный в остальном. Я за ним присматриваю обычно.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 15:30 
neg_lib в сообщении #1193356 писал(а):
Математик не должен делать чужую работу :D
Просто, человекн так устроился в нашей стране.


Я не вижу большой сложности. Можно так сказать, что математик не программист. На выходе от математика должен быть документ, где описано что делать и как. Потом алгоритмист должен нарисовать блок-схему. Потом программист должен написать программу. Потом оператор должен ввести её в ЭВМ и получить результат

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 16:03 
mustitz в сообщении #1193370 писал(а):
Потом оператор должен ввести её в ЭВМ и получить результат


Писать программу автоматизации разового исследования дорого.
Полностью автоматизируют, только регулярные исследования(если это возможно)

Тут, разработка идет от задач бизнеса, которые могут тоже меняться.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение18.02.2017, 04:01 
https://www.allroundautomations.com/pls ... AuRh8P8HAQ - сделали в нем профайлер )

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение19.02.2017, 00:55 
neg_lib в сообщении #1193340 писал(а):
Блокировок нет, запросов много проходит - каждый смотреть долго.
Там есть возможность посмотреть топ-10 запросов, смотрите сначала там.
И еще (совсем память плохая на старости лет стала, только сейчас вспомнил): есть же замечательнейшая бесплатная софтина ASH viewer. Написана на java, повторяет во многом ОЕМ (показывает точно такие же картинки), но разжиться этой программкой немного легче (не надо просить DBA дать доступ к ОЕМ или самому поднимать его на сервере).

mustitz в сообщении #1193370 писал(а):
Потом программист должен написать программу. Потом оператор должен ввести её в ЭВМ и получить результат
Это в 19-м веке так работали? Ужас какой. Хорошо, что сейчас немного проще стало :roll:

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение20.09.2017, 17:33 
Работа с большими данными часто требует эффективный поиск. К сожалению, никакие IDE это хорошо не делают. Нужно это делать самостоятельно, используя, например алгоритм Ахо-Корасика и др.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение20.09.2017, 17:50 
Кстати, фамилия Маргарет Корасик не склоняется.

 
 
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение20.09.2017, 18:03 

(Оффтоп)

Скоро и наши фамилии не будут склоняться.

 i  GAA:
Откровенное отступление убрано под тег off. Не развиваем в этой теме этот оффтопик.

 
 
 [ Сообщений: 72 ]  На страницу Пред.  1, 2, 3, 4, 5


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group