2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 13:27 


11/02/17

47
rockclimber в сообщении #1193309 писал(а):
Искать текст в исходниках может любая нормальная IDE, главное нагуглить, где там эта функция запрятана.


Хорошо не находят и медленно.

-- 17.02.2017, 14:46 --

rockclimber в сообщении #1193309 писал(а):
Берете SID вашей тормозящей сессии, смотрите в v$session какой запрос в данный момент выполняется (поле sql_id), потом смотрите в v$sql его текст, потом смотрите его план.


Блокировок нет, запросов много проходит - каждый смотреть долго.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:13 


10/04/12
704
matemat в сообщении #1193261 писал(а):
Приходиться или парсить или грепать (чего особо не умею) файлы, потом это все еще агрегировать, если данные нужны за неделю/месяц/квартал ... Причем вся эта работа почему-то перекладывается на математика/аналитика.
Интересно, какие инструменты или системы позволяют хранить и обрабатывать логи с целью data analysis/mining?


Во-первых, никто не заставляет парсить логи всякий раз. В общем случае достаточно распарсить один раз и сохранить в каком-либо нормальном формате. Во-вторых, для парсинга можно использовать много различных тулзовин. Начиная от awk, и заканчивая скриптовыми языками типа Python. Но в любом случае понабиться знание регулярных выражений.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:24 


11/02/17

47
mustitz в сообщении #1193352 писал(а):
Но в любом случае понабиться знание регулярных выражений.


Математик не должен делать чужую работу :D
Просто, человекн так устроился в нашей стране.

Попробуйте составить ТЗ и послать его разработчикам, опишите в каком виде нужны данные для анализа и пусть напишут парсер.
Вы же анализ делаете, а не данные готовите.

Покажите начальству на что уходит ваше дророгое время, надавите деньгами итд

Начальники любят экономить, помогите им :D

Анализ им нужен для увеличения своей прибыли, они никогда вас не отпустят.

Дальше в России будет интереснее.

Те, кто смог сделать себе аналитику, начнет поедать конкурентов.Опережать их. На западе хорошо это понимают.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:35 
Заслуженный участник


27/04/09
28128
neg_lib в сообщении #1193340 писал(а):
Хорошо не находят и медленно.
Значит, IDE не нормальная.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 14:39 


11/02/17

47
arseniiv в сообщении #1193358 писал(а):
Значит, IDE не нормальная.


https://www.allroundautomations.com/pls ... AqTR8P8HAQ - не все ищет и думает

Но, удобный в остальном. Я за ним присматриваю обычно.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 15:30 


10/04/12
704
neg_lib в сообщении #1193356 писал(а):
Математик не должен делать чужую работу :D
Просто, человекн так устроился в нашей стране.


Я не вижу большой сложности. Можно так сказать, что математик не программист. На выходе от математика должен быть документ, где описано что делать и как. Потом алгоритмист должен нарисовать блок-схему. Потом программист должен написать программу. Потом оператор должен ввести её в ЭВМ и получить результат

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение17.02.2017, 16:03 


11/02/17

47
mustitz в сообщении #1193370 писал(а):
Потом оператор должен ввести её в ЭВМ и получить результат


Писать программу автоматизации разового исследования дорого.
Полностью автоматизируют, только регулярные исследования(если это возможно)

Тут, разработка идет от задач бизнеса, которые могут тоже меняться.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение18.02.2017, 04:01 


11/02/17

47
https://www.allroundautomations.com/pls ... AuRh8P8HAQ - сделали в нем профайлер )

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение19.02.2017, 00:55 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
neg_lib в сообщении #1193340 писал(а):
Блокировок нет, запросов много проходит - каждый смотреть долго.
Там есть возможность посмотреть топ-10 запросов, смотрите сначала там.
И еще (совсем память плохая на старости лет стала, только сейчас вспомнил): есть же замечательнейшая бесплатная софтина ASH viewer. Написана на java, повторяет во многом ОЕМ (показывает точно такие же картинки), но разжиться этой программкой немного легче (не надо просить DBA дать доступ к ОЕМ или самому поднимать его на сервере).

mustitz в сообщении #1193370 писал(а):
Потом программист должен написать программу. Потом оператор должен ввести её в ЭВМ и получить результат
Это в 19-м веке так работали? Ужас какой. Хорошо, что сейчас немного проще стало :roll:

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение20.09.2017, 17:33 


08/03/11
273
Работа с большими данными часто требует эффективный поиск. К сожалению, никакие IDE это хорошо не делают. Нужно это делать самостоятельно, используя, например алгоритм Ахо-Корасика и др.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение20.09.2017, 17:50 
Заслуженный участник


27/04/09
28128
Кстати, фамилия Маргарет Корасик не склоняется.

 Профиль  
                  
 
 Re: Анализ гигабайтов данных (проблемы и решения)
Сообщение20.09.2017, 18:03 


08/03/11
273

(Оффтоп)

Скоро и наши фамилии не будут склоняться.

 i  GAA:
Откровенное отступление убрано под тег off. Не развиваем в этой теме этот оффтопик.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 72 ]  На страницу Пред.  1, 2, 3, 4, 5

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group