2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Странности Ексела
Сообщение24.10.2020, 22:38 
Заслуженный участник
Аватара пользователя


31/01/14
11017
Hogtown
Мне приходится (в качестве координатора класса) довольно много работать с csv файлами: я даунлодирую их с LSM Canvas, открываю Excel, удаляю лишние столбцы, произвожу вычисления, и аплодирую обратно на Canvas или CrowdMark. И если я провожу вычисления, я просто пастирую формулу в столбец.

И тут Excel заполняет результатом вычислений десятки тысяч клеток этого столбца, в результате чего сам начинает тормозить при работе с файлом. Так что я просто спасаю файл и легким движением левой ноги срезаю все лишние строки (оставляя лишь несколько сотен нужных) через текстовый редактор, и после этой хирургии открываю файл снова в Excel.

Это, безусловно, очень просто, но ведь "нормальный" пользователь Excel понятия не имеет, что так можно. "csv= comma delimited text" это знание тайное, только для посвященных :mrgreen: . Любопытно, как они справляются с этой проблемой?

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение24.10.2020, 22:54 
Заслуженный участник


27/04/09
28128
В столбец это прямо при импорте? (Лишь неделю назад узнал, что эксель умеет импортировать CSV с настройками — если просто открыть, они не показываются и в результате версии программ он парсил мне некоторые как будто это даты, и это было уморительно неудобно.) Наверно мало кто знает, что так можно.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение24.10.2020, 23:40 
Заслуженный участник
Аватара пользователя


31/01/14
11017
Hogtown
arseniiv в сообщении #1488939 писал(а):
В столбец это прямо при импорте?

Нет, после. Например, =RANDBETWEEN(1,5) чтобы разбить студентов на варианты, или какие другие вычисления типа: если мы считаем для Aaabba =SUM(H3:K3), то пастируя это в соответствующих столбец мы автоматически получим для Zzarazza =SUM(H799:K799), но в обоих случаях эта хрень продолжается на десятки тысяч строк вниз для многи "безымянных студентов".

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 00:09 
Заслуженный участник
Аватара пользователя


15/10/08
11534
Red_Herring в сообщении #1488953 писал(а):
продолжается на десятки тысяч строк вниз для многи "безымянных студентов".
В смысле? Список студентов кончился (ячейки пусты), а формулы всё продолжают вставляться?

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 00:32 
Заслуженный участник
Аватара пользователя


31/01/14
11017
Hogtown
Утундрий в сообщении #1488954 писал(а):
В смысле? Список студентов кончился (ячейки пусты), а формулы всё продолжают вставляться?

Все ячейки в этом столбце изначально пусты, но действительно: список кончился, а результат вычислений продолжает вставляться. Разумеется, можно спастировать не в столбец, а в нужную часть, но если список длинный, то проще и быстрее во весь столбец, а потом отрезать через текстовый редактор. Можно и через UNIX "head". Наверно, можно построить какую-то формулу, которая не вставляет, если первая ячейка данной строки пуста, но тут овчинка выделки не стоит.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 00:50 
Заслуженный участник
Аватара пользователя


15/10/08
11534
Можно ведь протянуть формулу через клик по правому нижнему углу её рамки. Процесс автоматически прервётся, когда слева пойдут пустые поля.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 01:16 


27/06/20
337
Red_Herring в сообщении #1488935 писал(а):
начинает тормозить при работе с файлом
В этом плане, если задача не однократная и стандартная, то хорошим подспорьем может быть автоматизация работы с таблицами (будь то csv или xlsx) с помощью скриптов в Python (с помощью знаменитой библиотеки pandas) или в R (последний на Windows, но не на Mac, плохо работает с кириллицей). Они работают с огромными таблицами (в т.ч. модифицируют, вычисляют новые столбцы, включая присвоние случайных чисел, убирают ненужные столбцы, фильтруют строки, сохраняют финальную таблицу в csv или xlsx) существенно быстрее, чем Microsoft Excel.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 02:41 
Заслуженный участник
Аватара пользователя


31/01/14
11017
Hogtown
Утундрий в сообщении #1488956 писал(а):
Можно ведь протянуть формулу через клик по правому нижнему углу её рамки.
Все это хорошо, когда там десятки студентов, а вот при сотнях мой способ быстрее.

-- 24.10.2020, 18:44 --

ipgmvq в сообщении #1488958 писал(а):
В этом плане, если задача не однократная и стандартная,
Она стандартная, но не совсем: каждый раз другой тест, что означает другие столбцы и, в зависимости от обстоятельств, число столбцов может меняться. И в любом случае при 7 квизах и 4 тестах, хотя и в 2х классах, это овчинка, не стоящая выделки.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 03:52 
Заслуженный участник


16/02/13
4105
Владивосток
Могу только посочувствовать. Натыкался пару раз на такое — файл открывается минут сорок, в нём табличка на две (не пару, а именно две) строки, размер мегабайт 10 (xlsx), куча пустых строк. Причём не с формулами, а именно пустых — я-то их все просматривал (программкой).

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 04:19 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Не знаю как Pyton, но для R точно не помеха разное число столбцов и прочие подобные мелочи. Но программировать все это для нескольких использований, наверное, и правда не стоит.

(я вот жалею, что на мой ноут перестали ставиться пакеты: студенты сдают мне работы с ними, а я не могу запустить. В частности, сохранить сразу в xlsx, а не в csv)

-- 25.10.2020, 04:21 --

iifat в сообщении #1488964 писал(а):
Причём не с формулами, а именно пустых — я-то их все просматривал (программкой).

Специальная какая-то программа? Дело в том, что я сохраняю исходные данные в формате csv, но при запуске обработки в них иногда обнаруживаются квази-заполненные столбцы (с пропущенными данными, разумеется). Приходится удалять их вручную.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 04:25 


05/09/16
11467
Red_Herring в сообщении #1488961 писал(а):
И в любом случае при 7 квизах и 4 тестах, хотя и в 2х классах, это овчинка, не стоящая выделки.

А количество студентов (строк которые надо отрезать) известно? Можно написать эквивалент head и в windows command prompt, если хотите. В cmd.exe будет запускаться типа
C:\head.bat file.txt 342
В powershell.exe есть эквивалент head
gc -head 342 file.txt

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 05:11 
Заслуженный участник


16/02/13
4105
Владивосток
provincialka в сообщении #1488968 писал(а):
Специальная какая-то программа?
Нет, накропал на коленке. .xlsx — это ж .zip с кучей .xml, вытащить содержимое, слегка разобраться в структуре и поудалять пустые строки не так сложно. Через .csv больно уж много форматирования теряется.

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 05:40 
Заслуженный участник
Аватара пользователя


31/01/14
11017
Hogtown
iifat в сообщении #1488972 писал(а):
Через .csv больно уж много форматирования теряется.
На самом деле это хорошо. Почему? Вот представим я спас в .xlsx, причем какой-то столбец есть результат вычислений, основанных нса каких-то других столбцах. И если я удалю один из них, то результат изменится. А с .csv "мавр сделал свое дело..."

На самом деле мне не нужно решение: мое решение меня устраивает. Просто заинтересовался, как обычные пользователи справляются с такой проблемой.

Вот к примеру, я провел квиз, 20 вариантов: 4 селции по пять вариантов в каждом. Квиз проверили ТА. Я трачу мин 240 чтобы вручную прошманать все эти варианты (некоторые из студентов имеют дополнительное время--удалить им late penalty, у кого-то жалобы на интернет, проверить лог, не врут ли, и если не врут то удалить им late penalty), и толкнуть их с CrowdMark на Canvas. Дело в том что все они понимаются системами как 20 отдельных заданий. Потом 2 мин на даунлодирование всего полотна в виде csv (система по иному не умеет), 5 мин мах на выброс столбцов с остальными заданиями, вычисление Quiz-1 (H2 := MAX(G2:AA2), спасение, удаление всех уже ненужных столбцов и аплодирование на Canvas). Оптимизация этих 5 мин ничего не дает!

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 08:33 
Аватара пользователя


11/12/16
13195
уездный город Н
Red_Herring в сообщении #1488974 писал(а):
Вот представим я спас в .xlsx, причем какой-то столбец есть результат вычислений, основанных нса каких-то других столбцах. И если я удалю один из них, то результат изменится. А с .csv "мавр сделал свое дело..."


Как многим наверное, приходилось сталкиваться, когда Ексель тормозит при большом количестве вычисляемых столбцов. Поэтому завел себе привычку минимизировать их количество: после получения результата в каком-то столбце делаю его копию с помощью "скопировать значения" и удаляю все вычисляемые столбцы, если они больше не нужны.
Это, конечно, не аргумент сохранять файл в Екселе, а не в csv - в пользу csv, как правило, играют другие аргументы. Но при длительной работе с файлом, когда нужно рассчитать много производных значений, экономит время (немного) и нервы (много).

 Профиль  
                  
 
 Re: Странности Ексела
Сообщение25.10.2020, 09:25 
Заслуженный участник


31/12/05
1406
Red_Herring в сообщении #1488961 писал(а):
Утундрий в сообщении #1488956 писал(а):
Можно ведь протянуть формулу через клик по правому нижнему углу её рамки.
Все это хорошо, когда там десятки студентов, а вот при сотнях мой способ быстрее.

Можно сделать двойной клик на этот угол.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 24 ]  На страницу 1, 2  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group