Странности Ексела

[Red_Herring]

Мне приходится (в качестве координатора класса) довольно много работать с csv файлами: я даунлодирую их с LSM Canvas, открываю Excel, удаляю лишние столбцы, произвожу вычисления, и аплодирую обратно на Canvas или CrowdMark. И если я провожу вычисления, я просто пастирую формулу в столбец.

И тут Excel заполняет результатом вычислений десятки тысяч клеток этого столбца, в результате чего сам начинает тормозить при работе с файлом. Так что я просто спасаю файл и легким движением левой ноги срезаю все лишние строки (оставляя лишь несколько сотен нужных) через текстовый редактор, и после этой хирургии открываю файл снова в Excel.

Это, безусловно, очень просто, но ведь "нормальный" пользователь Excel понятия не имеет, что так можно. "csv= comma delimited text" это знание тайное, только для посвященных . Любопытно, как они справляются с этой проблемой?

[arseniiv]

В столбец это прямо при импорте? (Лишь неделю назад узнал, что эксель умеет импортировать CSV с настройками — если просто открыть, они не показываются и в результате версии программ он парсил мне некоторые как будто это даты, и это было уморительно неудобно.) Наверно мало кто знает, что так можно.

[Red_Herring]

arseniiv в сообщении #1488939 писал(а):

В столбец это прямо при импорте?

Нет, после. Например, =RANDBETWEEN(1,5) чтобы разбить студентов на варианты, или какие другие вычисления типа: если мы считаем для Aaabba =SUM(H3:K3), то пастируя это в соответствующих столбец мы автоматически получим для Zzarazza =SUM(H799:K799), но в обоих случаях эта хрень продолжается на десятки тысяч строк вниз для многи "безымянных студентов".

[Утундрий]

Red_Herring в сообщении #1488953 писал(а):

продолжается на десятки тысяч строк вниз для многи "безымянных студентов".

В смысле? Список студентов кончился (ячейки пусты), а формулы всё продолжают вставляться?

[Red_Herring]

Утундрий в сообщении #1488954 писал(а):

В смысле? Список студентов кончился (ячейки пусты), а формулы всё продолжают вставляться?

Все ячейки в этом столбце изначально пусты, но действительно: список кончился, а результат вычислений продолжает вставляться. Разумеется, можно спастировать не в столбец, а в нужную часть, но если список длинный, то проще и быстрее во весь столбец, а потом отрезать через текстовый редактор. Можно и через UNIX "head". Наверно, можно построить какую-то формулу, которая не вставляет, если первая ячейка данной строки пуста, но тут овчинка выделки не стоит.

[Утундрий]

Можно ведь протянуть формулу через клик по правому нижнему углу её рамки. Процесс автоматически прервётся, когда слева пойдут пустые поля.

[ipgmvq]

Red_Herring в сообщении #1488935 писал(а):

начинает тормозить при работе с файлом

В этом плане, если задача не однократная и стандартная, то хорошим подспорьем может быть автоматизация работы с таблицами (будь то csv или xlsx) с помощью скриптов в Python (с помощью знаменитой библиотеки pandas) или в R (последний на Windows, но не на Mac, плохо работает с кириллицей). Они работают с огромными таблицами (в т.ч. модифицируют, вычисляют новые столбцы, включая присвоние случайных чисел, убирают ненужные столбцы, фильтруют строки, сохраняют финальную таблицу в csv или xlsx) существенно быстрее, чем Microsoft Excel.

[Red_Herring]

Утундрий в сообщении #1488956 писал(а):

Можно ведь протянуть формулу через клик по правому нижнему углу её рамки.

Все это хорошо, когда там десятки студентов, а вот при сотнях мой способ быстрее.

-- 24.10.2020, 18:44 --

ipgmvq в сообщении #1488958 писал(а):

В этом плане, если задача не однократная и стандартная,

Она стандартная, но не совсем: каждый раз другой тест, что означает другие столбцы и, в зависимости от обстоятельств, число столбцов может меняться. И в любом случае при 7 квизах и 4 тестах, хотя и в 2х классах, это овчинка, не стоящая выделки.

[iifat]

Могу только посочувствовать. Натыкался пару раз на такое — файл открывается минут сорок, в нём табличка на две (не пару, а именно две) строки, размер мегабайт 10 (xlsx), куча пустых строк. Причём не с формулами, а именно пустых — я-то их все просматривал (программкой).

[provincialka]

Не знаю как Pyton, но для R точно не помеха разное число столбцов и прочие подобные мелочи. Но программировать все это для нескольких использований, наверное, и правда не стоит.

(я вот жалею, что на мой ноут перестали ставиться пакеты: студенты сдают мне работы с ними, а я не могу запустить. В частности, сохранить сразу в xlsx, а не в csv)

-- 25.10.2020, 04:21 --

iifat в сообщении #1488964 писал(а):

Причём не с формулами, а именно пустых — я-то их все просматривал (программкой).

Специальная какая-то программа? Дело в том, что я сохраняю исходные данные в формате csv, но при запуске обработки в них иногда обнаруживаются квази-заполненные столбцы (с пропущенными данными, разумеется). Приходится удалять их вручную.

[wrest]

Red_Herring в сообщении #1488961 писал(а):

И в любом случае при 7 квизах и 4 тестах, хотя и в 2х классах, это овчинка, не стоящая выделки.

А количество студентов (строк которые надо отрезать) известно? Можно написать эквивалент head и в windows command prompt, если хотите. В cmd.exe будет запускаться типа
C:\head.bat file.txt 342
В powershell.exe есть эквивалент head
gc -head 342 file.txt

[iifat]

provincialka в сообщении #1488968 писал(а):

Специальная какая-то программа?

Нет, накропал на коленке. .xlsx — это ж .zip с кучей .xml, вытащить содержимое, слегка разобраться в структуре и поудалять пустые строки не так сложно. Через .csv больно уж много форматирования теряется.

[Red_Herring]

iifat в сообщении #1488972 писал(а):

Через .csv больно уж много форматирования теряется.

На самом деле это хорошо. Почему? Вот представим я спас в .xlsx, причем какой-то столбец есть результат вычислений, основанных нса каких-то других столбцах. И если я удалю один из них, то результат изменится. А с .csv "мавр сделал свое дело..."

На самом деле мне не нужно решение: мое решение меня устраивает. Просто заинтересовался, как обычные пользователи справляются с такой проблемой.

Вот к примеру, я провел квиз, 20 вариантов: 4 селции по пять вариантов в каждом. Квиз проверили ТА. Я трачу мин 240 чтобы вручную прошманать все эти варианты (некоторые из студентов имеют дополнительное время--удалить им late penalty, у кого-то жалобы на интернет, проверить лог, не врут ли, и если не врут то удалить им late penalty), и толкнуть их с CrowdMark на Canvas. Дело в том что все они понимаются системами как 20 отдельных заданий. Потом 2 мин на даунлодирование всего полотна в виде csv (система по иному не умеет), 5 мин мах на выброс столбцов с остальными заданиями, вычисление Quiz-1 (H2 := MAX(G2:AA2), спасение, удаление всех уже ненужных столбцов и аплодирование на Canvas). Оптимизация этих 5 мин ничего не дает!

[EUgeneUS]

Red_Herring в сообщении #1488974 писал(а):

Вот представим я спас в .xlsx, причем какой-то столбец есть результат вычислений, основанных нса каких-то других столбцах. И если я удалю один из них, то результат изменится. А с .csv "мавр сделал свое дело..."

Как многим наверное, приходилось сталкиваться, когда Ексель тормозит при большом количестве вычисляемых столбцов. Поэтому завел себе привычку минимизировать их количество: после получения результата в каком-то столбце делаю его копию с помощью "скопировать значения" и удаляю все вычисляемые столбцы, если они больше не нужны.
Это, конечно, не аргумент сохранять файл в Екселе, а не в csv - в пользу csv, как правило, играют другие аргументы. Но при длительной работе с файлом, когда нужно рассчитать много производных значений, экономит время (немного) и нервы (много).

[tolstopuz]

Red_Herring в сообщении #1488961 писал(а):

Утундрий в сообщении #1488956 писал(а):

Можно ведь протянуть формулу через клик по правому нижнему углу её рамки.

Все это хорошо, когда там десятки студентов, а вот при сотнях мой способ быстрее.

Можно сделать двойной клик на этот угол.