Извлечение данных из файла и визуализация в R

[aitap]

Alm99, а, разделить на красные и синие?

sapply(
# для каждого data.frame в списке...
get.tables(readLines('1_HSO4-1_H2SO4-1_DMA-1_HNO3--d_02088_d_SEEDER-1FB2X6F7Q-CBS.out')),
# ...выделить строку, соответствующую условиям, и из неё - столбец Value
function(x) subset(x, row.names == 'Maximum' & Item == 'Force')$Value # подставьте другие поля вместо 'Maximum' и 'Force'
)

[Alm99]

aitap
ну да, сделать так, чтобы для каждого из параметров он извлекал численное значение

[Alm99]

Dan B-Yallay
aitap
zykov


Спасибо Всем за помощь! Очень сильно помогли! Думаю, раз уж так, то надо сесть осваивать Perl также!

[Alm99]

aitap

А подскажите пожалуйста, как например в R прочитать много файлов, используя readLines? К примеру, у меня 25 файлов с именем id.out, и мне надо прочитать 15 таких файлов, в имени которого номер и расширение, чтобы применить ту же конструкцию, что Вы писали ранее:

dfL1_F[i] <- sapply( get.tables(readLines('id.out')), function(x) subset(x, row.names == 'Maximum' & Item == 'Force')$Value)
dfL1_RMF[i] <- sapply( get.tables(readLines('id.out')), function(x) subset(x, row.names == 'RMS' & Item == 'Force')$Value)
dfL1_MD[i] <- sapply( get.tables(readLines('id.out')), function(x) subset(x, row.names == 'RMS' & Item == 'Displacement')$Value)
dfL1_RMD[i] <- sapply( get.tables(readLines('id.out')), function(x) subset(x, row.names == 'RMS' & Item == 'Displacement')$Value)

и:

dflines[id] <- readLines('id.out')

Просто у меня цикл for не срабатывает, он только последний файл построчно открывает. Так же работает и конструкция:

dataFiles <- lapply(Sys.glob("id*.out"), readLines(id.out))

попробавал еще такую конструкцию:

setwd("~/Documents/")
df <- list() 
listout <- dir(pattern = "\/d.out") 
for (k in 1:length(listout))
{
 df[[k]] <- readLines(listout[k])
}
str(ldf[[1]]) 

Просто потребуется построить 15 линий на одном графике, а таких графиков всего 5 и хотел использовать что-то подобное потом:

opar <- par(no.readonly=TRUE)
par(mfrow=c(5,2))
par(new=TRUE)
par(las = 1)
fot (i in 1:15){
  plot(steps <-c(62:82), dfL1_F[i][диапазон выбирается],
     type= "o",pch=16, lty=1, xlab = 'Step finals', ylab = '', 
   xlim <- c(40,90))
abline(h=c(0.000450), lwd=1.5, lty=2, col="black")
mtext("MAX F", col = "black", adj=-0.1, padj=+0.1, cex=0.8)
grid(nx = NULL, ny = NULL,lty = 2, col = "gray", lwd = 1) 
}

fot (i in 1:15){
  plot(steps <-c(62:82), dfL1_RMF[i][диапазон выбирается],
     type= "o",pch=16, lty=1, xlab = 'Step finals', ylab = '', 
   xlim <- c(40,90))
abline(h=c(0.000450), lwd=1.5, lty=2, col="black")
mtext("MAX F", col = "black", adj=-0.1, padj=+0.1, cex=0.8)
grid(nx = NULL, ny = NULL,lty = 2, col = "gray", lwd = 1) 
}
.
.
.

[Alm99]

Я попробовал конструкцию

my_fl <- list.files(pattern = "\\.out$")

dflines <- list()
for (id in seq_along(my_fl)) {
    dflines[[id]] <- readLines(my_fl[id])
}

однако, не все файлы прочитаны полностью, так например, для файла 54.out, он последний было прочитано 5509 строк, несмотря на то, что в нем 17998 строк.

В любом случае, при попытке организовать операцию выборки в цикле все же не получается:

for (j in seq_along(my_fl)){
dfL1_F[[j]] <- sapply( get.tables(my_out[[j]]), 
function(x) subset(x, row.names == 'Maximum' & Item == 'Force')$Value)
}

[Alm99]

Dan B-Yallay
aitap

В общем,возникает проблема с сортировкой, он не порядку записывает файлы, поэтому на месте 54, оказался 9... Попробовал разные регулярки - не помогает. Просто если это исправить, и правильно записать циклы, то можно было бы построить множество графиков на одном:

get.tables <- function(lines) { 
   start_tbl <- grep('^ +Item', lines)
   end_tbl <- grep('^ +Predicted', lines)
   stopifnot(length(start_tbl) == length(end_tbl))

   lapply(seq_along(start_tbl), function(i) {
      read.table( 
         text = lines[start_tbl[i]:(end_tbl[i]-1)],
         row.names = NULL, check.names = FALSE
      )
   })
}

get.done <- function(lines) # возвращает матрицу из двух столбцов, E и cycles
   t(simplify2array(Map(function(x) as.numeric(x[2:3]),
      Filter(length, regmatches(lines, regexec(
         '^ *SCF Done: *E\\([^)]*\\) *= *([\\d.-]+) *A.U. *after *(\\d+) *cycles *$',
         lines, perl = TRUE
      )))
   )))

my_fl <- list.files(pattern = ".*.out")

my_out <- list()
for (i in seq_along(my_fl)) {
    my_out[[i]] <- readLines(my_fl[i])
}


for (j in seq_along(my_fl)){
dfL1_F[[j]] <- sapply( get.tables(my_out[[j]]),
function(x) subset(x, row.names == 'Maximum' & Item == 'Force')$Value)
}

for (i in seq_along(my_fl)){
dfQ[i] <- get.done(my_out[[i]])[,2]
}

opar <- par(no.readonly=TRUE)
par(mfrow=c(5,2))
par(new=TRUE)
par(las = 1)
fot (i in 1:15){
  plot(steps <-c(62:82), dfL1_F[i][диапазон столбцов],
     type= "o",pch=16, lty=1, xlab = 'Step finals', ylab = '',
   xlim <- c(40,90))
abline(h=c(0.000450), lwd=1.5, lty=2, col="black")
mtext("MAX F", col = "black", adj=-0.1, padj=+0.1, cex=0.8)
grid(nx = NULL, ny = NULL,lty = 2, col = "gray", lwd = 1)
}

fot (i in 1:15){
  plot(steps <-c(62:82), dfQ[i][диапазон столбцов],
     type= "o",pch=16, lty=1, xlab = 'Step finals', ylab = '',
   xlim <- c(40,90))
abline(h=c(0.000450), lwd=1.5, lty=2, col="black")
mtext("MAX F", col = "black", adj=-0.1, padj=+0.1, cex=0.8)
grid(nx = NULL, ny = NULL,lty = 2, col = "gray", lwd = 1)
}
.
.
.

Почему он мне выдает при использовании циклов предупреждение, что нет элементов для записи, и как отсортировать тогда my_fl? Как это исправить?

[aitap]

Alm99 в сообщении #1541090 писал(а):

В общем,возникает проблема с сортировкой, он не порядку записывает файлы, поэтому на месте 54, оказался 9...

Попробуйте так:

my_out <- lapply(
# взять список файлов и поименовать элементы вектора так же, как файлы
setNames(nm = list.files(pattern = ".*.out")),
# каждый из файлов считать
readLines
)

Должен получиться именованный список, в котором каждому имени файла будет соответствовать его содержимое. Дальше, если не нравится порядок файлов в списке, можно взять names(my_out), вычленить из него номера и при помощи order(...) получить перестановку, которая расположит my_out в правильном порядке с сохранением всех имён.

[Alm99]

aitap

Цитата:

Должен получиться именованный список, в котором каждому имени файла будет соответствовать его содержимое. Дальше, если не нравится порядок файлов в списке, можно взять names(my_out), вычленить из него номера и при помощи order(...) получить перестановку, которая расположит my_out в правильном порядке с сохранением всех имён.

Так я получаю просто список, а точнее содержимое каждого файла, а судя по тому, что на экране, он точно так же оставляет всю последовательность.

[aitap]

Alm99, вызов lapply() выше должен вернуть Вам именованный список, состоящий из векторов-строк (типа character). Да, имена располагаются в произвольном порядке (в котором их вернул вызов list.files()), но мы можем их отсортировать. Покажите мне names(my_out) и скажите, что хотите с ними сделать, и я подскажу, как получить нужную перестановку.

[Alm99]

aitap

Получаю тот же результат, что и с использованием различного рода регулярок

[1] "data1.out"  "data10.out" "data11.out" "data12.out" "data13.out"
 [6] "data14.out" "data15.out" "data16.out" "data17.out" "data18.out"
[11] "data19.out" "data2.out"  "data20.out" "data21.out" "data22.out"
[16] "data23.out" "data24.out" "data25.out" "data26.out" "data27.out"
[21] "data28.out" "data29.out" "data3.out"  "data30.out" "data31.out"
[26] "data32.out" "data33.out" "data34.out" "data35.out" "data36.out"
[31] "data37.out" "data38.out" "data39.out" "data4.out"  "data40.out"
[36] "data41.out" "data42.out" "data43.out" "data44.out" "data45.out"
[41] "data46.out" "data47.out" "data48.out" "data49.out" "data5.out" 
[46] "data50.out" "data51.out" "data52.out" "data53.out" "data54.out"
[51] "data6.out"  "data7.out"  "data8.out"  "data9.out" 

[Dan B-Yallay]

Вероятно gtools поможет:

> install.packages('gtools')
[...]
> require('gtools')
Loading required package: gtools
> n
[1] "abc21" "abc2" "abc1" "abc01" "abc4" "abc201" "1b" "1a"
> mixedsort(n)
[1] "1a" "1b" "abc1" "abc01" "abc2" "abc4" "abc21" "abc201"

[aitap]

Alm99 в сообщении #1541109 писал(а):

Получаю тот же результат, что и с использованием различного рода регулярок

Это нормально, потому что регулярки не влияют на сортировку результата. Кроме того, сортировка всё равно не гарантирована для большинства функций, возвращающих списки файлов.

Если предположить, что Вам нужно расположить имена файлов по возрастанию номера, вот обещанная перестановка:

p <- order(as.numeric(regmatches(names(my_out), regexpr('\\d+', names(my_out), perl=TRUE))))

Исправлено: x -> names(my_out)

Здесь снова используется регулярное выражение, чтобы вытащить из имён файлов их номера, после чего as.numeric превращает их в числа, а order, собственно, возвращает перестановку, которая отсортирует names(my_out) по возрастанию этих номеров. Теперь my_out[p] будет отсортирован в нужном порядке.

На будущее -- я забыл об этом сказать -- удобный способ поделиться данными - это функция dput(). Она напечатает данные в таком виде, в котором их легче всего скопировать к себе в сессию R.

[Alm99]

Dan B-Yallay
пробовал, не помогло(

[Dan B-Yallay]

Тогда попробуйте еще stringr

library(stringr)

str_sort(n, numeric = TRUE)

[1] "1a" "1b" "abc1" "abc01" "abc2" "abc4" "abc21" "abc201"

-- Вт ноя 30, 2021 06:22:02 --

Или то, что предложил aitap

[Alm99]

aitap
Может я что-то делаю не так, однако результат тот же...

Dan B-Yallay
он сортирует my_fl, однако к my_out он ее не применяет

-- 30.11.2021, 15:56 --

Dan B-Yallay
Да, помогло!

aitap
Однако, я не понимаю, вот книга, прям перед глазами, почему циклы то не работают, чтобы правильно записать требуюемую информацию в i-ый лист...

for (j in seq_along(my_fl_s)){
dfL1_F <- sapply( get.tables(my_out[[j]]),
function(x) subset(x, row.names == 'Maximum' & Item == 'Force')$Value)
}

Он получается возвращает только последние значения, и при этом, файлов 54, а возвращает только 34 значения... Как так сделать, чтобы он записал в dfL1_F записать листы, каждый из которых будет содержать все значения о конкретном параметре?

Я прохожусь по всем файлам, в цикле, и из каждого файла возвращаю таблицы, в виде вложенных листов, из которых извлекаются необходимые параметры...

Просто набивать 54 plot для пяти параметров, это 250 строк кода, да и вероятность сбиться близится к 1

-- 30.11.2021, 16:11 --

aitap, Dan B-Yallay

Прошу прощения, разобрался, почему такая ошибка возникла, остается только одна проблема, поскольку в каждом случае, размерность разная, как вывести эти 54 графика на одном, т.е. определять размерность и каждый раз передавать ее в диапазон шагов, чтобы он строил их на одной фигуре:

fot (i in 1:54)
plot(steps <-c(1:length(dfL1_F[[i]])), dfL1_F[[i]],
     type= "o",pch=16, lty=1, xlab = 'Step finals', ylab = '')