Я новичок в пандах и пытаюсь понять, как добавить несколько столбцов к пандам одновременно. Любая помощь здесь приветствуется. В идеале я бы хотел сделать это за один шаг, а не за несколько повторяющихся шагов ...

import pandas as pd

df = {'col_1': [0, 1, 2, 3],
        'col_2': [4, 5, 6, 7]}
df = pd.DataFrame(df)

df[[ 'column_new_1', 'column_new_2','column_new_3']] = [np.nan, 'dogs',3]  #thought this would work here...

runningbirds

Ответов: 10

Ответы (10)

Я ожидал, что ваш синтаксис тоже сработает. Проблема возникает из-за того, что когда вы создаете новые столбцы с синтаксисом списка столбцов (df [[new1, new2]] = ...), pandas требует, чтобы правая сторона была DataFrame (обратите внимание, что это на самом деле не имеет значения, имеют ли столбцы DataFrame те же имена, что и столбцы, которые вы создаете).

Ваш синтаксис отлично подходит для присвоения скалярных значений существующим столбцам, и pandas также с радостью назначает скалярные значения новому столбцу, используя синтаксис одного столбца (df [new1] =. ..). Таким образом, решение состоит в том, чтобы либо преобразовать это в несколько назначений для одного столбца, либо создать подходящий DataFrame для правой стороны.

Вот несколько подходов, которые будут работать:

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'col_1': [0, 1, 2, 3],
    'col_2': [4, 5, 6, 7]
})

Тогда одно из следующего:

1) Three assignments in one, using list unpacking:

df['column_new_1'], df['column_new_2'], df['column_new_3'] = [np.nan, 'dogs', 3]

2) DataFrame удобно расширяет одну строку в соответствии с индексом, поэтому вы можете сделать это:

df[['column_new_1', 'column_new_2', 'column_new_3']] = pd.DataFrame([[np.nan, 'dogs', 3]], index=df.index)

3) Создайте временный фрейм данных с новыми столбцами, а затем объедините его с исходным фреймом данных позже:

df = pd.concat(
    [
        df,
        pd.DataFrame(
            [[np.nan, 'dogs', 3]], 
            index=df.index, 
            columns=['column_new_1', 'column_new_2', 'column_new_3']
        )
    ], axis=1
)

4) Аналогично предыдущему, но с использованием join вместо concat (может быть менее эффективным):

df = df.join(pd.DataFrame(
    [[np.nan, 'dogs', 3]], 
    index=df.index, 
    columns=['column_new_1', 'column_new_2', 'column_new_3']
))

5) Использование dict - более «естественный» способ создания нового фрейма данных, чем два предыдущих, но новые столбцы будут отсортированы в алфавитном порядке (как минимум до Python 3.6 или 3.7):

df = df.join(pd.DataFrame(
    {
        'column_new_1': np.nan,
        'column_new_2': 'dogs',
        'column_new_3': 3
    }, index=df.index
))

6) Используйте .assign () с несколькими аргументами столбца.

Мне очень нравится этот вариант ответа @ zero, но, как и предыдущий, новые столбцы всегда будут отсортированы по алфавиту, по крайней мере, в ранних версиях Python:

df = df.assign(column_new_1=np.nan, column_new_2='dogs', column_new_3=3)

7) Это интересно (на основе https://stackoverflow.com/a/44951376/3830997), но я не знаю, когда это того стоит:

new_cols = ['column_new_1', 'column_new_2', 'column_new_3']
new_vals = [np.nan, 'dogs', 3]
df = df.reindex(columns=df.columns.tolist() + new_cols)   # add empty cols
df[new_cols] = new_vals  # multi-column assignment works for existing cols

8) В итоге сложно обыграть три отдельных задания:

df['column_new_1'] = np.nan
df['column_new_2'] = 'dogs'
df['column_new_3'] = 3

Примечание: многие из этих параметров уже были рассмотрены в других ответах: Добавить несколько столбцов в DataFrame и установить их равными существующему столбцу, Можно ли добавить несколько столбцов одновременно в a pandas DataFrame?, Добавить несколько пустых столбцов в pandas DataFrame

Вы можете создать экземпляры значений из словаря, если вам нужны разные значения для каждого столбца, и вы не против создать словарь в строке раньше.

>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame({
  'col_1': [0, 1, 2, 3], 
  'col_2': [4, 5, 6, 7]
})
>>> df
   col_1  col_2
0      0      4
1      1      5
2      2      6
3      3      7
>>> cols = {
  'column_new_1':np.nan,
  'column_new_2':'dogs',
  'column_new_3': 3
}
>>> df[list(cols)] = pd.DataFrame(data={k:[v]*len(df) for k,v in cols.items()})
>>> df
   col_1  col_2  column_new_1 column_new_2  column_new_3
0      0      4           NaN         dogs             3
1      1      5           NaN         dogs             3
2      2      6           NaN         dogs             3
3      3      7           NaN         dogs             3

Не обязательно лучше, чем принятый ответ, но это еще один подход, который еще не указан.

при добавлении большого количества пропущенных столбцов (a, b, c, ....) с тем же значением, здесь 0, я сделал это:

    new_cols = ["a", "b", "c" ] 
    df[new_cols] = pd.DataFrame([[0] * len(new_cols)], index=df.index)

На основе второго варианта принятого ответа.

Если вы просто хотите добавить новые пустые столбцы, reindex выполнит задание

df
   col_1  col_2
0      0      4
1      1      5
2      2      6
3      3      7

df.reindex(list(df)+['column_new_1', 'column_new_2','column_new_3'], axis=1)
   col_1  col_2  column_new_1  column_new_2  column_new_3
0      0      4           NaN           NaN           NaN
1      1      5           NaN           NaN           NaN
2      2      6           NaN           NaN           NaN
3      3      7           NaN           NaN           NaN

пример полного кода

import numpy as np
import pandas as pd

df = {'col_1': [0, 1, 2, 3],
        'col_2': [4, 5, 6, 7]}
df = pd.DataFrame(df)
print('df',df, sep='\n')
print()
df=df.reindex(list(df)+['column_new_1', 'column_new_2','column_new_3'], axis=1)
print('''df.reindex(list(df)+['column_new_1', 'column_new_2','column_new_3'], axis=1)''',df, sep='\n')

в противном случае введите нули ответьте с помощью присвойте

Просто хочу указать на этот вариант2 в ответе @Matthias Fripp

(2) Я бы не ожидал, что DataFrame будет работать таким образом, но он работает

df [['column_new_1', 'column_new_2', 'column_new_3']] = pd.DataFrame ([[np.nan, 'dogs', 3]], index = df.index)

уже задокументирован в собственной документации pandas http://pandas.pydata.org/pandas-docs/stable/indexing.html#basics

Вы можете передать список столбцов в [] для выбора столбцов в этом порядке. Если столбец не содержится в DataFrame, возникает исключение. Таким же образом можно установить несколько столбцов. Вы можете найти это полезным для применения преобразования (на месте) к подмножеству столбцов.

Мне неудобно использовать «Индекс» и т. Д. ... может появиться как показано ниже

df.columns
Index(['A123', 'B123'], dtype='object')

df=pd.concat([df,pd.DataFrame(columns=list('CDE'))])

df.rename(columns={
    'C':'C123',
    'D':'D123',
    'E':'E123'
},inplace=True)


df.columns
Index(['A123', 'B123', 'C123', 'D123', 'E123'], dtype='object')

Вы можете использовать assign с указанием имен столбцов и значений.

In [1069]: df.assign(**{'col_new_1': np.nan, 'col2_new_2': 'dogs', 'col3_new_3': 3})
Out[1069]:
   col_1  col_2 col2_new_2  col3_new_3  col_new_1
0      0      4       dogs           3        NaN
1      1      5       dogs           3        NaN
2      2      6       dogs           3        NaN
3      3      7       dogs           3        NaN

использование понимания списка, pd.DataFrame и pd.concat

pd.concat(
    [
        df,
        pd.DataFrame(
            [[np.nan, 'dogs', 3] for _ in range(df.shape[0])],
            df.index, ['column_new_1', 'column_new_2','column_new_3']
        )
    ], axis=1)

enter image description here

С использованием concat:

In [128]: df
Out[128]: 
   col_1  col_2
0      0      4
1      1      5
2      2      6
3      3      7

In [129]: pd.concat([df, pd.DataFrame(columns = [ 'column_new_1', 'column_new_2','column_new_3'])])
Out[129]: 
   col_1  col_2 column_new_1 column_new_2 column_new_3
0    0.0    4.0          NaN          NaN          NaN
1    1.0    5.0          NaN          NaN          NaN
2    2.0    6.0          NaN          NaN          NaN
3    3.0    7.0          NaN          NaN          NaN

Не совсем уверен, что вы хотите сделать с [np.nan, 'dogs', 3]. Может, теперь выставить их по умолчанию?

In [142]: df1 = pd.concat([df, pd.DataFrame(columns = [ 'column_new_1', 'column_new_2','column_new_3'])])
In [143]: df1[[ 'column_new_1', 'column_new_2','column_new_3']] = [np.nan, 'dogs', 3]

In [144]: df1
Out[144]: 
   col_1  col_2  column_new_1 column_new_2  column_new_3
0    0.0    4.0           NaN         dogs             3
1    1.0    5.0           NaN         dogs             3
2    2.0    6.0           NaN         dogs             3
3    3.0    7.0           NaN         dogs             3

Сопоставление словаря с .assign ():

Это наиболее читаемый и динамичный способ присвоения новым столбцам (столбцам) значения (значений) при работе со многими из них.

import pandas as pd
import numpy as np

new_cols = ["column_new_1", "column_new_2", "column_new_3"]
new_vals = [np.nan, "dogs", 3]
# Map new columns as keys and new values as values
col_val_mapping = dict(zip(new_cols, new_vals))
# Unpack new column/new value pairs and assign them to the data frame
df = df.assign(**col_val_mapping)

Если вы просто пытаетесь инициализировать новые значения столбцов как пустые, поскольку вы либо не знаете, какими будут значения, либо у вас много новых столбцов.

import pandas as pd
import numpy as np

new_cols = ["column_new_1", "column_new_2", "column_new_3"]
new_vals = [None for item in new_cols]
# Map new columns as keys and new values as values
col_val_mapping = dict(zip(new_cols, new_vals))
# Unpack new column/new value pairs and assign them to the data frame
df = df.assign(**col_val_mapping)

2022 WebDevInsider