Postgresql copy ignore error

COPY — copy data between a file and a table

Synopsis

COPY table_name [ ( column_name [, ...] ) ]
    FROM { 'filename' | PROGRAM 'command' | STDIN }
    [ [ WITH ] ( option [, ...] ) ]
    [ WHERE condition ]

COPY { table_name [ ( column_name [, ...] ) ] | ( query ) }
    TO { 'filename' | PROGRAM 'command' | STDOUT }
    [ [ WITH ] ( option [, ...] ) ]

where option can be one of:

    FORMAT format_name
    FREEZE [ boolean ]
    DELIMITER 'delimiter_character'
    NULL 'null_string'
    HEADER [ boolean | MATCH ]
    QUOTE 'quote_character'
    ESCAPE 'escape_character'
    FORCE_QUOTE { ( column_name [, ...] ) | * }
    FORCE_NOT_NULL ( column_name [, ...] )
    FORCE_NULL ( column_name [, ...] )
    ENCODING 'encoding_name'

Description

COPY moves data between PostgreSQL tables and standard file-system files. COPY TO copies the contents of a table to a file, while COPY FROM copies data from a file to a table (appending the data to whatever is in the table already). COPY TO can also copy the results of a SELECT query.

If a column list is specified, COPY TO copies only the data in the specified columns to the file. For COPY FROM, each field in the file is inserted, in order, into the specified column. Table columns not specified in the COPY FROM column list will receive their default values.

COPY with a file name instructs the PostgreSQL server to directly read from or write to a file. The file must be accessible by the PostgreSQL user (the user ID the server runs as) and the name must be specified from the viewpoint of the server. When PROGRAM is specified, the server executes the given command and reads from the standard output of the program, or writes to the standard input of the program. The command must be specified from the viewpoint of the server, and be executable by the PostgreSQL user. When STDIN or STDOUT is specified, data is transmitted via the connection between the client and the server.

Each backend running COPY will report its progress in the pg_stat_progress_copy view. See Section 28.4.6 for details.

Parameters

Outputs

On successful completion, a COPY command returns a command tag of the form

COPY count

The count is the number of rows copied.

Notes

COPY TO can be used only with plain tables, not views, and does not copy rows from child tables or child partitions. For example, COPY table TO copies the same rows as SELECT * FROM ONLY table. The syntax COPY (SELECT * FROM table) TO ... can be used to dump all of the rows in an inheritance hierarchy, partitioned table, or view.

COPY FROM can be used with plain, foreign, or partitioned tables or with views that have INSTEAD OF INSERT triggers.

You must have select privilege on the table whose values are read by COPY TO, and insert privilege on the table into which values are inserted by COPY FROM. It is sufficient to have column privileges on the column(s) listed in the command.

If row-level security is enabled for the table, the relevant SELECT policies will apply to COPY table TO statements. Currently, COPY FROM is not supported for tables with row-level security. Use equivalent INSERT statements instead.

Files named in a COPY command are read or written directly by the server, not by the client application. Therefore, they must reside on or be accessible to the database server machine, not the client. They must be accessible to and readable or writable by the PostgreSQL user (the user ID the server runs as), not the client. Similarly, the command specified with PROGRAM is executed directly by the server, not by the client application, must be executable by the PostgreSQL user. COPY naming a file or command is only allowed to database superusers or users who are granted one of the roles pg_read_server_files, pg_write_server_files, or pg_execute_server_program, since it allows reading or writing any file or running a program that the server has privileges to access.

Do not confuse COPY with the psql instruction copy. copy invokes COPY FROM STDIN or COPY TO STDOUT, and then fetches/stores the data in a file accessible to the psql client. Thus, file accessibility and access rights depend on the client rather than the server when copy is used.

It is recommended that the file name used in COPY always be specified as an absolute path. This is enforced by the server in the case of COPY TO, but for COPY FROM you do have the option of reading from a file specified by a relative path. The path will be interpreted relative to the working directory of the server process (normally the cluster’s data directory), not the client’s working directory.

Executing a command with PROGRAM might be restricted by the operating system’s access control mechanisms, such as SELinux.

COPY FROM will invoke any triggers and check constraints on the destination table. However, it will not invoke rules.

For identity columns, the COPY FROM command will always write the column values provided in the input data, like the INSERT option OVERRIDING SYSTEM VALUE.

COPY input and output is affected by DateStyle. To ensure portability to other PostgreSQL installations that might use non-default DateStyle settings, DateStyle should be set to ISO before using COPY TO. It is also a good idea to avoid dumping data with IntervalStyle set to sql_standard, because negative interval values might be misinterpreted by a server that has a different setting for IntervalStyle.

Input data is interpreted according to ENCODING option or the current client encoding, and output data is encoded in ENCODING or the current client encoding, even if the data does not pass through the client but is read from or written to a file directly by the server.

COPY stops operation at the first error. This should not lead to problems in the event of a COPY TO, but the target table will already have received earlier rows in a COPY FROM. These rows will not be visible or accessible, but they still occupy disk space. This might amount to a considerable amount of wasted disk space if the failure happened well into a large copy operation. You might wish to invoke VACUUM to recover the wasted space.

FORCE_NULL and FORCE_NOT_NULL can be used simultaneously on the same column. This results in converting quoted null strings to null values and unquoted null strings to empty strings.

File Formats

Text Format

When the text format is used, the data read or written is a text file with one line per table row. Columns in a row are separated by the delimiter character. The column values themselves are strings generated by the output function, or acceptable to the input function, of each attribute’s data type. The specified null string is used in place of columns that are null. COPY FROM will raise an error if any line of the input file contains more or fewer columns than are expected.

End of data can be represented by a single line containing just backslash-period (.). An end-of-data marker is not necessary when reading from a file, since the end of file serves perfectly well; it is needed only when copying data to or from client applications using pre-3.0 client protocol.

Backslash characters () can be used in the COPY data to quote data characters that might otherwise be taken as row or column delimiters. In particular, the following characters must be preceded by a backslash if they appear as part of a column value: backslash itself, newline, carriage return, and the current delimiter character.

The specified null string is sent by COPY TO without adding any backslashes; conversely, COPY FROM matches the input against the null string before removing backslashes. Therefore, a null string such as N cannot be confused with the actual data value N (which would be represented as \N).

The following special backslash sequences are recognized by COPY FROM:

Sequence	Represents
b	Backspace (ASCII
f	Form feed (ASCII 12)
n	Newline (ASCII 10)
r	Carriage return (ASCII 13)
t	Tab (ASCII 9)
v	Vertical tab (ASCII 11)
digits	Backslash followed by one to three octal digits specifies the byte with that numeric code
xdigits	Backslash x followed by one or two hex digits specifies the byte with that numeric code

Presently, COPY TO will never emit an octal or hex-digits backslash sequence, but it does use the other sequences listed above for those control characters.

Any other backslashed character that is not mentioned in the above table will be taken to represent itself. However, beware of adding backslashes unnecessarily, since that might accidentally produce a string matching the end-of-data marker (.) or the null string (N by default). These strings will be recognized before any other backslash processing is done.

It is strongly recommended that applications generating COPY data convert data newlines and carriage returns to the n and r sequences respectively. At present it is possible to represent a data carriage return by a backslash and carriage return, and to represent a data newline by a backslash and newline. However, these representations might not be accepted in future releases. They are also highly vulnerable to corruption if the COPY file is transferred across different machines (for example, from Unix to Windows or vice versa).

All backslash sequences are interpreted after encoding conversion. The bytes specified with the octal and hex-digit backslash sequences must form valid characters in the database encoding.

COPY TO will terminate each row with a Unix-style newline (“n”). Servers running on Microsoft Windows instead output carriage return/newline (“rn”), but only for COPY to a server file; for consistency across platforms, COPY TO STDOUT always sends “n” regardless of server platform. COPY FROM can handle lines ending with newlines, carriage returns, or carriage return/newlines. To reduce the risk of error due to un-backslashed newlines or carriage returns that were meant as data, COPY FROM will complain if the line endings in the input are not all alike.

Examples

The following example copies a table to the client using the vertical bar (|) as the field delimiter:

COPY country TO STDOUT (DELIMITER '|');

To copy data from a file into the country table:

COPY country FROM '/usr1/proj/bray/sql/country_data';

To copy into a file just the countries whose names start with ‘A’:

COPY (SELECT * FROM country WHERE country_name LIKE 'A%') TO '/usr1/proj/bray/sql/a_list_countries.copy';

To copy into a compressed file, you can pipe the output through an external compression program:

COPY country TO PROGRAM 'gzip > /usr1/proj/bray/sql/country_data.gz';

Here is a sample of data suitable for copying into a table from STDIN:

AF      AFGHANISTAN
AL      ALBANIA
DZ      ALGERIA
ZM      ZAMBIA
ZW      ZIMBABWE

Note that the white space on each line is actually a tab character.

The following is the same data, output in binary format. The data is shown after filtering through the Unix utility od -c. The table has three columns; the first has type char(2), the second has type text, and the third has type integer. All the rows have a null value in the third column.

0000000   P   G   C   O   P   Y  n 377  r  n            
0000020         003       002   A   F       013   A
0000040   F   G   H   A   N   I   S   T   A   N 377 377 377 377   003
0000060       002   A   L       007   A   L   B   A   N   I
0000100   A 377 377 377 377   003       002   D   Z      
0000120 007   A   L   G   E   R   I   A 377 377 377 377   003    
0000140   002   Z   M       006   Z   A   M   B   I   A 377 377
0000160 377 377   003       002   Z   W        b   Z   I
0000200   M   B   A   B   W   E 377 377 377 377 377 377

Compatibility

There is no COPY statement in the SQL standard.

The following syntax was used before PostgreSQL version 9.0 and is still supported:

COPY table_name [ ( column_name [, ...] ) ]
    FROM { 'filename' | STDIN }
    [ [ WITH ]
          [ BINARY ]
          [ DELIMITER [ AS ] 'delimiter_character' ]
          [ NULL [ AS ] 'null_string' ]
          [ CSV [ HEADER ]
                [ QUOTE [ AS ] 'quote_character' ]
                [ ESCAPE [ AS ] 'escape_character' ]
                [ FORCE NOT NULL column_name [, ...] ] ] ]

COPY { table_name [ ( column_name [, ...] ) ] | ( query ) }
    TO { 'filename' | STDOUT }
    [ [ WITH ]
          [ BINARY ]
          [ DELIMITER [ AS ] 'delimiter_character' ]
          [ NULL [ AS ] 'null_string' ]
          [ CSV [ HEADER ]
                [ QUOTE [ AS ] 'quote_character' ]
                [ ESCAPE [ AS ] 'escape_character' ]
                [ FORCE QUOTE { column_name [, ...] | * } ] ] ]

Note that in this syntax, BINARY and CSV are treated as independent keywords, not as arguments of a FORMAT option.

The following syntax was used before PostgreSQL version 7.3 and is still supported:

COPY [ BINARY ] table_name
    FROM { 'filename' | STDIN }
    [ [USING] DELIMITERS 'delimiter_character' ]
    [ WITH NULL AS 'null_string' ]

COPY [ BINARY ] table_name
    TO { 'filename' | STDOUT }
    [ [USING] DELIMITERS 'delimiter_character' ]
    [ WITH NULL AS 'null_string' ]

table_name

Название (по желанию-схематическое)существующей таблицы.

column_name

Дополнительный список колонок для копирования.Если список столбцов не указан,будут скопированы все столбцы таблицы,кроме сгенерированных.

query

Команда SELECT , VALUES , INSERT , UPDATE или DELETE , результаты которой должны быть скопированы. Обратите внимание, что запрос заключен в круглые скобки.

Для запросов INSERT , UPDATE и DELETE необходимо предоставить предложение RETURNING, а целевое отношение не должно иметь ни условного правила, ни правила ALSO , ни правила INSTEAD , которое расширяется до нескольких операторов.

filename

Путь к входному или выходному файлу. Имя входного файла может быть абсолютным или относительным путем, но имя выходного файла должно быть абсолютным путем. Пользователям Windows может потребоваться использовать строку E'' и удвоить любые обратные косые черты, используемые в имени пути.

PROGRAM

Команда для выполнения. В COPY FROM ввод считывается из стандартного вывода команды, а в COPY TO вывод записывается на стандартный ввод команды.

Обратите внимание,что команда вызывается оболочкой,поэтому если вам нужно передать любые аргументы в команду оболочки,которые исходят из недоверенного источника,вы должны быть осторожны,чтобы удалить или избежать любых специальных символов,которые могут иметь особое значение для оболочки.Из соображений безопасности лучше всего использовать фиксированную командную строку,или,по крайней мере,не передавать в ней пользовательский ввод.

STDIN

Указывает,что входные данные поступают от клиентского приложения.

STDOUT

Указывает,что вывод идет на клиентское приложение.

boolean

Указывает, следует ли включить или выключить выбранный параметр. Вы можете написать TRUE , ON или 1 , чтобы включить опцию, и FALSE , OFF или 0 , чтобы отключить ее. boolean значение также может быть опущено, в этом случае значения TRUE предполагается.

FORMAT

Выбирает формат данных для чтения или записи: text , csv (значения , разделенные запятыми) или binary . По умолчанию используется text .

FREEZE

Запрашивает копирование данных с уже замороженными строками, как если бы они были после выполнения команды VACUUM FREEZE . Это задумано как вариант производительности для начальной загрузки данных. Строки будут заморожены только в том случае, если загружаемая таблица была создана или усечена в текущей субтранзакции, нет открытых курсоров и нет старых снимков, содержащихся в этой транзакции. В настоящее время невозможно выполнить COPY FREEZE для многораздельной таблицы.

Обратите внимание,что все остальные сеансы сразу же смогут увидеть данные после их успешной загрузки.Это нарушает обычные правила видимости MVCC,и пользователи,указывающие их,должны знать о потенциальных проблемах,которые это может вызвать.

DELIMITER

Задает символ, разделяющий столбцы в каждой строке (строке) файла. По умолчанию используется символ табуляции в текстовом формате и запятая в CSV . Это должен быть один однобайтовый символ. Эта опция не разрешена при использовании binary формата.

NULL

Задает строку, представляющую нулевое значение. По умолчанию используется N (обратная косая черта-N) в текстовом формате и пустая строка без кавычек в CSV . Вы можете предпочесть пустую строку даже в текстовом формате в тех случаях, когда вы не хотите отличать нули от пустых строк. Эта опция не разрешена при использовании binary формата.

Note

При использовании COPY FROM любой элемент данных, соответствующий этой строке, будет сохранен как нулевое значение, поэтому вы должны убедиться, что вы используете ту же строку, что и при COPY TO .

HEADER

Указывает, что файл содержит строку заголовка с именами каждого столбца в файле. На выходе первая строка содержит имена столбцов из таблицы. При вводе первая строка отбрасывается, если для этой опции установлено значение true (или эквивалентное логическое значение). Если для этой опции установлено значение MATCH , количество и имена столбцов в строке заголовка должны совпадать с фактическими именами столбцов таблицы по порядку; в противном случае возникает ошибка. Эта опция не разрешена при использовании binary формата. Опция MATCH действительна только для команд COPY FROM .

QUOTE

Задает кавычки, которые будут использоваться при цитировании значения данных. По умолчанию используются двойные кавычки. Это должен быть один однобайтовый символ. Эта опция разрешена только при использовании формата CSV .

ESCAPE

Задает символ, который должен стоять перед символом данных, который соответствует значению QUOTE . Значение по умолчанию такое же, как значение QUOTE (так что символ кавычки удваивается, если он появляется в данных). Это должен быть один однобайтовый символ. Эта опция разрешена только при использовании формата CSV .

FORCE_QUOTE

Заставляет использовать кавычки для всех значений, отличных от NULL , в каждом заданном столбце. NULL вывод никогда не цитируется. Если указан * , значения , отличные от NULL , будут заключаться в кавычки во всех столбцах. Этот параметр разрешен только в режиме COPY TO и только при использовании формата CSV .

FORCE_NOT_NULL

Не сопоставляйте значения указанных столбцов с пустой строкой. В случае по умолчанию, когда нулевая строка пуста, это означает, что пустые значения будут читаться как строки нулевой длины, а не нули, даже если они не заключены в кавычки. Эта опция разрешена только в режиме COPY FROM и только при использовании формата CSV .

FORCE_NULL

Сопоставьте значения указанных столбцов с пустой строкой, даже если она заключена в кавычки, и если совпадение найдено, установите значение NULL . В случае по умолчанию, когда нулевая строка пуста, это преобразует пустую строку в кавычки в NULL. Эта опция разрешена только в режиме COPY FROM и только при использовании формата CSV .

ENCODING

Указывает, что файл закодирован в encoding_name . Если этот параметр не указан, используется текущая клиентская кодировка. См. Примечания ниже для получения более подробной информации.

WHERE

Необязательное WHERE имеет общую форму

WHERE condition

где condition — это любое выражение, результатом которого является boolean тип . Любая строка, не удовлетворяющая этому условию, не будет вставлена ​​в таблицу. Строка удовлетворяет условию, если она возвращает истину, когда фактические значения строки подставляются для любых ссылок на переменные.

В настоящее время подзапросы не разрешены в выражениях WHERE , и оценка не видит никаких изменений, сделанных самим COPY (это имеет значение, если выражение содержит вызовы функций VOLATILE ).