Linux write error to file

How to save output or errors to a file with Linux shell redirection

Standard Input, Standard Output and Standard Error

A running program, or process, needs to read input from somewhere and write output to somewhere. A command run from the shell prompt normally reads its input from the keyboard and sends its output to its terminal window.

A process uses numbered channels called file descriptors to get input and send output. All processes start with at least three file descriptors. Standard input (channel 0) reads input from the keyboard. Standard output (channel 1) sends normal output to the terminal. Standard error (channel 2) sends error messages to the terminal. If a program opens separate connections to other files, it may use higher-numbered file descriptors.

Redirecting output to a file

I/O redirection changes how the process gets its input or output. Instead of getting input from the keyboard, or sending output and errors to the terminal, the process reads from or writes to files. Redirection lets you save messages to a file that are normally sent to the terminal window. Alternatively, you can use redirection to discard output or errors, so they are not displayed on the terminal or saved.

Redirecting stdout suppresses process output from appearing on the terminal. As seen in the following table, redirecting only stdout does not suppress stderr error messages from displaying on the terminal. If the file does not exist, it will be created. If the file does exist and the redirection is not one that appends to the file, the file’s contents will be overwritten. If you want to discard messages, the special file /dev/null quietly discards channel output redirected to it and is always an empty file.

However, the next sequence does redirection in the opposite order. This redirects standard error to the default place for standard output (the terminal window, so no change) and then redirects only standard output to file.

Because of this, some people prefer to use the merging redirection operators:

However, other system administrators and programmers who also use other shells related to bash (known as Bourne-compatible shells) for scripting commands think that the newer merging redirection operators should be avoided, because they are not standardized or implemented in all of those shells and have other limitations.

Examples for Output Redirection

Many routine administration tasks are simplified by using redirection. Use the previous table to assist while considering the following examples:

1. Save a time stamp for later reference.

2. Copy the last 100 lines from a log file to another file.

3. Concatenate four files into one.

4. List the home directory’s hidden and regular file names into a file.

5. Append output to an existing file.

6. The next few commands generate error messages because some system directories are inaccessible to normal users. Observe as the error messages are redirected. Redirect errors to a file while viewing normal command output on the terminal.

7. Save process output and error messages to separate files.

8. Ignore and discard error messages.

9. Store output and generated errors together.

10. Append output and generated errors to an existing file.

Источник

Working with Input Output and Error Redirection in Linux

Every process in Linux is provided with three open files( usually called file descriptor). These files are the standard input, output and error files. By default :

• Standard Input is the keyboard, abstracted as a file to make it easier to write shell scripts.
• Standard Output is the shell window or the terminal from which the script runs, abstracted as a file to again make writing scripts & program easier
• Standard error is the same as standard output:the shell window or terminal from which the script runs.

A file descriptor is simply a number that refers to an open file. By default , file descriptor 0 (zero) refers to the standard input & often abbreviated as stdin. File descriptor 1 refers to standard output (stdout) and file descriptor 2 refers to standard error (stderr). These numbers are important when you need to access a particular file , especially when you want to redirect these files to the other locations, File descriptors numbers go up from zero.

Redirecting Standard Output

Syntax to redirect the output of a command to a file.

We can see the data that would have gone to the screen with more command :

The > operator tells the shell to redirect the output of the command to the given file. If the file exists , the deletes the old contents of the file and replaces it with the output of the command.

Redirecting a Command’s Input

Syntax to redirect the input of a command to come from a file.

Use the Note : We can also combine both redirections with following syntax :

Redirecting Standard Error

In addition to redirecting the standard input and output for a script or a command, we can also redirect standard error. Even though standard error by defaults goes to the same place as the standard output – the shell window or terminal. There are good reasons why stdout and stderr are treated separately. The main reason is that we can redirect the output of a command or commands to a file but you have no way of knowing whether an error occurred. Separating stderr from stdout allows the error message to appear on your screen while output still goes to a file.

Syntax to redirect stderr from a command to a file.

# command_options_and_agruments 2> output_file.

The 2 in 2> refers to the file descriptor 2, the descriptor number for stderr.

Redirecting both Standard Output & Standard Error

Use 2>&1 Syntax to redirect standard error to the same location as standard output .

Above Command has three parts.

• ls /usr/bin is the command run
• > command.txt redirects the output of the ls command
• 2>&1 sends the output of the file descriptor 2, stderr , to the same location as the file descriptor 1, stdout.

Note that above example assumes that your system doesn’t have directory names “/usr2222/bin”

Redirecting Both stderr & stdout at Once

In the above command ls is the command , /usr2222/bin is the argument to the ‘ls‘ command and ‘&> command.txt‘ redirect both stdout and stderr to a file named command.txt.

Appending To Files

Use the ‘>>’ operator to redirect the output of a command , but append to the file , if it exists. The syntax is given below :

Truncating Files :

We can use a shorthand syntax for truncating files by omitting the command before > operator . The Syntax is given below :

We can also use an alternate format with a colon :

Both of these command-less command will create the file if it does not exist and truncate the file to zero bytes if the file does exist.

Sending Output to Nowhere Fast

There are some scenarios where you not only want to redirect the output of a command , you want to throw the output away. You can do this by redirecting a command’s output to the null file “/dev/null” The null file consumes all output sent to it , as if /dev/null is a black hole star.

Note : The file /dev/null is often called a bit bucket.

Источник

Input Output Redirection in Linux/Unix Examples

Updated December 31, 2022

What is Redirection?

Redirection is a feature in Linux such that when executing a command, you can change the standard input/output devices. The basic workflow of any Linux command is that it takes an input and give an output.

• The standard input (stdin) device is the keyboard.
• The standard output (stdout) device is the screen.

With redirection, the above standard input/output can be changed.

In this tutorial, we will learn-

Click here if the video is not accessible

Output Redirection

The ‘>‘ symbol is used for output (STDOUT) redirection.

Here the output of command ls -al is re-directed to file “listings” instead of your screen.

Note: Use the correct file name while redirecting command output to a file. If there is an existing file with the same name, the redirected command will delete the contents of that file and then it may be overwritten.”

If you do not want a file to be overwritten but want to add more content to an existing file, then you should use ‘>>‘ operator.

You can redirect standard output, to not just files, but also devices!

The cat command reads the file music.mp3 and sends the output to /dev/audio which is the audio device. If the sound configurations in your PC are correct, this command will play the file music.mp3

Input redirection

The ‘
Standard Input STDIN Standard Output STDOUT 1 Standard Error STDERR 2

By default, error stream is displayed on the screen. Error redirection is routing the errors to a file other than the screen.

Standard Input, Standard Output and Standard Error

A running program, or process, needs to read input from somewhere and write output to somewhere. A command run from the shell prompt normally reads its input from the keyboard and sends its output to its terminal window.

A process uses numbered channels called file descriptors to get input and send output. All processes start with at least three file descriptors. Standard input (channel 0) reads input from the keyboard. Standard output (channel 1) sends normal output to the terminal. Standard error (channel 2) sends error messages to the terminal. If a program opens separate connections to other files, it may use higher-numbered file descriptors.

Redirecting output to a file

I/O redirection changes how the process gets its input or output. Instead of getting input from the keyboard, or sending output and errors to the terminal, the process reads from or writes to files. Redirection lets you save messages to a file that are normally sent to the terminal window. Alternatively, you can use redirection to discard output or errors, so they are not displayed on the terminal or saved.

Redirecting stdout suppresses process output from appearing on the terminal. As seen in the following table, redirecting only stdout does not suppress stderr error messages from displaying on the terminal. If the file does not exist, it will be created. If the file does exist and the redirection is not one that appends to the file, the file’s contents will be overwritten. If you want to discard messages, the special file /dev/null quietly discards channel output redirected to it and is always an empty file.

 > file 2>&1

However, the next sequence does redirection in the opposite order. This redirects standard error to the default place for standard output (the terminal window, so no change) and then redirects only standard output to file.

 2>&1 > file

Because of this, some people prefer to use the merging redirection operators:

&>file instead of >file 2>&1
&>>file instead of >>file 2>&1 (in Bash 4)

However, other system administrators and programmers who also use other shells related to bash (known as Bourne-compatible shells) for scripting commands think that the newer merging redirection operators should be avoided, because they are not standardized or implemented in all of those shells and have other limitations.

Examples for Output Redirection

Many routine administration tasks are simplified by using redirection. Use the previous table to assist while considering the following examples:

1. Save a time stamp for later reference.

[[email protected] ~]$ date > /tmp/saved-timestamp

2. Copy the last 100 lines from a log file to another file.

[[email protected] ~]$ tail -n 100 /var/log/dmesg > /tmp/last-100-boot-messages

3. Concatenate four files into one.

[[email protected] ~]$ cat file1 file2 file3 file4 > /tmp/all-four-in-one

4. List the home directory’s hidden and regular file names into a file.

[[email protected] ~]$ ls -a > /tmp/my-file-names

5. Append output to an existing file.

[[email protected] ~]$ echo "new line of information" >> /tmp/many-lines-of-information
[[email protected] ~]$ diff previous-file current-file >> /tmp/tracking-changes-made

6. The next few commands generate error messages because some system directories are inaccessible to normal users. Observe as the error messages are redirected. Redirect errors to a file while viewing normal command output on the terminal.

[[email protected] ~]$ find /etc -name passwd 2> /tmp/errors

7. Save process output and error messages to separate files.

[[email protected] ~]$ find /etc -name passwd > /tmp/output 2> /tmp/errors

8. Ignore and discard error messages.

[[email protected] ~]$ find /etc -name passwd > /tmp/output 2> /dev/null

9. Store output and generated errors together.

[[email protected] ~]$ find /etc -name passwd &> /tmp/save-both

10. Append output and generated errors to an existing file.

[[email protected] ~]$ find /etc -name passwd >> /tmp/save-both 2>&1

Часто возникает необходимость, чтобы скрипт командного интерпретатора Bash выводил результат своей работы. По умолчанию он отображает стандартный поток данных — окно терминала. Это удобно для обработки результатов небольшого объёма или, чтобы сразу увидеть необходимые данные.

В интерпретаторе можно делать вывод в файл Bash. Применяется это для отложенного анализа или сохранения массивного результата работы сценария. Чтобы сделать это, используется перенаправление потока вывода с помощью дескрипторов.

Стандартные дескрипторы вывода

В системе GNU/Linux каждый объект является файлом. Это правило работает также для процессов ввода/вывода. Каждый файловый объект в системе обозначается дескриптором файла — неотрицательным числом, однозначно определяющим открытые в сеансе файлы. Один процесс может открыть до девяти дескрипторов.

В командном интерпретаторе Bash первые три дескриптора зарезервированы для специального назначения:

Их предназначение — обработка ввода/вывода в сценариях. По умолчанию стандартным потоком ввода является клавиатура, а вывода — терминал. Рассмотрим подробно последний.

1. Перенаправление стандартного потока вывода

Для того, чтобы перенаправить поток вывода с терминала в файл, используется знак «больше» (>).

#!/bin/bash
echo "Строка 1"
echo "Промежуточная строка" > file
echo "Строка 2" > file

Как результат, «Строка 1» выводится в терминале, а в файл file записывается только «Строка 2»:

Связано это с тем, что > перезаписывает файл новыми данными. Для того, чтобы дописать информацию в конец файла, используется два знака «больше» (>>).

#!/bin/bash
echo "Строка 1"
echo "Промежуточная строка" > file
echo "Строка 2" >> file

Здесь «Промежуточная строка» перезаписала предыдущее содержание file, а «Строка 2» дописалась в его конец.

Если во время использования перенаправления вывода интерпретатор обнаружит ошибку, то он не запишет сообщение о ней в файл.

#!/bin/bash
ls badfile > file2
echo "Строка 2" >> file2

В данном случае ошибка была в том, что команда ls не смогла найти файл badfile, о чём Bash и сообщил. Но вывелось сообщение в терминал, а не записалось в файл. Всё потому, что использование перенаправления потоков указывает интерпретатору отделять мух от котлет ошибки от основной информации.

Это особенно полезно при выполнении сценариев в фоновом режиме, где приходится предусматривать вывод сообщений в журнал. Но так как ошибки в него писаться не будут, нужно отдельно перенаправлять поток ошибок для того, чтобы выполнить их вывод в файл Linux.

2. Перенаправление потока ошибок

В командном интерпретаторе для обработки сообщений об ошибках предназначен дескриптор STDERR, который работает с ошибками, сформированными как от работы интерпретатора, так и самим скриптом.

По умолчанию STDERR указывает в то же место, что и STDOUT, хотя для них и предназначены разные дескрипторы. Но, как было показано в примере, использование перенаправления заставляет Bash разделить эти потоки.

Чтобы выполнить перенаправление вывода в файл Linux для ошибок, следует перед знаком«больше» указать дескриптор 2.

#!/bin/bash
ls badfile 2> errors
echo "Строка 1" > file3
echo "Строка 2" >> file3

В результате работы скрипта создан файл errors, в который записана ошибка выполнения команды ls, а в file3 записаны предназначенные строки. Таким образом, выполнение сценария не сопровождается выводом информации в терминал.

Пример того, как одна команда возвращает и положительный результат, и ошибку:

ls -lh test badtest 2> errors

Команда ls попыталась показать наличие файлов test и badtest. Первый присутствовал в текущем каталоге, а второй — нет. Но сообщение об ошибке было записано в отдельный файл.

Если возникает необходимость выполнить вывод команды в файл Linux, включая её стандартный поток вывода и ошибки, стоит использовать два символа перенаправления, перед которыми стоит указывать необходимый дескриптор.

ls -lh test test2 badtest 2> errors 1> output

Результат успешного выполнения записан в файл output, а сообщение об ошибке — в errors.

По желанию можно выводить и ошибки, и обычные данные в один файл, используя &>.

ls -lh test badtest &> output

Обратите внимание, что Bash присваивает сообщениям об ошибке более высокий приоритет по сравнению с данными, поэтому в случае общего перенаправления ошибки всегда будут располагаться в начале.

Временные перенаправления в скриптах

Если есть необходимость в преднамеренном формировании ошибок в сценарии, можно каждую отдельную строку вывода перенаправлять в STDERR. Для этого достаточно воспользоваться символом перенаправления вывода, после которого нужно использовать & и номер дескриптора, чтобы перенаправить вывод в STDERR.

#!/bin/bash
echo "Это сообщение об ошибке" >&2
echo "Это нормальное сообщение"

При выполнении программы обычно нельзя будет обнаружить отличия:

Вспомним, что GNU/Linux по умолчанию направляет вывод STDERR в STDOUT. Но если при выполнении скрипта будет перенаправлен поток ошибок, то Bash, как и полагается, разделит вывод.

Этот метод хорошо подходит для создания собственных сообщений об ошибках в сценариях.

Постоянные перенаправления в скриптах

Если в сценарии необходимо перенаправить вывод в файл Linux для большого объёма данных, то указание способа вывода в каждой инструкции echo будет неудобным и трудоёмким занятием. Вместо этого можно указать, что в ходе выполнения данного скрипта должно осуществляться перенаправление конкретного дескриптора с помощью команды exec:

#!/bin/bash
exec 1> testout
echo "Это тест перенаправления всего вывода"
echo "из скрипта в другой файл"
echo "без использования временного перенаправления"

Вызов команды exec запускает новый командный интерпретатор и перенаправляет стандартный вывод в файл testout.

Также существует возможность перенаправлять вывод (в том числе и ошибок) в произвольном участке сценария:

#!/bin/bash
exec 2> testerror
echo "Это начально скрипта"
echo "И это первые две строки"
exec 1> testout
echo "Вывод сценария перенаправлен"
echo "из с терминала в другой файл"
echo "но эта строка записана в файл ошибок" >&2

Такой метод часто применяется при необходимости перенаправить лишь часть вывода скрипта в другое место, например в журнал ошибок.

Выводы

Перенаправление в скриптах Bash, чтобы выполнить вывод в файл Bash, является хорошим средством ведения различных журналов, особенно в фоновом режиме.

Использование временного и постоянного перенаправлений в сценариях позволяет создавать собственные сообщения об ошибках для записи в отличное от STDOUT место.

This article will quickly guide you about Linux standard input output error.Also we will learning how we can redirect stdout and stderr to file in Linux.

Every command or in-turn respective process initialized with some kind of streams.

1. Standard input stream (abbreviated stdin) which is use to get the input for the associated program or process.
2. Standard output (abbreviated stdout) where process or program writes the output.
3. Standard error (abbreviated stderr) used to store or display error preferably on the screen.

In Linux terminology each above streams are indicated by the digits or symbol as below:

While using the above symbol you must use either “<” and “>” depending on the condition.

How to redirect stdin 

Redirecting standard input stdin in Linux is pretty simple you need to use “<” indicator along with symbol mentioned above which is 0.

Example for redirect stdin:

Cat command displays contents of the file on the screen. Now as an example we are using redirect method which inputs the data streams for cat command. As a result it displays the contents of hello.txt on the screen.

[root@rhel test]# cat 0< hello.txt
Welcome to UxTechno!!!

In the above example we have used the file hello.txt as a standard input stdin for the cat command or program.

How to redirect stdout and stderr to file

Redirect stdout to file

First of all we will learn how to redirect stdout to file. In order to redirect standard output to a file you need to use symbol “>” followed by the name of the file.

Syntax:

command > output.log

Here we are using “>” symbol as a result all the output of the command gets redirected to output.log file.

Example:

[root@rhel ~]# df -h > /tmp/output.log

[root@rhel ~]# cat /tmp/output.log
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        484M     0  484M   0% /dev
tmpfs           497M     0  497M   0% /dev/shm
tmpfs           497M   57M  441M  12% /run
tmpfs           497M     0  497M   0% /sys/fs/cgroup
/dev/xvda1      8.0G  1.1G  7.0G  14% /
tmpfs           100M     0  100M   0% /run/user/1000
[root@rhel ~]#

Redirect stderr to file

In some of the cases you also wanted to be redirect standard error (stderr) to file instead of displaying them on to the screen. In order to redirect standard error stderr to file you need to use “2>” symbol followed by the name of the file.

Syntax:

command 2> error.log

Example:

[root@rhel ~]# df -t 2> /tmp/error.log

[root@rhel ~]# cat /tmp/error.log
df: option requires an argument -- 't'
Try 'df --help' for more information.
[root@rhel ~]#

In the above example we are purposefully using wrong argument “-t” along with the command “df” because we want to generate error message.  As a result error gets generated then redirected to file followed by “2>” symbol.

How to redirect standard error stderr and standard out stdout in one go

Most of the time we want stderr as well as stdout to be redirected to one single file. Hence we must use “2>&1” symbol which will redirect stderr to stdout. And then we can use “>” symbol to direct it to one single file. Yet other easy method would be use symbol “&>”.

syntax:

command  > file.log 2>&1

or

command &> file.log

standard output example

[root@rhel ~]# ls . > /tmp/stdout.log
[root@rhel ~]# cat /tmp/stdout.log
log.txt
[root@rhel ~]#

standard error example

Now we are generating standard error stderr by listing file “.uxtecho” which does exists.

[root@rhel ~]# ls .uxtecho 2> /tmp/stderr.log
[root@rhel ~]# cat /tmp/stderr.log
ls: cannot access .uxtecho: No such file or directory
[root@rhel ~]#

Combine redirection of both stderr and stdout to a single file as below:

[root@rhel ~]# ls . .uxtecho &> /tmp/stdall.log
[root@rhel ~]# cat /tmp/stdall.log
ls: cannot access .uxtecho: No such file or directory
.:
log.txt
[root@rhel ~]#

Maybe you can also use below method which does almost same work.

[root@rhel ~]# ls . .uxtecho > /tmp/stdall2.log 2>&1
[root@rhel ~]# cat /tmp/stdall2.log
ls: cannot access .uxtecho: No such file or directory
.:
log.txt
[root@rhel ~]#

Probably you may like to Learn more about How to convert xls file to csv file in Linux and vice versa.

Get your free copy of Linux command line Cheat Sheet.

Download most noteworthy guide: Click Here!!