シェルでパイプ繋いで実行したときプログラムは同時に起動されている (bash)

概要
プログラムは同時に起動される
サンプル

概要

タイトルの通りですが、これ間違えて認識している人が結構周りにも多いので、ついでにメモメモ。

私も昔は間違えた認識してましたｗ

コマンドをパイプで繋いで実行することはよくあると思います。

$ grep "pattern" /path/to/file | sort | head

こんな感じとかですね。

このとき、私は昔、以下のように理解していました。

最初のコマンドが起動して処理して、出てきた出力を次のプログラムが起動して受け取って処理して・・・

パイプを境に左から 順に プログラムが起動していって出力が流れていくんだーって感じで理解。

んで、いつのことか忘れてしまいましたが、nc(1) の man を見ていたときに以下の記述を見つけました。

$ rm -f /tmp/f; mkfifo /tmp/f

$ cat /tmp/f | /bin/sh -i 2>&1 | nc -l 127.0.0.1 1234 > /tmp/f

１行目はまあ普通。mkfifo で名前付きパイプを作っているだけですね。

２行目が当時のワタシには意味が理解できませんでした。

一番左のコマンドである cat で read してて、一番右の nc で write してる。名前付きパイプは誰かが write しないと read できないし、誰かが read しないと write できないものです。

「左のコマンドが起動した時点で右の write 側はまだ起動していないから何も読み取れないじゃん・・・」って思ってしまいました。

でも、上のコマンドを実行すると普通に動きます。何故だ？？・・・ってなっていました当時ｗ

プログラムは同時に起動される

間違えて理解してしまっていると、固定観念みたいになってしまっていてなかなか別の発想にならないんですよね。こういうときｗ

何のことはない。パイプで実行しているとき、それぞれのプログラムは 同時に起動 されています。

なので、前述したコマンドもちゃんと動くということでした。

サンプル

書くほどのことでも無いのですが、何事も自分でプログラム書いてみて確認するのが一番。

てことで、ちょっとしたサンプルつくってみましょう。

５秒おきに標準エラー出力になにかを出力しながら、標準入力を受け取ったら標準出力になにかを出力するプログラムです。

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
    "os/signal"
    "time"
)

func main() {
    var (
        sigCh = make(chan os.Signal, 1)
    )

    signal.Notify(sigCh, os.Interrupt)

    var (
        lout = log.New(os.Stdout, fmt.Sprintf("[STDOUT][%s]: ", os.Args[0]), 0)
        lerr = log.New(os.Stderr, fmt.Sprintf("[STDERR][%s]: ", os.Args[0]), 0)
    )

    go func() {
        for {
            select {
            case <-time.After(5 * time.Second):
                lerr.Println("helloworld")
            }
        }
    }()

    go func() {
        s := bufio.NewScanner(os.Stdin)
        for s.Scan() {
            lout.Println(s.Text())
        }
    }()

    <-sigCh
    lerr.Println("done")
}

ビルドと実行用に Makefile

default: all

all: clean build run

clean:
  rm -f ./p1 ./p2

build:
  go build -race -o p1 main.go
  go build -race -o p2 main.go

run:
  ./p1 | ./p2

実行すると以下のようになります。

gitpod /workspace/gitpod-playground $ make
rm -f ./p1 ./p2
go build -race -o p1 main.go
go build -race -o p2 main.go
./p1 | ./p2

[STDERR][./p2]: helloworld
[STDERR][./p1]: helloworld
[STDERR][./p2]: helloworld
[STDERR][./p1]: helloworld
aaaaa
[STDOUT][./p2]: [STDOUT][./p1]: aaaaa
[STDERR][./p2]: helloworld
[STDERR][./p1]: helloworld
^C[STDERR][./p1]: done
[STDERR][./p2]: done
make: *** [Makefile:14: run] Interrupt