텍스트 데이터는 사람에게는 간단히 볼 수 있는 장점이 있지만 컴퓨터 입장에서는 처리하는데 비효율적인 형식입니다. 가령 숫자를 가지고 연산을 하려면 텍스트 데이터는 먼저 스트링을 cpu 에서 처리할 수 있는 숫자로 변경을 해줘야 합니다. 데이터량이 많지 않으면 별문제가 되지 않겠지만 그렇지 않고 데이터 크기가 커지면 시간이 누적되어 차이가 많이 나게 됩니다.
따라서 데이터 사이즈가 크고 여러번 처리를 해야 된다면 데이터 처리 전용 툴인 database 를 이용하는 것이 효율적입니다. 처음 insert 하는데 시간이 걸리기는 하지만 이후에는 아무런 index 생성을 안해도 database 가 훨씬 빠릅니다. 단순히 데이터 처리작업을 하는데 여러가지 설정을 해야 하는 database server 를 사용하기보다는 sqlite3 를 이용하는 것도 좋습니다. 데몬 프로세스가 생성되는 것도 아니고 shell 에서 일반 명령 사용하듯이 간단히 사용할 수 있습니다.