프로세스가 동적 메모리를 요청할 때, 커널은 즉시 물리 메모리를 내어줄까요? 아니면 "나중에 사용할 수 있는 주소 범위"만 미리 약속해 둘까요?

커널은 사용자 프로세스의 메모리 요청을 매우 보수적으로 다룹니다. 프로그램을 실행하더라도 모든 코드가 당장 쓰이는 것은 아니며, 대규모 메모리를 요청했다고 해서 모든 영역을 즉시 읽고 쓰는 것도 아니기 때문입니다. 또한 사용자 프로그램의 동작을 전적으로 예측할 수 없으므로, 커널은 우선 주소 공간만 등록해 두고 실제 페이지 프레임은 요청이 현실화되는 순간에 비로소 할당합니다.

한 프로세스의 0x08048000 주소는 다른 프로세스의 동일한 주소와 아무런 연관이 없습니다. 커널은 이처럼 독립적인 주소 공간을 메모리 영역(Memory Region) 단위로 쪼개어 관리합니다. 메모리 영역을 정의하는 세 가지 핵심 요소는 '시작 선형 주소', '길이', '접근 권한'이며, 이때 시작 주소와 길이는 반드시 4KB 페이지 크기의 배수로 맞아떨어져야 합니다.

프로세스의 주소 공간을 정의하는 모든 핵심 정보는 mm_struct(메모리 디스크립터)라는 거대한 구조체 안에 담겨 있습니다. 각 프로세스 디스크립터(task_struct)의 mm 필드가 바로 이 장부를 가리킵니다.

커널 스레드는 사용자 모드로 전환되는 일 없이 오로지 커널 공간 안에서만 실행됩니다. 따라서 사용자 모드를 위한 주소 공간 자체가 필요 없으며, 커널 스레드의 프로세스 디스크립터에서 mm 필드는 언제나 NULL로 비워져 있습니다.

그렇다고 페이지 테이블 없이 CPU가 명령어를 실행할 수는 없습니다. CPU 구조상 항상 유효한 페이지 테이블 디렉터리가 지정되어 있어야 합니다. 이 딜레마를 해결하기 위해 커널 스레드는 바로 직전에 실행되던 일반 프로세스의 active_mm을 잠시 빌려 씁니다. 주소 공간을 공식적으로 "소유"하지는 않지만, CPU가 계속 멈추지 않고 커널 코드를 실행할 수 있도록 기존의 렌즈(페이지 테이블)를 그대로 둔 채 작업을 수행하는 효율적인 구조입니다.

mm_struct 안에서 관리되는 개별적인 구획 하나하나를 vm_area_struct(VMA)라고 부릅니다. vm_start는 해당 구역의 첫 번째 선형 주소를 담고 있으며, vm_end는 구역이 끝난 직후의 첫 번째 선형 주소를 가리킵니다. 즉, 영역의 실제 길이는 vm_end - vm_start로 계산되며, vm_end 주소 자체는 이 영역에 포함되지 않습니다.

프로세스가 새로운 주소 구간을 요청할 때, 새로 할당할 구간이 기존 영역과 맞닿아 있고 접근 권한(vm_flags)까지 완전히 일치한다면 커널은 두 영역을 하나로 합칩니다(Merge). 반대로 기존 영역의 한가운데를 해제해버리면, 남은 영역은 두 개의 독립적인 VMA로 쪼개집니다(Split).

하나의 프로세스가 가진 수많은 메모리 구역(VMA)들은 주소가 낮음에서 높음으로 증가하는 순서에 따라 연결 리스트로 길게 이어져 있습니다. 그러나 수만 개의 페이지 폴트가 발생할 때마다 리스트를 처음부터 순차 탐색한다면 시스템은 금방 느려질 것입니다. 그래서 Linux 2.6부터는 동일한 VMA 객체들을 레드-블랙 트리(Red-Black Tree)라는 균형 이진 탐색 트리에도 함께 편입시켜 둡니다.

기본적으로 단일 프로세스가 조각내어 가질 수 있는 메모리 구역의 최대 개수는 65,536개로 제한되어 있으며, 이 한계치는 /proc/sys/vm/max_map_count를 통해 시스템 상황에 맞게 튜닝할 수 있습니다.

프로세스 주소 공간에 "이 주소를 써도 좋다"고 허락을 내렸다면, 그다음은 "어떻게 써도 좋은가?"를 규정해야 합니다. 해당 영역을 읽고, 쓰고, 실행할 수 있는지, 아니면 다른 프로세스와 데이터를 공유할 수 있는지 등의 다채로운 속성들이 모두 vm_flags에 빼곡히 기록됩니다.

find_vma(mm, addr)는 커널이 가장 빈번하게 호출하는 핵심 탐색 함수입니다. 이 함수는 인자로 받은 addr보다 큰 vm_end를 가진 첫 번째 메모리 영역을 찾아 반환합니다. 주의할 점은, 찾아낸 영역이 반드시 addr를 포함하고 있다는 보장은 없다는 것입니다. 따라서 반환값을 받은 커널은 vm_start ≤ addr 조건이 참인지 한 번 더 검증해야 합니다. 탐색은 지역성을 고려해 mmap_cache를 먼저 찔러본 뒤, 실패하면 레드-블랙 트리를 타고 내려갑니다.

do_mmap()은 사용자 프로세스의 가상 주소 공간에 새로운 선형 주소 구간을 개척하는 핵심 엔진입니다. 특정 파일을 메모리에 매핑할 때는 파일 객체와 그 위치(offset)를 건네받고, 파일이 없는 순수 메모리(익명 매핑)를 원할 때는 크기와 권한 정보만으로 작업을 시작합니다.

do_munmap()은 반대로 프로세스의 주소 공간에서 특정 선형 주소 구간을 파내어 제거하는 임무를 맡습니다. 단순히 계약서 한 장을 찢는 일이 아닙니다. 제거하려는 구간이 기존 영역의 일부만 애매하게 걸치고 있을 수 있어 상당히 정교한 분할 수술이 필요합니다.

x86 아키텍처에서 페이지 폴트를 진두지휘하는 총사령관은 do_page_fault()입니다. 문제가 발생하면 CPU는 즉시 말썽을 일으킨 선형 주소를 cr2 레지스터에 박아 넣고 커널을 호출하며, 핸들러 함수는 당시 CPU 레지스터 상태(pt_regs)와 사태의 원인을 담은 3비트짜리 error_code를 넘겨받습니다.

불법 판정 (bad_area): 접근한 주소가 프로세스의 권리 밖이라면 자비는 없습니다. 사용자 모드에서 벌어진 일이라면 악명 높은 SIGSEGV(Segmentation Fault) 신호를 보내 프로세스를 사살합니다. 만약 커널 모드 내부에서 이런 실수가 터졌다면, 커널은 패닉에 빠지기 전에 exception table을 뒤져 미리 준비된 수습 코드(fixup)가 있는지 필사적으로 찾습니다. 수습이 가능하면 -EFAULT를 반환하고, 수습조차 안 되는 찐 커널 버그라면 시스템을 멈추는 'Kernel oops'를 터뜨립니다.

합법 판정 (good_area): 허가된 주소 공간 안이고 권한(VM_READ/WRITE/EXEC)까지 딱 들어맞는다면, 이것은 에러가 아니라 커널이 기다려왔던 '지연 할당의 타이밍'입니다. 커널은 이제 진짜 물리 페이지를 엮어주기 위해 handle_mm_fault()라는 실무 담당자를 호출합니다.

수요 페이징(Demand Paging)이란, 물리 페이지 프레임의 실제 할당을 프로세스가 '정말로 그 메모리에 접근하는 최후의 순간'까지 최대한 늦추는 고도의 지연 전술입니다. 어차피 프로그램은 자신이 예약해 둔 거대한 주소 공간을 한꺼번에 다 쓰지 않기 때문에, 미리 통째로 물리 메모리를 묶어두는 것은 엄청난 낭비입니다.

초창기 낡은 Unix 시스템에서 fork()는 참으로 무식했습니다. 자식이 태어나면 부모가 가진 수백 메가바이트의 메모리 페이지를 일일이 무식하게 찍어 복사했습니다. 문제는 갓 태어난 자식이 곧바로 execve()를 불러 새 프로그램으로 탈바꿈하면서, 기껏 땀 흘려 복사해 준 그 무거운 메모리를 모조리 쓰레기통에 처박는다는 것이었습니다. 현대의 Linux는 이 참사를 막기 위해 COW(Copy On Write)라는 우아한 마법을 부립니다.

vmalloc()을 호출해 연속적이지 않은 커널 메모리 영역을 조립해 낼 때, 영리한 리눅스는 수많은 프로세스의 페이지 테이블을 일일이 찾아다니며 업데이트하는 생고생을 하지 않습니다. 오직 최상위 마스터 커널 페이지 테이블(init_mm.pgd) 한 곳에만 몰래 새 매핑을 적어두고 시치미를 뗍니다. 변경 사항을 모든 프로세스에 즉시 뿌리는 끔찍한 오버헤드를 회피하기 위한 또 다른 지연 전술입니다.

새로운 프로세스(또는 스레드)가 세상에 태어날 때 커널은 copy_mm()이라는 산부인과 의사를 호출합니다. 호출자가 CLONE_VM이라는 탯줄 플래그를 달고 왔다면 부모의 거대한 주소 공간을 고스란히 공유하는 가벼운 스레드가 되고, 탯줄이 없다면 부모와 단절된 독자적인 주소 세계를 구축하는 프로세스가 됩니다.

개발자가 동적 메모리의 바다에서 헤엄칠 때 의지하는 malloc(), calloc(), free() 같은 함수들은 사실 커널이 직접 제공하는 것이 아니라, C 표준 라이브러리(glibc)가 편의를 위해 감싸놓은 껍데기에 불과합니다. 진짜로 힙(Heap) 영역의 경계선(brk)을 고무줄처럼 늘리고 줄이는 커널의 유일한 직통 시스템 콜은 brk()뿐입니다.

오늘 길게 달려온 이 거대한 지식의 숲을 단 한 문장으로 관통한다면 다음과 같습니다.

마지막으로 스스로에게 던지는 질문입니다. 여러분의 프로세스가 어떤 주소를 건드렸다가 와장창 페이지 폴트가 터졌습니다. 이제 여러분은 초보자처럼 "앗, 버그 났다!"라고 머리를 감싸 쥐면 안 됩니다. 느긋하게 팔짱을 끼고, 커널의 빙의자가 되어 차례차례 물어봐야 합니다.