AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

PostgreSQL启动过程中的那些事一：初始化TopMemoryContext和ErrorContext

分类：Postgre SQL作者：编程之家

1先上个示意图，看一下函数调用过程梗概，中间略过部分细节@H_404_3@


@H_404_3@

@H_404_3@

前面标1的是初始化TopMemoryContext@H_404_3@

前面标2的是初始化ErrorContext@H_404_3@

初始化TopMemoryContext和ErrorContext的方法调用过程图@H_404_3@

@H_404_3@

2初始化TopMemoryContext的过程@H_404_3@

话说main()->…->PostmasterMain()->…->MemoryContextinit()->AllocSetContextCreate()（以后用“->”表示调用），AllocSetContextCreate()函数主要是初始化AllocSet类型的变量，AllocSet的类型是“AllocSetContext*”，AllocSetContext是结构，定义见下面，也就是说，AllocSetContextCreate()函数主要是初始化AllocSetContext类型的变量。@H_404_3@

在MemoryContextinit()函数中，一上来就是下面这句，调用AllocSetContextCreate初始化TopMemoryContext。@H_404_3@

TopMemoryContext =AllocSetContextCreate((MemoryContext) NULL,@H_404_3@

"TopMemoryContext",8 * 1024,8 * 1024);@H_404_3@

TopMemoryContext是个全局变量，定义如下@H_404_3@

MemoryContext TopMemoryContext = NULL;@H_404_3@

从MemoryContextinit()函数调用过来初始化Memorycontext类型的全局变量TopMemoryContext，不是AllocSetContextCreate()函数主要是初始化AllocSetContext类型的变量吗，怎么又初始化上Memorycontext类型的全局变量TopMemoryContext了呢，先卖个关子，容后再说。这是Postgressql（以后简称pg）一个比较秒的地方，也涉及了后面用到的面向过程编程的一个技巧。@H_404_3@

TopMemoryContext这个全局变量在pg有至关重要，统领全局的地位，以后自然明白。@H_404_3@

AllocSetContext定义如下：@H_404_3@

typedef struct AllocSetContext@H_404_3@

{@H_404_3@

MemoryContextData header; /* Standardmemory-context fields */@H_404_3@

/* Info aboutstorage allocated in this context: */@H_404_3@

AllocBlock blocks; /* head of list of blocks in this set */@H_404_3@

AllocChunk freelist[ALLOCSET_NUM_FREELISTS]; /* free chunk lists */@H_404_3@

bool isReset; /* T = no space allocedsince last reset */@H_404_3@

/* Allocationparameters for this context: */@H_404_3@

Size initBlockSize; /* initial blocksize */@H_404_3@

Size maxBlockSize; /* maximum blocksize */@H_404_3@

Size nextBlockSize; /* next block sizeto allocate */@H_404_3@

AllocBlock keeper; /* if not NULL,keep this block over resets */@H_404_3@

}AllocSetContext;@H_404_3@

AllocSetContext中有三个变量的类型分别是MemoryContextData、AllocBlock、AllocChunk，这些类型是pg管理AllocSet和MemoryContext涉及内存机制的主要元素，搭起pg管理AllocSet和MemoryContext涉及的内存的架构，后面会逐个提到。@H_404_3@

在AllocSetContextCreate()函数中，刚声明一个AllocSet类型的变量conext，马上就调用MemoryContextCreate()函数，代码见下。MemoryContextCreate()函数从名字就能看出来是创建MemoryContext的，创建一个MemoryContext类型的值后返回，返回后做了类型强制转换为AllocSet赋给context。调用MemoryContextCreate()函数创建MemoryContext时传的第二个参数是要创建类型的大小，这里取的就是AllocSetContext的大小，而不是MemoryContext的大小。@H_404_3@

AllocSet context;@H_404_3@

context = (AllocSet) MemoryContextCreate(T_AllocSetContext,@H_404_3@

sizeof(AllocSetContext),&AllocSetMethods,parent,name);@H_404_3@

MemoryContextCreate()函数主要是初始化MemoryContext，MemoryContext的类型是“MemoryContextData *”，MemoryContextData是个结构，定义见下面。@H_404_3@

typedef struct MemoryContextData@H_404_3@

{@H_404_3@

NodeTag type; /* identifies exact kind of context */@H_404_3@

MemoryContextMethods *methods; /*virtual function table */@H_404_3@

MemoryContext parent; /* NULL ifno parent (toplevel context) */@H_404_3@

MemoryContext firstchild; /* head of linkedlist of children */@H_404_3@

MemoryContext nextchild; /* next childof same parent */@H_404_3@

char *name; /* context name (just for debugging) */@H_404_3@

}MemoryContextData;@H_404_3@

MemoryContextCreate()函数的简化代码如下，主要是声明一个MemoryContext类型的局部变量node，分配内存并初始化。注意，这时还没有初始化TopMemoryContext，所以node的内存空间是malloc出来的。MemoryContext类型的局部变量node初始化完后返回。@H_404_3@

MemoryContext@H_404_3@

MemoryContextCreate(NodeTag tag,Size size,@H_404_3@

MemoryContextMethods*methods,@H_404_3@

MemoryContextparent,@H_404_3@

const char *name)@H_404_3@

{@H_404_3@

MemoryContext node;@H_404_3@

Size needed = size + strlen(name) + 1;@H_404_3@

if(TopMemoryContext == NULL)@H_404_3@

{@H_404_3@

/*Special case for startup: use good ol' malloc */@H_404_3@

node = (MemoryContext)malloc(needed);@H_404_3@

Assert(node != NULL);@H_404_3@

}@H_404_3@

@H_404_3@

/*Initialize the node as best we can */@H_404_3@

MemSet(node,size);@H_404_3@

node->type = tag;@H_404_3@

node->methods = methods;@H_404_3@

node->parent = NULL; /* for themoment */@H_404_3@

node->firstchild = NULL;@H_404_3@

node->nextchild = NULL;@H_404_3@

node->name = ((char *) node) + size;@H_404_3@

strcpy(node->name,name);@H_404_3@

/*Return to type-specific creation routine to finish up */@H_404_3@

return node;@H_404_3@

}@H_404_3@

AllocSetContextCreate()函数得到从MemoryContextCreate()函数返回的MemoryContextCreate类型的值后转换为AllocSet类型，赋给context，把context其他属性初始化。最后又把context的类型由AllocSet转换为MemoryContext后返回给调用方法，赋值给TopMemoryContext。至此TopMemoryContext初始化完成。@H_404_3@

代码见下面。@H_404_3@

MemoryContext@H_404_3@

AllocSetContextCreate(MemoryContext parent,@H_404_3@

constchar *name,@H_404_3@

Size minContextSize,@H_404_3@

Size initBlockSize,@H_404_3@

Size maxBlockSize)@H_404_3@

{@H_404_3@

AllocSet context;@H_404_3@

/* Dothe type-independent part of context creation */@H_404_3@

context = (AllocSet) MemoryContextCreate(T_AllocSetContext,@H_404_3@

sizeof(AllocSetContext),@H_404_3@

&AllocSetMethods,@H_404_3@

parent,@H_404_3@

name);@H_404_3@

@H_404_3@

context->initBlockSize =initBlockSize;@H_404_3@

context->maxBlockSize =maxBlockSize;@H_404_3@

context->nextBlockSize =initBlockSize;@H_404_3@

context->isReset = true;@H_404_3@

return(MemoryContext) context;@H_404_3@

}@H_404_3@

在初始化TomMemoryContext的过程中，先按AllocSet的类型初始化一个MemoryContext类型的变量，然后把这个变量转成AllocSet类型，初始化AllocSet类型的其它成员，再将其转成MemoryContext类型的变量后赋值给TopMemoryContext。为什么能做这两次类型转换呢？见下面分解。@H_404_3@

下面上个图看看初始化出来的TopMemoryContext的结构图（以后所有内存结构图都是低地址在下面，高地址在上面，再后面有内存结构图时就不标低地址位了）：@H_404_3@


@H_404_3@


TopMemoryContext的内存结构图@H_404_3@


TopMemoryContext转成AllocSet类型后的内存结构图@H_404_3@

上图中分两块说，先看左边的大方块。其中下面深蓝色部分是MemoryContextData的内存结构，深蓝色和上面的浅颜色部分合起来是AllocSetContext的内存结构。@H_404_3@

初始化TopMemoryContext的时候，分配的内存大小不是按MemoryContextData结构的大小分的，是按AllocSetContext的大小分的内存，又在紧挨着上面分配了17个字节记录这个MemoryContextData /AllocSetContext 的名字“TopMemoryContext”。@H_404_3@

能在初始化TopMemoryContext的过程中能在类型MemoryContextData 、AllocSetContext之间相互转化，是利用了AllocSetContext结构布局上的特点，刚一开始就是个MemoryContextData，接着是其它成员，这样要是把TopMemoryContext当MemoryContextData类型处理，就是上面那个图，图中黑色部分相当于未知，不用管它，剩下的就是MemoryContextData类型，当TopMemoryContext是AllocSetContext类型时，就面的图，它就是个AllocSetContext类型的变量了。这样做的好处是在一个结构里既能管理内存空间，又能管理内存空间里的内容，而且逻辑功能划分很清晰。@H_404_3@

哦，有人说从中看出了面向对象编程中继承的影子，嗯、啊，是有点，如果MemoryContextData是父类，AllocSetContext是MemoryContextData的子类，看起来是挺像的，从内存布局上看子类里也少了指向vitualtable 的member function /viturl member function pointer（vptr）。看来从面向对象编程到面向过程编程是技术的渐进，就像设备的升级改造。扯的有点远了，打住。@H_404_3@

再看上图的右边，就是上面提到的vitual table，这个是调用MemoryContextCreate()传进去的第三个参数AllocSetMethods，这是一个MemoryContextMethods类型的静态全局变量， 根据这个变量的定义（在下面）就可以看出这是一个为AllocSet Context管理内存的虚拟函数的表（vitual function table），MemoryContextMethods结构里定义了这些函数原型。这些函数实现了pg对内存的管理，整个就是pg的AllocSet和MemoryContext的内存空间管理机制。@H_404_3@

静态全局变量AllocSetMethods的定义：@H_404_3@

static MemoryContextMethods AllocSetMethods = {@H_404_3@

AllocSetAlloc,@H_404_3@

AllocSetFree,@H_404_3@

AllocSetRealloc,@H_404_3@

AllocSetinit,@H_404_3@

AllocSetReset,@H_404_3@

AllocSetDelete,@H_404_3@

AllocSetGetChunkSpace,@H_404_3@

AllocSetIsEmpty,@H_404_3@

AllocSetStats,@H_404_3@

#ifdef MEMORY_CONTEXT_CHECKING@H_404_3@

,AllocSetCheck@H_404_3@

#endif@H_404_3@

};@H_404_3@

结构MemoryContextMethods的定义：@H_404_3@

typedef struct MemoryContextMethods@H_404_3@

{@H_404_3@

void *(*alloc) (MemoryContext context,Size size);@H_404_3@

/*call this free_p in case someone #define's free() */@H_404_3@

void (*free_p) (MemoryContext context,void *pointer);@H_404_3@

void *(*realloc) (MemoryContext context,void*pointer,Size size);@H_404_3@

void (*init) (MemoryContext context);@H_404_3@

void (*reset) (MemoryContext context);@H_404_3@

void (*delete)(MemoryContext context);@H_404_3@

Size (*get_chunk_space) (MemoryContext context,void *pointer);@H_404_3@

bool (*is_empty) (MemoryContext context);@H_404_3@

void (*stats) (MemoryContext context);@H_404_3@

#ifdef MEMORY_CONTEXT_CHECKING@H_404_3@

void (*check) (MemoryContext context);@H_404_3@

#endif@H_404_3@

}MemoryContextMethods;@H_404_3@

从pg中使用这些函数的情况来看，这些方法在MemoryContext中定义，在AllocSet中实现和使用，又像子类实现父类的虚拟方法，又是面向对象编程的影子。面向过程编程中的编程技巧在面向对象编程中基本上都成了编程语言的内在机制了。台湾的侯捷先生说要写一本《c语言高级编程》的书也有十来年了吧，到现在都没出，是否有这个原因呢@H_404_3@

至此，TopMemoryContext初始化完成了，里面的其他属性就不写了。有了前面内容垫底，初始化ErrorContext就好写多了，因为它的类型和TomMemoryContext是一样的。@H_404_3@

3 初始化ErrorContext的过程@H_404_3@

先看看MemoryContextinit()的代码，这个很简洁，就是初始化TopMemoryContext和ErrorContext，完事。为了省地，把注释删了。在AllocSetContextCreate()中对TopMemoryContext和ErrorContext的处理基本上是一样的。在MemoryContextCreate()中则有些不同，判断TopMemoryContext非空后就去调用另一个函数MemoryContextAlloc()，这个函数没干什么事，直接调用上面提到的虚拟方法表中的Alloc函数，它的具体实现是AllocSetAlloc()函数，在其中分配好空间，初始化和设置AllocBlock和AllocChunk的属性，然后返回。接着在MemorycontextCreate()处理MemoryContextData结构的属性，其中把ErrorContext的parent指向TopMemoryContext，处理完MemoryContextData的属性后返回返回到AllocSetContextCreate()，设置AllocSetContext的属性，这样就完成了ErrorContext的初始化。@H_404_3@

AllocSetAlloc()这个函数是pg中实际处理AllocSet和MemoryContext涉及的内存空间分配的函数，这个分配机制比较复杂，还涉及到了另外两个结构AllocBlock和AllocChunk，写pg的内存空间分配机制时再写吧。@H_404_3@

下面上初始化完以后的内存结构图@H_404_3@



@H_404_3@

TopMemoryContext和ErrorContext的结构图一@H_404_3@

上图中紫色的那一块是AllocBlock，中间浅紫色的那一小块是AllocChunk。@H_404_3@

只有两个MemoryContext图就看着有点眼花缭乱了，看来以后得画抽象图了。@H_404_3@

pg的内存管理主要是棵树，TopMemoryContext是树根，后面再建的MemoryContext就在根的下面。pg的内存管理实际是一个图，其主要部分是树形结构，另外子节点的partent指向了TopMemoryContext，形成了环。这样整个构成了图。这样的结构便于数据库的内存管理。@H_404_3@

AllocSetContext中blocks记录了分配给该Context的内存空间块AllockBlock的单向链表，freelist是空闲AllocChunk的链表数组。pg中给context分配内存时先分配AllockBlock，在AllockBlock里再分配AllocChunk，就是说AllocChunk是比AllockBlock小一级的内存空间单位。@H_404_3@

上图中的ErrorContext所占的内存空间实际上在浅紫色的AllocChunk里，不是在外边，到写内存分配的时候再深入。上图是为了看清楚AllocBlock和AllocChunk，没有把ErrorContext放到AllocChunk里，实际见下面这个图。@H_404_3@


@H_404_3@

TopMemoryContext和ErrorContext的结构图二@H_404_3@

@H_404_3@

TopMemoryContext和ErrorContext初始化完后的内存物理布局图，嗯，嗯，嗯，这个画着好费时费力，嗯，还好，有人画了，如下:@H_404_3@

@H_404_3@

@H_404_3@

该图引用至http://blog.sciencenet.cn/home.PHP?mod=space&uid=419883&do=blog&id=308964@H_404_3@

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

相关推荐

PostGreSQL到Oracle的数据迁移
项目需要，有个数据需要导入，拿到手一开始以为是mysql，结果是个PostGreSQL的数据，于是装数据库，但这个也不懂呀，而且本系统用的Oracle，于是得解决迁移转换的问题。 总结下来两个思路。1、PostgresToOracle多金的
怎么查看PostgreSQL数据库中所有表
本文小编为大家详细介绍“怎么查看PostgreSQL数据库中所有表”，内容详细，步骤清晰，细节处理妥当，希望这篇“怎么查看PostgreSQL数据库中所有表”文章能帮助大...
postgresql 报错 FATAL: no pg_hba.conf entry for host 未配置允许远程连接 解决方法
错误现象问题原因这是在远程连接时pg_hba.conf文件没有配置正确。  pg_hba.conf文件在Postgre安装文件目录下的data文件夹中。解决方案1、进入到data目录下，找到pg_hba.conf文件
postgresql 数据库 报错 server closed the connection unexpectedly 无法远程连接数据库 解决方法
因本地资源有限，在公共测试环境搭建了PGsql环境，从数据库本地localhost访问正常，在相同网段的远程机器访问报如下错误
postgresql 报错 SQLSTATE[08006] [7] SCRAM authentication requires libpq version 10 or above 解决方法
wamp 环境 这个提示就是说你的版本低于10了。 先打印php_info(),查看自己的版本（我这边是已经处理后的，之前的忘记截图了）
postgresql 报错 psycopg2.OperationalError: SSL SYSCALL error: EOF detected 解决方法
psycopg2.OperationalError: SSL SYSCALL error: EOF detected 问题提示:exception psycopg2.OperationalError
postgresql 数据库报错 FATAL: sorry, too many clients already 解决方法
项目 postgres 连接不上， 所有连接报错 ：psql: FATAL: sorry, too many clients already问题原由程序使用连接未及时释放， 连接一直处于 idle 状态处理方式1、 程序里面未释放的连接， 在使用后及时释放
postgresql 报错 FATAL: the database system is shutting down 解决方法
服务器在同一个数据目录上启动了两个PostgreSQL实例(它已经删除postmaster.pid并使用了新的端口号,因此绕过了这种行为的正常保护措施被绕过),导致PostgreSQL的误操作postgresql 报错 FATAL: the database system is
postgresql报错 FATAL: the database system is in recovery mode 解决方法
问题原因：数据库崩溃，内存不足造成 或者 数据已损坏，磁盘故障造成首先介绍一下背景，在测试Deepgreen（Greenplum升级版）数据库时，pgbench并发数设置过多，导致数据库卡死了，在进行连接、重启、关闭时，都报同样
2021 PostgreSQL 中国技术大会 PPT 下载
第 11 届 PostgreSQL 中国技术大会于 2022 年 1 月 7 日至 9 日在武汉光谷会展酒店成功举办。作为 PostgreSQL 技术领域的年度盛事，postgreSQL 中文社区旨在搭建开放、合作共享的平台，基于开源，创新驱动，共同探讨...
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native