[#24290] Build postgres --with-lz4 using thirdparty headers

Summary:
### Enabling LZ4 compression

Postgres has a feature called [[ https://www.postgresql.org/docs/current/storage-toast.html | TOAST compression ]] that automatically compresses large attributes. We currently use a limited version of TOAST to compress large metadata values in the in-memory catcache (introduced in D29916). However, this feature is disabled by default because the current compression algorithm that Postgres uses, `pglz`, is very slow to compress/decompress.

With the PG15 upgrade, Postgres now supports a new compression library, `lz4`, which has almost 0 compression/decompression overhead and compression ratios equal to the old `pglz` algorithm. In order to take advantage of this algorithm, we need to point the Postgres `configure` script to the lz4 library. The script relies on the `.pc` package config file to tell it where the library's headers/object files are.

We already are building the `lz4` library in `yugabyte-db-thirdparty` because we are using it in DocDB, but we are using an old version that did not generate a package config file. Recently, [[ yugabyte/yugabyte-db-thirdparty@e037b77 | we switched to a newer version of lz4 ]] that generates this file.

Previously, when we tried to build postgres with lz4, it would find the lz4 object files built in `yugabyte-db-thirdparty` but not the header files, resulting in a compiler error. However, with the latest updates to thirdparty, the `.pc` file is generated and we find both the header and the object files.

Test Plan:
Automated test for lz4 compression:
```
./yb_build.sh --java-test 'org.yb.pgsql.TestPgRegressTable'
```

Manual test to verify that the correct header is included:

`./yb_build.sh`, then verify that the thirdparty header is being included in `toast_compression.c`:
```
$ grep lz4 build/debug-clang17-dynamic-ninja/postgres_build/src/backend/access/common/.deps/toast_compression.Po
  /opt/yb-build/thirdparty/yugabyte-db-thirdparty-v20240922072704-224279f6e8-amzn2-x86_64-clang17/installed/common/include/lz4.h \
/opt/yb-build/thirdparty/yugabyte-db-thirdparty-v20240922072704-224279f6e8-amzn2-x86_64-clang17/installed/common/include/lz4.h:
```
To verify that the right shared library is being linked in:
```
$ ldd ./build/latest/postgres/bin/postgres | grep lz4
	liblz4.so.1.5 => /opt/yb-build/thirdparty/yugabyte-db-thirdparty-v20240922072704-224279f6e8-amzn2-x86_64-clang17/installed/common/lib/liblz4.so.1.5 (0x00007f8bd6880000)
```

Reviewers: jason

Reviewed By: jason

Subscribers: yql

Differential Revision: https://phorge.dev.yugabyte.com/D38727

python/yugabyte/build_postgres.py

@@ -594,7 +594,8 @@ def configure_postgres(self) -> None:
                 '--with-includes=' + self.include_dirs,
                 '--with-libraries=' + self.lib_dirs,
                 # We're enabling debug symbols for all types of builds.
-                '--enable-debug']
+                '--enable-debug',
+                '--with-lz4']
         if is_macos_arm64():
             configure_cmd_line.insert(0, '/opt/homebrew/bin/bash')
 

src/postgres/src/test/regress/expected/yb_create_table.out

@@ -810,3 +810,38 @@ CREATE TABLE t1 PARTITION OF t (
 FOR VALUES IN ('1');
 -- Test CREATE TABLE with 1000 columns
 CREATE TABLE table_1000_cols (id INT primary key, col1 TEXT, col2 TEXT, col3 TEXT, col4 TEXT, col5 TEXT, col6 TEXT, col7 TEXT, col8 TEXT, col9 TEXT, col10 TEXT, col11 TEXT, col12 TEXT, col13 TEXT, col14 TEXT, col15 TEXT, col16 TEXT, col17 TEXT, col18 TEXT, col19 TEXT, col20 TEXT, col21 TEXT, col22 TEXT, col23 TEXT, col24 TEXT, col25 TEXT, col26 TEXT, col27 TEXT, col28 TEXT, col29 TEXT, col30 TEXT, col31 TEXT, col32 TEXT, col33 TEXT, col34 TEXT, col35 TEXT, col36 TEXT, col37 TEXT, col38 TEXT, col39 TEXT, col40 TEXT, col41 TEXT, col42 TEXT, col43 TEXT, col44 TEXT, col45 TEXT, col46 TEXT, col47 TEXT, col48 TEXT, col49 TEXT, col50 TEXT, col51 TEXT, col52 TEXT, col53 TEXT, col54 TEXT, col55 TEXT, col56 TEXT, col57 TEXT, col58 TEXT, col59 TEXT, col60 TEXT, col61 TEXT, col62 TEXT, col63 TEXT, col64 TEXT, col65 TEXT, col66 TEXT, col67 TEXT, col68 TEXT, col69 TEXT, col70 TEXT, col71 TEXT, col72 TEXT, col73 TEXT, col74 TEXT, col75 TEXT, col76 TEXT, col77 TEXT, col78 TEXT, col79 TEXT, col80 TEXT, col81 TEXT, col82 TEXT, col83 TEXT, col84 TEXT, col85 TEXT, col86 TEXT, col87 TEXT, col88 TEXT, col89 TEXT, col90 TEXT, col91 TEXT, col92 TEXT, col93 TEXT, col94 TEXT, col95 TEXT, col96 TEXT, col97 TEXT, col98 TEXT, col99 TEXT, col100 TEXT, col101 TEXT, col102 TEXT, col103 TEXT, col104 TEXT, col105 TEXT, col106 TEXT, col107 TEXT, col108 TEXT, col109 TEXT, col110 TEXT, col111 TEXT, col112 TEXT, col113 TEXT, col114 TEXT, col115 TEXT, col116 TEXT, col117 TEXT, col118 TEXT, col119 TEXT, col120 TEXT, col121 TEXT, col122 TEXT, col123 TEXT, col124 TEXT, col125 TEXT, col126 TEXT, col127 TEXT, col128 TEXT, col129 TEXT, col130 TEXT, col131 TEXT, col132 TEXT, col133 TEXT, col134 TEXT, col135 TEXT, col136 TEXT, col137 TEXT, col138 TEXT, col139 TEXT, col140 TEXT, col141 TEXT, col142 TEXT, col143 TEXT, col144 TEXT, col145 TEXT, col146 TEXT, col147 TEXT, col148 TEXT, col149 TEXT, col150 TEXT, col151 TEXT, col152 TEXT, col153 TEXT, col154 TEXT, col155 TEXT, col156 TEXT, col157 TEXT, col158 TEXT, col159 TEXT, col160 TEXT, col161 TEXT, col162 TEXT, col163 TEXT, col164 TEXT, col165 TEXT, col166 TEXT, col167 TEXT, col168 TEXT, col169 TEXT, col170 TEXT, col171 TEXT, col172 TEXT, col173 TEXT, col174 TEXT, col175 TEXT, col176 TEXT, col177 TEXT, col178 TEXT, col179 TEXT, col180 TEXT, col181 TEXT, col182 TEXT, col183 TEXT, col184 TEXT, col185 TEXT, col186 TEXT, col187 TEXT, col188 TEXT, col189 TEXT, col190 TEXT, col191 TEXT, col192 TEXT, col193 TEXT, col194 TEXT, col195 TEXT, col196 TEXT, col197 TEXT, col198 TEXT, col199 TEXT, col200 TEXT, col201 TEXT, col202 TEXT, col203 TEXT, col204 TEXT, col205 TEXT, col206 TEXT, col207 TEXT, col208 TEXT, col209 TEXT, col210 TEXT, col211 TEXT, col212 TEXT, col213 TEXT, col214 TEXT, col215 TEXT, col216 TEXT, col217 TEXT, col218 TEXT, col219 TEXT, col220 TEXT, col221 TEXT, col222 TEXT, col223 TEXT, col224 TEXT, col225 TEXT, col226 TEXT, col227 TEXT, col228 TEXT, col229 TEXT, col230 TEXT, col231 TEXT, col232 TEXT, col233 TEXT, col234 TEXT, col235 TEXT, col236 TEXT, col237 TEXT, col238 TEXT, col239 TEXT, col240 TEXT, col241 TEXT, col242 TEXT, col243 TEXT, col244 TEXT, col245 TEXT, col246 TEXT, col247 TEXT, col248 TEXT, col249 TEXT, col250 TEXT, col251 TEXT, col252 TEXT, col253 TEXT, col254 TEXT, col255 TEXT, col256 TEXT, col257 TEXT, col258 TEXT, col259 TEXT, col260 TEXT, col261 TEXT, col262 TEXT, col263 TEXT, col264 TEXT, col265 TEXT, col266 TEXT, col267 TEXT, col268 TEXT, col269 TEXT, col270 TEXT, col271 TEXT, col272 TEXT, col273 TEXT, col274 TEXT, col275 TEXT, col276 TEXT, col277 TEXT, col278 TEXT, col279 TEXT, col280 TEXT, col281 TEXT, col282 TEXT, col283 TEXT, col284 TEXT, col285 TEXT, col286 TEXT, col287 TEXT, col288 TEXT, col289 TEXT, col290 TEXT, col291 TEXT, col292 TEXT, col293 TEXT, col294 TEXT, col295 TEXT, col296 TEXT, col297 TEXT, col298 TEXT, col299 TEXT, col300 TEXT, col301 TEXT, col302 TEXT, col303 TEXT, col304 TEXT, col305 TEXT, col306 TEXT, col307 TEXT, col308 TEXT, col309 TEXT, col310 TEXT, col311 TEXT, col312 TEXT, col313 TEXT, col314 TEXT, col315 TEXT, col316 TEXT, col317 TEXT, col318 TEXT, col319 TEXT, col320 TEXT, col321 TEXT, col322 TEXT, col323 TEXT, col324 TEXT, col325 TEXT, col326 TEXT, col327 TEXT, col328 TEXT, col329 TEXT, col330 TEXT, col331 TEXT, col332 TEXT, col333 TEXT, col334 TEXT, col335 TEXT, col336 TEXT, col337 TEXT, col338 TEXT, col339 TEXT, col340 TEXT, col341 TEXT, col342 TEXT, col343 TEXT, col344 TEXT, col345 TEXT, col346 TEXT, col347 TEXT, col348 TEXT, col349 TEXT, col350 TEXT, col351 TEXT, col352 TEXT, col353 TEXT, col354 TEXT, col355 TEXT, col356 TEXT, col357 TEXT, col358 TEXT, col359 TEXT, col360 TEXT, col361 TEXT, col362 TEXT, col363 TEXT, col364 TEXT, col365 TEXT, col366 TEXT, col367 TEXT, col368 TEXT, col369 TEXT, col370 TEXT, col371 TEXT, col372 TEXT, col373 TEXT, col374 TEXT, col375 TEXT, col376 TEXT, col377 TEXT, col378 TEXT, col379 TEXT, col380 TEXT, col381 TEXT, col382 TEXT, col383 TEXT, col384 TEXT, col385 TEXT, col386 TEXT, col387 TEXT, col388 TEXT, col389 TEXT, col390 TEXT, col391 TEXT, col392 TEXT, col393 TEXT, col394 TEXT, col395 TEXT, col396 TEXT, col397 TEXT, col398 TEXT, col399 TEXT, col400 TEXT, col401 TEXT, col402 TEXT, col403 TEXT, col404 TEXT, col405 TEXT, col406 TEXT, col407 TEXT, col408 TEXT, col409 TEXT, col410 TEXT, col411 TEXT, col412 TEXT, col413 TEXT, col414 TEXT, col415 TEXT, col416 TEXT, col417 TEXT, col418 TEXT, col419 TEXT, col420 TEXT, col421 TEXT, col422 TEXT, col423 TEXT, col424 TEXT, col425 TEXT, col426 TEXT, col427 TEXT, col428 TEXT, col429 TEXT, col430 TEXT, col431 TEXT, col432 TEXT, col433 TEXT, col434 TEXT, col435 TEXT, col436 TEXT, col437 TEXT, col438 TEXT, col439 TEXT, col440 TEXT, col441 TEXT, col442 TEXT, col443 TEXT, col444 TEXT, col445 TEXT, col446 TEXT, col447 TEXT, col448 TEXT, col449 TEXT, col450 TEXT, col451 TEXT, col452 TEXT, col453 TEXT, col454 TEXT, col455 TEXT, col456 TEXT, col457 TEXT, col458 TEXT, col459 TEXT, col460 TEXT, col461 TEXT, col462 TEXT, col463 TEXT, col464 TEXT, col465 TEXT, col466 TEXT, col467 TEXT, col468 TEXT, col469 TEXT, col470 TEXT, col471 TEXT, col472 TEXT, col473 TEXT, col474 TEXT, col475 TEXT, col476 TEXT, col477 TEXT, col478 TEXT, col479 TEXT, col480 TEXT, col481 TEXT, col482 TEXT, col483 TEXT, col484 TEXT, col485 TEXT, col486 TEXT, col487 TEXT, col488 TEXT, col489 TEXT, col490 TEXT, col491 TEXT, col492 TEXT, col493 TEXT, col494 TEXT, col495 TEXT, col496 TEXT, col497 TEXT, col498 TEXT, col499 TEXT, col500 TEXT, col501 TEXT, col502 TEXT, col503 TEXT, col504 TEXT, col505 TEXT, col506 TEXT, col507 TEXT, col508 TEXT, col509 TEXT, col510 TEXT, col511 TEXT, col512 TEXT, col513 TEXT, col514 TEXT, col515 TEXT, col516 TEXT, col517 TEXT, col518 TEXT, col519 TEXT, col520 TEXT, col521 TEXT, col522 TEXT, col523 TEXT, col524 TEXT, col525 TEXT, col526 TEXT, col527 TEXT, col528 TEXT, col529 TEXT, col530 TEXT, col531 TEXT, col532 TEXT, col533 TEXT, col534 TEXT, col535 TEXT, col536 TEXT, col537 TEXT, col538 TEXT, col539 TEXT, col540 TEXT, col541 TEXT, col542 TEXT, col543 TEXT, col544 TEXT, col545 TEXT, col546 TEXT, col547 TEXT, col548 TEXT, col549 TEXT, col550 TEXT, col551 TEXT, col552 TEXT, col553 TEXT, col554 TEXT, col555 TEXT, col556 TEXT, col557 TEXT, col558 TEXT, col559 TEXT, col560 TEXT, col561 TEXT, col562 TEXT, col563 TEXT, col564 TEXT, col565 TEXT, col566 TEXT, col567 TEXT, col568 TEXT, col569 TEXT, col570 TEXT, col571 TEXT, col572 TEXT, col573 TEXT, col574 TEXT, col575 TEXT, col576 TEXT, col577 TEXT, col578 TEXT, col579 TEXT, col580 TEXT, col581 TEXT, col582 TEXT, col583 TEXT, col584 TEXT, col585 TEXT, col586 TEXT, col587 TEXT, col588 TEXT, col589 TEXT, col590 TEXT, col591 TEXT, col592 TEXT, col593 TEXT, col594 TEXT, col595 TEXT, col596 TEXT, col597 TEXT, col598 TEXT, col599 TEXT, col600 TEXT, col601 TEXT, col602 TEXT, col603 TEXT, col604 TEXT, col605 TEXT, col606 TEXT, col607 TEXT, col608 TEXT, col609 TEXT, col610 TEXT, col611 TEXT, col612 TEXT, col613 TEXT, col614 TEXT, col615 TEXT, col616 TEXT, col617 TEXT, col618 TEXT, col619 TEXT, col620 TEXT, col621 TEXT, col622 TEXT, col623 TEXT, col624 TEXT, col625 TEXT, col626 TEXT, col627 TEXT, col628 TEXT, col629 TEXT, col630 TEXT, col631 TEXT, col632 TEXT, col633 TEXT, col634 TEXT, col635 TEXT, col636 TEXT, col637 TEXT, col638 TEXT, col639 TEXT, col640 TEXT, col641 TEXT, col642 TEXT, col643 TEXT, col644 TEXT, col645 TEXT, col646 TEXT, col647 TEXT, col648 TEXT, col649 TEXT, col650 TEXT, col651 TEXT, col652 TEXT, col653 TEXT, col654 TEXT, col655 TEXT, col656 TEXT, col657 TEXT, col658 TEXT, col659 TEXT, col660 TEXT, col661 TEXT, col662 TEXT, col663 TEXT, col664 TEXT, col665 TEXT, col666 TEXT, col667 TEXT, col668 TEXT, col669 TEXT, col670 TEXT, col671 TEXT, col672 TEXT, col673 TEXT, col674 TEXT, col675 TEXT, col676 TEXT, col677 TEXT, col678 TEXT, col679 TEXT, col680 TEXT, col681 TEXT, col682 TEXT, col683 TEXT, col684 TEXT, col685 TEXT, col686 TEXT, col687 TEXT, col688 TEXT, col689 TEXT, col690 TEXT, col691 TEXT, col692 TEXT, col693 TEXT, col694 TEXT, col695 TEXT, col696 TEXT, col697 TEXT, col698 TEXT, col699 TEXT, col700 TEXT, col701 TEXT, col702 TEXT, col703 TEXT, col704 TEXT, col705 TEXT, col706 TEXT, col707 TEXT, col708 TEXT, col709 TEXT, col710 TEXT, col711 TEXT, col712 TEXT, col713 TEXT, col714 TEXT, col715 TEXT, col716 TEXT, col717 TEXT, col718 TEXT, col719 TEXT, col720 TEXT, col721 TEXT, col722 TEXT, col723 TEXT, col724 TEXT, col725 TEXT, col726 TEXT, col727 TEXT, col728 TEXT, col729 TEXT, col730 TEXT, col731 TEXT, col732 TEXT, col733 TEXT, col734 TEXT, col735 TEXT, col736 TEXT, col737 TEXT, col738 TEXT, col739 TEXT, col740 TEXT, col741 TEXT, col742 TEXT, col743 TEXT, col744 TEXT, col745 TEXT, col746 TEXT, col747 TEXT, col748 TEXT, col749 TEXT, col750 TEXT, col751 TEXT, col752 TEXT, col753 TEXT, col754 TEXT, col755 TEXT, col756 TEXT, col757 TEXT, col758 TEXT, col759 TEXT, col760 TEXT, col761 TEXT, col762 TEXT, col763 TEXT, col764 TEXT, col765 TEXT, col766 TEXT, col767 TEXT, col768 TEXT, col769 TEXT, col770 TEXT, col771 TEXT, col772 TEXT, col773 TEXT, col774 TEXT, col775 TEXT, col776 TEXT, col777 TEXT, col778 TEXT, col779 TEXT, col780 TEXT, col781 TEXT, col782 TEXT, col783 TEXT, col784 TEXT, col785 TEXT, col786 TEXT, col787 TEXT, col788 TEXT, col789 TEXT, col790 TEXT, col791 TEXT, col792 TEXT, col793 TEXT, col794 TEXT, col795 TEXT, col796 TEXT, col797 TEXT, col798 TEXT, col799 TEXT, col800 TEXT, col801 TEXT, col802 TEXT, col803 TEXT, col804 TEXT, col805 TEXT, col806 TEXT, col807 TEXT, col808 TEXT, col809 TEXT, col810 TEXT, col811 TEXT, col812 TEXT, col813 TEXT, col814 TEXT, col815 TEXT, col816 TEXT, col817 TEXT, col818 TEXT, col819 TEXT, col820 TEXT, col821 TEXT, col822 TEXT, col823 TEXT, col824 TEXT, col825 TEXT, col826 TEXT, col827 TEXT, col828 TEXT, col829 TEXT, col830 TEXT, col831 TEXT, col832 TEXT, col833 TEXT, col834 TEXT, col835 TEXT, col836 TEXT, col837 TEXT, col838 TEXT, col839 TEXT, col840 TEXT, col841 TEXT, col842 TEXT, col843 TEXT, col844 TEXT, col845 TEXT, col846 TEXT, col847 TEXT, col848 TEXT, col849 TEXT, col850 TEXT, col851 TEXT, col852 TEXT, col853 TEXT, col854 TEXT, col855 TEXT, col856 TEXT, col857 TEXT, col858 TEXT, col859 TEXT, col860 TEXT, col861 TEXT, col862 TEXT, col863 TEXT, col864 TEXT, col865 TEXT, col866 TEXT, col867 TEXT, col868 TEXT, col869 TEXT, col870 TEXT, col871 TEXT, col872 TEXT, col873 TEXT, col874 TEXT, col875 TEXT, col876 TEXT, col877 TEXT, col878 TEXT, col879 TEXT, col880 TEXT, col881 TEXT, col882 TEXT, col883 TEXT, col884 TEXT, col885 TEXT, col886 TEXT, col887 TEXT, col888 TEXT, col889 TEXT, col890 TEXT, col891 TEXT, col892 TEXT, col893 TEXT, col894 TEXT, col895 TEXT, col896 TEXT, col897 TEXT, col898 TEXT, col899 TEXT, col900 TEXT, col901 TEXT, col902 TEXT, col903 TEXT, col904 TEXT, col905 TEXT, col906 TEXT, col907 TEXT, col908 TEXT, col909 TEXT, col910 TEXT, col911 TEXT, col912 TEXT, col913 TEXT, col914 TEXT, col915 TEXT, col916 TEXT, col917 TEXT, col918 TEXT, col919 TEXT, col920 TEXT, col921 TEXT, col922 TEXT, col923 TEXT, col924 TEXT, col925 TEXT, col926 TEXT, col927 TEXT, col928 TEXT, col929 TEXT, col930 TEXT, col931 TEXT, col932 TEXT, col933 TEXT, col934 TEXT, col935 TEXT, col936 TEXT, col937 TEXT, col938 TEXT, col939 TEXT, col940 TEXT, col941 TEXT, col942 TEXT, col943 TEXT, col944 TEXT, col945 TEXT, col946 TEXT, col947 TEXT, col948 TEXT, col949 TEXT, col950 TEXT, col951 TEXT, col952 TEXT, col953 TEXT, col954 TEXT, col955 TEXT, col956 TEXT, col957 TEXT, col958 TEXT, col959 TEXT, col960 TEXT, col961 TEXT, col962 TEXT, col963 TEXT, col964 TEXT, col965 TEXT, col966 TEXT, col967 TEXT, col968 TEXT, col969 TEXT, col970 TEXT, col971 TEXT, col972 TEXT, col973 TEXT, col974 TEXT, col975 TEXT, col976 TEXT, col977 TEXT, col978 TEXT, col979 TEXT, col980 TEXT, col981 TEXT, col982 TEXT, col983 TEXT, col984 TEXT, col985 TEXT, col986 TEXT, col987 TEXT, col988 TEXT, col989 TEXT, col990 TEXT, col991 TEXT, col992 TEXT, col993 TEXT, col994 TEXT, col995 TEXT, col996 TEXT, col997 TEXT, col998 TEXT, col999 TEXT, col1000 TEXT);
+-- Test that LZ4 TOAST compression is enabled
+SET default_toast_compression = 'lz4';
+CREATE TEMP TABLE default_compression_table (
+	a TEXT
+);
+INSERT INTO default_compression_table VALUES (repeat('a', 10000));
+SELECT pg_column_compression(a) FROM default_compression_table;
+ pg_column_compression
+-----------------------
+ lz4
+(1 row)
+
+-- Test specifying lz4 compression when pglz is the default
+SET default_toast_compression = 'pglz';
+SHOW default_toast_compression;
+ default_toast_compression
+---------------------------
+ pglz
+(1 row)
+
+CREATE TEMP TABLE lz4_table (
+	a TEXT COMPRESSION lz4
+);
+INSERT INTO lz4_table VALUES (repeat('a', 10000));
+SELECT pg_column_compression(a) FROM lz4_table;
+ pg_column_compression
+-----------------------
+ lz4
+(1 row)
+
+SHOW default_toast_compression;
+ default_toast_compression
+---------------------------
+ pglz
+(1 row)