[omega] Define __WIN32__/__WIN64__ in config.h

Copy over the code from xapian-core to do this.

Spotted by Baran Demir.

Fix probe for -Bsymbolic-functions for MSVC

MSVC doesn't support this flag, but it only emits a warning when it
is used and that warning didn't match any of the patterns we already
check for so we were detecting it as supported.

Document NM=dumpbin for MSVC and use in CI

You can get away without it for a static library build which is what
CI currently builds, but it seems to be another necessary step towards
building a DLL.

[ci] Fix netbsd job to upgrade existing packages

pkg_add was failing at the request to install pcre2 because it was
already installed, but at an older version that was now available.

Stop linking with --enable-runtime-pseudo-reloc

We were requiring this for cygwin and mingw, but from the documentation
it should only be needed for a library which exports data symbols,
which we don't do, and the build works without it.

Document LD=link for MSVC and use in CI

You can get away without it for a static library build which is what
CI currently builds, but it's necessary to build a DLL (which is
going to need additional work, but this is a start).

INSTALL: Improve MSVC build instructions

Thanks to Baran Demir for feedback.

Allow EBADF from setsockopt() on non-socket

This seems to be returned by several platforms (seen on FreeBSD, macOS,
DragonflyBSD).

Fix build under __WIN32__

Fix problems with previous commit

Resolve SIGPIPE issues on NetBSD

These seem to be due to SO_NOSIGPIPE not working correctly there so
use MSG_NOSIGNAL instead for NetBSD.

omindex: Make robust to stdin or stdout being closed

The code which runs an external filter now better handles stdin
and/or stdout of the parent process having been closed.

Revert "Use SOCK_NOPIPE to fix testcase failures on NetBSD"

Further testing shows this doesn't actually fix the problem.  The
affected testcases don't fail every time and they just happened to
all pass when I originally tested this fix.

This reverts commit 7cede66a90fd8cb0c051864af97a5c5e0cdfc5f4.

Remove SIGPIPE handlers in SignalRedirector dtor

Adjust internal naming in tcpsrv test harness code

Rename ServerData::UNUSED_PID to ServerData::DEAD_PID since this is only
used for entries below first_unused_server_data on which we've called
kill_remote(). We don't need to flag unused entries with indices >=
first_unused_server_data because we know they're unused by their
indices.

Rename ServerData::set_pid() to ServerData::init() and initialise
db_internal to nullptr there to completely eliminate the possibility
we can use a stale db_internal pointer.

Fix flintlock when we don't have OFD fcntl locks

Fix to build again on platforms without SIGPIPE

Simplify fd handling when launching prog remote

With a little care, we can arrange that the two dup2() calls clear
the close-on-exec flag for both stdin and stdout.

Simplify fd handling for flintlock

This simplifies the case when we hold a traditional fcntl() lock in a
child process.  As well as being simpler, we no longer end up with
fds without close-on-exec set in the parent process in corner cases.

Track and report testcase failing with SIGPIPE

Skip testcase remotefailure* on NetBSD

The failures are due to SIGPIPE, but I've not tracked down exactly what
is triggering it yet.

[ci] Add job running on NetBSD

Skip testcase keepalive1 on NetBSD

Need to investigate more to find out why it fails, but meanwhile it
seems better to skip it so we can add a CI job for NetBSD.

Use libtool 2.4.7 to bootstrap

Fixes #825, reported by Ryan Schmidt.

Put child into its own process group first

We expect killing the process group equal to the child's PID to kill the
child (plus any subprocesses), so it seems best to put it the child in
that process group as soon as possible.

Set link_all_deplibs_CXX=no for NetBSD

NetBSD also doesn't need dependency libraries to be explicitly
included in the link.

Use SOCK_NOPIPE to fix testcase failures on NetBSD

Without this apitest seems to exit on the remotefailure* testcases.
SOCK_NOPIPE seems to solve this so presumably it was happening due to
SIGPIPE.

Fix comment typo

Fix comment typo

Include <errno.h> for sys_errlist

We already do this for the configure check but were failing to when
actually using sys_errlist, which probably affects at least NetBSD.

Extend testcase to cover the IN_GROUP2 case too

QueryParser: do not try to parse unbroken words as group terms

Fixes a bug where QueryParser fails with an error when parsing
the sequence of: term, whitespace, unbroken words, term. The
underlying issue is that unbroken words can not be part of a
group according to the lemon grammar.

As the combination of unbroken words and terms is highly unlikely
to ever form a multi-term synonym, this patch changes the query
parser to leave group term mode after having parsed unbroken words.

Fixes #331

resolver.h: use AI_NUMERICSERV only when defined

Set link_all_deplibs_CXX=no for DragonflyBSD

DragonflyBSD also doesn't need explicitly linking with
dependency libraries.

[ci] Add job running of DragonflyBSD

[ci] Tweak freebsd job

Improve comment and eliminate unnecessary references to freebsd.

Avoid compiler warning during GCC version check

Apply the same change already applied to core in
253a2caa04e00af5513ecf279f7e18978cda732c

configure.ac: Use _libs instead of lt_cv_objdir

We get _libs via a documented interface, whereas lt_cv_objdir is
seems to be an implementation detail.

[php] Use PHP_SHLIB_SUFFIX for extension module

Previously we used the extension libtool thought appropriate for
the current platform.  I'm not aware of a platform where the two
don't agree, but should they not agree we should use what PHP expects.

[perl] Simplify uninstall-local

We force libtool to use the shared object extension that Perl expects by
specifying `-shrext $(PERL_SO)` so we can just use $(PERL_SO)
when uninstalling, like we already do for other languages where we
use `-shrext`.

[perl] Fix `make uninstall` to remove shared object

Restore a line accidentally removed in
283a5be17676e9c933a0e4eb86ee3266e8b4890b

[ci] Upgrade fully to download-artifact@v4

[ci] Upgrade to setup-node@v4 action

This should fix another "Node.js 16 actions are deprecated" warning.

[ci] Upgrade to cache@v4 action

This should fix another "Node.js 16 actions are deprecated" warning.

[ci] Upgrade to v4 of artifact actions

This should fix a lot of "Node.js 16 actions are deprecated" warnings.

We also now tell upload-artifact not to try to compress the already
compressed tarballs which should save some time and CPU cycles.

[ci] Fix option for disabling checkout progress

This should actually be "show-progress", not "progress" (I looked at
the original PR text which incorrectly suggests it's called "progress").

[ci] Update to v4 of checkout action

This fixes two "Node.js 16 actions are deprecated" warnings.

I've also made use of the new "progress" setting to disable progress
output from the git checkout to avoid logging a lot of useless
messages.

[bootstrap] Use SWIG 4.2.0

Includes typemaps for std:string_view.

Improves efficiency of passing Unicode strings from Python to Xapian API
functions.

[glass] Reject invalid blocksize in version file

Throw DatabaseCorruptError if value is out of range or not a power of
two.

Improve fix for invalid Btree level count

With the previous fix we still accessed an out of range value when
destroying the database (but for some reason neither valgrind nor
ubsan detect this).

Instead reject out of range values as we decode them from disk.

See #824.

[ci] Fix macos job

Update homebrew workaround to work for any Python 3.x, not just 3.11.

unittest: Fix fd leakage on exception in ioblock1

unittest: Improve sparse file detection for ZFS

We now use SEEK_HOLE to detect sparse file support and allow for
a block size of up to 128K.

The existing check didn't work well on ZFS where st_blocks reports
the number of compressed blocks, and also lags behind when data is
is committed to the journal but not yet written to the file itself.
This means we can't use st_blocks here because it could suggest a
sparse file when there isn't actually support.

SEEK_HOLE is specified by POSIX and seems to be widely supported.
On platforms without it or on an FS with a > 128K block size we
will skip the tests involving a 4GB file, but that's acceptable.

Fixes #823, reported by someplaceguy.

Ship new test db

Compress empty non-optional table to zero size

Previously a non-optional table would always be compacted to at least
one block. This isn't important in general as the non-optional tables
are not likely to be empty in a real database but it's helpful for
making small test database and it seems weird that compaction was making
a database much larger in percentage terms in this edge case.

Check Btree level value from disk is in range

Avoids potential out of range access on corrupt DB.

Fixes #824, reported by group13.

[ci] Fix Emscripten job

Pin emsdk to 3.1.50 for now as with 3.1.51 emcc -c seems to fail to
work.

[python] Fix `make check` when builddir!=srcdir

[ci] Fix checkpatch job to work for PRs

We need to specify the remote, i.e. origin/$GITHUB_BASE_REF

Adjust new comments to match existing

Do not treat fullwidth Latin and symbols as unbroken script

Up until now all Unicode codepoints in the Halfwidth and
Fullwidth Forms Block (U+FF00..U+FFEF) were treated as
unbroken script. This causes terms that consist of fullwidth
Latin characters in this range to not being lowercased
before indexing, resulting in queries not finding such text.

This patch changes word-breaker to only consider halfwidth
Katakana and Hanul characters as unbroken script, handling
all fullwidth Latin characters, numbers and symbols in this
block as broken script.

[perl] Fix POD conversion when builddir!=srcdir

[perl] Simplify install-data-local and uninstall-local

The HTML POD docs are generated during the build so we don't need
to handle them being in srcdir.

[python] Stop passing srcdir & abs_builddir to tests

No longer used since a6ce127b3ce9c673dc085d4079c1171e75cedf44

[ci] Test build with builddir != srcdir

This is a configuration we aim to support so we want to catch
regressions in support for it.

omegatest.pl: Remove unused DB setup

We never use this value, discovered after spotting it contained
a literal backslash letter "n" sequence due to use of single quotes.

omegatest.pl: Fix program name in error message

Remove 2 bogus assertions from recent changes

Fix typo in assertion condition

Remove left-over at_end() method

Not needed since 8af24b64198c35b416899eef088c70fce1f2c706

Fix assertion build

Eliminate TermList::at_end()

Instead have next() and skip_to() signal that the end has been
reached by `return this;` (with another non-NULL pointer signifying
a prune and NULL indicating the normal "success" situation).

This is a bit faster, and simplifies the code overall.

Simplify OrTermList

Don't cache the current termnames in left_current and right_current
since reading the termname from a child now just gives a const reference
and so is cheap.  Instead store the result of std::string::compare() on
the two current children, which avoids the cost of re-computing this.

Optimise allterms next() for terms without nuls

Most terms don't contain any nuls, and for such terms the key for the
first chunk in the termlist table is just the termname so we don't
need to do any decoding in allterms next().  This seems to be ~8.4%
faster in a simple test of iterating allterms via xapian-delve.

Devirtualise TermList::get_termname()

Several TermList subclasses already use the pattern of having a
std::string current_term member which holds the term at the current
position.  Let's embrace this pattern, and have a std::string
current_term in the TermList class, and then get_termname() becomes
a non-virtual method returning a const reference to this, which
avoids a virtual method call, and (probably more significantly)
some std::string copying.

Enable adddoc2 and adddoc5 tests for multi

Just skip the TermIterator::get_termfreq() calls for sharded databases.

Revert change accidentally included in previous commit

Document TermIterator::get_termfreq() quirk

In the case of a TermIterator from termlist_begin() on a Document
from a sharded database, you get term frequencies from just the
shard.

Fixes #423

MSet::get_eset(): Be lazier

Don't fetch the collection frequency for each term unless we're
using the Bo1EWeight expansion scheme which actually needs it.

In a simple test this reduced the time taken to do a search and
generate expand terms by a third.

Partly addresses #264.

Fix probe for rdoc

The aim is to try to use the rdoc which matches the Ruby interpreter
found as a default (unless the user has explicitly overridden by
running ./configure RDOC=/path/to/rdoc or similar), but the way that
was being done didn't actually work and this default never kicked in.

This is likely to only be a problem if you're overriding
RUBY=/path/to/ruby but not overriding RDOC as well.

Reported by Vitaly Chikunov on the xapian-devel list.

Document allterms_begin() iteration order

Thanks to Eric Wong for querying this.

[ci] Update appveyor for Unicode 15.1 update

[ci] Fix yaml syntax

[ci] Use vmactions/freebsd-vm@v1

This action now runs on Linux instead of macOS and should fix the
bootloop problems we've been hitting.

[ci] Fix comment typo

[ci] Add shorter timeout to freebsd job

The action we use is currently buggy and can hang in a bootloop
which by default spins for ~6 hours before timing out.

new-release: Commit the script used to update trac

This partly automates updates to trac for a new release.

Update to latest config.guess and config.sub

Update to Unicode 15.1.0

Initialise GError* to nullptr

The "Rules for use of GError" in the GLIB docs say:

    A GError* must be initialized to NULL before passing its address to
    a function that can report errors.

https://docs.gtk.org/glib/error-reporting.html#rules-for-use-of-gerror

Eliminate swig-depcomp script

There are now SWIG options we can use instead (the final missing
piece was -MP, added to SWIG back in 2013, only a year after we
added this script!)

Avoid triggering SIGPIPE in library code

On Unix-like platforms we want to avoid generating SIGPIPE when writing
to a socket when the other end has been closed since signals break the
encapsulation of what we're doing inside the library - either user code
would need to handle the SIGPIPE, or we set a signal handler for SIGPIPE
but that would handle *any* SIGPIPE in the process, not just those we
might trigger, and that could break user code which expects to trigger
and handle SIGPIPE.

We don't need SIGPIPE since we can check errno==EPIPE instead (which is
actually simpler to do).

It seems all current Unix-like platforms now support SO_NOSIGPIPE or
MSG_NOSIGNAL, so currently we just fall back to setting SIGPIPE to
SIG_IGN.  If there are actually current platforms which have SIGPIPE
without SO_NOSIGPIPE or MSG_NOSIGNAL then we can look at other ways to
avoid generating the signal.

Removed outdated and experimental Vagrantfile

Our Vagrantfile installed Ubuntu bionic for which LTS supported ended
earlier this year.  Also Vagrant recently switched to BSL which is not a
FOSS licence.

Remove conditional code for xlC

We now require C++ 17 which xlC doesn't support; its successor is
"Open XL C++" which is based on clang and doesn't define __xlC__:

https://www.ibm.com/docs/en/openxl-c-and-cpp-aix/17.1.1?topic=macros-unsupported-compiler

backport-source-packages: buster backports closed

Looks like backports.debian.org no longer accepts uploads, but leave
code in place for now in case someone wants to build a backport locally.

backport-source-packages: Add Debian bookworm

Only report signal address when we know what it is

On platforms without both sigaction() and SA_SIGINFO we no longer
report a NULL address for any signal would have an associated
address.

quest: Adjust --help output formatting fix

Restore things to how they were formatted in 1.4.x as that seems
more readable.

[ci] Add debian-stable job

[ci] Sort out clang-sanitisers jobs

It seems we need -fsanitize-recover=all for suppressions to work.

Also just disable the bindings for now as they seem hard to make work
with sanitisers enabled.