Integration doc for containers and systemd
TLS Tunnel would not work; TLS Proxy as a better alternative.
Effectively changing fd2=accept(fd) into fd2=tlspool_accept(fd,&tlsdata)
and passing TLS Pool messages to hold the fd2 instead of using plain
TCP/UDP/SCTP socket operations.  This means the tlsdata can also be
exchanged, and that future negotiations are possible with the control key.

Merge pull request #133 from hfmanson/apache-mod

applied gnutls-abruptly-dropped-pgp.patch, file-based client cert, baton field

client .p12 certificate, PGP removed from TLS 1.3

Merge pull request #130 from hfmanson/select

timeout needs to reinitialized before each select

timeout needs to reinitialized before each select

Merge pull request #129 from hfmanson/select

use select instead of poll in copycat function

set eset inside while

select timeout, break on exception on any selected fd

client fd exception

Merge pull request #128 from arpa2/bug-fixes

Bug fixes: Quick DER upgrade, absolution for tlspool.conf

Made configuration depend on CMake variables
 - added etc/tlspool.conf.in
 - mapping it to src/tlspool.conf
 - installing it in SYSCONFDIR
 - note that this may default to /usr/local/etc not /etc
 - data (such as databases) stored in LOCALSTATEDIR/db/tlspool
 - note that this may default to funny things due to PREFIX settings
 - influence CMAKE_INSTALL_PREFIX to impact all locations at once

Updated TLS Pool to the newest Quick DER
 - Notably, an API-changing bugfix to der_iterate_first/next()
 - Also introduction of der_header2()
 - Also moved from #include <quick-der/api.h> to #include <arpa2/quick-der.h>

Reverting infoprint that wrongly suggests a bug
The localid information is never documented to return another value
when it is called with an empty string.  This could be a feature to
desire, especially for handling SNI and wildcards on servers, but
now it looks like a bug and that is not intentional.  The proper
way to get a localid out of the TLS Pool is to process callbacks.
LOCALID_CHECK is early, NAMED_CONNECT is later.  The former will
avoid presenting certificates for non-services, which is the
preferred line of work.

Fix in the (default, commented) quantum_proof_ variables
Dropped '=' sign.

Merge pull request #125 from hfmanson/master

show local and remote id after tlspool_starttls return

show local and remote id affter tlspool_starttls return

Merge pull request #122 from hfmanson/back_to_posix

Back to posix

remote pool_handle_t

windows now supports pinentry

correct configvar in lidentry and pinentry

Merge pull request #119 from arpa2/enhancements

Enhancements: pavlov

Merge pull request #117 from hfmanson/poll_trouble

copycat poll improvement -- POLL_HUP works slightly differently on Windows due to POSIX vagueness.

bool, better sz calculation

copycat poll improvement

Introduced pavlov(3) into tools, and split them up
as per https://github.com/arpa2/tlspool/issues/110

  - testcli/srv/peer no longer exist (by those names)
  - chatcli/srv/peer install as tlspool-chat-xxx
  - chatcli/srv/peer are human-interfacing chat tools
  - tlsclient/server/peer install by their own names
  - tlsclient/server/peer wrap around a Pavlov experience
  - tlsclient/server/peer (future versions) may continue cmd
  - tlstunnel installs as tlstunnel
  - tlstunnel can start a Pavlov interaction for STARTTLS

Issue #110, added "pavlov" command and "libpavlov"
 - To be a replacement for chat(8) as a new expect/response
 - To be used in tlstunnel, testcli, testsrv, testpeer
 - May be functional on its own -- given use cases
 - Commands implemented are ?<regex> !<string> @<msdelay>

Merge pull request #115 from hfmanson/master

ca signed certs, fixed web templates

improved certificates

Merge pull request #114 from hfmanson/master

fixed porting errors

fixed errors in os_sendmsg_command

forgotten error handling

Merge pull request #112 from arpa2/fixes

Updated the Makefile to allow building testdata

Updated the Makefile to allow building testdata
The testdata is there for development purposes, but it is
important.  We use it in our Docker demo context, for instance.
It was broken after the massive update to 0.9.0 and is now
--hopefully-- resurrected.

Merge pull request #111 from hfmanson/split_mind

Split between POSIX specifics and Windows specifics, general code cleanup by Henri, author of the Windows compatibility patches.

posix specifics

Merge pull request #107 from arpa2/enhancements

Enhancements

issue #100, part 2/2, name checking
Info Query support for SubjectAltName values; these match exactly
against a GeneralName, for which the certificate will be iterated.
Any entry that matches is considered valid, because each statement
of identity of this kinds stands on its own.

issue #100, part 1/2, name checking
Info Query support for the DN in Subject and Issuer fields.
Renumbered PIOK_INFO_ codes (while on a development branch, not master)
because the initial idea to support Subject/Issuer Unique Identities
was squashed by the lyrics in RFC 5280, see the issue ticket.

issue #69, channel binding support
Implemented the most important variant, tls-unique.
GnuTLS does not support the other one in RFC 5929,
namely tls-server-end-point, but we might infer that
ourselves --  it is merely a certificate hash.  It
is also less interesting as it cannot distinguish
TLS sesssions, so we will sit and wait if this is
indeed required by anyone.  This closes issue #69.

Two test runs report the same information on both
ends, but different among sessions.  With the
tls-server-end-point, the two test runs would yield
the same outcome.  This is why we are not keen on
carrying the weaker form.

1.
tlspool-test-client: Channel binding info, tls-unique, 12 bytes of 12: 1c 47 7f 50 84 e5 85 c3 50 24 71 06
tlspool-test-server: Channel binding info, tls-unique, 12 bytes of 12: 1c 47 7f 50 84 e5 85 c3 50 24 71 06

2.
tlspool-test-client: Channel binding info, tls-unique, 12 bytes of 12: 18 49 6d a4 b8 c3 fc db 14 9a ba 4b
tlspool-test-server: Channel binding info, tls-unique, 12 bytes of 12: 18 49 6d a4 b8 c3 fc db 14 9a ba 4b

issue #69, initial design of commands
This is the "design" of the commands for info check/query.
It includes a new command code, with a set of values for
kinds of information and a simple protocol to claims, queries,
checks.

issue #99, state diagram for applications
Added a document, doc/message-flow.md, along with a
state diagram in doc/std-tlspool-starttls.* that
describes what applications usually do to work with
the TLS Pool.

issue #104, infra for STARTTLS_DRIVER selection
We still have one choice, but GnuTLS is so slow in adopting
TLS-KDH that we are considering to switch to another stack.
The world needs TLS-KDH, for numerous reasons:
 - it is protected from Quantum Computing attacks
 - that includes encryption
 - it is tens of thousands of times more efficient than X.509
 - with KXOVER coming up, it can span the globe [0]

[0] though KXOVER is not yet protected from Quantum Computing,
    but not everybody needs it; most people don't at this time.

issue #102, libev for runterminal
Added runterminal-libev.c and an option EXPERIMENTAL_LIBEV
to experiment with libev support.  This may be helpful with
ports to Windows -- and it may in general be a better idea
than crafting these details ourselves -- over and over.

issue #44, show version number

Adriaan implemented it and kept it quit :) but thanks dude!

Merge branch 'add-version' of https://github.com/adriaandegroot/tlspool into enhancements

issue #85, prepare for Quantum Computing, part 2/2, phase 1

In phase 1, we have defaults set to disabling requirements for
Post Quantum cipher suites.

Part 2/2 adds flags `Q` and `q` to the validation expression language.
These flags currently fail on all accounts, but can still be used
in an OR compisition, with alternatives that you would like to
remove later.  In other words, the TLS Pool allows you to get
started with Quantum Proofing today.  If the cipher suites that
fall under your other options get in disgrace in the future, you
may find that your validation expressions silently fall back to
these extra OR options.

Note that TLS-KDH is a Post Quantum cipher suite.  When we finally
have our own unique code for this cipher suite, we can implement
tis positive results for both the `Q` and `q` flags.

issue #85, prepare for Quantum Computing, part 1/2, phase 1

In phase 1, we have defaults set to disabling requirements for
Post Quantum cipher suites.  One day, the default can migrate.
Administrators already get an opportunity to override, but are
STRONGLY SUGGESTED to never switch it off; however, it is now
possible to experiment with actively switching on support.  In
lieu of cipher suites, this will fail.  So, leave the lines
for Post Quantum cipher suites commented as they are in the
example configuration file.

Part 1/2 involves configuration file settings; part 2/2 involves
flags for the validation expression language.

Merge pull request #98 from arpa2/bug-fixes

Bug fixes:

  * 50dea1a issue #91.  man pages for the Asynchronous API
  * 4e12313 issue #92, error code standardisation
  * 77cc246 issue #53, TLSPOOL_CFGFILE naming inconsistency
  * ba7826c issue #51.  Tool names are now scoped to avoid clashes
  * 9669523 issue #84.  PRNG now receives binary context values.
  * 98762a8 issue #93, tlspool_async_open() does pioc_ping()

issue #91.  man pages for the Asynchronous API
These still had to be written.  Quite a bit of detail
is embedded in them :-) namely
 - use of dup2() to swap a file descriptor
 - possible trouble in event loops after dup()
 - safety of cancelation of a TLS Pool command
 - workable alternatives for cancelation
 - details of the event-driven / asynchronous process
 - ...

issue #92, error code standardisation
Quite a few changes, but they should be meaningful:
 - the TLS Pool reports its own errors, avoiding POSIX
 - this is needed because POSIX has no numeric standards
 - we can thus use the TLS Pool remotely
 - we also merge in other numeric ranges, without overlap
 - constrained the tlserrno field in struct pioc_error to int32_t
 - this should be helpful for embedded systems -- no 64-bit needed
 - note that DER-encoding is always minimal, small int64 == int32

issue #53, TLSPOOL_CFGFILE naming inconsistency
The new name is TLSPOOL_CONFIG_FILE.

issue #51.  Tool names are now scoped to avoid clashes

Kept tlstunnel and pgp11-genkey, as they appear unique.

Renamed tlspool to tlspool-daemon -> nicer in "ps".

Installed files follow (for PREFIX=/usr/local).

/usr/local/sbin/tlspool-daemon
/usr/include/tlspool/commands.h
/usr/include/tlspool/async.h
/usr/include/tlspool/uthash.h
/usr/include/tlspool/internal.h
/usr/include/tlspool/starttls.h
/usr/include/tlspool/commands.h.new
/usr/include/tlspool/utlist.h
/usr/local/lib/libtlspool.so
/usr/local/lib/libtlspool.a
/usr/local/lib/libtlspool_async.so
/usr/local/lib/libtlspool_async.a
/usr/local/sbin/tlspool-configvar
/usr/local/sbin/tlspool-disclose-get
/usr/local/sbin/tlspool-localid-get
/usr/local/sbin/tlspool-trust-get
/usr/local/sbin/tlspool-db-have
/usr/local/sbin/tlspool-localid-select
/usr/local/sbin/tlspool-pin-entry
/usr/local/sbin/tlspool-ping
/usr/local/sbin/tlspool-ping-async
/usr/local/sbin/tlspool-disclose-set
/usr/local/sbin/tlspool-localid-set
/usr/local/sbin/tlspool-trust-set
/usr/local/sbin/tlspool-test-client
/usr/local/sbin/tlspool-test-server
/usr/local/sbin/pgp11-genkey
/usr/local/sbin/tlstunnel
/usr/local/share/steamworks/pulleyback/pulleyback_tlspool.so
/usr/local/share/doc/tlspool/socketprotocol.rst
/usr/local/share/doc/tlspool/databases.rst
/usr/local/share/doc/tlspool/identities.rst
/usr/local/share/doc/tlspool/pkcs11.rst
/usr/local/share/doc/tlspool/validation.md
/usr/local/share/doc/tlspool/startxxx.md
/usr/local/share/doc/tlspool/p2p-tls.md
/usr/local/share/doc/tlspool/ircproxy-explained.md
/usr/local/share/doc/tlspool/localid-selection.md
/usr/local/share/doc/tlspool/anonymising-precursor.md
/usr/local/share/doc/tlspool/COPYRIGHT.MD
/usr/local/share/doc/tlspool/LICENSE-DAEMON.MD
/usr/local/share/doc/tlspool/LICENSE-DOCS.MD
/usr/local/share/doc/tlspool/LICENSE-USERSPACE.MD
/usr/local/share/man/man3/tlspool_socket.3
/usr/local/share/man/man3/tlspool_starttls.3
/usr/local/share/man/man3/tlspool_ping.3
/usr/local/share/man/man3/tlspool_prng.3
/usr/local/share/man/man3/tlspool_pin_service.3
/usr/local/share/man/man3/tlspool_localid_service.3
/usr/local/share/man/man3/tlspool_control_detach.3
/usr/local/share/man/man3/tlspool_control_reattach.3
/usr/local/share/man/man3/tlspool_configvar.3
/usr/local/share/man/man8/tlspool-daemon.8
/usr/local/share/man/man8/tlstunnel.8

issue #84.  PRNG now receives binary context values.

issue #93, tlspool_async_open() does pioc_ping()
It did not actually ask for anything.  Now it is making a
proposal to the TLS Pool.  It is also checking that minimum
required facilities are present, as will be common on all
implementations.

Merge pull request #90 from arpa2/async-event-api

Async event api, resolving issue #57.

Working first use of Asynchronous API
pingpool-async uses libtlspool_async and is happy.
Made a small comparison between utlist.h and uthash.h
but code sizes do not differy incredibly; since uthash.h
is generally faster and the Asynchronous API serves mostly
speed, we shall continue to use uthash.h -- but have tested
against the //LIST_STYLE// commented-out code too.

First version of the asynchronous API implementation
This is untested code; it merely compiles

Initial definitions for asynchronous API
This works towards the implementation of issue #57 on GitHub.
Included in this commit are documentation and a header file:
 * <tlspool/async.h>
 * doc/asynchronous-api.md
Furthermore, an additional <tlspool/uthash.h> is included
from to implement a hash table; its documentation is on
http://troydhanson.github.io/uthash/userguide.html

Merge pull request #89 from arpa2/automated-testing

Automated testing

Extended "ctest" with live testcli -> tlspool -> testsrv
Just toggle this option to on, regenerate and run `ctest`:
```
option(TEST_UNDER_TLSPOOL "Test under the assumption of an available TLS Pool" OFF)
```
As the option says, you are assumed to have a working TLS Pool setup.

Test client and server prepared for automation
This is part of the work to resolve issue #88

We can now use a standard combination like this:

```
pypeline testcli . IP:ME TCP:MINE -5 -- testsrv . IP:ME TCP:MINE -10
```

This will:

  * Find a local IP and substitute it for `IP:ME`
  * Find a local TCP port and substitute it for `TCP:MINE`
  * Start `testcli` with 5 seconds timeout
  * Start `testsrv` with 10 seconds timeout

The result is a failed client (it was interrupted) and a
succeeding server (it finished a connection and was not
interrupted with another).

Setups involving the TLS Pool in the `pypeline` command are
also feasible, but will a `tlspool.conf` generator may help.

The work is not complete yet; we still need `chat` support,
to allow usage patterns such as

```
shell# pypeline testcli . IP:LOCAL TCP:PORT -5 -sSv hello -- testsrv . IP:LOCAL TCP:PORT -10 -sSv '' hello
```

Note the empty string `''` to not wait but instead take the
initiative, here done by the client.  The remaining tic-toc
is mirrorred in expect/response strings.  Also note that
Pypeline will start `testsrv` and await its output `--` before
it starts `testcli`.  The reading order is the initial message
flow, that's why Pypeline starts at the end.

Partial output fom the above statement:

```
FINAL OUTPUT FROM TESTSRV IS:
Scheduled to exit(exit_val) in 10 seconds
--
DEBUG: STARTTLS succeeded on testsrv
PRNG bytes: 06 3c c9 5e 08 86 e0 59 0d 27 7a 08 19 fe fa ec
SIGCONT will trigger renegotiation of the TLS handshake during a connection
DEBUG: Local plainfd = 6
DEBUG: Client connection terminated

pypeline: success: testcli -> exit (0)

FINAL OUTPUT FROM TESTCLI IS:
Scheduled to exit(exit_val) in 5 seconds
--
PRNG bytes: 06 3c c9 5e 08 86 e0 59 0d 27 7a 08 19 fe fa ec
DEBUG: STARTTLS succeeded on testcli
SIGCONT will trigger renegotiation of the TLS handshake
DEBUG: Local plainfd = 5
DEBUG: Closed connection.  Waiting 2s to improve testing.
```

The TLS Pool reports many single bytes being sent too...

Introduced Pypeline (from KXOVER) for automated testing
This helps to implement issue #88

starttls.h windows update

#define IPPROTO_SCTP in windows (#80)

* GnuTLS buffer problem
* mxe fixes
* IPPROTO_SCTP on windows
*  libtlspool_configvar on windows
* Update src/starttls.c

Authored-By: hfmanson <hfmanson@gmail.com>

miscellaneous fixes to compile tlspool again on windows  (#79)

* GnuTLS buffer problem
* gnutls_packet_deinit
* mxe fixes
* No IPPROTE_SCTP on windows
*  libtlspool_configvar on windows
* Update src/starttls.c

Authored-By: hfmanson <hfmanson@gmail.com>

GnuTLS buffer problem solution (#78)

GnuTLS records can be rather large, and fetching them in 1024 bytes at a time did not work.

Merge branch 'master' of https://github.com/arpa2/tlspool

Introduced default named connect function to tlspool library

Fix to test server tool

Updates to handle SNI callbacks on the server side

Added build option for Python language support; off by default.
The default is off, because that is both consistent and works everywhere.
Better support is possible:
 - find the package(s) to run setup.py
 - include tests for the python code
 - build with the setup.py build command
 - build in the CMake build directory, not the source directory

Merge pull request #74 from hfmanson/socketpair

socketpair type derived from tlsdata->ipproto

socketpair type derived from tlsdata->ipproto

http_proxy.py

Modifications to testcli & testsrv for virtual host checks.
(Dropped the possibility to specify address data on testsrv
 that was not mirrorred into testcli anyway.)

First version of a protocolhandler.py tool, for web+tlspool: URI scheme

Correction to new testdata

Added privkey #8 and a certificate "playground.arpa2.lab"

use getaddrinfo in testsrv.c

Corrections in Python wrappers
Management of file descriptors was leaking.  The cryptfd was closed
by the tlspool_starttls() call or TLS Pool but also by Python, for
instance when garbage collecting the cryptfd.  This allowed closing
the same socket twice or, more accurately put, closing of the same
file descriptor number.  An intermediate process might have opened
another stream with the same number, and seen it closed.  Yet an
other process might have opened it once again and receive spurious
information from the stashed file descriptor in, say, the syslog()
API or Python sockets.

Improvements in Python support and installation of Python and includes

Updated #bits for RSA (it used to be 2000 to tease out expectations)

Added a CMake option for EXPERIMENTAL_SRP, defaulting to OFF.
SRP support was always a bit experimental, referencing files relative
to the point of invocation.  This did not help stability.  This is now
off by default, but can simply be toggled on in the CMake Cache.

Updates, mostly to testdata, to tool modernisations
 - label= become object= in certtool, breaking change?
 - libsofthsm2 is readily available in distributions
 - certtool now produces multiple hashes, and references with SHA1

Polishing (#65)

Some reduction of compile warnings and a little extra documentation to help people building from source.

Cmakeing (#66)

Switch TLSPool build entirely to CMake; make DANE optional (not recommended, but needed to get it to build on older Ubuntu's).

Add a -V flag, which prints the TLSPool version string.

The string is the same as the git version information,
so could be '0.20.local-20180223-163246'.

Fixes #44

Merge pull request #63 from adriaandegroot/pulleyback

CMake-ify

Makefile: clean up build

 - fix Quick-DER pkgconfig name
 - allow specifying BDB flags (needed on FreeBSD)
 - explicitly set c99 standard (where it wasn't set yet)
 - create directories where things will be installed

CMake: install all libraries and executables and manpages

test/: fix C code, add CMake

 - Run valexp tests through a supporting shell-script. This means
   less futzing with command-pipelines in the CMake code.
 - Run onlinecheck through supporting shell-script.

Fix up C code in test/ dir

 - The declaration of tlog() in internal.h is messed up by
   #defining it as empty, so see the declaration first, before
   #defining it away in the actual code.
 - Better usage message for onlinecheck (test)
 - Pulleybacksim minor pointer signedness fixes
 - Pulleybacksim executable also returns 0 on failure,
   so this test always succeeds.

tool/: fix C code, add CMake

Refactor after finding 3 copies of code

 - Having fixed the same printf() format problems in 3 test
   programs, refactor the runterminal() function to be usable
   for each of those programs.
 - Introduce separate module runterminal.c, which is linked
   into targets through a CMake-level OBJECT library.

Other C fixes:
 - Arguments to main()
 - Minor constness, pointer-signedness fixes
 - Missing parameters for format-string in printf()
 - Constness
 - Lots and lots of format fixes for pgp11_genkey

libtlspool: reduce warnings

 - pid is unsigned, comparison >= 0 is useless

Pulleyback: reduce warnings

 - Pass int to %.*s
 - check() doesn't return anything
 - char vs uint8_t

CMake-ify TLSPool (and pulleyback)

 - Add top-level stub Makefile.cmake for driving cmake-builds,
   styled on the Quick-DER one. This allows 'make cmake-build'
   to be used to test the CMake system.
 - Find libunbound
 - Find libldns
 - Find p11-kit
 - Find gnutls
 - Find gnutls-dane extensions
 - Find libtasn1
 - Find openldap
 - Always include feature summary

Merge pull request #61 from adriaandegroot/fix-build

Fix build

LDAP-types: use berelement instead of void

C-style: char vs uint8_t

Add some constness to parameters of strncatesc

Fix string escaping

Tests: try to introduce test for string escaping.