slapos.git
3 years agogitlab: Organize per-instance gitlab work tree
Kirill Smelkov [Wed, 6 Jan 2016 20:07:20 +0000 (23:07 +0300)]
gitlab: Organize per-instance gitlab work tree

Organize per-instance place for gitlab configuration and work directory.

Unfortunately as GitLab is Ruby-on-Rails application, it is not possible
to keep its code in one place and have multiple separate configuration
sets in different places and start that code for a configuration set -
GitLab and Rails insist to get configuration from relative to source
code tree.

GitLab omnibus "solves" this by having only one configuration set and
having symlinks from code to that only configiration set. In slapos we
can potentially have several instances for one software and thus we
cannot do that.

With such limitations a proper solution would be to bind-mount software
code into instance filesystem namespace close to configuration - that
way the code will be only one and will find proper per-instance config.
Currently we do not have namespaces available on slapos unfortunately,
thus something else is needed.

The workaround I decided to do is this: to clone cloned gitlab
repository from software/ space to instance/ space and adjust it in
instance space. This has the following drawbacks:

    - code is duplicated
    - code becomes read-write, instead of being read-only

but imho it is the most practical thing to do. Another solution could be
to patch GitLab / Rails to remove "config lives in code" assumption, but
the number of places where this needs to be done is really many.

NOTE gems which gitlab uses and which were installed during software
    compilation are not duplicated - they are reused via bundler - via
    pointing BUNDLE_GEMFILE to original location in software.

NOTE2 For instance tasks and also for maintanace convenience we establish
    <instance>/bin/gitlab-* programs, e.g. gitlab-rake, which e.g. for
    gitlab-rake will run rake with correctly loaded gitlab environment -
    like in gitlab-omnibus.

/cc @kazuhiko, @jerome, @jp

3 years agogitlab: Redis service
Kirill Smelkov [Wed, 6 Jan 2016 19:23:51 +0000 (22:23 +0300)]
gitlab: Redis service

Organize internal Redis service, like with PostgreSQL in the previous
patch, with the help of slapos.cookbook:redis.server recipe.

Like with postgresql, and as we planned, redis listens only on
internal-to-partition unix socket.

The recipe establishes both service and promise to check it is alive;
we only need to setup log rotation manually.

/cc @kazuhiko, @jerome

3 years agogitlab: PostgreSQL service
Kirill Smelkov [Wed, 6 Jan 2016 19:00:31 +0000 (22:00 +0300)]
gitlab: PostgreSQL service

Organize internal PostgreSQL database which will be used as DB for
Roby-on-Rails GitLab and listens only on unix socket (for security and
performance reasons - see earlier intro patch).

To do it we use slapos.cookbook:postgres recipe, with disabling
"listen-to-network" via passing empty sets to ipv4 and ipv6 recipe
arguments.

The promise to check whether DB is alive is just `psql -c '\q'` which
will error if failing to connect to DB, but exit silently if connected ok.

Explicit log rotation is not needed - as postgresql logs to
stdout/stderr - not to a file - logs are handled by slapos - put into
.slappartX_postgresql.log and automatically rotated there.

XXX omnibus-gitlab tunes postgresql with shared_buffers and other
parameters, most likely for performance reasons - see e.g.

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8-2-stable/files/gitlab-cookbooks/gitlab/templates/default/postgresql.conf.erb#L113

I decided not to fine-tune postgresql for now, and get on-field feedback
first, and then, if needed, we can tune.

/cc @kazuhiko, @jerome

3 years agogitlab: Add helper for setting up promises
Kirill Smelkov [Wed, 6 Jan 2016 18:49:43 +0000 (21:49 +0300)]
gitlab: Add helper for setting up promises

A recipe could do

    [promise-<service>]
    <= promise-wrapper
    command-line = ...

and the wrapper will be put automatiaclly into etc/promise/<service>.

( for this to happen !py! magic is used again, like we did for logrotate
  and cron entries before )

/cc @kazuhiko, @jerome

3 years agogitlab: Make a plan to base instance layout on gitlab-omnibus and to interconnect...
Kirill Smelkov [Wed, 6 Jan 2016 18:34:27 +0000 (21:34 +0300)]
gitlab: Make a plan to base instance layout on gitlab-omnibus and to interconnect all internal services via unix sockets

Upcoming changes will follow two points:

- we try to base our gitlab setup on how it is done in
  gitlab-omnibus[1] with the idea to ease tracking upstream changes to
  instance setup.

- we will interconnect all internal services via unix sockets only.

  The reason to do it is twofold:

    1. easier security: currently files on different slapos partitions
       are isolated from each other, but there is no "in-between-partitions"
       networking isolation - thus (potentially evil) programs can
       access internal services on other slapos partition.

       permissions to access unix sockets, on the other hand, are
       managed by filesystem-level permissions, and thus unix sockets in
       one partition will be, by default, isolated from programs on
       another partitions.

    2. It is well known that UNIX sockets are faster than TCP over
       loopback. For example for our std shuttles they have 2 times lower
       latency and ~ 2-3 times more throughput compared to TCP over loopback

    More details on 1 & 2 can be found e.g. here:

    https://lab.nexedi.com/nexedi/slapos/merge_requests/27
    https://gitlab.com/gitlab-org/gitlab-shell/merge_requests/30

/cc @kazuhiko, @jerome

[1] https://gitlab.com/gitlab-org/omnibus-gitlab

3 years agogitlab: Add empty instance
Kirill Smelkov [Wed, 6 Jan 2016 17:58:22 +0000 (20:58 +0300)]
gitlab: Add empty instance

Add stub instance configuration which just establishes a way to have
several software types(*), pass all needed info from software to
instance, organizes base directory and establishes log rotation base for
upcoming services.

Log rotation is done with the help of cron periodicallly calling
logrotate. The rotation is done in "copytruncate" mode - i.e. log file
is not moved away and signal sent for service to reopen it, but instead
log content is just copied to outside and there is no need for a service
to reopen it's log file.

The reason it is done this way, is that there is a chance of not
handling such "reopen-log-file" callbacks correctly on a service side,
and so the net is full of crashing reports, e.g. like this:

    http://serverfault.com/questions/627521/why-is-logrotate-causing-apache-to-seg-fault-each-time

That's why we take a safer approach instead, even if "copytruncate" mode
is risking to loose several log entries(**) on rotation.

NOTE services will organize log rotation with just

    [logrotate-entry-<service>]
    <= logrotate-entry
    log     = path/to/log/files/*.log

For this to work some "!py!" magic (our way to serialize object into
executable python and process it in buildout recipes) is used to process
section names.

The approach trick is also used for cron, e.g. logrotate registers to
cron this way:

    [cron-entry-logrotate]
    <= cron-entry
    time    = daily
    command = ${logrotate:wrapper}

NOTE2 instance md5 are not fixed yet - we'll fix them after applying all
    patches in gitlab series.

(*) for now there is only 1 - "gitlab", but we'll need to have "-export"
    and "-import" for resiliency in the future.

(**) ideally such things should be done with logfs - a filesystem
    specializeing in logging - for client services it will look like as
    they just continue to write to log file, and on log service side, the
    rotation can happen, all transparent to client service.

/cc @kazuhiko, @jerome

3 years agoStart of GitLab Software Release
Kirill Smelkov [Wed, 6 Jan 2016 17:01:15 +0000 (20:01 +0300)]
Start of GitLab Software Release

First step - build all needed software. We build:

- Git
- PostgreSQL 9.2
- Redis 2.8
- Nginx

- gitlab-shell
- gitlab-workhorse
- gitlab-ce 8.2 itself

and everything which is needed to build the above programs.

Git is needed because GitLab is a git-hosting service and uses git
underneath. PostgreSQL is used as DB by gitlab and Redis as a cache.

GitLab-shell is a small project to manage ssh access to the service
(we'll disable ssh though) and to perform all "change a repository"
operations.

GitLab-workhorse is a service which offloads long-running or slow
request from main GitLab service.

GitLab-ce is the main Ruby-on-Rails-based web application.

Ruby- and Go- based programs are built in a way similar to:

    - 31a45a94    (helloworld & helloweb: Ruby version), and
    - 24e82414    (helloworld & helloweb: Go version)

Version of all components, except Git, were picked the same, as used by
gitlab omnibus v8.2 .

/cc @kazuhiko, @jerome

3 years agoversion up: ca-certificates 20151214
Julien Muchembled [Mon, 4 Jan 2016 17:54:56 +0000 (18:54 +0100)]
version up: ca-certificates 20151214

3 years agoversion up : MariaDB 10.1.10.
Kazuhiko Shiozaki [Thu, 24 Dec 2015 10:24:18 +0000 (11:24 +0100)]
version up : MariaDB 10.1.10.

3 years agomariadb: enable innodb lzma compression and disable some options explicitly.
Kazuhiko Shiozaki [Thu, 24 Dec 2015 10:06:54 +0000 (11:06 +0100)]
mariadb: enable innodb lzma compression and disable some options explicitly.

3 years agoharfbuzz: build without ICU.
Kazuhiko Shiozaki [Thu, 24 Dec 2015 09:40:16 +0000 (10:40 +0100)]
harfbuzz: build without ICU.

3 years agopython2.7: disable building some modules explicitly.
Kazuhiko Shiozaki [Wed, 23 Dec 2015 20:05:46 +0000 (21:05 +0100)]
python2.7: disable building some modules explicitly.

3 years agoNew component for OBS builds: chrpath
Julien Muchembled [Sat, 26 Dec 2015 21:07:22 +0000 (22:07 +0100)]
New component for OBS builds: chrpath

Some dists like SLE_12 don't seem to have it.

3 years agore6stnet: update and cleanup
Julien Muchembled [Fri, 18 Dec 2015 18:22:14 +0000 (19:22 +0100)]
re6stnet: update and cleanup

../../stack/slapos.cfg is removed from component/*/buildout.cfg
because we normally don't specify it in component/
The OBS package will need to extend it.

3 years agoJupyter: Version up eggs and update erp5_kernel accordingly
Ayush Tiwari [Mon, 14 Dec 2015 17:57:41 +0000 (17:57 +0000)]
Jupyter: Version up eggs and update erp5_kernel accordingly

Pin versions required for ipython==4.0.0 with ipykernel separated
from ipython eggs.
The split was in accordance to : https://blog.jupyter.org/2015/04/15/the-big-split/

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agoversion up : Python 2.7.11.
Kazuhiko Shiozaki [Fri, 18 Dec 2015 11:05:06 +0000 (12:05 +0100)]
version up : Python 2.7.11.

3 years agoversion up eggs.
Kazuhiko Shiozaki [Thu, 17 Dec 2015 08:50:24 +0000 (09:50 +0100)]
version up eggs.

3 years agohaproxy: explicitly enable USE_DL, that is required at least in Ubuntu 15.10.
Kazuhiko Shiozaki [Thu, 17 Dec 2015 10:42:37 +0000 (11:42 +0100)]
haproxy: explicitly enable USE_DL, that is required at least in Ubuntu 15.10.

3 years agoerp5 kernel jupyter
Ayush Tiwari [Fri, 18 Dec 2015 21:21:05 +0000 (00:21 +0300)]
erp5 kernel jupyter

ipython_notebook SR hooked with ERP5 kernel.
This kernel helps in interaction between erp5 and Jupyter frontend.
The patches have been cleaned up

Features:

- All the code execution is being done at erp5 side, Jupyter just acts as dumb client.
- Receives result as string and its mime_type and thanks to kernel, displays it accordingly.
- Interactions b/w erp5 and Jupyter frontend are based on HTTP requests.

Major changes:

- Addition of erp5 kernel
- Improvement in code according to guidelines(name, section name)
- Use jinja template as instance file and make it more dynamic
- Debugging added for ipython_notebook service.

Note: The certificate authentication changed has been reverted to the previous
one(done by creating wrapper around openssl command) for now.

/cc @Tyagov
/reviewed-by @kirr, @jerome  (on nexedi/slapos!33)

3 years agoJupyter: --matplotlib=inline is nether supported nor needed
Kirill Smelkov [Tue, 1 Dec 2015 14:24:11 +0000 (14:24 +0000)]
Jupyter: --matplotlib=inline is nether supported nor needed

@jerome added --matplotlib=inline in 48eefab5 (ipython notebook) but it is
really neither needed:

   @jerome
   I remember adding this --matplotlib=inline line, but I am not sure it was
   ever needed. Using magic %matplotlib in notebook should be enough.

   @tiwariayush
   Yeah, for inline matplotlib in default python kernel, magics do there
   work(therefore neither pylab nor matplotlib alias are needed while starting the
   server), so I'd say leave this commit as it is and regarding version updation:
   a new patch making change wherever required.

nor supported:

   $ cat .slappart0_ipython_notebook.log
   [W 15:51:35.454 NotebookApp] Unrecognized alias: '--matplotlib=inline', it will probably have no effect.

Remove it.

P.S.

'--logfile' isn't available for ipython version 3.2.0 but we are not removing
it since we are planning to upgrade IPython to versions 4.x where it is supported.

Based on patch by @tiwariayush  (see nexedi/slapos!33)

3 years agoJupyter: Change section name to instance-jupyter so as not to raise conflict in case...
Ayush Tiwari [Wed, 2 Dec 2015 09:47:43 +0000 (09:47 +0000)]
Jupyter: Change section name to instance-jupyter so as not to raise conflict in case of multiple extends

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agoJupyter: Publish the serialized result
Ayush Tiwari [Wed, 2 Dec 2015 09:43:47 +0000 (09:43 +0000)]
Jupyter: Publish the serialized result

Maintain consistency with the slapOS SR format.
This SR can be hooked with other SR(ex:wendelin) and its better
to follow one way of publishing result parameters

[ kirr: This essentially changes publication format to JSON:

    $ xslapos proxy show --params

    # before
    slappart0: ipython_notebook (type default)
        url = https://[2001:67c:1254:e:49::952d]:8888
        monitor_url = https://[2001:67c:1254:e:49::952d]:9685

    # after
    slappart0: ipython_notebook (type default)
        _ = {"url": "https://[2001:67c:1254:e:49::952d]:8888", "monitor_url": "https://[2001:67c:1254:e:49::952d]:9685"}

  I'm not convinced we really need this, nor that the .serialized version is
  the most oftenly used one:

    slapos$ git grep 'slapos.cookbook:publish$' |wc -l
    59
    slapos$ git grep 'slapos.cookbook:publish.serialised$' |wc -l
    13

  but we can have it and see how it goes, reverting if needed ]

/cc @jerome
/proposed-for-review-on nexedi/slapos!33

3 years agoJupyter: Set log-level alias to 'DEBUG' for ipython notebook service
Ayush Tiwari [Wed, 2 Dec 2015 09:26:08 +0000 (09:26 +0000)]
Jupyter: Set log-level alias to 'DEBUG' for ipython notebook service

This helps in logging up the requests made by ipython_notebook service

[ kirr: To be clear - until log-level is set to DEBUG, IPython notebook does
  not log HTTP requests, and since logging of HTTP requests is considered normal
  for most of our services (Zope, Apache, etc), it makes sense to enable such
  functionality for notebook too.

  There is not much additional noise produced by --log-level=DEBUG - in
  practice ipython only prints what config files it uses on startup, so this
  should be ok to go. ]

/reviewed-by @kirr, @jerome  (on nexedi/slapos!33)

3 years agoJupyter: Hook ERP5 Kernel
Ayush Tiwari [Wed, 2 Dec 2015 09:17:57 +0000 (09:17 +0000)]
Jupyter: Hook ERP5 Kernel

ERP5 kernel basic info/workflow:

1. User enters code on notebook cell and executes
2. Code is sent to kernel via websockets
3. Kernel sends request to ERP5
4. Code is executed by ERP5 and the result is returned back via request.
5. Result is received and rendered on the notebook frontend.
6. Other message formats such as error and status are also conveyed by the Kernel.

[ kirr: in IPython notebook speak kernel is something that allows IPython
  notebook server side to talk to execution backend. ERP5 kernel is a thing that
  allows ipython notbook to talk to ERP5 (with help on-ERP5-server special bt5
  installed which accepts and executes commands).

  The bt5 to handle notebook calls on ERP5 side - erp5-data-notebook - is
  proposed to be merged into erp5.git on nexedi/erp5!29 ]

/initially-reviewed-by @kirr, @Tyagov  (in a lot of places, last time on nexedi/slapos!33)

3 years agoIPython Notebook: Explicitly add environment variable around wrapper and use ipython...
Ayush Tiwari [Thu, 3 Dec 2015 19:56:34 +0000 (19:56 +0000)]
IPython Notebook: Explicitly add environment variable around wrapper and use ipython directory inside instance in env

[ kirr: By default IPython keeps configuration and other files location in
  ~/.ipython . What this patch does is organize explicit directory in instance
  tree to keep such files  ]

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agoIPython Notebook: Add dynamic-template-base section for common jinja related file...
Ayush Tiwari [Thu, 3 Dec 2015 14:25:29 +0000 (14:25 +0000)]
IPython Notebook: Add dynamic-template-base section for common jinja related file section and extend them with this section

3 years agoIPython Notebook: Convert instance to jinja2 template
Ayush Tiwari [Thu, 3 Dec 2015 13:51:56 +0000 (13:51 +0000)]
IPython Notebook: Convert instance to jinja2 template

[ kirr: to-Jinja2 conversion is required because jinja is more suitable to
  describing instances compared to buildout, because jinja2 has e.g. control
  structures ]

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agowendelin: Adjust to recent ipython-notebook section renaming
Kirill Smelkov [Fri, 18 Dec 2015 07:54:43 +0000 (10:54 +0300)]
wendelin: Adjust to recent ipython-notebook section renaming

Commit cee110b2 (IPython Notebook: Fixing coding crimes for section
names) changed IPython notebook section name to use '-' as word
delimiter but forgot to update users, and this way wendelin build
started to fail:

    INFO While:
    INFO   Installing.
    INFO   Getting section ipython_notebook.
    INFO Error: The referenced section, 'ipython_notebook', was not defined.

Fix it. (And I've made sure with whole-tree git grep that there is no
more ipython notebook users except wendelin in whole slapos.git so far)

/reported-by @Tyagov
/cc @tiwariayush
/reviewed-by TrustMe

3 years agoncurse: add a patch for gcc 5.
Kazuhiko Shiozaki [Thu, 17 Dec 2015 09:09:22 +0000 (10:09 +0100)]
ncurse: add a patch for gcc 5.

3 years agoversion up : apache httpd 2.4.18.
Kazuhiko Shiozaki [Tue, 15 Dec 2015 12:26:19 +0000 (13:26 +0100)]
version up : apache httpd 2.4.18.

3 years agoversion up eggs.
Kazuhiko Shiozaki [Wed, 9 Dec 2015 10:38:46 +0000 (11:38 +0100)]
version up eggs.

3 years agomariadb: stop disabling derived_merge globally.
Kazuhiko Shiozaki [Tue, 8 Dec 2015 09:19:17 +0000 (10:19 +0100)]
mariadb: stop disabling derived_merge globally.

3 years agoMerge branch 'kvm-cluster'
Alain Takoudjou [Wed, 16 Dec 2015 15:08:52 +0000 (16:08 +0100)]
Merge branch 'kvm-cluster'

3 years agowendelin: Unpin wendelin.core from versions in -dev variant
Kirill Smelkov [Wed, 16 Dec 2015 08:30:56 +0000 (11:30 +0300)]
wendelin: Unpin wendelin.core from versions in -dev variant

This is required so that buildout does not fallback to installing
non-dev egg if version of wendelin.core from -dev differs from what has
been pinned.

For example the following

    [buildout]
    extends =
      https://lab.node.vifib.com/nexedi/slapos/raw/1.0.12/software/wendelin/software-dev.cfg

    # pin wendelin.core-dev to latest assumed-good revision with ZBlk1 support
    [wendelin.core-repository]
    revision = c507d9009f59fec2041bac9c31c5b08a48d3897d

will install wendelin.core-0.4.egg from pypi instead of installing
c507d9009f59fec2041bac9c31c5b08a48d3897d from repository, because that
latter revision says it is already version 0.5 and 1.0.12 wendelin SR
pins wendelin.core to 0.4 .

So unpin wendelin.core from versions and let software-dev.cfg work
always.

/cc @klaus
/reviewed-by @Tyagov  (on nexedi/slapos!36)

3 years agoIPython Notebook: Add download-file-base section which would be extended by sections...
Ayush Tiwari [Thu, 3 Dec 2015 13:55:57 +0000 (13:55 +0000)]
IPython Notebook: Add download-file-base section which would be extended by sections requiring common usage

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agoIPython Notebook: Fix naming of files according to extensions, follow guidelines
Ayush Tiwari [Wed, 2 Dec 2015 08:03:34 +0000 (08:03 +0000)]
IPython Notebook: Fix naming of files according to extensions, follow guidelines

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agoIPython Notebook: Fixing coding crimes for section names
Ayush Tiwari [Thu, 3 Dec 2015 13:39:45 +0000 (13:39 +0000)]
IPython Notebook: Fixing coding crimes for section names

Use spinal-case('-' separated) instead of snake_case('_' separated) in section names.

/reviewed-by @kirr  (on nexedi/slapos!33)

3 years agokvm: Add restrict mode for nat interface kvm-cluster
Alain Takoudjou [Fri, 11 Dec 2015 18:17:21 +0000 (19:17 +0100)]
kvm: Add restrict mode for nat interface

If restrict mode is set to true, nat interface (eth0) will be isolated, no network access, only host and guest forward rules will work throught that interface.
This option is true by default for kvm-cluster, and false for single and resilient kvm.

3 years agoapache-frontend: Include backward compatibility with RootSoftwareInstance.
Rafael Monnerat [Wed, 9 Dec 2015 17:27:06 +0000 (18:27 +0100)]
apache-frontend: Include backward compatibility with RootSoftwareInstance.

3 years agoslapos/recipe/postgresql: Do not leave half-installed postgresql instance
Kirill Smelkov [Wed, 4 Nov 2015 08:59:36 +0000 (11:59 +0300)]
slapos/recipe/postgresql: Do not leave half-installed postgresql instance

In case there are errors when creating cluster / setting up its
configuration files, currently we leave pgsql database left
half-installed and next time instantiation runs do not do anything,
because os.path.exists(pgdata) is already true.

I've personally hit this situation via providing ipv4 and ipv6
parameters as strings and the recipe wanted to do `ipv4.join(ipv6)` but this
works only for sets and raises for strings.

What is worse is that the above error becomes hidden in our default
setup, because webrunner tries to do instantiation _several_ times, and
on the second run instantiation succeeds, because pgdata directory
already exists and recipe thinks there is nothing to do _and_ webrunner
already removed instance.log from previous run.

So do not hide errors, and if we see there are problems, remove the
wholly created pgsql database directory.

/cc @kazuhiko, @jerome
/proposed-for-review on nexedi/slapos!29

3 years agoslaprunner: Allow port forwarding for default ssh
Cédric Le Ninivin [Thu, 3 Dec 2015 12:58:39 +0000 (13:58 +0100)]
slaprunner: Allow port forwarding for default ssh

3 years agodropbear: Allow port forwarding if option is set
Cédric Le Ninivin [Thu, 3 Dec 2015 12:57:35 +0000 (13:57 +0100)]
dropbear: Allow port forwarding if option is set

3 years agoERP5: sort balancer families by name before assigning ports
Julien Muchembled [Wed, 9 Dec 2015 12:54:30 +0000 (13:54 +0100)]
ERP5: sort balancer families by name before assigning ports

If the list of families does not change, their ports must not change, and it's
wrong to get this by relying on CPython implementation details. Even if we
automated the update of frontends with new urls, this couldn't be done
atomically and we'd get random failures.

Currently, frontends are only updated manually so we also want to minimize
changes when families are added/renamed/removed. By sorting alphabetically,
we have something predictable. Of course, this does not cover cases like the
following one:
- before: A, B, C
- after: A, C
Even if we added a 'port-base' parameter for the balancer, the port would
change for one of the 2 families.

We have no need for the moment, but we could go further with an optional list
parameter to choose the order, and a special value to skip ports. Another
option is to use publish-early but it's more complicated to implement and
we lose everything when we reinstanciate.

The sort in haproxy.cfg.in is for the stats page.

3 years agoapache-frontend: software-type default goes to custom-personal
Alain Takoudjou [Tue, 8 Dec 2015 16:53:48 +0000 (17:53 +0100)]
apache-frontend: software-type default goes to custom-personal

3 years agoversion up eggs.
Kazuhiko Shiozaki [Mon, 2 Nov 2015 12:54:41 +0000 (13:54 +0100)]
version up eggs.

3 years agoversion up : groonga 5.1.0 and mroonga 5.10.
Kazuhiko Shiozaki [Tue, 1 Dec 2015 14:00:47 +0000 (15:00 +0100)]
version up : groonga 5.1.0 and mroonga 5.10.

3 years agoversion up: Products.LongRequestLogger 2.0.0
Julien Muchembled [Thu, 12 Nov 2015 14:28:15 +0000 (15:28 +0100)]
version up: Products.LongRequestLogger 2.0.0

3 years agoERP5: remove obsolete zope template files
Julien Muchembled [Thu, 12 Nov 2015 10:57:17 +0000 (11:57 +0100)]
ERP5: remove obsolete zope template files

3 years agoversion up : apache httpd 2.4.17.
Kazuhiko Shiozaki [Tue, 3 Nov 2015 19:13:32 +0000 (20:13 +0100)]
version up : apache httpd 2.4.17.

3 years agoversion up : groonga 5.0.9 and mroonga 5.09.
Kazuhiko Shiozaki [Thu, 29 Oct 2015 14:34:17 +0000 (15:34 +0100)]
version up : groonga 5.0.9 and mroonga 5.09.

3 years agoversion up : HAProxy 1.6.1, new majour version with better performance.
Kazuhiko Shiozaki [Mon, 26 Oct 2015 08:52:25 +0000 (09:52 +0100)]
version up : HAProxy 1.6.1, new majour version with better performance.

3 years agoversion up: lua 5.3.1. also fix a wrong rpath.
Kazuhiko Shiozaki [Sun, 25 Oct 2015 22:11:44 +0000 (23:11 +0100)]
version up: lua 5.3.1. also fix a wrong rpath.

3 years agohaproxy: use bind option to specify listen ip:port instead of putting it in 'listen...
Kazuhiko Shiozaki [Sun, 25 Oct 2015 22:09:29 +0000 (23:09 +0100)]
haproxy: use bind option to specify listen ip:port instead of putting it in 'listen' line.

that is a long-deprecated syntax and removed in haproxy 1.6.

3 years agoversion up : gdk-pixbuf 2.32.1. CVE-2015-7673, CVE-2015-7674.
Kazuhiko Shiozaki [Sun, 25 Oct 2015 18:32:23 +0000 (19:32 +0100)]
version up : gdk-pixbuf 2.32.1. CVE-2015-7673, CVE-2015-7674.

3 years agoMerge remote-tracking branch 'lab/master' into HEAD
Alain Takoudjou [Fri, 4 Dec 2015 17:04:26 +0000 (18:04 +0100)]
Merge remote-tracking branch 'lab/master' into HEAD

3 years agokvm: fix monitor parameters, set default keyboardf language to french (fr)
Alain Takoudjou [Fri, 4 Dec 2015 16:51:04 +0000 (17:51 +0100)]
kvm: fix monitor parameters, set default keyboardf language to french (fr)

3 years agoversion up : OpenSSL 1.0.2e, including CVE-2015-3193, CVE-2015-3194, CVE-2015-3195...
Kazuhiko Shiozaki [Fri, 4 Dec 2015 10:23:32 +0000 (11:23 +0100)]
version up : OpenSSL 1.0.2e, including CVE-2015-3193, CVE-2015-3194, CVE-2015-3195 and CVE-2015-3196.

https://www.openssl.org/news/secadv/20151203.txt

3 years agogolang: v↑ (1.5.2)
Kirill Smelkov [Fri, 4 Dec 2015 08:17:10 +0000 (11:17 +0300)]
golang: v↑  (1.5.2)

From https://golang.org/doc/devel/release.html#go1.5.minor:

    go1.5.2 (released 2015/12/02) includes bug fixes to the compiler,
    linker, and the mime/multipart, net, and runtime packages

/reviewed-by: TrustMe

3 years agocomponent/re6stnet: Fix extensions paths (again).
Rafael Monnerat [Thu, 3 Dec 2015 23:03:34 +0000 (00:03 +0100)]
component/re6stnet: Fix extensions paths (again).

3 years agocomponent/re6stnet: Fix extensions paths.
Rafael Monnerat [Thu, 3 Dec 2015 22:58:13 +0000 (23:58 +0100)]
component/re6stnet: Fix extensions paths.

3 years agocomponent/re6stnet: Split development (git) from stagged (egg) version.
Rafael Monnerat [Thu, 3 Dec 2015 18:08:45 +0000 (19:08 +0100)]
component/re6stnet: Split development (git) from stagged (egg) version.

3 years agokvm: fix bug when nat-rules parameter is empty, set nat-rules empty by default for...
Alain Takoudjou [Wed, 2 Dec 2015 10:21:46 +0000 (11:21 +0100)]
kvm: fix bug when nat-rules parameter is empty, set nat-rules empty by default for kvm-cluster

3 years agoerp5: Fix section entry name when requesting a frontend.
Vincent Pelletier [Tue, 1 Dec 2015 09:17:48 +0000 (10:17 +0100)]
erp5: Fix section entry name when requesting a frontend.

3 years agofix kvm resilience test: undefined python_executable
Alain Takoudjou [Mon, 30 Nov 2015 08:32:23 +0000 (09:32 +0100)]
fix kvm resilience test: undefined python_executable

3 years agoStart new development
Rafael Monnerat [Fri, 27 Nov 2015 15:54:56 +0000 (16:54 +0100)]
Start new development

3 years agoMinor adjustment to follow up recent changes.
Rafael Monnerat [Fri, 27 Nov 2015 15:44:28 +0000 (16:44 +0100)]
Minor adjustment to follow up recent changes.

3 years agoversion up: slapos.cookbook 1.0.17
Rafael Monnerat [Fri, 27 Nov 2015 15:43:13 +0000 (16:43 +0100)]
version up: slapos.cookbook 1.0.17

3 years agoRelease slapos.cookbook 1.0.17
Rafael Monnerat [Fri, 27 Nov 2015 15:48:05 +0000 (16:48 +0100)]
Release slapos.cookbook 1.0.17

3 years agoslapos.recipe.re6stmaster: More verbosity and update ips if they changed.
Rafael Monnerat [Fri, 27 Nov 2015 13:05:26 +0000 (21:05 +0800)]
slapos.recipe.re6stmaster: More verbosity and update ips if they changed.

3 years agovesion up: slapos.toolbox 0.53
Rafael Monnerat [Thu, 26 Nov 2015 19:12:52 +0000 (19:12 +0000)]
vesion up: slapos.toolbox 0.53

3 years agoagent: Minor typos and update wrong recipes.
Rafael Monnerat [Thu, 26 Nov 2015 18:43:46 +0000 (18:43 +0000)]
agent: Minor typos and update wrong recipes.

3 years agoagent has no recipe anymore.
Rafael Monnerat [Wed, 25 Nov 2015 21:23:03 +0000 (21:23 +0000)]
agent has no recipe anymore.

3 years agoagent: Refactor to follow up new implementation using ERP5 Task Distributor
Rafael Monnerat [Fri, 7 Aug 2015 17:45:32 +0000 (19:45 +0200)]
agent: Refactor to follow up new implementation using ERP5 Task Distributor

3 years agocheck-url: Quote $URL in -z check
Kirill Smelkov [Wed, 25 Nov 2015 12:43:33 +0000 (15:43 +0300)]
check-url: Quote $URL in -z check

If one wants to check URLs on UNIX-sockets, there is no full URL schema
in curl for this, but the following has to be used instead:

    curl --unix-socket /path/to/socket http:/<url-path>

For this to work, one can do e.g. the following trick:

    [promise-unicorn]
    recipe  = slapos.cookbook:check_url_available
    url     = --unix-socket ${unicorn:socket}  http:/

but then generated promise scripts fails this way:

    ./etc/promise/unicorn: line 7: [: too many arguments

via quoting $URL in emptiness check we can support both usual URLs and
urls with --unix-socket prepended trick.

/reviewed-by @cedric.leninivin  (on nexedi/slapos!31)

3 years agocheck-url: Allow to specify expected HTTP code
Kirill Smelkov [Wed, 25 Nov 2015 12:38:18 +0000 (15:38 +0300)]
check-url: Allow to specify expected HTTP code

In gitlab SR a service I need to check - gitlab-workhorse, returns 200
only when request comes to some repository and authentication backend
allows it.

Requiring access to repositories is not very good just to check if the
service is alive, and also auth backend can be not alive, and initially
there are no repositories at all. So gitlab-workhorse is checked to be
alive by pinging it with non-existing URL and expecting 403.

For this to work we need to allow clients to specify expected HTTP code
instead of previously hardcoded 200 (which still remains the default).

/reviewed-by @cedric.leninivin  (on nexedi/slapos!31)

3 years agoversion up : MariaDB 10.1.9.
Kazuhiko Shiozaki [Tue, 24 Nov 2015 08:38:54 +0000 (09:38 +0100)]
version up : MariaDB 10.1.9.

3 years agofixup! code cleanup.
Kazuhiko Shiozaki [Tue, 24 Nov 2015 08:36:19 +0000 (09:36 +0100)]
fixup! code cleanup.

3 years agomonitor-sr: Fix json generatation for distributor
Rafael Monnerat [Mon, 23 Nov 2015 16:02:13 +0000 (17:02 +0100)]
monitor-sr: Fix json generatation for distributor

  The final file were not a valid json sometimes as some entries '0.0.0.0' or '::' were been ignored
  and an additionalcomman was added on the wrong place.

3 years agocomponent/nginx: Add support for SPDY and gzip_static
Kirill Smelkov [Fri, 13 Nov 2015 11:40:18 +0000 (14:40 +0300)]
component/nginx: Add support for SPDY and gzip_static

Both SPDY an gzip_static are needed for upcoming GitLab SR:

  - GitLab uses SPDY in its https nginx configuration, and
  - prepares compiled assets in pre-gzipped form on filesystem

both modules are off by default and need to be explicitly enabled with
corresponding directives, so this should not affect already used nginx
configurations.

/cc @kazuhiko, @jerome, @gabriel
/reviewed-by @rafael  (on nexedi/slapos!30)

3 years agoversion up : libxml2 2.9.3, fixing CVE-2015-8241 and CVE-2015-8242.
Kazuhiko Shiozaki [Mon, 23 Nov 2015 08:37:06 +0000 (09:37 +0100)]
version up : libxml2 2.9.3, fixing CVE-2015-8241 and CVE-2015-8242.

3 years agocode cleanup.
Kazuhiko Shiozaki [Tue, 17 Nov 2015 13:31:36 +0000 (14:31 +0100)]
code cleanup.

3 years agoversion up : libpng 1.6.19, 1.5.24 and 1.2.54, fixing CVE-2015-7981 and CVE-2015...
Kazuhiko Shiozaki [Thu, 19 Nov 2015 10:38:00 +0000 (11:38 +0100)]
version up : libpng 1.6.19, 1.5.24 and 1.2.54, fixing CVE-2015-7981 and CVE-2015-8126.

3 years agoMerge branch 'kvm-cluster'
Alain Takoudjou [Wed, 18 Nov 2015 10:46:56 +0000 (11:46 +0100)]
Merge branch 'kvm-cluster'

3 years agokvm: move slapos.cookbook:kvm recipe to buildout+jinja
Alain Takoudjou [Tue, 17 Nov 2015 15:32:42 +0000 (16:32 +0100)]
kvm: move slapos.cookbook:kvm recipe to buildout+jinja

3 years agoslapos-master: Remove customation on instance site
Rafael Monnerat [Mon, 9 Nov 2015 15:37:04 +0000 (15:37 +0000)]
slapos-master: Remove customation on instance site

Those customization do not work anymore and it is preventing tests to run,
 so it should be reintroduced later in a way it works.

3 years agoUse network cache config from stack slapos
Rafael Monnerat [Fri, 6 Nov 2015 13:59:08 +0000 (13:59 +0000)]
Use network cache config from stack slapos

3 years agomonitor-sr: Fix templates if the instance has no slave.
Rafael Monnerat [Wed, 4 Nov 2015 09:46:20 +0000 (10:46 +0100)]
monitor-sr: Fix templates if the instance has no slave.

3 years agomonitor-sr: Fix minor typos and adjustments
Rafael Monnerat [Wed, 4 Nov 2015 09:34:08 +0000 (10:34 +0100)]
monitor-sr: Fix minor typos and adjustments

3 years agoAdded packer component and a WIP software
Rafael Monnerat [Thu, 2 Jul 2015 13:58:24 +0000 (13:58 +0000)]
Added packer component and a WIP software

3 years agocheck_parameter: Fix template.
Rafael Monnerat [Fri, 6 Nov 2015 13:30:53 +0000 (13:30 +0000)]
check_parameter: Fix template.

3 years agocdn-me: Minor fixes
Rafael Monnerat [Fri, 6 Nov 2015 13:28:00 +0000 (13:28 +0000)]
cdn-me: Minor fixes

3 years agoGo support
Kirill Smelkov [Fri, 6 Nov 2015 11:45:04 +0000 (14:45 +0300)]
Go support

For upcoming GitLab SR we need Go[1] language support, because one
GitLab service is written in this language:

    https://gitlab.com/gitlab-org/gitlab-workhorse

Here we provide golang component, and helloweb-go service integrated
into helloworld SR.

The patches are based on recent helloworld & helloweb restructuring (see !23).

/reviewed-by @jerome  (on !24)
/cc @kazuhiko, @rafael, @alain.takoudjou, @gabriel, @Camata

[1] http://golang.org

3 years agohelloworld: Service restructuring + Ruby version
Kirill Smelkov [Fri, 6 Nov 2015 11:40:17 +0000 (14:40 +0300)]
helloworld: Service restructuring + Ruby version

For upcoming GitLab SR we need Ruby support.

We have minimal Ruby support in the form of Ruby component and
`rubygemsrecipe` recipe to install gems. However a lot of top-level
software/services in Ruby world is not released as gem and have to be
installed / worked with via Bundler[1], and for this way we do not have
an example.

Let's add such example in the form of extending helloworld SR to also
say hello to the web in both Python and Ruby via simple Ruby program
which is deployed via Bundler.

For this to happen, we need to make some preparatory changes first:

- move helloweb program(s) to own repository[2].
- modernize instance code and convert it to jinja2 to allow control structures.
- prepare instance infrastructure to support several helloweb program kinds.

and only then show how to do Ruby stuff via Bundler.

To me the effect of `software/helloworld` refactoring is good even without
Ruby part, just to improve reference material about showing how to do.

/generally-reviewed-by @jerome, @vpelletier  (on !23)
/cc @kazuhiko, @rafael, @alain.takoudjou, @cedric.leninivin

[1] http://bundler.io
[2] http://lab.nexedi.com/nexedi/helloweb

3 years agocdn-me: Include checkers and request a distributed monitor.
Rafael Monnerat [Thu, 5 Nov 2015 16:56:14 +0000 (16:56 +0000)]
cdn-me: Include checkers and request a distributed monitor.

3 years agore6st-master: Make slaves public where the ip had been used.
Rafael Monnerat [Mon, 7 Sep 2015 16:00:41 +0000 (00:00 +0800)]
re6st-master: Make slaves public where the ip had been used.

3 years agore6st-master: Dump ipv4 connection address
Rafael Monnerat [Mon, 7 Sep 2015 14:41:26 +0000 (22:41 +0800)]
re6st-master: Dump ipv4 connection address

 Dump on filesytem the ipv4 used to the node create connections

3 years agoslapos/recipe/redis: Add support for UNIX sockets
Kirill Smelkov [Wed, 4 Nov 2015 08:26:05 +0000 (11:26 +0300)]
slapos/recipe/redis: Add support for UNIX sockets

It is well known that UNIX sockets are faster than TCP over loopback.

E.g. on my machine according to lmbench[1] they have ~ 2 times
lower latency and ~ 2-3 times more throughput compared to TCP over
loopback:

    *Local* Communication latencies in microseconds - smaller is better
    ---------------------------------------------------------------------
    Host                 OS 2p/0K  Pipe AF     UDP  RPC/   TCP  RPC/ TCP
                            ctxsw       UNIX         UDP         TCP conn
    --------- ------------- ----- ----- ---- ----- ----- ----- ----- ----
    teco      Linux 4.2.0-1  13.8  29.2 26.8  45.0  47.9  48.5  55.5  45.

    *Local* Communication bandwidths in MB/s - bigger is better
    -----------------------------------------------------------------------------
    Host                OS  Pipe AF    TCP  File   Mmap  Bcopy  Bcopy  Mem   Mem
                                 UNIX      reread reread (libc) (hand) read write
    --------- ------------- ---- ---- ---- ------ ------ ------ ------ ---- -----
    teco      Linux 4.2.0-1 1084 4353 1493 2329.1 3720.7 1613.8 1109.2 3402 1404.

The same ratio holds for our std shuttle servers.

API to work with unix sockets is essentially the same as with TCP/UDP.
Because of that it is easy to support both TCP and UNIX socket in one
software, and this way a lot of software support unix sockets out of the
box, including Redis.

Because of lower latencies and higher throughput, for performance
reasons, it makes sense to interconnect services on one machine via unix
sockets and talk via TCP only to outside world.

Here we add support for unix sockets to Redis recipe.

[1] http://www.bitmover.com/lmbench/

/reviewed-by @kazuhiko  (on !27)
/cc @alain.takoudjou, @jerome, @vpelletier

3 years agoslapos/recipe/redis/promise: Don't create connection pool explicitly
Kirill Smelkov [Wed, 4 Nov 2015 08:15:07 +0000 (11:15 +0300)]
slapos/recipe/redis/promise: Don't create connection pool explicitly

Because redis.Redis(...) ctor creates connection pool on initialization
and we can rely on it.

Another reason: Redis ctor (in form of StrictRedis.__init__()) has logic
how to process arguments and does selecting - either it is TCP (`host` and
`port` args), or UNIX socket (`unix_socket_path` arg):

    https://lab.nexedi.com/nexedi/slapos/blob/95dbb5b2/slapos/recipe/redis/MyRedis2410.py#L560

Since we are going to introduce unix socket support to redis recipe in
the next patch, and don't want to duplicate StrictRedis.__init__() logic
in promise code, let's refactor promise to delegate argument processing
logic to Redis.

/reviewed-by @kazuhiko  (on !27)
/cc @alain.takoudjou

3 years agoredis: v↑ (2.8.23)
Kirill Smelkov [Wed, 28 Oct 2015 10:40:56 +0000 (13:40 +0300)]
redis: v↑  (2.8.23)

- update Redis software to latest upstream in 2.8.* series (which now
  supports IPv6 out of the box);

- update Redis instance template to the one from 2.8.23 and re-merge our
  templating changes to it (file/dir locations, port and binding, master
  password).

  The whole diff to pristine 2.8.23 redis conf is now this:

  diff --git a/.../redis-2.8.23/redis.conf b/slapos/recipe/redis/template/redis.conf.in
  index 870959f..2895539 100644
  --- a/.../redis-2.8.23/redis.conf
  +++ b/slapos/recipe/redis/template/redis.conf.in
  @@ -46 +46 @@ daemonize no
  -pidfile /var/run/redis.pid
  +pidfile %(pid_file)s
  @@ -50 +50 @@ pidfile /var/run/redis.pid
  -port 6379
  +port %(port)s
  @@ -69,0 +70 @@ tcp-backlog 511
  +bind %(ipv6)s
  @@ -108 +109 @@ loglevel notice
  -logfile ""
  +logfile %(log_file)s
  @@ -174 +175 @@ rdbcompression yes
  -# hit to pay (around 10%) when saving and loading RDB files, so you can disable it
  +# hit to pay (around 10%%) when saving and loading RDB files, so you can disable it
  @@ -192 +193 @@ dbfilename dump.rdb
  -dir ./
  +dir %(server_dir)s
  @@ -217 +218 @@ dir ./
  -# masterauth <master-password>
  +%(master_passwd)s

NOTE There are test failures for almost all Redis versions when machine
have not small amount of CPUs:

    https://github.com/antirez/redis/issues/2715#issuecomment-151608948

Because the failure is in replication test, and so far we do not use
replication, and there is no feedback from upstream author to handle
this (for 7 days for my detailed report, and for ~ 3 months for this
issue in general), we can just disable replication test as a temporary
solution.  ( to handle remote patches with md5 hash easily the building
recipe is changed to slapos.recipe.cmmi )

NOTE Redis updated to 2.8 version because GitLab uses this series.
If/when we need more recent one we can add [redis30] in addition to
[redis28].

/reviewed-by @kazuhiko  (on !27 and on !26)
/cc @alain.takoudjou, @jerome

3 years agoruby: v↑ ruby2.1 (2.1.7)
Kirill Smelkov [Wed, 4 Nov 2015 08:52:00 +0000 (11:52 +0300)]
ruby: v↑ ruby2.1  (2.1.7)

Ruby 2.1.7 contain security and other bugfixes:

    https://www.ruby-lang.org/en/news/2015/08/18/ruby-2-1-7-released/

/reviewed-by @kazuhiko  (on nexedi/slapos!28)