slapos.git
3 years agoPROJECT_MOVED -> https://lab.nexedi.com/nexedi/slapos master
Kirill Smelkov [Sun, 21 Feb 2016 11:45:21 +0000 (14:45 +0300)]
PROJECT_MOVED -> https://lab.nexedi.com/nexedi/slapos

3 years agoBump pprofile version.
Vincent Pelletier [Fri, 19 Feb 2016 11:43:38 +0000 (12:43 +0100)]
Bump pprofile version.

3 years agoMerge branch 'jupyter_kernel_image_fix' into 'master'
Ivan Tyagov [Fri, 19 Feb 2016 07:17:58 +0000 (08:17 +0100)]
Merge branch 'jupyter_kernel_image_fix' into 'master'

Fix image display on jupyter

This fix is for bug
https://nexedi.erp5.net/bug_module/20160212-76EAAC/view?ignore_layout:int=1
where the image base64 string was only showing. The error in this case was that the `mime_type` of content code_result was not being updated by the kernel before display.

Reported by : @Tyagov
Please review: @Tyagov @kirr

For testing, you can use this jupyter instance with updated kernel running :
https://[2001:67c:1254:e:8b::335d]:8888/tree

There are also some example notebooks in the aforementioned jupyter.

See merge request !47

3 years agoslapos-master: Fix parameter propagation on the templates
Rafael Monnerat [Thu, 18 Feb 2016 19:31:10 +0000 (19:31 +0000)]
slapos-master: Fix parameter propagation on the templates

3 years agoJupyter: Use mime_type from content_result before displaying anything from frontend.
tiwariayush [Thu, 18 Feb 2016 17:51:26 +0000 (17:51 +0000)]
Jupyter: Use mime_type from content_result before displaying anything from frontend.

This fix is for bug https://nexedi.erp5.net/bug_module/20160212-76EAAC/view?ignore_layout:int=1
where the image base64 string was only shoeing. The error in this case was that the mime_type
of content code_result was not being updated by the kernel before display.

Reported by : @ivan

3 years agogitlab: v↑ 8.4.X arnau
Kirill Smelkov [Wed, 17 Feb 2016 19:29:21 +0000 (22:29 +0300)]
gitlab: v↑ 8.4.X

To pick up https://lab.nexedi.com/kirr/gitlab-ce/commit/32fa1180

/cc @kazuhiko, @jerome
/reviewed-by TrustMe

3 years agogitlab: Re-Sync sidekiq service launch with upstream
Kirill Smelkov [Wed, 17 Feb 2016 18:34:04 +0000 (21:34 +0300)]
gitlab: Re-Sync sidekiq service launch with upstream

6a4e45c5 (gitlab: Sync sidekiq service launch with upstream) claimed to
sync sidekiq startup with upstream, but missed one upstream change in
between 8.2 and 8.4:

    https://gitlab.com/gitlab-org/omnibus-gitlab/commit/2eb7634f

My bad - I should have reviewed git log for

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/master/files/gitlab-cookbooks/gitlab/templates/default/sv-sidekiq-run.erb

and I did not noticed that change because I did not and just compared
queues list visually.

Pick it up.

/cc @kazuhiko, @jerome
/reviewed-by TrustMe (I hope)

3 years agoerp5: Make openssl binary available in paths for the zopes instances.
Rafael Monnerat [Wed, 17 Feb 2016 16:23:19 +0000 (16:23 +0000)]
erp5: Make openssl binary available in paths for the zopes instances.

3 years agogitlab: Upagrade to 8.4 + Unicorn startup fix
Kirill Smelkov [Wed, 17 Feb 2016 11:39:40 +0000 (14:39 +0300)]
gitlab: Upagrade to 8.4 + Unicorn startup fix

This brings slapos gitlab port up to date with current stable gitlab
version 8.4, and teaches Unicorn startup script to wait a bit for
PostgreSQL to start and be ready, before unicorn startup proceeds.

/cc @kazuhiko
/somewhat-reviewed-by @jerome
/reviewed-on https://lab.nexedi.com/nexedi/slapos/merge_requests/44

3 years agoslapos-testing: Re-introduce changes for support portal_slap
Alain Takoudjou [Tue, 16 Feb 2016 22:37:28 +0000 (23:37 +0100)]
slapos-testing: Re-introduce changes for support portal_slap

  This changes were squashed into a single commit and it includes:

    - install slapos_configurator by default
    - Allow define ssl authentication for a certain zope family
    - Allow define custom zope path per zope family

  Those changes are originally written by Alain Takoudjou and rewrited by Rafael Monnerat

3 years agogitlab: v↑ 8.4.X
Kirill Smelkov [Tue, 16 Feb 2016 19:39:27 +0000 (22:39 +0300)]
gitlab: v↑ 8.4.X

To pick up https://lab.nexedi.com/kirr/gitlab-ce/commit/a5965b54.

3 years agoslapos-master: Copy files from erp5 stack for local changes
Rafael Monnerat [Tue, 16 Feb 2016 18:26:32 +0000 (19:26 +0100)]
slapos-master: Copy files from erp5 stack for local changes

  The local changes are not yet generic enough to be shared among stack, so
  Introduce local changes here better

3 years ago*: erp5.git moved to https://lab.nexedi.com/nexedi/erp5.git
Kirill Smelkov [Mon, 15 Feb 2016 20:59:07 +0000 (23:59 +0300)]
*: erp5.git moved to https://lab.nexedi.com/nexedi/erp5.git

3 years agoslapos-testing: include missing Jinja2.
Rafael Monnerat [Mon, 15 Feb 2016 20:17:19 +0000 (21:17 +0100)]
slapos-testing: include missing Jinja2.

3 years agoslapos-testing: Use lab instead git.erp5.org
Rafael Monnerat [Mon, 15 Feb 2016 15:36:39 +0000 (16:36 +0100)]
slapos-testing: Use lab instead git.erp5.org

  There is no strong reason to use git.erp5.org to test code anymore

3 years agoslapos-testing: Remove slapos.package
Rafael Monnerat [Mon, 15 Feb 2016 15:35:21 +0000 (16:35 +0100)]
slapos-testing: Remove slapos.package

  slapos.package is not an egg anymore, it's implementation was replaced by
    the usage of ansible with playbooks.

3 years agoFix json-schema typos.
Rafael Monnerat [Mon, 15 Feb 2016 15:25:27 +0000 (16:25 +0100)]
Fix json-schema typos.

3 years agogitlab: Wait a bit for PostgreSQL to be ready in Unicorn startup
Kirill Smelkov [Sat, 13 Feb 2016 17:42:49 +0000 (20:42 +0300)]
gitlab: Wait a bit for PostgreSQL to be ready in Unicorn startup

As it was outlined in 5a744de7 (gitlab: Compile assets on instantiation
and make sure DB is properly setup/migrated before unicorn runs) we are
performing DB initialization and migration in pre-action as part of
unicorn startup script. But that currently has one drawback:

    if all services start at the same time - e.g. both PostgreSQL and
    Unicorn - and that is a common scenario when SR is compiled and
    instantiated / started, PostgreSQL is usually not yet ready to
    process queries from Unicorn startup script, and first-time Unicorn
    startup fails.

Until now this problem was workarounded by manually starting unicorn
second time - after some time postgresql is started and ready. But why
do it manually, if we can do the same logic automatically. So fix it:

    in Unicorn startup script wait a bit (up to 5 seconds) for
    PostgreSQL to become ready.

/cc @kazuhiko, @jerome

3 years agoAdd nayuos software recipe.
Isabelle Vallet [Fri, 12 Feb 2016 14:14:01 +0000 (06:14 -0800)]
Add nayuos software recipe.

This is a SR to build NayuOS binary images.
More info on https://www.nayuos.com and in the README.

Merging this recipe from a standalone repository was a decision made together with @kirr and @vpelletier.

3 years agonayuos: Add error message shown in the runner's services logs.
iv [Fri, 12 Feb 2016 12:49:40 +0000 (12:49 +0000)]
nayuos: Add error message shown in the runner's services logs.

3 years agogitlab: Let's keep shared/ and builds/ under var/ , not in gitlab-work/
Kirill Smelkov [Thu, 11 Feb 2016 11:23:23 +0000 (14:23 +0300)]
gitlab: Let's keep shared/ and builds/ under var/ , not in gitlab-work/

Even though we do not use LFS objects, builds and build artifacts,
gitlab backups corresponding directories and recreates them upon
restore.

Current state is: the directories are living under Rails root - that is
in our gitlab-work/ inside instance, and since gitlab-work is recreated
almost on every re-instantiation if we'll have some content in that
directories - it will be lost.

Don't allow even a chance for that to happen and move what is designed
to hold data to under var/ .

NOTE we create shared/lfs-objects/ and shared/artifacts/ because if we
    do not have this dirs, gitlab backup fails. Upstream code just
    assumes the directories are there.

/cc @kazuhiko, @jerome

3 years agogitlab: Sync sidekiq service launch with upstream
Kirill Smelkov [Thu, 11 Feb 2016 11:15:49 +0000 (14:15 +0300)]
gitlab: Sync sidekiq service launch with upstream

Upstream added `pages` and `elasticsearch` queues to sidekiq

    https://gitlab.com/gitlab-org/omnibus-gitlab/commit/be6844ff
    https://gitlab.com/gitlab-org/omnibus-gitlab/commit/801d6ed7

but since those queues are used for EE-only services we do not enable
them.

/cc @kazuhiko, @jerome

3 years agogitlab: Adjust gitlab-workhorse promise to upstream changes
Kirill Smelkov [Thu, 11 Feb 2016 11:09:22 +0000 (14:09 +0300)]
gitlab: Adjust gitlab-workhorse promise to upstream changes

As gitlab-workhorse is now serving everything, it proxies unknown-to-it
requests to unicorn, and that returns redirect to /users/sign_in for
/non-existent, not 403.

Adjust the promise and just verify whether we can get /static.css

NOTE nginx promise now effectively depends on gitlab-workhorse being up
    and running - because nginx is now configured to be only an SSL
    terminator and all requests processing is done by gitlab-workhorse and
    services below it.

    If in the future we'll need a pure nginx-is-up promise, we can
    introduce something to nginx config and verify that particular http
    endpoint.

/cc @kazuhiko, @jerome

3 years agogitlab: Sync launch of gitlab-workhorse service with upstream
Kirill Smelkov [Thu, 11 Feb 2016 11:00:22 +0000 (14:00 +0300)]
gitlab: Sync launch of gitlab-workhorse service with upstream

add `-documentRoot ...` argument to gitlab-workhorse start as upstream
started to do:

    https://gitlab.com/gitlab-org/omnibus-gitlab/commit/d769f751

( gitlab-workhorse now needs to know where document root is as it now
  serves all content - e.g. static files too

  this option was introduced here:

    https://gitlab.com/gitlab-org/gitlab-workhorse/commit/1a7009e4  )

/cc @kazuhiko, @jerome

3 years agogitlab: Sync gitlab-paramteres.cfg to upstream
Kirill Smelkov [Thu, 11 Feb 2016 10:52:29 +0000 (13:52 +0300)]
gitlab: Sync gitlab-paramteres.cfg to upstream

I manually reviewed

    files/gitlab-config-template/gitlab.rb.template
    files/gitlab-cookbooks/gitlab/attributes/default.rb

from omnibus-gitlab 8.4.2+ce.0-3-g68d5ee8 and picked up changes:

- unicorn OOM killer memory limits were raised up (because gitlab is now
  more memory hungry according to talks on gitlab.com)

  https://gitlab.com/gitlab-org/omnibus-gitlab/commit/f8ee4a19

- there is no default limit for nginx client_max_body_size - it just
  goes to gitlab-workhorse as is at any size

  https://gitlab.com/gitlab-org/omnibus-gitlab/commit/78862837

/cc @kazuhiko, @jerome

3 years agogitlab: Mark gitconfig as updated
Kirill Smelkov [Thu, 11 Feb 2016 10:40:57 +0000 (13:40 +0300)]
gitlab: Mark gitconfig as updated

Direct merge for gitconfig.erb from omnibus-gitlab did not brought up
updates.

pack.threads=1 and receive.fsckObjects=true picked up from
https://gitlab.com/gitlab-org/omnibus-gitlab/blob/master/files/gitlab-cookbooks/gitlab/attributes/default.rb
in 264d785a stay the same.

/cc @kazuhiko, @jerome

3 years agogitlab: Merge in gitconfig updates from omnibus
Kirill Smelkov [Thu, 11 Feb 2016 12:14:41 +0000 (15:14 +0300)]
gitlab: Merge in gitconfig updates from omnibus

No changes.

/cc @kazuhiko, @jerome

3 years agogitlab: Slapos'ify / adjust nginx config updates
Kirill Smelkov [Thu, 11 Feb 2016 10:16:43 +0000 (13:16 +0300)]
gitlab: Slapos'ify / adjust nginx config updates

- there is a section for gitlab pages, which we stub-out;

- there is no longer a need to add /raw/... handling to nginx - as
  now nginx is just an SSL terminator for gitlab-workhorse, all URL
  handling is done inside gitlab-workhorse and is dealt with ok by our
  patches.

- as now nginx does not directly connect to unicorn, there is no need to
  pass unicorn section to nginx's template.

/cc @kazuhiko, @jerome

3 years agogitlab: Merge in nginx config updates
Kirill Smelkov [Thu, 11 Feb 2016 12:13:34 +0000 (15:13 +0300)]
gitlab: Merge in nginx config updates

Like wih gitlab configs, this does only pure merge. We will
slaposify / adjust to updates in the following patches.

/cc @kazuhiko, @jerome

3 years agogitlab: Slapos'ify gitlab config updates
Kirill Smelkov [Thu, 11 Feb 2016 09:51:06 +0000 (12:51 +0300)]
gitlab: Slapos'ify gitlab config updates

Slapos'ify config updates brought by sync with omnibus-gitlab (see merge
in the previous patch). Changes:

- default visibility levels gone away (see merge commit and
  https://gitlab.com/gitlab-org/omnibus-gitlab/commit/b5ebbab3 )

- there are new settings for GitLab Pages and Elasticsearch, which are EE
  only and thus we do not support them.

- there are new settings for auxiliary cron-like jobs, which we do not
  support for now, since they are used either for CI (not supported by
  us) or EE features.

Configuration files that were synced, but did not changed are also
marked as updated, so it is easier to track their changes to upstream in
the future.

/cc @kazuhiko, @jerome

3 years agogitlab: Merge in gitlab config updates
Kirill Smelkov [Thu, 11 Feb 2016 09:37:27 +0000 (12:37 +0300)]
gitlab: Merge in gitlab config updates

This does only pure merge. We will slaposify / adjust config and
corresponding md5sum in the following patches.

/cc @kazuhiko, @jerome

3 years agogitlab: Sync gitconfig settings from omnibus-gitlab
Kirill Smelkov [Thu, 11 Feb 2016 09:16:22 +0000 (12:16 +0300)]
gitlab: Sync gitconfig settings from omnibus-gitlab

Like 8f945bd2 - pristine copy from omnibus 8.4.4+ce.0-0-g1680742.

Nothing changed at all - gitconfig.erb stays the same.

/cc @kazuhiko, @jerome

3 years agogitlab: Sync nginx http configuration from omnibus gitlab
Kirill Smelkov [Thu, 11 Feb 2016 09:10:42 +0000 (12:10 +0300)]
gitlab: Sync nginx http configuration from omnibus gitlab

Like 61544d87 - pristine copy from omnibus 8.4.4+ce.0-0-g1680742.

Most of http handling is moving to gitlab-workhorse. Nginx remains only
as ssl terminator.

/cc @kazuhiko, @jerome

3 years agogitlab: sync gitlab-ce & gitlab-shell settings from omnibus-gitlab
Kirill Smelkov [Thu, 11 Feb 2016 09:05:22 +0000 (12:05 +0300)]
gitlab: sync gitlab-ce & gitlab-shell settings from omnibus-gitlab

Like 6fd7b987 - pristine copy from omnibus 8.4.4+ce.0-0-g1680742.

The only change is in

    gitlab.yml

The following files stay the same:

    database.yml.erb
    gitlab-rails-config.ru.erb
    gitlab-shell-config.yml.erb
    rack_attack.rb.erb
    resque.yml.erb
    smtp_settings.rb.erb
    unicorn.rb.erb

/cc @kazuhiko, @jerome

3 years agogitlab: Update software to gitlab 8.4 + friends
Kirill Smelkov [Thu, 11 Feb 2016 08:56:25 +0000 (11:56 +0300)]
gitlab: Update software to gitlab 8.4 + friends

Update GitLab software to

    - gitlab-ce 8.4 + NXD patches

      https://lab.nexedi.com/kirr/gitlab-ce/commits/8-4-nxd

    - gitlab-shell to 2.6.10 which now is pure upstream, as all NXD
      patches were merged.

    - gitlab-workhorse 0.6.X + NXD patches.

      https://lab.nexedi.com/kirr/gitlab-workhorse/commits/y/blobraw-3
      https://gitlab.com/gitlab-org/gitlab-workhorse/merge_requests/17

This only updates software and begins SR update to 8.4 - for now gitlab
instance becomes non-working -- we'll pull in configuration files
updates and fixups in the following patches.

/cc @kazuhiko, @jerome

3 years agonayuos: Automatically clone NayuOS ebuilds set, change comments.
iv [Wed, 10 Feb 2016 16:10:02 +0000 (16:10 +0000)]
nayuos: Automatically clone NayuOS ebuilds set, change comments.

3 years agocomponent/openblas: put `build-common-options` in one line
Jérome Perrin [Wed, 10 Feb 2016 10:00:26 +0000 (11:00 +0100)]
component/openblas: put `build-common-options` in one line

slapos.recipe.cmmi executes command lines by line, so this build options
were ignored.

3 years agoversion up: gmp 6.1.0
Rafael Monnerat [Tue, 9 Feb 2016 16:50:01 +0000 (17:50 +0100)]
version up: gmp 6.1.0

  older versions are failing on ARM arch.

3 years agonayuos: Update README.
iv [Tue, 9 Feb 2016 13:00:51 +0000 (14:00 +0100)]
nayuos: Update README.

3 years agonayuos: Add virtualenv.
iv [Mon, 8 Feb 2016 14:35:39 +0000 (14:35 +0000)]
nayuos: Add virtualenv.

3 years agoversion up : OpenBLAS 0.2.15. First try with auto-detected target and if it fails... erp5-component
Kazuhiko Shiozaki [Tue, 26 Jan 2016 15:05:58 +0000 (16:05 +0100)]
version up : OpenBLAS 0.2.15. First try with auto-detected target and if it fails try TARGET=GENERIC.

You can also spcify the target explicitly by build-ext-options.

reviewd-by @Tyagov (on nexedi/slapos!42).

3 years agoversion up : OpenSSL 1.0.2f, fixing CVE-2016-0701 and CVE-2015-3197.
Kazuhiko Shiozaki [Tue, 2 Feb 2016 09:20:09 +0000 (10:20 +0100)]
version up : OpenSSL 1.0.2f, fixing CVE-2016-0701 and CVE-2015-3197.

3 years agoerp5: ERP5 and Jupyter integrated together
Kirill Smelkov [Mon, 1 Feb 2016 11:19:34 +0000 (14:19 +0300)]
erp5:  ERP5 and Jupyter integrated together

This patch series teaches ERP5 software release to automatically instantiate
Jupyter notebook web UI and tune it to connect to ERP5 by default. When Jupyter
is enabled, it also installs on-server erp5_data_notebook bt5 (see
nexedi/erp5!29 and nexedi/erp5@f662b5a2) which handles code execution requested
for Jupyter.

For ERP5 - for security and backward compatibility reasons - Jupyter
instantiation and erp5_data_notebook bt5 install happen only if jupyter is
explicitly enabled in instance parameters. The default is not to have Jupyter
out of the box.

On the other hand for Wendelin SR, which inherits from ERP5 SR, the
default is to have Jupyter out of the box, because Wendelin SR is fresh
enough without lots of backward compatibility needs, and Jupyter is
usually very handy for people who use Wendelin.

--------

NOTE Currently erp5-data-notebook bt5 has the following limitations (see
details on nexedi/slapos!43 and nexedi/erp5!29):

- errors are not reported properly to users;
- state is not fully saved to ZODB.

the latter point means notebook works only if it is connected to Zope family
with only 1 zope process. Hopefully this will be resolved some day.

Technical overview about how the integration is done itself on slapos part and
other notes are in 0a446263.

/proposed-for-review-on nexedi/slapos!43

3 years agoJupyter: ERP5 kernel sends code using POST
Douglas [Wed, 23 Dec 2015 14:04:39 +0000 (12:04 -0200)]
Jupyter: ERP5 kernel sends code using POST

Query strings used on GET requests have size limitations
on servers and this causes big code cells to not be executed
at all, returning only an Internal Server Error with no
further explanation.

/reviewed-by @kirr, @Tyagov (on nexedi/slapos!43)

3 years agoerp5: Provide pandas, scikit-learn & matplotlib out of the box
Kirill Smelkov [Wed, 27 Jan 2016 18:35:23 +0000 (21:35 +0300)]
erp5: Provide pandas, scikit-learn & matplotlib out of the box

Pandas and scikit-learn are handy to have for data processing which we
are going to do more and more in ERP5 context. Matplotlib is very handy
to have when one works with Jupyter, but also can be used by just
backend code to generate graphs.

From this point of view it makes sense to have this eggs always
available out of the box. To do so move them from Wendelin to ERP5.

/suggested-by @tiwariayush
/reviewed-by @Tyagov (on nexedi/slapos!43)

3 years agoERP5 and Jupyter integrated together
Kirill Smelkov [Wed, 27 Jan 2016 08:40:23 +0000 (11:40 +0300)]
ERP5 and Jupyter integrated together

This patch teaches ERP5 software release to automatically instantiate Jupyter
notebook web UI and tune it to connect to ERP5 by default. When Jupyter is
enabled, it also installs on-server erp5_data_notebook bt5 (nexedi/erp5!29)
which handles code execution requested for Jupyter.

For ERP5 - for security and backward compatibility reasons - Jupyter
instantiation and erp5_data_notebook bt5 install happen only if jupyter is
explicitly enabled in instance parameters. The default is not to have Jupyter
out of the box.

On the other hand for Wendelin SR, which inherits from ERP5 SR, the
default is to have Jupyter out of the box, because Wendelin SR is fresh
enough without lots of backward compatibility needs, and Jupyter is
usually very handy for people who use Wendelin.

~~~~

For integration, we reuse already established in ERP5 infrastructure, to
request various slave instances, and request Jupyter in a way so it
automatically tunes and connects to balancer of one of Zope family.

Jupyter code itself is compiled by reusing
software/ipython_notebook/software.cfg, and Jupyter instance code is
reused by hooking software/ipython_notebook/instance.cfg.in into ERP5 SR
properly (the idea to override instance-jupyter not to render into
default template.cfg is taken from previous work by @tiwariayush).

~~~~

I tested this patch inside webrunner with create-erp5-site software type and
various configurations (whether to have or not have jupyter, to which zope
family to connect it, etc).

I have not tested frontend instantiation fully - because tests were done only
in webrunner, but I've tried to make sure generated buildout code is valid for
cases with frontend.

NOTE the code in this patch depends erp5_data_notebook bt5 (nexedi/erp5!29) which just got merged to erp5.git recently (see nexedi/erp5@f662b5a2)

NOTE even when erp5_data_notebook bt5 is installed, on a freshly installed ERP5, it
is required to "check site consistency" first, so that initial bt5(s) are
actually installed and erp5 is ready to function.

/cc @vpelletier, @Tyagov, @klaus, @Camata, @tiwariayush, @Kreisel, @jerome, @nexedi
/proposed-for-review-on nexedi/slapos!43

3 years agocomponent/slapos: version up setuptools 19.6.2 and zc.buildout 2.5.0+slapos001.
Kazuhiko Shiozaki [Sun, 31 Jan 2016 13:48:47 +0000 (14:48 +0100)]
component/slapos: version up setuptools 19.6.2 and zc.buildout 2.5.0+slapos001.

3 years agoversion up : MariaDB 10.1.11, groonga 5.1.2 and mroonga 5.12.
Kazuhiko Shiozaki [Sat, 30 Jan 2016 20:54:31 +0000 (21:54 +0100)]
version up : MariaDB 10.1.11, groonga 5.1.2 and mroonga 5.12.

3 years agoversion up : libpng 1.6.21.
Kazuhiko Shiozaki [Wed, 27 Jan 2016 20:09:26 +0000 (21:09 +0100)]
version up : libpng 1.6.21.

3 years agoversion up : curl 7.47.0, fixing CVE-2016-0754 and CVE-2016-0755.
Kazuhiko Shiozaki [Wed, 27 Jan 2016 19:41:04 +0000 (20:41 +0100)]
version up : curl 7.47.0, fixing CVE-2016-0754 and CVE-2016-0755.

3 years agoversion up eggs.
Kazuhiko Shiozaki [Mon, 25 Jan 2016 08:43:15 +0000 (09:43 +0100)]
version up eggs.

3 years agogitlab: Fix rendering of ReStructuredText documents
Kirill Smelkov [Wed, 27 Jan 2016 20:31:36 +0000 (23:31 +0300)]
gitlab: Fix rendering of ReStructuredText documents

Gitlab uses github-markup to render various text-based markups
(markdown, rst, ...) into html. For rst github-markup wants to run
python and have docutils egg available:

    https://github.com/github/markup/blob/5393ae93/lib/github/markups.rb#L36

as we were not having docutils installed and path to proper python
interpreter setup, rst documents were not automatically rendered and
were show just as plain text.

We do a lot of documents in rst - that case is important for us.

So fix it by providing gitlab with properly setup python interpreter
with all needed eggs installed.

/cc @kazuhiko, @jerome
/proposed-for-review-on nexedi/slapos!39

3 years agonayuos: Fix bashrc!
iv [Thu, 28 Jan 2016 14:10:24 +0000 (14:10 +0000)]
nayuos: Fix bashrc!

3 years agoJupyter: Switch to using JSON in instance parameters
Kirill Smelkov [Wed, 27 Jan 2016 08:30:23 +0000 (11:30 +0300)]
Jupyter: Switch to using JSON in instance parameters

The reason is: we are going to integrate Jupyter into ERP5 SR, and in
ERP5 SR code, there is already established infrastructure, which
requests slave instances. That infrastructure passes parameters in
serialized (= json) form, that's why we need to switch.

On the other hand, slapos.cookbook:slapconfiguration.serialised handles
non-json instance parameters as well: when there parameters format is
not

    {'_' -> <json>}

it decodes them as slapos.cookbook:slapconfiguration would do:

    https://lab.nexedi.com/nexedi/slapos/blob/69229988/slapos/recipe/slapconfiguration.py#L232
    https://lab.nexedi.com/nexedi/slapos/blob/69229988/slapos/recipe/librecipe/__init__.py#L51

So from this point of view, though we don't really need it here (Jupyter
SR is relatively new), we are staying backward compatible.

/cc @tiwariayush

3 years agocomponent/slapos: version up zc.buildout 2.4.7+slapos001 and zc.recipe.egg 2.0.3...
Kazuhiko Shiozaki [Tue, 10 Nov 2015 12:49:29 +0000 (13:49 +0100)]
component/slapos: version up zc.buildout 2.4.7+slapos001 and zc.recipe.egg 2.0.3+slapos001.

3 years agowendelin: Don't pin what is already included and pinned in erp5 SR
Kirill Smelkov [Tue, 26 Jan 2016 09:39:12 +0000 (12:39 +0300)]
wendelin: Don't pin what is already included and pinned in erp5 SR

Both numpy and ipython are included in ERP5 SR which wendelin inherits
from, and are pinned there. Here are e.g. latest pin-ups for numpy and
ipython in erp5:

    e3144a8a    (version up eggs.)
    135570c9    (version up eggs.)

Furthermore: this is not only a cleanup. As e3144a8a shows current
version of numpy in erp5 is 1.10.4 and in wendelin we still have 1.9.2
which is unintentional downgrade compared to erp5.

Don't do that.

/cc @kazuhiko
/reviewed-by @Tyagov  (on nexedi/slapos!41)

3 years agoNEO repository has moved to lab.nexedi.com
Julien Muchembled [Mon, 25 Jan 2016 20:26:57 +0000 (21:26 +0100)]
NEO repository has moved to lab.nexedi.com

3 years agobabeld moved to https://lab.nexedi.com/nexedi/babeld
Nicolas Wavrant [Mon, 25 Jan 2016 16:23:08 +0000 (17:23 +0100)]
babeld moved to https://lab.nexedi.com/nexedi/babeld

3 years agowendelin: Remove bt5_list leftover
Kirill Smelkov [Sun, 24 Jan 2016 18:36:04 +0000 (21:36 +0300)]
wendelin: Remove bt5_list leftover

@rafael added this in 971d0bb7 (erp5: Make possible extent the list of
initial business templates to install), but we dropped that change while
merging erp5-cluster to master - see:

    6bbb61a8 "Merge branch 'master' into erp5-cluster", and
    e84d5e83 "Merge branch 'erp5-cluster'"

6bbb61a8 claimed that it

    Dropped commit 971d0bb7d6fbb7e51fd8417386b7956d83597ccd
    ("erp5: Make possible extent the list of initial business templates to install").

but it actually dropped changes only under stack/erp5/ , not software/wendelin/

Fix it.

/cc @rafael, @jm, @Tyagov
/reviewed-by TrustMe

3 years agoERP5: remove a few dependencies to obsolete eggs
Julien Muchembled [Fri, 22 Jan 2016 23:12:05 +0000 (00:12 +0100)]
ERP5: remove a few dependencies to obsolete eggs

3 years agofixup! add md5sum in egg patches.
Jérome Perrin [Thu, 21 Jan 2016 04:47:34 +0000 (05:47 +0100)]
fixup! add md5sum in egg patches.

3 years agoopenssl: code clean up, with possibility to easily override --openssldir/--prefix
Julien Muchembled [Fri, 15 Jan 2016 18:52:01 +0000 (19:52 +0100)]
openssl: code clean up, with possibility to easily override --openssldir/--prefix

In slapos.package.git/obs, we need to build binaries for specific paths,
without changing where buildout actually install them.

3 years agocleanup setup-eggs.
Kazuhiko Shiozaki [Fri, 15 Jan 2016 15:53:33 +0000 (16:53 +0100)]
cleanup setup-eggs.

3 years agoadd md5sum in egg patches.
Kazuhiko Shiozaki [Fri, 15 Jan 2016 11:42:52 +0000 (12:42 +0100)]
add md5sum in egg patches.

3 years agoGitLab Software Release - first version
Kirill Smelkov [Sun, 17 Jan 2016 23:33:48 +0000 (02:33 +0300)]
GitLab Software Release - first version

Hello up there,

Here comes SlapOS port of GitLab. We start from GitLab 8.2.X as that is what we
currently run on KVM on lab.nexedi.com, so that our data can be
straightforwardly migrated.

The SR compiles all needed software and organized all (sub-)services in one
partition and interconnects them with unix sockets for security and speed
reasons (see patch "gitlab: Make a plan to base instance layout on
gitlab-omnibus and to interconnect all internal services").

Services configuration files are originally taken from omnibus-gitlab
"distribution" and incrementally ported to slapos variant. This way we
establish a (imho) good path on how to track upstream changes and minimize our
delta & effort supporting it.

GitLab itself is patched (above patches that were already applied by upstream):

  - to support HTTP(S) only
  - to show site's ICP number
  - to speedup raw blob downloading ~ 17x times
    ( see patch "gitlab: Optimize raw blob downloading" for details and
      https://gitlab.com/gitlab-org/gitlab-workhorse/merge_requests/17 )

Overall it should work and we should finally be able to migrate slapos.git
(because of raw blob downloading is not slow now) to GitLab and all other
Nexedi git repositories.

Thanks,
Kirill

P.S.

Somewhat outdated, but this picture on GitLab architecture might help to
understand how parts are glued together:

https://gitlab.com/gitlab-org/gitlab-ce/blob/master/doc/development/architecture.md

P.P.S.

Native resiliency is not implemented yet, but we should be able to use gitlab
inside resilient webrunner already.

/proposed-for-review-on nexedi/slapos!39
/partly-reviewed-by @kazuhiko, @jerome, @Yanni, @jp
/cc @rafael, @jm

3 years agogitlab: First SR version works - freeze md5 sums
Kirill Smelkov [Fri, 8 Jan 2016 12:23:52 +0000 (15:23 +0300)]
gitlab: First SR version works - freeze md5 sums

We've reached a state where first gitlab SR version should work. So as
promised let's freeze the md5 checksums.

All later patches should update corresponding md5 info when they change
a file.

/cc @kazuhiko, @jerome

3 years agogitlab: Optimize raw blob downloading
Kirill Smelkov [Fri, 8 Jan 2016 11:24:53 +0000 (14:24 +0300)]
gitlab: Optimize raw blob downloading

In slapos we do a lot of automated software rebuild constantly, and thus
there is constant flow of requests to get raw blobs from git service,
e.g. like this

    https://lab.nexedi.com/nexedi/slapos/raw/master/software/wendelin/software.cfg

A lot of requests comes to slapos.git repository and currently gitlab,
out of the box, cannot keep up with that load.

I've prepared patches to offload raw blobs download requests handling
from unicorn (ruby) to gitlab-workhorse (go), and that resulted in ~ 17x
speedup - e.g. previously our std shuttle can handle ~ 70 raw-blob
requests/s and with my changes it is now ~ 1200 requests/s.

The patches were sent upstream

    https://gitlab.com/gitlab-org/gitlab-workhorse/merge_requests/17

and we discussed with GitLab people and made a plan how to proceed
incrementally. It will probably take some time for gitlab team to fully
accept the approach though.

For now we can use our gitlab-workhorse fork. The patches itself are:

    https://lab.nexedi.com/kirr/gitlab-workhorse/commit/1b274d0d
    https://lab.nexedi.com/kirr/gitlab-workhorse/commit/2beb8c95

/cc @kazuhiko, @jerome, @jm

3 years agogitlab: Switch to "GitLab Nexedi Edition"
Kirill Smelkov [Fri, 8 Jan 2016 10:48:40 +0000 (13:48 +0300)]
gitlab: Switch to "GitLab Nexedi Edition"

GitLab Nexedi Edition is currently upstream 8.2.X + the following
patches:

    - HTTP(S) is made to be default clone protocol

        https://lab.nexedi.com/kirr/gitlab-ce/commit/5c1f2fb3

      and SSH info is completely removed from UI

        https://lab.nexedi.com/kirr/gitlab-ce/commit/dfe9fb16
        https://lab.nexedi.com/kirr/gitlab-ce/commit/f3f84743

      so essentially the only way to access a repository is via HTTP(S).

    - Rake check tasks are adjusted to exit with non-zero code if there
      is a failure

        https://lab.nexedi.com/kirr/gitlab-ce/commit/a93ae418

      We need this for promises to work correctly with failures being
      detected, not silently skipped. The patch was sent upstream:

        https://gitlab.com/gitlab-org/gitlab-ce/merge_requests/1885

    - GitLab supports setting up site's ICP License in gitlab.yml and
      shows it in appropriate places together with info about GitLab
      itself:

        https://lab.nexedi.com/kirr/gitlab-ce/commit/e7e0fd88
        https://lab.nexedi.com/kirr/gitlab-ce/commit/79c127e6

    + other cosmetic/minor changes.

More patches will probably come (e.g. apply a single patch from a
merge-request with `git am` without creating merge commit for just 1
patch, etc) but for now that's all.

NOTE ICP is non-ascii text with hieroglyphs. slapos.core was taught to
    be able to pass parameters with non-ascii values to instance:

        https://lab.nexedi.com/nexedi/slapos.core/commit/347d33d6

    That patch is included in slapos.core 1.3.15, but as we currently
    have a lot of older slapos.core deployed (e.g. 1.3.5 on my
    development webrunner) a workaround is (hopefully temporarily) used
    to pass non-ascii values as URL-encoded strings.

/cc @kazuhiko, @jerome, @rafael

3 years agogitlab: Import nginx http configuration from omnibus-gitlab
Kirill Smelkov [Fri, 8 Jan 2016 09:42:48 +0000 (12:42 +0300)]
gitlab: Import nginx http configuration from omnibus-gitlab

Like with Rails configuration this first step is pristine import of
nginx configuration files from omnibus-gitlab. All files were imported
as-is in their ERB form and filenames from omnibus-gitlab
8.2.3+ce.0-0-g8eda093 from here:

    https://gitlab.com/gitlab-org/omnibus-gitlab/tree/8eda093/files/gitlab-cookbooks/gitlab/templates/default

We import only nginx main http configuration - nginx's CI and Mattermost
configurations are not imported, as we do not support CI and Mattermost (yet ?).

As with Rails configuration files, we will convert the templates to
jinja2 and adjust them to slapos version in the following patches.  We
will also use the same (commit from last-erb-mod commit + merge)
approach to track upstream changes.

/cc @kazuhiko, @jerome

3 years agogitlab: Publish connection URL
Kirill Smelkov [Fri, 8 Jan 2016 10:41:45 +0000 (13:41 +0300)]
gitlab: Publish connection URL

In the previous patch we setup nginx service which listens to the world
and as such gitlab service becomes to be ready to used - so publish
backend URL.

NOTE we'll need to optimise and tweak gitlab a bit further in upcoming
    patches, so it can be really used under load and with our use-cases,
    but even now it listens to http ok and generally works.

/cc @kazuhiko, @jerome

3 years agogitlab: Setup sidekiq service
Kirill Smelkov [Fri, 8 Jan 2016 09:23:55 +0000 (12:23 +0300)]
gitlab: Setup sidekiq service

Sidekiq[1] is used in GitLab as background jobs manager - i.e. if a
request handler needs to spawn some non-light job - it adds it to
sidekiq queue (in Redis) and relies on sidekiq service to later pick
this job up and execute it.

The service is setup with just to run bin/gitlab-sidekiq with
appropriate queues (extracted from omnibus-gitlab) and appropriate
settings to controlling GitLab's sidekiq Out-Of-Memory killer[2].

NOTE Unlike unicorn OOM killer, Sidekiq memory killer just makes sidekiq
    processes to be SIGKILL terminated and relies on managing service to
    restart it. In slapos we don't have mechanism to set autorestart=true,
    nor bang/watchdog currently work with slapproxy, so we setup to do
    such monitoring ourselves manually with here-introduced
    watcher-sigkill program.

NOTE2 sidekiq promise, because it is rake/gitlab based, is slow to
    load/run and thus is put into etc/promise.slow/

[1] http://sidekiq.org/
[2] https://gitlab.com/gitlab-org/gitlab-ce/blob/1322bd78/doc/operations/sidekiq_memory_killer.md

/cc @kazuhiko, @jerome

3 years agogitlab/nginx: Slapos'ify config and turn nginx into a service
Kirill Smelkov [Fri, 8 Jan 2016 10:08:38 +0000 (13:08 +0300)]
gitlab/nginx: Slapos'ify config and turn nginx into a service

Go through nginx configuration templates and convert them to jinja2 with
slapos parameters (reminder: names and default values are imported from
omnibus-gitlab 8.2.3+ce.0-0-g8eda093), except commenting out features we
do not want to support (yet ?).

As nginx is a reverse-proxy, i.e. it integrates all internal services
and works as frontend to them, our gitlab service is now ready to listen
and talk to the world over (standard to slapos services backend) IPv6.

Nginx also acts as SSL termination point - for it to work by default we
setup self-signed certificate for the backend, which can be manually
changed to proper certificate if needed. Backend certificate is used
if gitlab is configured to work in HTTPS mode (and frontend certificate
is another story).

NOTE ssl certificate is generated with just `openssl req ...` - yes, there
    is slapos.cookbook:certificate_authority.request but it requires
    to start whole service and has up to 60 seconds latency to generate
    certificate. And we only need to run 1 command to do that...

The features disabled are:

    - http -> https redirection

      not needed for us at nginx level - the frontend can do the
      redirection and also gitlab speaks HSTS on https port so when we access
      https port via http protocol, it gets redirected to https.

    - kerberos
    - ssl_dhparam
    - providing custom nginx configuration via instance parameter

/cc @kazuhiko, @jerome

3 years agogitlab: Upgrade gitlab-shell & gitlab-workhorse to versions which propagate $HOME
Kirill Smelkov [Thu, 7 Jan 2016 21:37:50 +0000 (00:37 +0300)]
gitlab: Upgrade gitlab-shell & gitlab-workhorse to versions which propagate $HOME

As was described in the previous patch, we need $HOME to be propagated
by this programs so that git can find partition's .gitconfig.

Specifically we need the following patches to be present in our build:

    https://gitlab.com/gitlab-org/gitlab-shell/commit/9e087f64
    https://gitlab.com/gitlab-org/gitlab-workhorse/commit/b5f1b803

They both have been applied upstream very close to revisions we
previously had in software.cfg, so we only need to update the revisions
to get them.

/cc @kazuhiko, @jerome

3 years agogitlab: Hook nginx configuration files into SR system
Kirill Smelkov [Fri, 8 Jan 2016 09:57:05 +0000 (12:57 +0300)]
gitlab: Hook nginx configuration files into SR system

Like with Rails configuration files, hook nginx configuration files into
SR / instance build process; rename *.erb -> *.in and add our header.

The templates are still not valid - a lot of erb code is left there -
we'll slapos'ify it incrementally in the following patches.

/cc @kazuhiko, @jerome

3 years agogitlab: Import gitconfig from omnibus-gitlab
Kirill Smelkov [Thu, 7 Jan 2016 21:13:31 +0000 (00:13 +0300)]
gitlab: Import gitconfig from omnibus-gitlab

Like with Rails configuration files, this is pristine import of template
gitconfig from omnibus GitLab from

    https://gitlab.com/gitlab-org/omnibus-gitlab/tree/8eda093/files/gitlab-cookbooks/gitlab/templates/default

This is only a "user" part of git configuration. System-wide
configuration is generated dynamically:

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8eda093/files/gitlab-cookbooks/gitlab/attributes/default.rb#L23

and we'll import it by hand in the follow-up patches.

/cc @kazuhiko, @jerome

3 years agogitlab: Slapos'ify / tweak gitconfig and hook it into the system
Kirill Smelkov [Thu, 7 Jan 2016 21:19:54 +0000 (00:19 +0300)]
gitlab: Slapos'ify / tweak gitconfig and hook it into the system

Convert gitconfig template to jinja2 (reusing already-there
`email_display_name` and `email_from` parameters for commits generated by
gitlab).

System-level git config from gitlab-omnibus is also imported to this
file (on slapos we cannot tweak system-level git config -
software/.../parts/git/... is read-only for programs in instance
partitions - so we move all gitlab's system-wide git settings to this
"user-level" gitconfig.

System gitconfig in omnibus is defined here:

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8eda093/files/gitlab-cookbooks/gitlab/attributes/default.rb#L23

so it is

    pack.threads = 1    and
    receive.fsckObjects = true

which makes sense to not waste a lot of memory when packing and not to
allow corrupt objects to enter to system by evil users intentionally.

To make the file foundable by git - we put it into partition root
directory and set $HOME to point to partition root when running
appropriate programs / services.

NOTE we'll need to upgrade gitlab-shell and gitlab-workhorse to
    propagate $HOME for this setting to actually have effect.
    See the next patch.

/cc @kazuhiko, @jerome

3 years agogitlab: Setup gitlab-workhorse service
Kirill Smelkov [Thu, 7 Jan 2016 20:49:39 +0000 (23:49 +0300)]
gitlab: Setup gitlab-workhorse service

Gitlab-workhorse[1] is a service which offloads Ruby-on-Rails based
GitLab from long-running and slow requests. It is written in Go.

Now as we have unicorn service set up, we can setup gitlab-workhorse
service (which uses unicorn as authentication backend).

Gitlab-workhorse setup is easy - it is just one program and several
command line options to point to unicorn socket and to configure on
which unix socket gitlab-workhorse will listen itself.

NOTE we have to care that git and ruby to be on PATH when running
    gitlab-workhorse - because on e.g. git push'ing workhorse will run `git
    receive-pack` and a hook will be called which calls gitlab-shell,
    which is written in ruby.

NOTE2 promise to check whether gitlab-workhorse is alive is to ping it
    via URL to non-existent endpoint and check for proper 403 HTTP code
    returned.

[1] https://gitlab.com/gitlab-org/gitlab-workhorse

/cc @kazuhiko, @jerome

3 years agogitlab: Compile assets on instantiation and make sure DB is properly setup/migrated...
Kirill Smelkov [Thu, 7 Jan 2016 20:04:23 +0000 (23:04 +0300)]
gitlab: Compile assets on instantiation and make sure DB is properly setup/migrated before unicorn runs

There are several actions that needs to be done on gitlab instance
upgrade:

    - we have to (re-)compile assets
    - we have to migrate DB

and also before the first run

    - we have to initialize DB

We can compile assets as part of instantiation process, but regarding
DB migration / setup - it is not currently possible to do that as part
of instantiation - for that operations we need PG & Redis to be already
running, but the first time slapos instantiates an SR it first prepares
all services, and only after instantiation is done, starts them all. There is
currently no way to hook into starting process, and run some scripts
after one service is started but before another service startup...

So the solution is: to perform such actions in delayed mode as part of
application - unicorn service - startup: it makes sure PG is running and
initializes it and does other actions which needs to be done to migrate
the DB. Only if/after they succeed the main application is started.

NOTE the comment about unicorn/gitlab startup slowness from the previous
    patch still holds true - so in order to get "all ok" after
    instantiation, it is required to perform the instantiation several
    times, because unicorn promise initially fails.

/cc @kazuhiko, @jerome

3 years agogitlab: Set up unicorn service
Kirill Smelkov [Thu, 7 Jan 2016 19:36:08 +0000 (22:36 +0300)]
gitlab: Set up unicorn service

Now that all gitlab Rails application configuration files are ready, we
can setup unicorn service to start it.

NOTE there is a promise to check unicorn by url which works, but there
    are also rake tasks to check gitlab itself, e.g. like

        gitlab:app:check
        gitlab:gitlab_shell:check
        gitlab:repo:check

    Unfortunately this tasks are slow to run (and gitlab:repo:check is
    very slow to run). That's why we do not put them into etc/promise/ -
    if we do - slapos reports promises time outs.

    What we do is we put them into etc/promise.slow/ so we have those
    scripts ready, but currently no one automatically checks them.

    Again, the promise to check unicorn just by accessing it by URL is
    there and is checked automatically out of the box.

NOTE2 GitLab is very slow to load. That's why it can take some time
    after unicorn starts that it's promise start to report ok. This can
    show itself as temporary instantiation errors which say promise such and
    such failed.

NOTE3 Unicorn start, but so far we did not cared to setup GitLab DB
    schema on instantiation. That's why unicorn remains not very usable
    and a lot of requests fail. We'll teach instance to setup DB and
    perform all other needed settings in the next patch.

/cc @kazuhiko, @jerome

3 years agogitlab: Add helper to set up promise to check something via url
Kirill Smelkov [Thu, 7 Jan 2016 18:54:00 +0000 (21:54 +0300)]
gitlab: Add helper to set up promise to check something via url

Like with [promise-wrapper] a recipe could do

    [promise-<service>]
    <= promise-byurl
    url     = ...

and a script to check such ur will be generated and automatically put
into etc/promise/<service>.

/cc @kazuhiko, @jerome

3 years agogitlab/unicorn: Automatically load all available CPUs by default
Kirill Smelkov [Thu, 7 Jan 2016 18:44:10 +0000 (21:44 +0300)]
gitlab/unicorn: Automatically load all available CPUs by default

Automatically configure unicorn to spawn as much worker processes as
there are CPUs on the system by default.

GitLab omnibus pre-hardcodes this value default to 2 (which we copied)
and then also tweaks it this way in active code

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8eda0933/files/gitlab-cookbooks/gitlab/attributes/default.rb#L230

which we also do here.

/cc @kazuhiko, @jerome

3 years agogitlab/gitlab-shell-config.yml: Explicitly point it to secret file
Kirill Smelkov [Thu, 7 Jan 2016 18:33:32 +0000 (21:33 +0300)]
gitlab/gitlab-shell-config.yml: Explicitly point it to secret file

Explicitly point gitlab-shell to location where we keep secrets.

We already pointeg gitlab to that place and now we do that for
gitlab-shell so those 2 peieces can connect to each other ok.

Regarding the setting itself - there is no such block in omnibus-gitlab,
but it is present in gitlab-shell configuration example:

    https://gitlab.com/gitlab-org/gitlab-shell/blob/82b3a4e8/config.yml.example#L35

/cc @kazuhiko, @jerome

3 years agogitlab/gitlab-shell-config.yml: Slapos'ify it
Kirill Smelkov [Thu, 7 Jan 2016 18:21:50 +0000 (21:21 +0300)]
gitlab/gitlab-shell-config.yml: Slapos'ify it

Convert gitlab-shell configuration file to slapos:

    - convert to jinja2,
    - connect gitlab-shell to unicorn & redis unix sockets

NOTE

    - http_settings are left to be default (empty) ones - as that works ok.
    - `auth_file` is still configured to point to wont-be-used sshkeys
      file, as without it gitlab-shell check will fail.
    - support for audit_usernames and git_annex is disabled and
      remains not configurable.

/cc @kazuhiko, @jerome

3 years agogitlab/unicorn.rb: Configure preload_app and pre-/post- forking actions
Kirill Smelkov [Thu, 7 Jan 2016 17:47:54 +0000 (20:47 +0300)]
gitlab/unicorn.rb: Configure preload_app and pre-/post- forking actions

Unicorn is a forking server with the idea that master process preloads
heavy Ruby-on-Rails application, and then to handle new request a worker
process is forked with application already loaded in its memory (and
modification being tracked by OS via copy-on-write).

From this point of view the only reasonable value for preload_app is
always "true" and omnibus-gitlab does this:

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8eda0933/files/gitlab-cookbooks/gitlab/definitions/unicorn_service.rb#L65

Then unicorn documentation shows what code has to be there in pre-/post-
forking event:

    http://bogomips.org/unicorn.git/tree/examples/unicorn.conf.rb?id=3312aca8#n57

GitLab uses only part of it that "allows a new master process to
incrementally phase out the old master process with SIGTTOU to avoid a
thundering herd":

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8eda0933/files/gitlab-cookbooks/gitlab/definitions/unicorn_service.rb#L69
    http://bogomips.org/unicorn.git/tree/examples/unicorn.conf.rb?id=3312aca8#n75

but strangely does not use code parts that are "highly recommended" or
"require" for "Rails + "preload_app true"" case.

For the reference I've added such codes, but kept them being commented
out.

/cc @kazuhiko, @jerome

3 years agogitlab/unicorn.rb: First round of slaposification
Kirill Smelkov [Thu, 7 Jan 2016 17:34:35 +0000 (20:34 +0300)]
gitlab/unicorn.rb: First round of slaposification

Convert unicorn parameters to slapos and configure it to listen on unix
socket only.

( Omnibus configures unicorn to listen on unix socket and
  loopback TCP, mainly because gitlab-shell could not connect to unicorn
  via unix socket until recently:

      https://gitlab.com/gitlab-org/gitlab-shell/commit/184385ac

  But as it can now, there is no point to keep on TCP port open )

To be able to do such configuration we add stub to unicorn service
section (to create needed directories where to keep the socket).

There will be follow-up patch which configures unicorn pre/post-forking
actions, which is not trivial and thus better be done on its own.

/cc @kazuhiko, @jerome

3 years agogitlab/gitlab.yml: Slapos'ify rest of it
Kirill Smelkov [Thu, 7 Jan 2016 16:54:42 +0000 (19:54 +0300)]
gitlab/gitlab.yml: Slapos'ify rest of it

Convert the rest of this configuration file to slapos.

It is straightforward conversion of parameters except:

    - access-via-ssh is disabled (gitlab slapos version does not support
      ssh access and supports HTTP(S) only by design on purpose)

    - we do not support restricting possible projects visibility via
      instance parameter (very low chance this will be needed in
      practice)

    - default issue-closing pattern is just ok for now and not
      configurable

    - support for builds, build artifacts & CI is disabled (we do not
      support CI (yet ?))

    - some internal defaults are just ok (e.g. where to organize
      directory for keeping repositories archives for downloads)

    - reply-by-email is not supported (yet ?)

    - we do not support LFS (yet ?) - just plain git hosting is ok for now.

    - Gravatar defaults are ok for now and not configurable.

    - Support for LDAP is disabled

    - Support for Kerberos is disabled

    - Support for OmniAuth is disabled

    - Satellites path is just /dev/null as we start from version where
      satellites are already non-existent.

    - Uploading backups to somewhere via GitLab's builtin mechanism is
      not supported - we'll use SlapOS native backup and resiliency for
      this.

    - Support for Google analytics is disabled.

    - Support for Piwik is disabled.

    - we are ok (for now) with default rack-attack git settings

/cc @kazuhiko, @jerome

3 years agogitlab: Determine current slapuserX in instance
Kirill Smelkov [Thu, 7 Jan 2016 16:41:10 +0000 (19:41 +0300)]
gitlab: Determine current slapuserX in instance

This user will need to be specified several times in configuration
files, as by default gitlab uses 'git' user and does "sudo" to it if it
is not current.

We will use {{ backend_info.user }} in the upcoming patches.

/cc @kazuhiko, @jerome

3 years agogitlab/gitlab.yml: Handle "external URL"
Kirill Smelkov [Thu, 7 Jan 2016 16:29:18 +0000 (19:29 +0300)]
gitlab/gitlab.yml: Handle "external URL"

GitLab has a notion of "external URL" - the canonical "frontend" URL the
server is reachable through: this URL is used as prefix to show
e.g. git-clone URL for repositories, etc, even if a server can be
reachable via several frontends.

Add external_url handling to slapos instance.

NOTE whether to use https or not is also defined by external_url, in
particular by external_url scheme.

/cc @kazuhiko, @jerome

3 years agogitlab/smtp_settings.rb: Convert/integrate to slapos
Kirill Smelkov [Thu, 7 Jan 2016 16:05:40 +0000 (19:05 +0300)]
gitlab/smtp_settings.rb: Convert/integrate to slapos

Convert to slapos SMTP settings for gitlab:

    - convert to jinja2
    - remove support for gitlab CI (we do not support it (yet ?))
    - add handling of `smtp_enable` parameter directly to that file
      ( omnibus handles this parameter externally and just removes
        smtp_settings.rb if it is true )

NOTE smtp_settings.rb contains SMTP password, so it is mode is set to 0600.

/cc @kazuhiko, @jerome

3 years agogitlab/rack_attack.rb: Convert/integrate to slapos
Kirill Smelkov [Thu, 7 Jan 2016 15:59:50 +0000 (18:59 +0300)]
gitlab/rack_attack.rb: Convert/integrate to slapos

Just another 2 simple parameters (attack detection tunables) conversion
to jinja2/slapos.

/cc @kazuhiko, @jerome

3 years agogitlab/config.ru: Convert/integrate to slapos
Kirill Smelkov [Thu, 7 Jan 2016 15:53:24 +0000 (18:53 +0300)]
gitlab/config.ru: Convert/integrate to slapos

Just convert 2 parameters used in that file to jinja syntax and add
those parameters (unicorn OOM killer tunables) to gitlab-parameters.cfg

/cc @kazuhiko, @jerome

3 years agogitlab/resque.yml: Tweak to integrate gitlab with internal redis
Kirill Smelkov [Thu, 7 Jan 2016 15:47:34 +0000 (18:47 +0300)]
gitlab/resque.yml: Tweak to integrate gitlab with internal redis

A simple change just to point resque to redis unix socket.

/cc @kazuhiko, @jerome

3 years agogitlab/database.yml: Tweak to integrate gitlab with internal postgresql
Kirill Smelkov [Thu, 7 Jan 2016 15:39:11 +0000 (18:39 +0300)]
gitlab/database.yml: Tweak to integrate gitlab with internal postgresql

We tweak database.yml to point to our postgresql unix socket; set
adapter to hardcoded postgresql, encoding to unicode and omit collation
(which according to omnibus-gitlab is used for mysql only).

The only instance parameter imported from omnibus is `db_pool` - how
many connection to a DB to keep open in a RoR thread/process.

XXX we use db's superuser as a user to connect. Is it ok to do even if
    the whole DB is used only for gitlab? (I think it is ok for the
    first iteration, but we'll probably need to refine this later)

/cc @kazuhiko, @jerome

3 years agogitlab: Introduce macro library
Kirill Smelkov [Thu, 7 Jan 2016 15:29:02 +0000 (18:29 +0300)]
gitlab: Introduce macro library

Introduce a library of Jinja2 macros that will be handy to use in
templates. For now we add only 2 macros:

    cfg(name)   - to get instance configuration parameter `name`,   and
    cfg_bool    - to get truth value of ----//----

The reason we introduce cfg() is that we will need to use a lot of
parameters in many places and it is much more handy to write, e.g.

    cfg('email_enabled')

compared to

    instance_parameter:configuration.email_enabled

/cc @kazuhiko, @jerome

3 years agogitlab: Import gitlab-ce & gitlab-shell configs from omnibus-gitlab
Kirill Smelkov [Thu, 7 Jan 2016 14:17:31 +0000 (17:17 +0300)]
gitlab: Import gitlab-ce & gitlab-shell configs from omnibus-gitlab

Pristine import of template configuration files from omnibus GitLab
package. All files were imported as-is in their ERB form and filenames
from omnibus-gitlab 8.2.3+ce.0-0-g8eda093 from here:

    https://gitlab.com/gitlab-org/omnibus-gitlab/tree/8eda093/files/gitlab-cookbooks/gitlab/templates/default

We will convert the templates to jinja2 and adjust them to slapos
version in the following patches.

Scheme for synchronizing with future upstream changes is envisioned as this:

    - checkout latest commit which updated pristine erb files
    - copy updated files from omnibus-gitlab, and commit the updates
    - checkout slapos master
    - merge commit that updated erb

That should reasonably work with not too-many conflicts and even those
should be not hard to resolve (with `git mergetool` e.g. in kdiff3)

/cc @kazuhiko, @jerome

3 years agogitlab: Organize place to keep parameters & their default imported from gitlab-omnibus
Kirill Smelkov [Thu, 7 Jan 2016 15:17:01 +0000 (18:17 +0300)]
gitlab: Organize place to keep parameters & their default imported from gitlab-omnibus

We will be using a several dozens of parameters to control gitlab
instance. It makes sense not to deviate in such parameters namings and
defaults from omnibus version.

Thus for such parameters - for clarity - we organize a separate file
where we will be keeping them - gitlab-parameters.cfg.

In this patch series all used parameters will be "imported" from
omnibus-gitlab 8.2.3+ce.0-0-g8eda093.

NOTE it is maybe better to try to autogenerate that file from upstream
    omnibus parameters definitions. If time will tell it becomes hard to
    maintain our copy - we'll consider going that way.

/cc @kazuhiko, @jerome

3 years agogitlab: Organize per-instance gitlab work tree
Kirill Smelkov [Wed, 6 Jan 2016 20:07:20 +0000 (23:07 +0300)]
gitlab: Organize per-instance gitlab work tree

Organize per-instance place for gitlab configuration and work directory.

Unfortunately as GitLab is Ruby-on-Rails application, it is not possible
to keep its code in one place and have multiple separate configuration
sets in different places and start that code for a configuration set -
GitLab and Rails insist to get configuration from relative to source
code tree.

GitLab omnibus "solves" this by having only one configuration set and
having symlinks from code to that only configiration set. In slapos we
can potentially have several instances for one software and thus we
cannot do that.

With such limitations a proper solution would be to bind-mount software
code into instance filesystem namespace close to configuration - that
way the code will be only one and will find proper per-instance config.
Currently we do not have namespaces available on slapos unfortunately,
thus something else is needed.

The workaround I decided to do is this: to clone cloned gitlab
repository from software/ space to instance/ space and adjust it in
instance space. This has the following drawbacks:

    - code is duplicated
    - code becomes read-write, instead of being read-only

but imho it is the most practical thing to do. Another solution could be
to patch GitLab / Rails to remove "config lives in code" assumption, but
the number of places where this needs to be done is really many.

NOTE gems which gitlab uses and which were installed during software
    compilation are not duplicated - they are reused via bundler - via
    pointing BUNDLE_GEMFILE to original location in software.

NOTE2 For instance tasks and also for maintanace convenience we establish
    <instance>/bin/gitlab-* programs, e.g. gitlab-rake, which e.g. for
    gitlab-rake will run rake with correctly loaded gitlab environment -
    like in gitlab-omnibus.

/cc @kazuhiko, @jerome, @jp

3 years agogitlab: Hook gitlab- and gitlab-shell- configuration files into the system
Kirill Smelkov [Thu, 7 Jan 2016 14:47:23 +0000 (17:47 +0300)]
gitlab: Hook gitlab- and gitlab-shell- configuration files into the system

- Download them on SR build and pass info to instance
- Instance prepares to process them as jinja2 templates
- Instance hooks the files into configuration location as appropriate

Every file so far is renamed *.erb -> *.in and a header added showing
that this file is autogenerated with links about what was the base
gitlab and/or omnibus version and omnibus reference revision this
template was last updated for.

So far all result configuration files are invalid - because ERB syntax
is there. We will convert the configuration files to proper jinja2
syntax and to using slapos parameters incrementally in the upcoming
patches.

NOTE (again): md5 sums are not yet fixed - we will fix them in the end
    of gitlab patches series after applying all tweaking changes.

/cc @kazuhiko, @jerome

3 years agogitlab: Redis service
Kirill Smelkov [Wed, 6 Jan 2016 19:23:51 +0000 (22:23 +0300)]
gitlab: Redis service

Organize internal Redis service, like with PostgreSQL in the previous
patch, with the help of slapos.cookbook:redis.server recipe.

Like with postgresql, and as we planned, redis listens only on
internal-to-partition unix socket.

The recipe establishes both service and promise to check it is alive;
we only need to setup log rotation manually.

/cc @kazuhiko, @jerome

3 years agogitlab: PostgreSQL service
Kirill Smelkov [Wed, 6 Jan 2016 19:00:31 +0000 (22:00 +0300)]
gitlab: PostgreSQL service

Organize internal PostgreSQL database which will be used as DB for
Roby-on-Rails GitLab and listens only on unix socket (for security and
performance reasons - see earlier intro patch).

To do it we use slapos.cookbook:postgres recipe, with disabling
"listen-to-network" via passing empty sets to ipv4 and ipv6 recipe
arguments.

The promise to check whether DB is alive is just `psql -c '\q'` which
will error if failing to connect to DB, but exit silently if connected ok.

Explicit log rotation is not needed - as postgresql logs to
stdout/stderr - not to a file - logs are handled by slapos - put into
.slappartX_postgresql.log and automatically rotated there.

XXX omnibus-gitlab tunes postgresql with shared_buffers and other
parameters, most likely for performance reasons - see e.g.

    https://gitlab.com/gitlab-org/omnibus-gitlab/blob/8-2-stable/files/gitlab-cookbooks/gitlab/templates/default/postgresql.conf.erb#L113

I decided not to fine-tune postgresql for now, and get on-field feedback
first, and then, if needed, we can tune.

/cc @kazuhiko, @jerome