Wednesday, April 05, 2023
support@conference.yunohost.org
April
Mon Tue Wed Thu Fri Sat Sun
          1
2
3
4
5
6
7
8
9
10
11
12 13 14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
             

[02:19:28] <bahaa> Hello, I have a server on which peertube has been installed, and when a backup copy is made and uploaded to another server, the backup copy is not restored
[05:00:10] <tituspijean> bahaa: have you clicked on the restoration button? if so and it's failing, please share the log with the "Share with YunoPaste" button
[06:43:53] <theragehero[m]> Hello, is it possible to vote which app to develop from the wishlist?
https://yunohost.org/en/apps_wishlist
[07:50:37] <Piraty> are there plans to bundle full source code of packaged apps in order for operators to comply with agpl ?
[07:51:08] <Piraty> else this makes hosting things like nextcloud with users>1 impractical
[09:15:01] <rayhan321> Hi
[09:15:35] <rayhan321> How are you?
[10:11:09] <tituspijean> theragehero[m]: right now no, but a contributor has been pushing for a different platform allowing for votes :)
[10:12:40] <tituspijean> Piraty: I don't understand the link between compliance with agpl, app bundles, and multiuser Nextcloud.
[10:15:41] <tituspijean> rayhan321: if you have a technical question, go for it.
[11:31:52] <isAAAc> <mon_user>@<mon_ndd> -p 2222 me renvoie un `Permission denied (publickey)` (j'ai encore un shell ouvert sur le serveur. la connexion à la webadmin est OK , et ce user est bien dans la liste des admins ; je veux bien un coup de main pour fixer svp
[11:31:52] <isAAAc> humm, la connexion SSH pour les membres du groupe admins ne semble pas marcher, je n'avais pas modifé la conf de sshd (qui n'était plus par défaut) suite à la mig vers ynh 11, ce matin j'ai donc joué `yunohost tools regen-conf ssh --force` (j'ai aussi passé le port en 2222 via `yunohost settings set security.ssh.port -v 2222` dans la foulée, mais impossible de me co avec mon user, ssh
[11:32:47] <isAAAc[m]> (je vais manger, je re)
[11:42:59] <Aleks (he/him/il/lui)> isAAAc: j'ai vu un cas au JDLL ou la personne avait son user yunohost qui était aussi un user unix classique et ça foutait un zbeul monumental
[11:43:12] <Aleks (he/him/il/lui)> est-ce que si tu fais `grep ton_user /etc/passwd` ça trouve quelquechose ?
[12:06:03] <isAAAc[m]> Aleks (he/him/il/lui): affirmatif
[12:06:45] <Aleks (he/him/il/lui)> é_è ...
[12:06:46] <isAAAc[m]> deluser <mon_user> ?
[12:07:52] <Aleks (he/him/il/lui)> oui enfin on a fait ça avec la personnes des JDLL mais ça suffisait pas, il restait des morceaux de flamby bizarre quelque part dans le systeme, apriori il fallait aussi supprimer et recréer l'user YunoHost ...
[12:07:54] <Aleks (he/him/il/lui)> ce qui est pas ouf
[12:08:10] <Aleks (he/him/il/lui)> on a pas vraiment testé, moi je m'attends à ce que ça foute le zbeul dans les permissions
[12:08:23] <Aleks (he/him/il/lui)> mais si t'es motivé tu peux tenter le `deluser` puis essayer d'investiguer pourquoir `groups ton_user` renvoie pas ce qu'il faut ...
[12:08:36] <isAAAc[m]> on a pas un script de type fixperm ?
[12:08:41] <Aleks (he/him/il/lui)> (genre on devrait voir qu'il est membre de all_users et de groupes correspondants à tes apps)
[12:09:13] <Aleks (he/him/il/lui)> bah non c'est juste un cas de l'espace et on comprends pas comment ça peut se produire ni pourquoi juste `deluser` marche pas donc pas de résolution automagique ...
[12:10:30] <isAAAc[m]> le truc c'est que si je supprime mon user coté ynh, je vais perdre trop de trucs, genre mes comptes applicatifs type nextcloud etc...
[12:11:09] <isAAAc[m]> sur alternc on a un script fixperm.sh qui reprend les comptes de la db des users et fixe toutes les permissions sur le syteme
[12:14:15] <Aleks (he/him/il/lui)> et genre si tu supprimes un user et recréé le meme user il est capable de magiquement savoir quels étaient les fichiers de l'user d'avant et de réappliquer les permissions ? x_x
[12:14:29] <isAAAc[m]> faudrait genre forcer la recréation du user sans avoir à le remove pour fixer les permissions
[12:14:52] <isAAAc[m]> avec un truc du genre if user exist then just fix permissions
[12:15:04] <isAAAc[m]> (oui dit comme ça ça a l'air simple, je sais ^^)
[12:15:41] <Aleks (he/him/il/lui)> ou alors déjà commencer par empecher de créer un user yunohost si il existe deja sur le systeme ou vice-versa ...
[12:15:48] <Aleks (he/him/il/lui)> "if governement is corrupt, replace\_government()" #easypeazy
[12:17:05] <isAAAc[m]> je sais même plus pourquoi j'avais créé le user en user system, j'ai deux users comme ça au total :/
[12:17:35] <isAAAc[m]> c'était surement pour une bonne raison il y a longtemps, c'est un vieux yunohost
[12:23:09] <isAAAc[m]> j'ai pas de groupe admins dans /etc/group
[12:24:19] <Aleks (he/him/il/lui)> oui ça c'est normal car c'est un groupe ldap
[12:28:36] <isAAAc[m]> j'installe phpldapadmin voir si j'aurai pas aussi fait des gruikeries dans le ldpap à l'époque
[12:38:59] <isAAAc[m]> bon je vois pas non plus de trucs chelous dedans, mais je ne suis pas expert ldap
[12:46:22] <Aleks (he/him/il/lui)> Ptete 'nscd -i passwd' pour reset le cache
[12:46:32] <Aleks (he/him/il/lui)> Et aussi 'nscd -i groups'
[12:47:37] <isAAAc[m]> nope pas mieux, (j'ai deluser avant)
[12:49:52] <Aleks (he/him/il/lui)> Genre 'groups tonuser' renvoie toujours un truc presque vide ?
[12:50:06] <isAAAc[m]> isaaac : isaaac
[12:50:53] <isAAAc[m]> grep isaaac /etc/passwd me renvoie plus rien
[12:51:32] <isAAAc[m]> idem pour grep isaaac /etc/group
[12:51:33] <theragehero> > <@titus:pijean.ovh> theragehero[m]: right now no, but a contributor has been pushing for a different platform allowing for votes :)

Thank you
[12:54:49] <isAAAc[m]> Aleks (he/him/il/lui): si je `su - isaaac` ; `id` me renvoie: uid=60655(isaaac) gid=60655(isaaac) groups=60655(isaaac)
[12:56:17] <Aleks (he/him/il/lui)> é_è
[13:07:08] <diroots> Hello, the demo server is recreated every 30 minutes, right?
[13:07:10] <Aleks (he/him/il/lui)> yup
[13:22:22] <isAAAc[m]> Aleks (he/him/il/lui): : j'ai mis quelques notes là https://krashboyz.org/hedgedoc/-iwcgwBBTIu7JTWFadQHsw# si jamais tu as des idées qui te viennent maintenant ou plus tard
[13:22:56] <Aleks (he/him/il/lui)> peut pas accéder
[13:23:49] <Aleks (he/him/il/lui)> mais sinon je dirais bien "dans le doute riboute" mais bon
[13:24:03] <isAAAc[m]> > <@Alekswag:matrix.org> peut pas accéder

le viens de le passer en "freely"
[13:24:20] <isAAAc[m]> ouep faut que je m'assure de pouvoir retrouver un shell d'une manière ou d'une autre avant de reboot :)
[13:42:49] <isAAAc[m]> > ouep faut que je m'assure de pouvoir retrouver un shell d'une manière ou d'une autre avant de reboot :)

wetty march epas , syntax error: unexpected token import
mais shellinabox marche (sans casser le sso ni nextcloud)
[13:42:57] <isAAAc[m]> je vais rebooter donc
[14:25:18] *isAAAc est un boulet
[14:26:02] <isAAAc> le volume est luksé, et c'est un pote qui a la clef, pote pas joignable sur le moment ... ^^ je serre les fesses
[14:26:15] <Aleks (he/him/il/lui)> 😬
[14:35:57] <isAAAc[m]> ok , rebooté
[14:36:17] <isAAAc[m]> id isaaac me donne ce coup ci bien plus de groupes, c'est mieux, mais toujours pas de connexion ssh possible via mon user
[14:36:25] <Aleks (he/him/il/lui)> ah
[14:36:26] <Aleks (he/him/il/lui)> et ça liste bien le groupe admins ?
[14:36:33] <isAAAc[m]> ouep
[14:36:35] <Piraty> tituspijean: operating agpl licensed software imposes certain obligations to the operator
[14:36:40] <isAAAc[m]> et ssh.main aussi
[14:36:48] <Aleks (he/him/il/lui)> @_@
[14:36:51] <Aleks (he/him/il/lui)> et t'es sur des clefs / passwords ?
[14:37:24] <Aleks (he/him/il/lui)> ou alors c'est ptete un soucis de perm sur le dossier /home/truc/.ssh parce qu'avant c'était l'user unix qui était proprio
[14:37:38] <Aleks (he/him/il/lui)> check `namei -l /home/ton_user/.ssh/authorized_keys`
[14:37:42] <isAAAc[m]> il me demande pas de pswwd, il me jette direct :
```
$ ssh isaaac@krashboyz.org -p 2222
Debian GNU/Linux 11
isaaac@krashboyz.org: Permission denied (publickey).
```
[14:40:14] <isAAAc[m]> ouep, probablement, là c'est en 1000:1000 , or, isaaac a un uid en 60655
[14:40:57] <isAAAc[m]> chown -R 60655: /home/isaaac ? ou chown -R isaaac: /home/isaaac ?
[14:42:28] <isAAAc[m]> la première proposition ne passe pas
[14:42:49] <isAAAc[m]> yes, fixé, je suis dessus en ssh <3
[14:43:14] <isAAAc[m]> merci pour le coup de main Aleks (he/him/il/lui) , you're the boss !
[14:54:10] <isAAAc[m]> rah presque en fait, après fix l'autre user de la même manière, viré l'autorisation SSH du user isaaac et un nouveau reboot, le retour de prompt me dit que le service n'est valide que pour sftp, pourtant isaaac fait bien partie de admins, et donc devrait pouvoir ssh comme l'indique la webui
[14:55:26] <isAAAc[m]> je repose le droit user SSH pour isaaac, pas mieux, je reboot
[15:01:40] <isAAAc[m]> ouep avec le droit individuel ça passe, avec juste l'appartenance au groupe admins, ça passe pas
[15:01:41] <alwi> The message appears when starting the backup of Yunohost
"/usr/share/yunohost/helpers.d/utils: Zeile 25: YNH_APP_ACTION ist nicht gesetzt.
Konnte Skript nicht ausführen: /usr/share/yunohost/hooks/backup/50-conf_manually_modified_files
Der Systemteil 'conf_manually_modified_files' konnte nicht gesichert werden"
Where can I fix the problem?
[15:02:46] <isAAAc[m]> alwi: you made a manual change ?
[15:03:41] <alwi> I made an update today
[15:03:52] <Aleks (he/him/il/lui)> alwi: this is fixed in 11.1.17 released like 1 hour ago
[15:06:43] <alwi> The backupd ends 1 min ago without arrors!! Tanks
[17:29:59] <Vitria> Hi !
Is it documented that borg\_app only add files even unchanged ones ?

Aka having only A status (added) when you modify the backup hook to have 'borg create --list --filter=AME --stats'
<https://borgbackup.readthedocs.io/en/stable/faq.html#why-is-backup-slow-for-me>
[17:34:38] <Aleks (he/him/il/lui)> no idea what you mean ...
[17:44:40] <Vitria> Ok, so i noticed my backups was taking wayy too long.
[17:51:07] <Vitria> So i dig in and modified borg_app hook file to have logs on what is (newly) added or modified.

And all my files are added as new files each backup. On every backup.
So i'm asking if it's a documented behaviour or not
[17:56:33] <Aleks (he/him/il/lui)> ¯\_(ツ)_/¯ not really, doesn't mean that they are effectively copied, maybe their path is somehow different, but the content is the same so not copied, devil is in the details ...
[18:15:07] <Vitria> It's ok to speack french ? It will be better for me
[18:16:37] <Aleks (he/him/il/lui)> yup
[18:51:48] <Vitria> Du coup je suis en train de faire différents tests pour savoir d'où ça viens.

Mes actuelles pistes :
Si c'est le timestamp qui est différent (mais dans ce cas là, ce serait des fichiers modifiés, par ajoutés).
Ou si c'est parce que yunohost fait ses backup dans un sous-dossier temporaire (avec un nom aléatoire) et que de fait, le chemin change à chaque fois, ce que Borg interprète comme un nouveau fichier.
[18:53:50] <Aleks (he/him/il/lui)> certes mais chemin différent ou pas, si c'est le même fichier, il ne sera pas stocké plusieurs fois ...
[19:27:39] <Guest16> So, I reinstalled yunohost from scratch
[19:27:39] <Guest16> Hi everyone
[19:27:39] <Guest16> I'm back for more :D
[19:27:40] <Guest16> jsut finished, updated from admin page
[19:27:40] <Guest16> Especially tituspijean :D
[19:27:42] <Guest16> all is well, says
[19:27:43] <Guest16> no applications installed, just fresh install and update
[19:27:44] <Guest16> When I open user homepage, same redirection error, domain not managed
[19:27:45] <Guest16> If I refresh homepage, it goes away
[19:27:46] <Guest16> logging out and in does not trigger red banner with error again
[19:28:35] <isAAAc[m]> What are the logs telling ?
[19:29:30] <Guest16> which ones ?
[19:29:37] <isAAAc[m]> Nginx
[19:29:41] <Guest16> nginx ?
[19:30:38] <isAAAc[m]> is it a vps ? A home hosted server ?
[19:33:04] <Guest16> home hosted on proxmox full vm
[19:33:11] <Guest16> I get disconnected from chat :(
[19:33:18] <Guest16> let's check the logs
[19:38:29] <Guest16> 2023/04/05 21:06:51 [notice] 3733#3733: signal process started
[19:38:29] <Guest16> 2023/04/05 20:43:54 [info] 31797#31797: Using 131072KiB of shared memory for nchan in /etc/nginx/nginx.conf:61
[19:38:30] <Guest16> nothing special to me
[19:38:30] <Guest16> 2023/04/05 21:04:44 [info] 801#801: Using 131072KiB of shared memory for nchan in /etc/nginx/nginx.conf:61
[19:38:31] <Guest16> 2023/04/05 21:05:46 [notice] 1529#1529: signal process started
[19:38:32] <Guest16> 2023/04/05 21:06:51 [info] 3722#3722: Using 131072KiB of shared memory for nchan in /etc/nginx/nginx.conf:61
[19:42:49] <Guest16> domain is .local
[19:42:53] <Guest16> yunohost.local
[19:43:18] <isAAAc[m]> The error log in /var/log/nginx, and please use a pastebin, dont paste aslike un the chan
[19:43:34] <isAAAc[m]> The error log in /var/log/nginx, and please use a pastebin, dont paste aslike in the chan
[19:47:01] <Guest16> Sorry
[19:47:45] <Guest16> https://pastebin.com/fxyPN9Fd this is /var/log/nginx/error.log
[19:48:32] <Guest16> ssowat.log is empty
[19:48:47] <Guest16> xmpp-upload.yunohost.local-access.log empty
[19:48:54] <Guest16> xmpp-upload.yunohost.local-error.log
[19:48:56] <Guest16> empty
[19:49:50] <Guest16> are there some settings I need to make ?
[19:50:14] <isAAAc[m]> That's strange yes
[19:50:47] <Guest16> Is it some certificates error?
[19:50:55] <Guest16> Firefox warned me about untrusted cert
[19:52:32] <isAAAc[m]> Can you `curl -I http://<;your_domain>` from outside ?
[19:53:42] <Guest16> I think not, I don't need my yunohost exposed on the internet so I haven't opened ports
[19:53:54] <Guest16> 80 should be closed
[19:54:19] <isAAAc[m]> Did you set the port forwarding on your proxmox host to your VM ?
[19:54:27] <Guest16> Does it need to be exposed to work ?
[19:54:46] <isAAAc[m]> I think so
[19:55:19] <Guest16> Did you set the port forwarding on your proxmox host to your VM ? - No, firewall of the VM is off though
[19:55:27] <isAAAc[m]> Should be explained somewhere un the documentation
[19:55:53] <isAAAc[m]> I try to find it
[19:56:29] <Guest16> I read somewhere that you can have yunohost work locally
[19:56:42] <Guest16> I try to find it as well :D
[19:59:35] <Guest16> https://yunohost.org/it/domains#8da1801eb42
[19:59:36] <Guest16> here
[20:00:51] <Guest16> Where it says "Local domains (only reachable in your local network)"
[20:01:08] <isAAAc[m]> Can you french reading ?
[20:02:33] <Guest16> J'ai etudié un peu de française a l'ecole
[20:02:42] <Guest16> too many years passed by since then
[20:02:52] <Guest16> I think I can still understand it
[20:02:55] <isAAAc[m]> Yes no pb
[20:04:14] <isAAAc[m]> There are some topics about proxmox and yunohost on thé forum, did you have a look on already ?
[20:04:22] <isAAAc[m]> There are some topics about proxmox and yunohost on the forum, did you have a look on already ?
[20:05:35] <Guest16> I found something searching for "error 500" or similar
[20:05:46] <Guest16> which is the error I was having yesterday with prowlarr
[20:05:52] <isAAAc[m]> I never installed ynh on proxmox for local use , not sure i can help you very much
[20:06:24] <Guest16> Now I started from scratch to see if I can pinpoint the problem
[20:06:33] <Guest16> apparently, apps aren't the problem
[20:06:36] <Guest16>  :D
[20:07:27] <isAAAc[m]> But for me, local laptop -> proxmox -> VM needs port forwarding, but i'm not sure
[20:07:30] <Guest16> Also, I forgot to mention and dunno if matters locally, I'm behind openmptcprouter
[20:08:36] <isAAAc[m]> I dont use proxmox anymore since years
[20:09:01] <Guest16> So exposed ports must pass through vm-proxmox-router-openmptcprouter
[20:09:19] <Guest16> What do you use?
[20:09:26] <Guest16> I'm curious
[20:10:01] <isAAAc[m]> Perhaps you should open a dedicated topic on the forum to get async help from the community
[20:10:27] <isAAAc[m]> kvm libvirt
[20:10:51] <isAAAc[m]> On a distant vps so
[20:11:47] <Guest16> an API
[20:12:48] <isAAAc[m]> ?
[20:14:47] <Guest16> libvirt is an open-source API, daemon and management tool for managing platform virtualization
[20:14:52] <Guest16> So says wiki
[20:16:31] <isAAAc[m]> I use a distant server un a DC, with debian on it, to ne the host, and then i set a kvm directly on the debian-host , no proxmox
[20:17:31] <isAAAc[m]> (Sorry for all the edit, i'm on m'y phone and auto correction sux)
[20:17:42] <isAAAc[m]> my*
[20:18:21] <isAAAc[m]> I use a distant server in a DC, with debian on it, to be the host, and then i set a kvm directly on the debian-host , no proxmox
[20:19:18] <Guest16> Don't worry :)
[20:22:42] <isAAAc[m]> You can stay idling here waiting for help, but you really should open a topic on the forum to your specific usecase (and it tracks your usecase for future users too ;))
[20:23:10] <isAAAc[m]> You can stay idling here waiting for help, but you really should open a topic on the forum for your specific usecase (and it tracks your usecase for future users too ;))
[20:23:29] <Guest16> I will, I'm looking more into the forum if someone else had a similar problem
[20:23:41] <Guest16> If not, I'll open a topic :)
[20:27:57] <isAAAc[m]> Perfect :) good luck !
[20:45:10] <Guest16> Thank you for your help :)
[20:45:25] <ynhuser> hii
[21:07:31] <Vitria> Oui mais le problème c'est pas la déduplication, c'est le fait qu'à chaque sauvegarde Borg recalcule les chunk de tout les fichiers.

Du coup pour une app test de 107k fichiers & 14,3Go il y en a pour ±1h30.
Alors qu'en utilisant directement borg, il n'y en a que pour une dizaine de minutes.
[21:13:29] <Vitria> Une heure trente à chaque sauvegarde automatique d'une seul app*
[21:35:22] <Aleks (he/him/il/lui)> C'est à dire, "en utilisant directement borg" ?
[21:37:43] <Vitria> > <@Alekswag:matrix.org> C'est à dire, "en utilisant directement borg" ?

Directement lancer un borg create depuis un terminal au lieu d'un yunohost backup create
[21:39:40] <Vitria> (En sachant que j'ai vérifié en lançant trois fois la même commande 'borg create' : la première fois la sauvegarde prends quasiment autant de temps qu'avec borg_app mais la seconde fois et la troisième fois ça prends bien une dizaine de minutes)
[22:01:28] <Vitria> Du coup c'était juste pour savoir si c'était quelque chose de documenté ou si j'allais ouvrir une issue dessus ✨
[22:14:53] <pti-jean> Vitria, Je suis pas sûr de tout comprendre... Mais, ça peut pas se vérifier en montant le backup ??
[22:29:25] <Vitria> > <pti-jean> Vitria, Je suis pas sûr de tout comprendre... Mais, ça peut pas se vérifier en montant le backup ??

N'hésite pas à développer ce que tu comprends comme ça je peux expliciter/confirmer

En fait ce n'est pas un problème de données, elles sont bien en place et dédupliqués.
Le problème c'est que quand borg fait une sauvegarde, il va utiliser un cache des fichiers dont il a déjà calculé les chunks. Si il ne trouve pas les fichiers dedans où si un des fichiers a un timestamp plus récent que la dernière sauvegarde¹ il va calculer les chunks desdit fichiers.

C'est peu embêtant pour de petite quantités de données mais j'ai par exemple une app yunohost avec **beaucoup** de petits fichiers qui met en moyenne 15h à se sauvegarder :X
(15h de calcul et de lecture de disque du coup)

1 :  c'est pas exactement ça mais l'idée est là
[22:33:27] <pti-jean> Comment tu fais pour voir que le borg de YunoHost recalcule le chunks à chaque fois ?
Chez moi, borg met environ 10mn à s'exécuter !
[22:36:36] <Vitria> > <pti-jean> Comment tu fais pour voir que le borg de YunoHost recalcule le chunks à chaque fois ?
> Chez moi, borg met environ 10mn à s'exécuter !

J'ai modifié à la mano le fichier '/etc/yunohost/hooks/backup_methods/borg_app' pour rajouter '--list --filter=AME --stats' à la commande 'borg create' et faire pointer la sortie vers un fichier avec '2>> /mon/fichier/de/log' pour pouvoir avoir le log
[22:39:34] <pti-jean> Ah oui, c'est technique... Et y a une explication du pourquoi il recalcule le chunks à chaque passe ?
[22:42:27] <Vitria> Je suppose que c'est parce que lors d'un yunohost backup create, les fichiers sauvegardés sont regroupés dans un dossier temporaire avec un nom qui est aléatoire à chaque fois. (et ça reboucle sur le second paragraphe de mon avant-dernière réponse)
[22:43:06] <isAAAc[m]> > <@vitria:lostpod.me> J'ai modifié à la mano le fichier '/etc/yunohost/hooks/backup_methods/borg_app' pour rajouter '--list --filter=AME --stats' à la commande 'borg create' et faire pointer la sortie vers un fichier avec '2>> /mon/fichier/de/log' pour pouvoir avoir le log

Ça mériterait une MR non ?
[22:44:38] <Vitria> Pas forcément en l'état car ça créerait rapidement un fichier de log monstrueux (vu qu'il y a une ligne par fichier avec le chemin complet de chaque fichier)
[22:47:10] <Vitria> Genre là j'ai un fichier de log de 16Mo pour seulement 107k fichier. Ça combiné au problème que je rencontre ça voudrait dire que le fichier de log serait peuplé à chaque sauvegarde avec l'intégralité des chemins de tout les fichiers sauvegardés :')
[23:17:28] <Vitria> J'ai créé une issue du coup :
https://github.com/YunoHost-Apps/borg_ynh/issues/138