Recherche

Sur la sûreté de l'IA

Nous ne construisons pas de modèles de fondation. Nous les utilisons, principalement Anthropic Claude Sonnet à la formule Institution, avec une ingénierie substantielle des prompts système et une couche de vérification qui contraint le modèle aux données vérifiées. La principale question de sûreté de l'IA pour une société dans notre position n'est donc pas l'alignement des modèles de pointe, qui est l'affaire des laboratoires ; c'est le déploiement sûr de ces modèles dans un domaine où leurs modes de défaillance ont des conséquences spécifiques.

Deux modes de défaillance nous préoccupent. Le premier est l'hallucination : la production par le modèle d'une affirmation énoncée avec assurance et non fondée sur des données vérifiées. Notre couche de vérification en est la défense principale ; le prompt système qui instruit le modèle à signaler ce qu'il ignore en est la défense secondaire. Le second est la dérive réglementaire : la tentation, étant donné un modèle suffisamment capable, de le laisser glisser vers la production de conseils en investissement plutôt que d'analyse. Nos prompts système comportent des instructions explicites de refus ; notre revue interne examine la sortie du modèle à la recherche de signes d'une telle dérive.

Nous suivons avec sérieux les travaux publiés d'Anthropic, OpenAI, DeepMind et la littérature académique sur la sûreté des modèles de langage. Nous n'en sommes pas contributeurs, mais nous en sommes des consommateurs attentifs.

Sur les limites de la modélisation quantitative

Notre modélisation de scénarios et nos calculs de risque reposent sur des hypothèses concernant la distribution des rendements futurs, la persistance des corrélations et la représentativité du registre historique. Chacune de ces hypothèses peut faillir. La crise financière de 2008, la volatilité induite par la pandémie en 2020 et la rupture du cycle des taux en 2022 ont chacune exposé les limites des modèles calibrés sur les régimes antérieurs.

Notre position est que cela ne constitue pas un argument contre la modélisation quantitative, mais un argument en faveur de l'énonciation explicite de ses limites. La documentation méthodologique expose les hypothèses sur lesquelles repose chaque calcul ; l'utilisateur est invité à pondérer la sortie en conséquence. Un modèle dont les limites sont visibles est plus utile qu'un modèle dont la confiance est artificiellement élevée.

Sur la question du contenu généré par IA

Des portions substantielles de Drusus Daily sont produites par un modèle de langage. Nous nous sommes demandé si cela devait être divulgué aux lecteurs de manière plus visible que ne le fait déjà la documentation méthodologique, et avons conclu que la réponse structurelle est oui : la nature générée par modèle de la prose est déclarée sur chaque édition. Nous n'identifions pas, en revanche, quelles phrases spécifiques sont générées par modèle et lesquelles sont éditées par un humain, parce que la frontière est en pratique brouillée (la revue éditoriale révise substantiellement la sortie du modèle) et parce qu'une divulgation binaire induirait davantage en erreur qu'elle n'informerait.

La question pertinente n'est pas de savoir si la prose est générée par un modèle, mais si les chiffres qu'elle contient sont corrects. La couche de vérification y répond. La revue éditoriale est responsable du jugement analytique.

La recherche que nous publions

Nos travaux longs paraissent dans Drusus Insights. Les pièces qui y sont publiées s'adressent à l'investisseur en exercice et au professionnel de l'analyse, non à la littérature académique ; nous ne prétendons pas conduire une recherche évaluée par les pairs. Lorsque notre méthodologie contribue à des travaux académiques menés par les utilisateurs de la plateforme, les recommandations de citation figurent sur la page de méthodologie.