takashi kono's blog

コーヒーとキーボードと共に何かを記録していくブログ

OpenAI 社の簡易年表 1 [2015-12-11 ~ 2022-11-30 ChatGPT 登場まで]

目的

OpenAI のサービスについて、いつ何がローンチされたのか?など、どうしても忘れてしまうのでここにまとめていく
ちなみに、時折サービスとは違うトピックも挟もうと思う
おそらく、このページは長くなる

目次

注意

  • 基本的な情報ソースは https://openai.com/blog である
  • 基本的に日本語訳は DeepL を利用する
  • 年月日の表記は基本的に ISO 8601 の拡張形式を利用するが、筆者が妥当だと感じた時と間違えたときは、その限りではない
  • 筆者が個人的に掲載したいトピックを掲載しています。とはいえ、基本的に重要なトピックを掲載することを目標にしています

始まりは 2015年12月11日

OpenAI は 2015年12月11日設立
設立者の一人 サム・アルトマン (Samuel Harris Altman)

ja.wikipedia.org

OpenAI のブログページに、紹介記事が掲載されている

openai.com

この時はまだ 非営利 組織だった

技術的ゴールを制定 at 2016-06-20

2016-06-20, OpenAI は技術的ゴールを制定した
一言でいうと以下らしい

OpenAI’s mission is to build safe AI, and ensure AI’s benefits are as widely and evenly distributed as possible.

翻訳

OpenAIの使命は、安全なAIを構築し、AIの恩恵が可能な限り広く均等に行き渡るようにすることである。

実際には 4つのゴールを設定している
ゴールタイトルは以下

  1. Measure our progress (進捗を測る)
  2. Build a household robot (家庭用ロボットを作る)
  3. Build an agent with useful natural language understanding (有用な自然言語理解を持つエージェントを構築する)
  4. Solve a wide variety of games using a single agent (単一のエージェントを使って様々なゲームを解く)

原文へのリンクを載せておく

openai.com

OpenAI と Microsoft の協力関係の開始 at 2016-11-15

We’re working with Microsoft to start running most of our large-scale experiments on Azure.

翻訳

私たちはマイクロソフトと協力して、大規模な実験のほとんどをAzure上で実行し始める。

というわけで、 Azure 上でシステムを組み、大規模な実験のほとんどを行い始めた
このころは K80 GPU を大規模に提供していたらしい

openai.com

Distill のローンチ at 2017-03-20

Distill is a website and set of associated tools that make it easier for people to explain machine learning concepts using modern web technologies. For example, people have already used the platform to explore the subtle settings of the t-SNE algorithm, to demystify the checkerboard artifacts in synthetic images, and peek under the hood of recurrent neural networks that generate handwriting.

翻訳

Distillは、最新のウェブ技術を使って機械学習の概念を簡単に説明できるようにするウェブサイトと関連ツールのセットである。例えば、t-SNEアルゴリズムの微妙な設定を探ったり、合成画像におけるチェッカーボードのアーチファクトを解明したり、手書きの文字を生成するリカレント・ニューラル・ネットワークのボンネットを覗いたりするために、人々はすでにこのプラットフォームを使っている。

openai.com

Distill のサイト

distill.pub

「上限付き」営利企業 OpenAI LP を創設 at 2019-03-11

今までの OpenAI は OpenAI Nonprofit と呼ばれるようになった
今後 OpenAI は OpenAI LP のことを指すようになった

We want to increase our ability to raise capital while still serving our mission, and no pre-existing legal structure we know of strikes the right balance. Our solution is to create OpenAI LP as a hybrid of a for-profit and nonprofit—which we are calling a “capped-profit” company.

翻訳

私たちは、私たちのミッションに貢献しながら、資本調達能力を高めたいと考えています。私たちのソリューションは、営利と非営利のハイブリッドとしてOpenAI LPを設立することです。

OpenAI LP のミッションに 安全で有益な AGI の創造と導入を確実にする という文が記載されている
もっと前からだったかもしれないが、2019 年ごろからすでに意識ていたことに驚かされる

重要だと思われる一文

OpenAI LP’s primary fiduciary obligation is to advance the aims of the OpenAI Charter, and the company is controlled by OpenAI Nonprofit’s board. All investors and employees sign agreements that OpenAI LP’s obligation to the Charter always comes first, even at the expense of some or all of their financial stake.

翻訳

OpenAI LPの第一の受託者義務は、OpenAI憲章の目的を推進することであり、会社はOpenAI Nonprofitの理事会によって管理されています。全ての投資家と従業員は、自分の経済的利害の一部または全部を犠牲にしても、OpenAI LPの憲章に対する義務が常に最優先であるという契約に署名します。

LP とは何か?と考えていたが、もしかして LimitProfit の頭文字からとっているのだろうか?

原文

openai.com

Microsoft が OpenAI に 10億ドル 投資 at 2019-07-22

Microsoft is investing $1 billion in OpenAI to support us building artificial general intelligence (AGI) with widely distributed economic benefits. We’re partnering to develop a hardware and software platform within Microsoft Azure which will scale to AGI. We’ll jointly develop new Azure AI supercomputing technologies, and Microsoft will become our exclusive cloud provider—so we’ll be working hard together to further extend Microsoft Azure’s capabilities in large-scale AI systems.

翻訳

マイクロソフトはOpenAIに10億ドルを投資し、経済的利益を広く分散させる人工知能(AGI)の構築を支援しています。我々は、AGIに拡張可能なMicrosoft Azure内のハードウェアとソフトウェアのプラットフォームを開発するために提携しています。我々は、新しいAzure AIスーパーコンピューティング・テクノロジーを共同開発し、マイクロソフトが我々の独占的クラウド・プロバイダーとなることで、大規模AIシステムにおけるMicrosoft Azureの能力をさらに拡張するために、共に努力していきます。

原文

openai.com

PyTorch で標準化 at 2020-01-30

We are standardizing OpenAI’s deep learning framework on PyTorch.

翻訳

我々はOpenAIのディープラーニングフレームワークをPyTorchで標準化している。

理由が書かれてあった

The main reason we’ve chosen PyTorch is to increase our research productivity at scale on GPUs. It is very easy to try and execute new research ideas in PyTorch; for example, switching to PyTorch decreased our iteration time on research ideas in generative modeling from weeks to days.

翻訳

私たちがPyTorchを選んだ主な理由は、GPU上でスケールの大きな研究の生産性を高めるためです。PyTorchでは、新しい研究アイデアを試して実行するのが非常に簡単です。例えば、PyTorchに切り替えたことで、生成モデリングの研究アイデアの反復時間が数週間から数日に短縮されました。

ディープラーニングについて簡単に学べるツールも作ったとのこと

openai.com

原文

openai.com

OpenAI API リリース at 2020-06-11

We’re releasing an API for accessing new AI models developed by OpenAI.

翻訳

OpenAIが開発した新しいAIモデルにアクセスするためのAPIを公開します。

このころのモデルは?

Today the API runs models with weights from the GPT-3 family with many speed and throughput improvements.

翻訳

今日、このAPIはGPT-3ファミリーの重みを持つモデルを実行し、多くのスピードとスループットを向上させている。

ということで、このタイミングで GPT-3 がすでに提供されていた

原文

openai.com

OpenAI が Microsoft に GPT-3 のライセンスを供与開始 at 2020-09-22

Microsoft に対し、OpenAI API (GPT-3) のライセンス供与を開始した。Microsoft の製品とサービスに OpenAI API を通じて GPT-3 を利用することに合意した。

このタイミングでブログ内で GPT-3 のパラメーターが掲載されている。

GPT-3 is the most powerful model behind the API today, with 175 billion parameters.

翻訳

GPT-3は現在APIを支える最も強力なモデルで、1750億ものパラメーターを持つ。

原文

openai.com

OpenAI API 発表から 9か月 報告 at 2021-03-25

  • 300+ のアプリケーションが GPT-3 を使用
  • 1日平均45億ワードが生成されている
  • 世界中の何万人もの開発者が開発を行っている

原文

openai.com

OpenAI Codex at 2021-08-10

自然言語をコードに翻訳する AI システムである OpenAI Codex の改良版を作成、プライベートベータとして API を通じてリリースした日

Codex は Github Copilot を支えるモデル
この時点で 12以上のプログラミング言語に対応
中でも Python が最も得意

自然言語処理も同時にできるので、自然言語プロンプトに応じて実用的なコードを生成できるとしている

原文

openai.com

カスタマイズ GPT-3 at 2021-12-14

Developers can now fine-tune GPT-3 on their own data, creating a custom version tailored to their application.

翻訳

開発者はアプリケーションに合わせたカスタムバージョンを作成できるようになった。

原文

openai.com

OpenAI API で Enbeddings Endpoint の提供開始 at 2022-01-25

筆者が、この記事を咀嚼しきれていません。申し訳ございません。

原文

openai.com

新しい GPT-3 とコーデックスのリリース at 2022-03-15

We’ve released new versions of GPT-3 and Codex which can edit or insert content into existing text, rather than just completing existing text.

翻訳

既存のテキストを補完するだけでなく、既存のテキストにコンテンツを編集または挿入できるGPT-3とコーデックスの新バージョンをリリースしました。

何が変わったか?

These new capabilities make it practical to use the OpenAI API to revise existing content, such as rewriting a paragraph of text or refactoring code.

翻訳

これらの新しい機能により、OpenAI APIを使用して、テキストの段落を書き換えたり、コードをリファクタリングするなど、既存のコンテンツを修正することが実用的になります。

より柔軟になったということだろう。

原文

openai.com

DALL-E 2 研究 更新情報 at 2022-05-18

Early users have created over 3 million images to date and helped us improve our safety processes. We’re excited to begin adding up to 1,000 new users from our waitlist each week.

翻訳

初期のユーザーは、これまでに300万枚以上の画像を作成し、私たちの安全プロセスの改善に貢献してくれました。毎週1,000人の新規ユーザーをウェイティングリストに追加する予定です。

このタイミングでの報告が大きいので 4点 あった

  • 300万枚以上生成した
  • 安全システムを強化し、ポリシー違反の自動検出と対応システムをチューニングした
  • ポリシー違反とフラグを建てられたのは 0.05% 未満だった。これらの画像のうち、約 30% は人間のレビュアーによってポリシー違反であることが確認され、アカウント無効化につながった
  • レーニングデータから受け継いだバイアスを理解し、対処するため、顔を含むフォトリアリスティックな世代を共有しない、また問題のある世代にフラグを立てるようお願いした。これは一定の効果があったと考えていて、継続する予定である。

原文

openai.com

DALL-E ベータ版提供開始 at 2022-07-20

We’ll invite 1 million people from our waitlist over the coming weeks. Users can create with DALL·E using free credits that refill every month, and buy additional credits in 115-generation increments for $15.

翻訳

今後数週間で、ウェイティングリストから100万人を招待する予定です。ユーザーは、毎月補充される無料クレジットを使ってDALL-Eで作成することができ、115世代単位で追加クレジットを15ドルで購入することができます。

原文

openai.com

DALL-E アウトペインティングの紹介 at 2022-08-31

知らなかった

a new feature which helps users extend their creativity by continuing an image beyond its original borders—adding visual elements in the same style, or taking a story in new directions—simply by using a natural language description.

翻訳

この新機能は、自然言語による説明文を使用するだけで、画像を元の境界線を越えて続行したり、同じスタイルの視覚的要素を追加したり、新しい方向にストーリーを展開したりすることで、ユーザーの創造性を拡張するのに役立ちます。

原文

openai.com

DALL-E がウェイトリストなしで利用可能になった at 2022-09-28

原文

openai.com

DALL-E API のパブリックベータ開始 at 2022-11-03

原文

openai.com

ChatGPT の登場 at 2022-11-30

あくまで研究リリースだった。その間は無料とされた

ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response.

翻訳

ChatGPTはInstructGPTの兄弟モデルで、プロンプトの指示に従い、詳細な返答をするように訓練されている。

また、モデル等についてはこう書いている

ChatGPT is fine-tuned from a model in the GPT-3.5 series, which finished training in early 2022. You can learn more about the 3.5 series here. ChatGPT and GPT-3.5 were trained on an Azure AI supercomputing infrastructure.

翻訳

ChatGPTは、2022年初頭にトレーニングを終えたGPT-3.5シリーズのモデルを微調整したものだ。GPT-3.5シリーズについてはこちらをご覧ください。ChatGPTとGPT-3.5は、Azure AIスーパーコンピューティング・インフラストラクチャでトレーニングされました。

このころは GPT-3.5 を利用している

原文

openai.com


つづく