Recent posts
人工知能による科学的進歩の予測 https://t.co/Icmtnn4wQN AIは生物学と物理学の大発見の予測では俺たちと同じくらい下手らしいな。公平に言うと、ほとんどの大発見は予測できない。科学は進化的探索プロセスに近い。皮肉なことに、LLMは自分たち自身のAIベンチマークの予測はかなり上手だけど…
原文を表示 (en)
Forecasting Scientific Progress with Artificial Intelligence https://t.co/Icmtnn4wQN Turns out AI is just as bad at forecasting biology and physics breakthroughs as we are. To be fair, most breakthroughs cannot be predicted. Science is more like an evolutionary search process. Though ironically, LLMs are pretty good at predicting its own AI benchmarks…
科学の進歩は、どこまでAIで予測できるか？ 最先端のAIにより未来の科学的成果を予測する能力を検証する論文が、オックスフォード大学、スタンフォード大学、@Allen_AI などの研究者との共著で発表されました。Sakana AIのリサーチサイエンティスト山田祐太朗が共同著者として参加しています。 https://t.co/6upbYa29TD https://t.co/OoUMUQi3vP 本研究では、AIの科学予測能力を評価するベンチマーク「CUSP」を提案し、4,760件の科学イベントを用いて検証を行いました。その結果、現在の最先端モデルは有望な研究方向を見分けることはできる一方で、それが実現するか、いつ実現するかの予測は難しいことが分かりました。また、これらの限界は学習データの量だけでは説明できないことも示されています。 この結果から改めて分かるのは、科学は依然としてオープンエンドな営みであり、最先端のAIをもってしても、その発展の方向性を予測することは難しいということです。AIは科学の進歩を予言する存在ではなく、人間と共にその探索を進める協働者として最も力を発揮するでしょう。 さまざまなAIと人間の創造性が組み合わさることで、科学はこれからも予想できない方向に展開していくはずです。Sakana AIも、山田が開発者として携わってきたAI Scientistをはじめ、科学の発展に資するAI開発に努めていきます。
AI がソフトウェアエンジニアを置き換えるかどうかを聞かれ続けている。俺は全く逆だと思う。 ジェヴォンスのパラドックスのおかげで、AI ツールは優秀なエンジニアを 10 倍生産性高くしており、より難しく、より大規模な問題に取り組むことが可能になっている。俺たちは @SakanaAILabs で SWE チームを拡大しているところだ。 英語が話せる R&D とプラットフォームロールを含む5つの新しいオープンポジションがある。東京で俺たちと一緒に AI の未来を構築しよう！🐟
原文を表示 (en)
People keep asking if AI will replace software engineers. I believe the exact opposite. Thanks to the Jevons paradox, AI tools are making great engineers 10x more productive, allowing us to tackle much harder, larger-scale problems. We’re expanding our SWE teams at @SakanaAILabs We have 5 new open roles, including English-speaking R&D and Platform roles. Come build the future of AI with us in Tokyo! 🐟
【採用情報】「Software Engineer」の5ポジションが現在オープン！ https://t.co/1q07mb3TzE 「AIが進化すれば、ソフトウェアエンジニアの仕事はなくなるのか？」 Sakana AIは、全く逆だと考えています。 AIツールの登場で開発効率が劇的に向上する一方、ジェボンズのパラドックス（Jevons paradox） が示すように、私たちが解決できる課題の幅と規模が拡大し、優秀なSoftware Engineerの需要はかつてなく高まっています。 事実、Sakana AIでは、AI支援ツールを駆使して最前線で活躍し、AIそのものを社会実装していくSoftware Engineerの採用をかつてない規模で強化しています！ 現在、以下の5つの専門領域で募集を公開中です。詳細はリンク先をご覧ください。 🐙 こんな挑戦が待っています ・Enterprise: AI技術を組み込んだアプリケーションのFrontend〜Backendまでの一貫した設計・開発および運用 ・Defense & Intelligence: 日本の防衛・インテリジェンス分野に、AIを活用したソフトウェアで貢献 (※本ポジションは性質上、日本国籍保有等の要件がございます) ・Product: 自社AIプロダクトのUI/UXからバックエンド・インフラまでのフルスタック開発 ・Platform: LLMエージェントを支える強固なインフラ・データプラットフォームの設計・構築 (English req, 日本語 is a plus) ・Research and Development: ML研究と製品開発を繋ぎ、研究を加速させるツールやフルスタックインフラを構築 (English req, 日本語 is a plus) 🐡 こんな方を求めています ・Frontend / Backend / Infrastructureのいずれか複数領域での実務経験をお持ちの方 ・AI支援コーディングツールを活用し、チームで自律的に開発を進められる方 ・AIシステム開発や、0→1でのプロダクト立ち上げ経験がある方はさらに歓迎！ フルタイムに加え、業務委託・インターンシップと柔軟な働き方が可能です（※ポジションにより異なります）。 最先端のAI技術を自らの手で社会へ届け、変革の波を創り出したい方。ぜひご応募ください。
Schmidhuberの論文(1990-2025)を全部再現している。AIコーディングアシスタントを使ってね。 @yaroslavvbの素晴らしいプロジェクト！「World Models」論文もトイ環境で再現されたーこれは俺と@SchmidhuberAIによる論文で、完全なVAE + RNNワールドモデル実装付き。 Project: https://github.com/cybertronai/schmidhuber-problems/blob/main/VISUAL_TOUR.md
原文を表示 (en)
Reproducing all of Schmidhuber’s papers (1990-2025) using an AI coding assistant. Cool project by @yaroslavvb! It even reproduced the “World Models” paper by me and @SchmidhuberAI with a toy env, with a full VAE + RNN world model implementation. Project: https://github.com/cybertronai/schmidhuber-problems/blob/main/VISUAL_TOUR.md
人間の脳🧠は信じられないほど効率的だ。なぜなら、思考に必要な特定のニューロンだけをアクティベートするから。モダンLLMも自然にこれをやろうとしている(フィードフォワード層の95%以上のニューロンは、任意の単語で沈黙したまま)。でも、私たちのハードウェアはそれに罰を与えてしまう。 ディープラーニングで最もフラストレーションが溜まるパラドックスの1つ：モデルをより少ない計算をさせると、むしろ遅くなることが多い。なぜか？不規則なスパース性はメモリアクセスが不規則になり、GPUは予測可能で密集した計算ブロック向けに設計されているから。 このハードウェアのミスマッチを直すため、@NVIDIAと手を組んだ。GPUをスパース性に適応させるのではなく、スパース性をGPUに合う形に再構成する「ハイブリッド」フォーマットを構築した。私たちのスパース性フォーマット(TwELL)は、99%の極端にスパースなトークンを高速パスに動的にルーティングし、稀だが計算量が多いトークンのセーフティバルブとして密集したバックアップマトリクスを使う。 TwELLと推論・学習の両方に対応した新しいカスタムCUDAカーネルを通じて、理論的なスパース性を実際の実行時短縮に変換した：H100 GPU上で学習と推論が20%以上高速化され、エネルギー消費とメモリ要件も削減。 Paper: https://t.co/rqIY9SYBDe Blog: https://t.co/oRjNbpJKha Code: https://t.co/FAFaJwpxAJ ⚡️
原文を表示 (en)
The human brain🧠 is incredibly efficient because it only activates the specific neurons needed for a thought. Modern LLMs naturally try to do this too (> 95% of neurons in feedforward layers stay silent for any given word), but our hardware punishes them for it. One of the most frustrating paradoxes in deep learning: making a model do less math often makes it run slower. Why? Because unstructured sparsity introduces irregular memory access, and GPUs are built for predictable, dense blocks of math. We teamed up with @NVIDIA to try to fix this hardware mismatch. Instead of forcing the GPU to adapt to the sparsity, we built a "Hybrid" format that reshapes the sparsity to fit the GPU. Our sparsity format (TwELL) dynamically routes the 99% of highly sparse tokens through a fast path, and uses a dense backup matrix as a safety valve for the rare, heavy tokens. Through TwELL and a new set of custom CUDA kernels for both LLM inference and training, we translated theoretical sparsity into actual wall-clock speedups: >20% faster training and inference on H100 GPUs, while also cutting energy consumption and memory requirements. Paper: https://t.co/rqIY9SYBDe Blog: https://t.co/oRjNbpJKha Code: https://t.co/FAFaJwpxAJ ⚡️
How do we make LLMs faster and lighter? Don’t force the GPU to adapt to sparsity. Reshape the sparsity to fit the GPU! ⚡️ Excited to share our new #ICML2026 paper in collaboration with @NVIDIA: "Sparser, Faster, Lighter Transformer Language Models". This work introduces new open-source GPU kernels and data formats for faster inference and training of sparse transformer language models: Paper: https://t.co/3Avj8N8iYO Blog: https://t.co/SqFkkKvkbd Code: https://t.co/PHSzMq8pg0 While LLMs are undoubtedly powerful, they are increasingly expensive to train and deploy, with a large part of this cost coming from their feedforward layers. Yet, an interesting phenomenon occurs inside these layers: For any given token, only a small fraction of the hidden activations actually matter. The rest approximate zero, wasting computation. With ReLU and very mild L1 regularization, this sparsity can exceed 95% with little to no impact on downstream performance. So, can we leverage this sparsity to make LLMs faster? The challenge is hardware. Modern GPUs are optimized for dense matrix multiplications. Traditional sparse formats introduce irregular memory access and overheads that cancel out their theoretical savings for GEMM operations. Our contribution is twofold: 1/ We introduce TwELL (Tile-wise ELLPACK), a new sparse packing format designed to integrate directly in the same optimized tiled matmul kernels without disrupting execution. 2/ We develop custom CUDA kernels that fuse multiple sparse matmuls to maximize throughput and compress TwELL to a hybrid representation that minimizes activation sizes. We used our kernels to train and benchmark sparse LLMs at billion-parameter scales, demonstrating >20% speedups and even higher savings in peak memory and energy. This work will be presented at #ICML2026. Please check out our blog and technical paper for a deep dive!
もしGitHubが以下の国で作られていたら: 日本 🇯🇵 中国 🇨🇳 北朝鮮 🇰🇵 EU 🇪🇺
原文を表示 (en)
If GitHub were built in: Japan 🇯🇵 China 🇨🇳 North Korea 🇰🇵 The EU 🇪🇺
If Japan built Github
今日、日本最大級の銀行の1つであるSMBCとともに構築したマルチエージェントシステムの発表をしました。複雑な企業戦略提案を扱い、1～2週間のワークフローを数時間に短縮します。 https://www.nikkei.com/article/DGXZQOUB2713R0X20C26A4000000/
原文を表示 (en)
Today we announced a multi-agent system built with SMBC, one of Japan’s largest banks. It handles complex corporate strategy proposals, reducing a one to two week workflow down to just a few hours. https://www.nikkei.com/article/DGXZQOUB2713R0X20C26A4000000/
Sakana AIは、SMBCグループと共同で「提案書自動生成アプリケーション」を開発。三井住友銀行にて実務への適用を開始します。 https://t.co/LW9DPEf8Tu 複数の「AIエージェント」が自律的に連携し、情報収集から仮説構築、提案構成までを支援。日本を支える基幹産業のDXを、独自の技術で強力に 後押しします。 2025年のパートナーシップ締結以来、検討を重ねてきた成果がいよいよ「実装フェーズ第一号」として形になりました。Sakana AIは、今後も最先端技術の社会実装を次々と実現していきます。
Incredible work by Sony published in @Nature today! 🏓 They’ve built “Ace”, an autonomous ping-pong robot that uses RL and Sony’s vision sensors to achieve expert-level play in ping pong. A huge leap forward for adaptive robotics. https://www.nature.com/articles/s41586-026-10338-5
For 40+ years, building a robot that could rally with an elite human table tennis player at full speed was an unsolved problem. Sony AI's Ace research project set out to change that—and the results are now accepted for publication in @Nature and featured on the cover.
