<body> <script type="text/javascript" src="https://ad.netowl.jp/js/webcrow-php.js"></script>
私立メロン高校パソコン部
9080896

twitterダウンローダpython


2017年12月12日 10:04:45

twitterの画像を一括で落とすソフトです。
公式APIキーに対応してます。
公式APIキーを使うことで特定ユーザーの3200件以上の全てのツイートを取得できる。
公式APIキーを使えば携帯電話の認証は不要です。

特定のユーザーの3200ツイートまでの画像を一括で落とせる。
検索キーワードでヒットした画像を一括で落とせます。
特定のユーザーのいいねを一括で落とせる。
apiを登録したユーザーのホームタイムラインを一括で落とせる。
動画も落とせます。ツイート上のurlを書き出す機能がある。
動画は全てのサイズを落とせます。特定サイズの動画だけを落とすこともできる。
ログに書き出す機能がある。ツイート本文をテキストで保存する機能がある。
exifタグ書き込み機能。
ツイートをmhtやhtmlで保存する機能。
ツイートをpdfやpngでキャプチャーする機能。
特定のユーザーの画像を落とすときにリプライやリツイートを除外する機能。
プロフィール文をテキストファイルで保存する機能。
プロフィールのアイコン画像を保存する機能。
プロフィールのバナー画像を保存する機能。
指定したサイズの動画のみを落とす機能。
開始するページ数や自動終了するページ数を設定する機能。
検索のソート。検索で画像や動画のツイートのみを取得する機能。
画像のハッシュをsqliteに入れて重複を除去する機能。
複数のユーザーID、検索キーワードを一括でバッチ処理する機能。
バッチ処理を永久ループさせる機能。
API残り回数、API消費済み回数を表示することでAPIの残量が分かりやすい。
公式APIキーで検索することで通常のapiキーでやるより多くの検索結果が取得できる。
Yahoo!APIを使い地名を緯度と経度に変換して位置情報で検索する機能。
tweetsave.comやarchive.isにツイートを投稿する機能。twilogの画像を落とす機能。
streamに対応。streamでホームタイムラインの更新や
特定キーワードのツイートをリアルタイムで取得できる。

pythonなのでマルチプラットフォームソフトです。
MacOSX、Windows、Linuxで動きます。

apiの取得にライブラリを使わず直接取得します。

TwitterダウンローダJavaの軽量版として使ってください。

2019/2/19
ダウンロード
ver1.1.9

https://mega.nz/#!a3YSFKIb!bSkUWK8Cz6-3BkVhYRyCOHNAlZcfzQmpy2YlyA8yAvE

posted by 管理人
カテゴリー SNS画像ダウンローダ
view(12233)
コメント(44)


15.名前:みなか 2018年05月16日 01:43:45ID:24db38

全部です。
「?tag=3:」が付いてて
「Invalid argument」って出てきます。


16.名前:jojojo 2018年05月16日 10:35:45ID:d89148

TwitterダウンローダPythonを利用しています。

「10.複数の特定ユーザーのバッチ処理(公式api)」で落とす際、
「url.txt」に30件程IDを記載していますが、何回試しても
4つ目のIDあたりでいつの間にかダウンローダが落ちてしまっています。
なぜ途中で落ちてしまうのでしょうか。


17.名前:管理人 2018年05月16日 11:22:45ID:

>>jojojoさんへ

どんなエラーですか?
twitter.batの方から起動すればエラーが出て落ちても、
そのまま閉じないのでどんなエラーか分かります。

特定ユーザーの公式apiの場合は、
検索でユーザーの画像を落とすので、
アカウントによっては、最後のページまで行っても、
最後のページだと判断できずに、
永久ループしてしまうことがあるのです。
だから、バッチ処理で複数のユーザーをやっても、
最後まで行けるかは分からないです。
「6.複数の特定ユーザーのバッチ処理」の方でやれば確実に最終ページで終了できるので、こちらの方を推奨します。


18.名前:jojojo 2018年05月17日 08:38:45ID:d89148

16の続きです。

apiの連続取得を防止するwaitを初期値(25?)から50に変更したところ
落ちなくなりました。
ですが、3の田舎少年さんのように特定の画像で無限に取得を繰り返すようになりました。

落ちた原因については不明ですが、推測としてAPI残り回数が0になったためだと考えます。

現段階では直す方法はありませんでしょうか。


19.名前:jojojo 2018年05月18日 10:08:45ID:d89148

「8.特定ユーザーの画像を公式APIで落とす」にて
エラーが複数発生しました。
エラー行番号344,555,372,555と出ています。

画像が全て落とせたかは不明です。


20.名前:さささ 2018年05月23日 12:11:45ID:2cbe3d

質問させていただきます。
一つのアカウントのいいねをダウンロードした際に特定の(主に同人誌の宣伝)ツイートの画像がダウンロード出来ていないことが多いのですが、何か原因はあるのでしょうか。
なければ構いません。お忙しいところすみません。


21.名前:Nemo 2018年05月27日 05:31:45ID:677d3f

こんにちは。Java版時代より大変重宝させて頂いています。
「8.特定ユーザーの画像を公式APIで落とす」の実行時についてなのですが、動画のDL失敗が多発します(画像は正常に保存できています)。
以下にログを添付します:

ttps://pbs.twimg.com/media/DeHIj-eXUAAYuhy.jpg:origをダウンロードします。
(1527292950.0, 1527292950.0)
ttps://video.twimg.com/ext_tw_video/998533835338825729/pu/vid/1280x720/FR8MGJ0RP48rBh4P.mp4?tag=3をダウンロードします。
./img/WarThunder/FR8MGJ0RP48rBh4P.mp4?tag=3: Invalid argument
ttps://video.twimg.com/ext_tw_video/998533835338825729/pu/vid/320x180/R27hQ175uwSsTyeN.mp4?tag=3をダウンロードします。
./img/WarThunder/R27hQ175uwSsTyeN.mp4?tag=3: Invalid argument
ttps://video.twimg.com/ext_tw_video/998533835338825729/pu/vid/640x360/qfJWo42I0zAbKV24.mp4?tag=3をダウンロードします。
./img/WarThunder/qfJWo42I0zAbKV24.mp4?tag=3: Invalid argument
ttps://pbs.twimg.com/ext_tw_video_thumb/998533835338825729/pu/img/aWHq_mCtcPPS3SKe.jpg:origをダウンロードします。
(1526871967.0, 1526871967.0)
ttps://pbs.twimg.com/media/DdpAIgiUQAAaUYG.jpg:origをダウンロードします。
(1526787421.0, 1526787421.0)

察するにURL末尾に「?tag=3」なるものがくっ付いているのがミソなのではないかと思えます。こちら、管理人様の方でもご確認いただけますでしょうか。


22.名前:管理人 2018年05月28日 06:15:45ID:

>>Nemoさんへ

「1.特定ユーザーの画像」を選択しても動画が落ちないですか?



23.名前:Nemo 2018年05月28日 10:40:45ID:677d3f

>>管理人様

はい、「1.」を選択しても保存に失敗します。
またアドレス末尾が「?tag=2」などになることもあるようです。


24.名前:おっさん 2018年06月21日 12:46:45ID:bbf349

管理人様
新規で利用させていただこうと設定しております。
APIを取得し、「1.特定ユーザーの画像」を選択すると下記のエラーと
なってしまいます。

=== エラー内容 ===
type:<type 'exceptions.KeyError'>
message:x-rate-limit-limit
error:'x-rate-limit-limit'
エラー行番号1607
Error: 401
api認証に失敗しました。apiキーを見直してください。
twitterダウンローダpython ver1.1.4です。

APIキーはコピペしているため間違いはないと思うのですが
他に疑うべきことはありますでしょうか?


25.名前:名無し 2018年06月21日 07:42:45ID:23634d

ttps://twitter.com/azurlane_staff/status/900577602062004224
ttps://twitter.com/azurlane_staff/status/904990531716911104
ttps://twitter.com/azurlane_staff/status/905001030881992704
ttps://twitter.com/azurlane_staff/status/905734389652365312
ttps://twitter.com/azurlane_staff/status/906088864191733761
ttps://twitter.com/azurlane_staff/status/906394413361881095
等のツイートの画像がダウンロードされないです
Javaの方だとダウンロードされます


26.名前:名無し 2018年06月24日 12:09:45ID:d07e3c

バッチでツイート本文を保存する際に投稿日時を含めるオプションがあると助かります!

27.名前:名無し 2018年07月04日 10:13:45ID:8249f5

1,8で動画が落ちないです
いくつかのアカウントで試しましたがいずれも落ちません


28.名前:管理人 2018年08月06日 12:49:45ID:

>>25
機能の選択で「8.特定ユーザーの画像を公式APIで落とす」を選択してますか?
「1.特定ユーザーの画像」なら落とせるかも知れないです。


29.名前:名無し 2018年08月07日 07:15:45ID:23634d

>>28
はい、「8.特定ユーザーの画像を公式APIで落とす」を選択してます
「1.特定ユーザーの画像」をやってみましたが
取得済みツイート数総数285で終了してしまいます


30.名前:名無し 2018年09月05日 11:04:45ID:08aef5

ttps://t.co
等の短縮URLでTwitter画像が張られている場合は対応しないのでしょうか?


31.名前:管理人 2018年09月07日 02:48:45ID:

>>30

落とせない画像があるアカウントって例えばどれですか?


32.名前:名無し 2018年09月11日 06:08:45ID:08aef5

どうやら短縮URLは関係ないようなきもします。
ログにはちゃんと正しいURLが展開されて記録されていました。
うちの環境だと、
全てのアカウントでプロフィール以外のツイートの画像が取得できないです。

検索して回ったらこんなニュースが見つかりまして。
Twitter、API使用条件を厳格化 「厳しすぎる」開発者から悲鳴も
ttp://www.itmedia.co.jp/news/articles/1807/26/news079.html


これより前に取得していたものを使おうとしたら、
デベロッパー認証の更新? が必要なのかもしれません。
ツイートのテキストは取得できるようですが、画像を落とすのはダメなようでした。

翻訳と首っ引きで手続きする必要がありそうです。

また1番の機能で入力するURLやアカウント名で怒られ方に癖があって
例えばふにちか氏のアカウントを例にとると、

ttps://twitter.com/nitikapo テキストツイートと、プロフィール画像のみが落ちてくる
ttp://twitter.com/nitikapo api認証に問題があるとエラー(401)
twitter.com/nitikapo api認証に問題があるとエラー(404)
@nitikapo api認証に問題があるとエラー(401)
nitikapo テキストツイートと、プロフィール画像のみが落ちてくる

アカウント依存の問題の可能性が高いような高くないような、正直よくわかりません。
ログを一部抜粋すると
nitikapo_log.txt

ttps://twitter.com/nitikapo/status/1039110019579408384
ttps://pbs.twimg.com/media/DmuoqthUcAEFgw2.jpg
ttps://pbs.twimg.com/media/DmuoqthUcAEFgw2.jpg:orig
ttps://pbs.twimg.com/media/DmuoqthUcAEFgw2.jpg:large
ttps://twitter.com/nitikapo/status/1039053012004552705
ttps://pbs.twimg.com/media/DmpRT3nUcAEEdNo.jpg

といった感じになっており、ファイル名の最後にコロンが
ついてるせいなのかなとも思いますがそれは対策済みだとは思いますし。
そうだとしても普通のコロンがつかないファイルも落ちてこないのは解せないので画像そのものを落とせなくされている可能性が高いです。

これから認証の更新をするつもりです。



33.名前:管理人 2018年09月12日 10:52:45ID:

>>32
>Twitter、API使用条件を厳格化 「厳しすぎる」開発者から悲鳴も

その制限はpostする時の制限。
このソフトはツイートをgetするだけ。
ツイート取得のapiの回数制限は厳しくなってないと思います。


34.名前:管理人 2018年09月13日 10:04:45ID:

>>32
修正しました。
(ver1.1.6)


35.名前:名無し 2018年09月18日 12:18:45ID:77d79d

便利に使わせていただいております。
が、問題が発生したので書き込ませていただきます。

普段、auto_start=4にすると止まらないので、auto_start=1(ただし、登録しているのは公式APIキー)で取得しているのですが、
どうしても3200以上を遡って取得したくなったため、url.txtに1アカウントのみ登録しauto_start=4で実行してみたところ、
目的のアカウントの全ての画像のダウンロードには成功しているものの、その後、何故か凄まじい量の画像をダウンロードし始め、
ダウンロード先のディレクトリ内に5万を越えるファイルをダウンロードしていました。(設定的にディレクトリも)
また、1万5000程の指定したアカウントのもの以外の"アカウント名_stlog_koushiki.txt"を生成していました。
これは修正可能でしょうか?

使用バージョン1.1.4


36.名前:名無し 2018年10月01日 01:53:45ID:c3de35

質問失礼いたします.ver1.1.6にて,特定ユーザー(自分)のいいね一括DLを実行しましたが,twitter.batのある実行フォルダ内にログファイルが作成されます.ファイルはすべて[ユーザー名]_stlog.txtとなっており,中には元URLが記載されています.設定を見直しましたが解決しませんでした.

37.名前:名無し 2018年10月12日 09:37:45ID:f6a125

gifが落とせないのは仕様ですか?

38.名前:管理人 2019年01月14日 05:10:45ID:

>>37

gifがあるツイートって例えばどれですか?


39.名前:名無し 2019年02月03日 09:51:45ID:f6a125

@gif_gazouのツイートです。
おそらくすべてがgifのツイートかと。

setting.iniの設定を
#1でfilter:images。画像のみ。
#2でfilter:videos。動画のみ。
#3でfilter:media。動画と画像。
filter_images=3
#正規表現でヒットしたサイズの動画のみを落とすか。
#0だと全ての動画を落とす。
video_down_size=0
にして

8.特定ユーザーの画像を公式APIで落とす
でやってみたところ落ちませんでした。


40.名前:管理人 2019年02月04日 09:44:45ID:

>>39

1を選択すれば落とせます。

そのアカウントは検索だと検出されないみたいなので、
検索で取得する8は使えないです。


41.名前:名無し 2019年02月17日 10:58:45ID:b2cffb

便利に使わせていただいております。
公式APIを使ったバッチ処理をするときにある程度進んだところで
「重複をスルーします。」とループして進みません。
ver1.1.7


42.名前:名無し 2019年02月17日 11:00:45ID:b2cffb

41の続き
あと、ダウンロードを続けているとurl.txtに入れてないユーザーまでダウンロードされます。


43.名前:管理人 2019年02月19日 10:00:45ID:

>>41

ver1.1.9を落としてください。

公式APIでのユーザー画像は検索でfromでユーザーを指定して取得してるのですが、
検索の場合、これ以上ツイートが無くてもツイートを数件取得してしまい、
永久ループしてしまうことがあります。

setting.iniの
search_end_size=
に設定した取得数以下だと
最終ページだと認識して自動終了させれるので設定してください。
検索は取得数100なので。
100以下に設定すれば良いです。





44.名前:名無し 2019年02月19日 04:20:45ID:b2cffb

>>43
ありがとうございます。


最後 1 2

名前   
本文


削除キー
戻る