python怎么塞javascript进去执行

发布网友发布时间：2022-04-18 19:28

我来回答

共2个回答

懂视网时间：2022-04-18 23:49

前言

可能很多人会觉得这是一个奇葩的需求，爬虫去好好的爬数据不就行了，解析js干嘛？吃饱了撑的？

搜索一下互联网上关于这个问题还真不少，但是大多数童鞋是因为自己的js基础太烂，要么是HTML基础烂，要么ajax基础烂，反正各方面都很烂。基础这么渣不好好去学基础写什么爬虫？

那你肯定要问了“请问我的朋友，你TM怎么也有这个需求？莫非你是个技术渣？”

非也非也，博主作为一个拥有3年多前端经验的攻城尸，怎么会被这个问题给难倒呢，老夫今天遇到的问题很显然没有那么简单。

问题

那么博主到底是遇到什么问题了呢？

博主今天要去爬一个接口，但是调用那个接口需要带上令牌，也就是存储在Cookie中的一个类似token的东西，Cookie的值是一段js生成的，这段js又是通过另外一个接口获取回来的，而获取回来的js代码还是动态的，WTF！！！开发人员你这是弄撒嘞？

路人甲：我擦嘞，声称经验老道的博主不会分析js的逻辑？

对，我就是不会，特么的js代码都是混淆加密的，眼睛都看瞎了都特么不知道写的都是写啥？

算了，我直接执行拿到结果就好了，管他写的是什么鬼。

思路

理一理思路，现在要做的事情其实很简单

请求接口A，拿到动态生成的混淆过的js代码
执行js代码，拿到生成的cookie值
请求接口B，带上js生成的令牌
拿到结果，愉快的玩耍...

思路相当的清晰，感觉秒秒钟就可以实现了呢。（）

难题

Python里面执行js？有点意思，我干嘛不用nodejs呢？

因为Python是世界上最屌的语言啊！没有之一！

找到了PyV8这个神奇的模块，机器已经有了pip，执行安装一下不就OK了？

pip install pyv8

不要怀疑，博主机器装的是 Kali Linux ，Root 权限，不需要 sudo

接着报错

pip install -U PyV8
Collecting PyV8
 Using cached PyV8-0.5.zip
Building wheels for collected packages: PyV8
 Running setup.py bdist_wheel for PyV8 ... error
 Complete output from command /usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-QUm4bX/PyV8/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('
', '
'), __file__, 'exec'))" bdist_wheel -d /tmp/tmpb0udlepip-wheel- --python-tag cp27:
 running bdist_wheel
 running build
 running build_py
 creating build
 creating build/lib.linux-x86_64-2.7
 copying PyV8.py -> build/lib.linux-x86_64-2.7
 running build_ext
 building '_PyV8' extension
 creating build/temp.linux-x86_64-2.7
 creating build/temp.linux-x86_64-2.7/src
 x86_64-linux-gnu-gcc -pthread -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-cFt4xx/python2.7-2.7.12=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DBOOST_PYTHON_STATIC_LIB -Ilib/python/inc -Ilib/boost/inc -Ilib/v8/inc -I/usr/include/python2.7 -c src/Exception.cpp -o build/temp.linux-x86_64-2.7/src/Exception.o
 cc1plus: warning: command line option ‘-Wstrict-prototypes' is valid for C/ObjC but not for C++
 In file included from src/Exception.cpp:1:0:
 src/Exception.h:6:16: fatal error: v8.h: 没有那个文件或目录
 #include <v8.h>
 ^
 compilation terminated.
 error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
 
 ----------------------------------------
 Failed building wheel for PyV8
 Running setup.py clean for PyV8
Failed to build PyV8
Installing collected packages: PyV8
 Running setup.py install for PyV8 ... error
 Complete output from command /usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-QUm4bX/PyV8/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('
', '
'), __file__, 'exec'))" install --record /tmp/pip-7OAwUa-record/install-record.txt --single-version-externally-managed --compile:
 running install
 running build
 running build_py
 creating build
 creating build/lib.linux-x86_64-2.7
 copying PyV8.py -> build/lib.linux-x86_64-2.7
 running build_ext
 building '_PyV8' extension
 creating build/temp.linux-x86_64-2.7
 creating build/temp.linux-x86_64-2.7/src
 x86_64-linux-gnu-gcc -pthread -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-cFt4xx/python2.7-2.7.12=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DBOOST_PYTHON_STATIC_LIB -Ilib/python/inc -Ilib/boost/inc -Ilib/v8/inc -I/usr/include/python2.7 -c src/Exception.cpp -o build/temp.linux-x86_64-2.7/src/Exception.o
 cc1plus: warning: command line option ‘-Wstrict-prototypes' is valid for C/ObjC but not for C++
 In file included from src/Exception.cpp:1:0:
 src/Exception.h:6:16: fatal error: v8.h: 没有那个文件或目录
 #include <v8.h>
 ^
 compilation terminated.
 error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
 
 ----------------------------------------
Command "/usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-QUm4bX/PyV8/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('
', '
'), __file__, 'exec'))" install --record /tmp/pip-7OAwUa-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-QUm4bX/PyV8/

似乎是因为缺少 v8.h 这个文件导致的，可是又看不懂啥意思。

解决

通过搜索引擎找到了解决方案，原来是因为 PyV8 依赖于Boost ，然而这个问题官方并没有说，所以得先安装下这个包

apt-get update && apt-get install libboost-all-dev

安装完成之后继续安装 PyV8 ，依然是上面同样的问题，看来只能手动来了。

下载 http://www.gxlcms.com/

解压并选择合适自己系统环境的文件，再次解压并把解压得到的文件复制到

/usr/lib/python2.7/dist-packages/

里面去，然后测试看是否成功，终端执行

python
import PyV8

如果没有报错，那就成功了，开始愉快的玩耍，下面是我需要解析的js代码

已经经过整理，其实刚开始就只有一行，比较尴尬

姿势

折腾的过程可谓是各种曲折，不过也学到了不少姿势，比如，如何把混淆的js还原成原始代码

使用Firebug插件就能轻松解决这个问题，打开firebug插件，找到脚本选项，选择带 eval 的项，一般解析到最后一行就是原始代码了，我上面的那段 js 还原之后就便成了这个样子

稍微整理一下得到一个格式清晰的代码

var balwi = [115, 116, 115, 122, 112, 115, 110, 106, 122, 110, 122, 112, 101, 119, 115, 106, 113, 101, 116, 116, 119, 106];
var ljpry = [15, 21, 4, 9, 12, 14, 11, 0, 18, 20, 8, 16, 7, 2, 1, 10, 17, 13, 19, 6, 5, 3];
var j = "";
for (k = 0; k < ljpry.length; k++) {
 j += String.fromCharCode(balwi[ljpry[k]])
};
$.cookie('qtoken', j, {
 path: '/'
});

有了原始代码就很容易得到令牌的生成算法，使用Python生成，这回不用麻烦 PyV8 大神出马了。

更多使用PyV8在Python爬虫中执行js代码相关文章请关注PHP中文网！

热心网友时间：2022-04-18 20:57

import PyV8
def executeJavaScript(txt):
    info_lt = ['encodeURIComponent','encodeURI','escape','unescape','decodeURI','decodeURIComponent']
    ctxt = PyV8.JSContext()
    ctxt.enter()
    func = ctxt.eval(''' (function(a){return encodeURIComponent(encodeURI(a))})''')
    result_txt = func(txt)
    return result_txt

一般情况下，获取网页的JS代码，python能够用相等的方法解析理解。

如果你确定要执行JS代码，可以使用PyV8的模块，但有一个问题。JS一般是处理网页的DOM上下文的。这样做不一定理想。

演示代码如上